[レベル: 上級] 今年の私の使命は、クロールの量をさらに減らし、ネットワーク上の転送データ量を削減することです。 Google の Gary Illyes（ゲイリー・イリース）氏が LinkedIn でこのように投稿しました。 Google の取り組み：洗練されたクロールとネットワーク効率化 イリース氏は次のように続けます。 数日前、Reddit のあるコミュニティで、Google のクロール頻度が去年と比べて減少したのではないか、という投稿がありました。大局的に見れば、それは間違いです。クロール量は以前とほぼ同じですが、スケジューリングがより緻密になったことで、クロールに値する可能性の高い URL に重点を置くようになっただけです。 それでも実際には、もっとクロール量を減らすべきだと考えています。たとえば、キャッシュの管理やユーザーエージェント間の内部キャッシュ共有をさらに改善し、通信

awkは、UNIX登場初期からgrepやsedなどと並んで代表的なコマンドラインツールとして使われてきました。その名称が、作者であるAho氏、Weinberger氏、Kernighan氏の三者の名前からとったものであるというエピソードも非常に有名です。 そしてこの三人の作者が執筆した書籍「The AWK Programming Language」（邦題：プログラミング言語AWK）は、awkのバイブルと言ってよい書籍でしょう。 日本で1989年に第1版が発行されたこの「プログラミング言語AWK」が、35年ぶりに第2版に改訂され、今年（2024年）5月16日にオライリー・ジャパンから発売されることが分かりました（Amazon、楽天ブックス）。 著者は第1版と変わらず、Alfred V. Aho氏、Brian W. Kernighan氏、Peter J. Weinberger氏です。 下記はAm

2024年1月19日、AWSの日本への投資戦略・方針説明会で長崎氏は、2027年までに2兆円超の巨額投資を行うと表明。「われわれは皆様に信頼される企業として、日本の成長、日本のお客様の成長に貢献したい」と語るなど、今後も同社をけん引するものとみられていた。 ところが2月中旬、3月11日付で長崎氏が社長を辞任することが突如発表された。後任に当たるハイミ・バレス氏の役職が「Managing Director, Japan（暫定）」と記載されていたことからも、唐突な人事異動であった様子がうかがわれ、「何だこれは、と業界がざわついた」（あるビッグテック社員）。 長崎氏がOpenAIの日本法人の職務執行者に就任したのは、AWSを去った翌日の3月12日。AWS関係者によると、「長崎氏は今後についてほとんどの社員に明かしていなかったようだが、『もうすぐ日本に拠点を設けるOpenAIに移籍するのでは』とい

トレジャーデータで一人目のグローバルサポートエンジニアからはじまり、 US/UK/日本と3拠点でサポートチームが組織するようになり、またカスタマーオペレーションのメンバー率いて最大約20名前後のグローバルチームの責任者などなど約10年間働いてました。 (引用: https://images.app.goo.gl/72orU2EQmeuGyEkA6) そして、4月からプロダクトマネージャーにクラスチェンジして、ICとして引き続きやっていきますー。 しかし、Senior DirectorからICになる関係で、初心者PMなのにSenior Principalという大層なグレードがついてます。 社内でも数人しかSenior Principalのタイトルがいないので、「Senior PrincipalなのにそんなことできないのーWWW」って煽られないように必死にやっていきます・・・ 何をやるかについ

Microsoftが開発したプログラミング言語「Visual Basic」は一時期は人気の頂点に達していましたが、記事作成時点では目立たない存在になっています。そんなVisual Basicの興亡について、コーディング補助アプリを開発するRetoolが「Visual Basicの父」として知られるアラン・クーパー氏の体験談を交えながら解説しています。 Something Pretty Right: A History of Visual Basic | Retool https://retool.com/visual-basic/ Visual Basicは、クーパー氏が開発したプログラミング言語「Ruby」をMicrosoftが買取る形で始まった言語です。クーパー氏によると、Rubyの前身となる「Tripod」の開発は1985年に始まったとのこと。当時のWindowsはグラフィカルユーザ

はじめに こんにちは、retail HUBで Software Engineer をしているほんだです。 今回は私が現在着手している事業譲渡されたアプリを社内で持続的なプロダクト開発を行える状態にするリプレイスプロジェクトをどのように行っているか紹介しようと思います。 この記事ではリプレイスを行うにあたってどのようなことを課題に感じてその課題に対してどのような解決策をとったか主にサーバーの実装について説明しています。 ネットスーパーアプリとは 現在弊社ではネットスーパーアプリとして Web アプリとスマホアプリの二つのシステムを提供しています。 Web アプリは販促コンテンツの設定や売り上げの管理・集計を行うことが可能な管理システムと受け取り方法に応じた価格変更や送料変更にも対応し、消費者の柔軟な買い物を実現するお客様向けアプリを 17 の小売り様に、スマホアプリでは Web アプリのお客

2024年3月29日、Linux向け圧縮ユーティリティとして広く利用されているXZ Utilsに深刻な脆弱性 CVE-2024-3094 が確認されたとして、研究者やベンダがセキュリティ情報を公開しました。この脆弱性は特定の条件下においてバックドアとして悪用される恐れがあるものとみられており、当該ソフトウエアのメンテナのアカウントにより実装されたソフトウエアサプライチェーン攻撃の可能性が指摘されています。ここでは関連する情報をまとめます。 脆弱性の概要 xzとは主要なLinuxディストリビューションに含まれる汎用的なデータ圧縮形式で、今回問題が確認されたのはその圧縮・解凍ユーティリティであるliblzma(API)を含むXZ Utils。CVE-2024-3094が採番されており、Red Hatによって評価されたCVSS基本値はフルスコアの10。影響を受けたライブラリをリンクしているssh

xz-backdoor.md FAQ on the xz-utils backdoor (CVE-2024-3094) This is still a new situation. There is a lot we don't know. We don't know if there are more possible exploit paths. We only know about this one path. Please update your systems regardless. This is a living document. Everything in this document is made in good faith of being accurate, but like I just said; we don't yet know everything abo

デジタル社会を実現するためには、「共通ルール」の下で関係者が協働し、価値を生み出すことが重要です。 デジタル社会推進標準ガイドライン群は、サービス・業務改革並びにこれらに伴う政府情報システムの整備及び管理についての手続・手順や、各種技術標準等に関する共通ルールや参考ドキュメントをまとめたものです。 各ドキュメントの位置づけには、次の2種類が存在します。 標準ガイドライン（Normative）：政府情報システムの整備及び管理に関するルールとして順守する内容を定めたドキュメント実践ガイドブック（Informative）：参考とするドキュメントこれまでは、「デジタル・ガバメント推進標準ガイドライン群」という名称で各種ガイドラインを策定しておりましたが、デジタル庁として政府内部だけでなく社会全体のデジタル化を推進するという観点から、これらのドキュメント体系の名称について「デジタル社会推進標準ガイド

こんにちは、一休.comスパ(以下、「スパ」)の開発を担当しているshibataiと申します🙏 今回はスパのデータベースの在庫の持ち方で試行錯誤した話をさせていただきます。 背景 2024-03-29追記: 一休.comスパにおける在庫の特徴について 一休.comスパが扱う「在庫」は、「ある日付の特定の時間に対する空き枠」です。以降の説明では、スパ施設ごと、日付ごと、また時間ごとに増えていく「在庫」をいかに効率よく扱うかについて説明しています。 詳細については次のスレッドも参照してください！ https://t.co/Y0SPmDE4yZ この記事のコメントみてると、少し我々のシステムの要件が伝わってないというかそこの説明が記事に不足しているように思った。ので以下その補足— naoya (@naoya_ito) March 29, 2024 現在の実装 スパは予約を受け付けるために在庫の

はじめに 皆様こんにちは、ソーシャル経済メディア「NewsPicks」(Media Infrastructureチーム)エンジニアの北見です。 現在、私は弊社サービスの一部のインフラ刷新を行なっている最中で、ここ数ヶ月 AWS CDKを触っておりました。 前職では Infrastructure as Code として Terraform を使ったことがあるのですが、少なくともAWS を使うという条件においては CDKを使うべき という結論に辿り着きました。 今回はそのように考えるようになった理由について説明していこうと思います。 前提 Terraform はパブリッククラウドにおける Infrastructure as Code の走りとして様々な現場に導入実績があり、それに対するリスペクトは持つべきです。 しかしよくある「AvsB」というメリデメの構図で「どっちでもいいよ、好みだよ」と投

今のLLMを取り巻く状況について紹介します。

マネーフォワード 分析推進部の石田と申します。 社内では、データサイエンティストとして施策効果検証系の案件を中心に担当しています。 本稿から2回に渡って、「ABテストにおける分散削減手法」というテーマで記事を執筆したいと思います。 馴染みのない方もいらっしゃるかもしれませんが、ABテストへ分散削減手法を適用することで、例えば以下に挙げたメリットを享受することができます。 必要サンプルサイズを低減できるため、意思決定サイクルを高速化できる より小さな改善効果を検出できる 魅力的だと感じていただけた方は、ぜひ最後まで本稿をお読みください！ 目次 想定する読者層と書いてある内容本稿のメインターゲットは、以下のような方です。 統計的仮説検定の理論を少し勉強したことがあるけど、分散削減と言われてもあまりピンと来ていない 確率変数、標本平均、分散、正規分布の意味は分かるけど、t検定の検定統計量がパッと

検索エンジンプロダクトを一緒に開発してた同窓会 Advent Calendar 2023 の9日目です。 Javaアプリケーションの起動を高速化する技術として、Application CDSやGraalVM Native ImageによるAOTコンパイルなどがあります。 CRaC（Coordinated Restore at Checkpoint） もまた、Javaアプリケーションの起動高速化を目的としたOpenJDKのプロジェクトです。CRaCはLinuxのCRIUを利用し、実行中のJavaアプリケーションの状態をスナップショットとして保存します。スナップショットからはアプリケーションを高速に復元することができます。 今回はSpring Bootアプリケーションのスナップショットを作成し、スナップショットからアプリケーションを起動してみます。 CRaCをサポートするJDKのインストール

皆様こんにちは。日本CTO協会 コンテンツチームです。 「開発者体験ブランド力が高い企業に迫る！」シリーズの2本目は「LINEヤフー株式会社」のインタビュー記事です。 「開発者体験ブランド力が高い企業に迫る！」シリーズとは： 日本CTO協会が2022年より実施・発表を行なっている「開発者体験ブランド力調査」のランキング入賞企業に日本CTO協会がインタビューを行い、記事化したものです。 2022年の結果はこちら 2023年の結果はこちら 本コンテンツでは各企業の ・技術広報チームの目的とそれに対してのKPIの考え方、読んだ方に向けてヒント ・開発者体験向上に向けた技術広報の取り組み ・開発者体験とは について記載されています。 開発者体験ブランド力調査とは【開発者体験ブランド力調査のコンセプト】「開発者体験発信採用広報活動の指標・羅針盤をつくる。」・認知度コンテストにならないこと 実際のソフ

はじめに こんにちは。WEARフロントエンド部Webチームの藤井です。私たちのチームでは、WEARのWebサイトのリプレイスと新規機能の開発を並行して進めています。これらの開発を推進する中で、Pull Requestのレビュー負荷を軽減し、開発生産性を向上させるための取り組みを行なってきました。本記事では、その中で効果的だった取り組みについてご紹介します。 目次 はじめに 目次 背景と課題 レビューの体制の薄さ スコープの広さ 仕様把握の負担 対応内容についての説明不足 処理の複雑性 仕様の抜け漏れ 動作確認の手間 課題解決に向けた取り組み レビュー体制の見直し Pull Requestを小さくする Issueを小さくする Pull Requestの粒度について明文化する 機械的なチェックの拡充 ESLintルールの拡充 Visual Regression Testの拡充 Pull Req