ヤフーでは開発迅速性と品質のバランスをどう取ってるか（2022年）
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 皆さんは「No Measurement, No Improvement」という言葉をご存じでしょうか。これは「測れないものは改善できない」という意味で、熱力学者であるウィリアム・トムソン博士の言葉とされています。 下図はGoogle社のDORA（DevOps Research and Assessment）を参考にして作成しました。開発スピードとサービスの品質を改善するためには計測が必要です。計測のための4つの指標を紹介します。 四つの指標で計測し、開発スピードとサービスの品質を改善 開発スピードの分析に利用する指標は、1つ目が「Change Lead Time（開発が始まってから本番にデプロイされるまでの時間）」、2つ目が「De
間違った単語でも検索できる？Yahoo!検索のクエリスペル訂正機能の紹介
クエリのスペルが間違っていると、ユーザーの意図通りの検索結果を返すことが難しくなってしまいます。 そのため、Yahoo!検索には、スペルの間違いを検出して自動的に訂正することにより、ユーザーが間違ったスペルで検索したとしても適切な検索結果を返すことができる仕組みが用意されています。このようにより良い検索体験を作るためにスペラーは開発されています。 どうやってスペラーを学習しているの？ スペル訂正は古くから研究が行われているタスクで、性能の良い機械学習モデルがいくつも提案されています。そのため、学習データ（スペル間違いのクエリとその訂正結果の集合）さえ用意してしまえば、あとは既存の機械学習モデルを適用するだけでスペラーを作成することが可能です。 なお、スペル訂正の手法に関する体系的な解説に興味のある方は、例えば自然言語処理の著名な教科書「Speech and Languege Process
ヤフーのアジャイル開発事例を紹介"Yahoo! JAPAN Agile 1st"
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんばんは、アジャイルコーチの荒瀬です。 今回「Yahoo! JAPAN Agile 1st」と銘打ってヤフーのアジャイル開発の紹介イベントを実施しましたのでブログにてご紹介します。 「Yahoo! JAPAN Agile」とは？ ヤフーには私が所属しているアジャイル開発支援チームがあり、アジャイル開発・導入をサポートしています。またヤフーの各組織にもアジャイルコーチやアジャイルを促進・実践している方々がいます。 彼ら彼女らの知見や経験、ヤフーならではの環境や状況を踏まえた活動や取り組みを紹介する場です。 「Yahoo! JAPAN Agile」の狙い 一言でいうと相互学習です。参加者にとっても登壇者にとっても気づきや学びの場にな
オンラインでの新卒研修の作り方〜アジャイル研修について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog アジャイルコーチの荒瀬中人です。 2020年度の新卒アジャイル研修の講師を担当しました。 今年の新卒の研修は基本的にオンラインで行っています。オンライン研修はニューノーマルな時代においてのスタンダードになりつつあり私自身この研修を通して発見したことや学びが多かったので、オンライン研修の参考になれば幸いと思い執筆しました。 アジャイル研修とは 新卒エンジニア研修を終えて配属されたあとに、希望のあった組織の新卒（以下、受講者）に対して行うオプションの研修です。 今回は以下の2つの研修コースを実施しました。 1つ目は私たちの方で研修を計画するコース、2つ目は組織側のリクエスト内容に沿って計画するコースです。 本ブログは計11回実施した1
Go 言語のプロファイル機能とネットワークコネクションにまつわるトラブルシューティング
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog インフラエンジニア見習いの森本です。これまで数年ほどサーバーサイドエンジニアとして開発ばかりをしてきた人が最近インフラエンジニアになりました。 3月末に開催された Go Conference 2017 Spring で開発チームの後藤から弊社で開発・運用している AWS S3 互換の分散オブジェクトストレージ Dragon についての発表がありました。 Goでヤフーの分散オブジェクトストレージを作った話 私は Dragon の運用を担うチームに所属しており、本稿ではその業務の中で発生したトラブルシューティングについて紹介したいと思います。 分散オブジェクトストレージ Dragon で発生していた課題 Dragon で gorout
Yahoo! JAPAN Tech Conference 2018 のスライドを公開します
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo! JAPAN Tech Conference 2018 を1月27日に開催しました。多くの方にご参加いただき、大盛況のうち終了することができました。ありがとうございました。 当日のスライドを公開しました。 基調講演 Shape the Future - through the Power of Technology Room A A-1 データセンターネットワークの取り組みと大規模サーバインフラの戦略 A-1 データセンタネットワークの取り組み (村越 健哉) A-1 大規模サーバインフラの戦略 (藤見 和英) A-3 Yahoo! JAPANを支える開発基盤 PaaS A-3 Yahoo! JAPANを支える開発
FIDO認証の進化とさらなる応用展開 (第3回FIDOアライアンス東京セミナー講演)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Yahoo! JAPAN 研究所の五味です。 プライバシー・セキュリティ分野の研究開発の一環で、次世代認証技術に関する業界団体 FIDO (ファイド) アライアンス に参加し、グローバルな企業の方々と共に技術仕様の策定や技術の応用展開に取り組んでいます。FIDOアライアンスの 第1回東京セミナー に関しては、既に、約2年前のブログ「アイデンティティ管理とその動向」にてご紹介していました。 今回は、12月8日に虎ノ門ヒルズフォーラムでFIDOアライアンスにより開催されました第3回東京セミナーでの私の講演内容に関してご紹介いたします。 タイトルは「FIDO認証の進化とさらなる応用展開」で、FIDOアライアンスが技術仕様を策
Yahoo! JAPAN のサーバー OS について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部の渡邉です。 サイトオペレーション本部はデータセンタ・ネットワーク・サーバー・OS・ストレージ・OpenStack といった全社的なインフラの管理運用や調査検証などを担当しています。今回は Yahoo! JAPAN で使われているサーバー OS の状況やその開発運用について紹介したいと思います。 利用されているサーバー OS Yahoo! JAPAN では現在十数万台のサーバーが稼働しており、そのうちの約9割で CentOS 6/7 が利用されています。残りの1割では、用途に応じて次のようなものが利用されています。 Red Hat Enterprise Linux Oracle Linux Ubuntu F
FlashCacheでI/Oのボトルネックを解消させよう
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに 皆様こんにちは。ストレージアーキテクトの矢澤祐司です。 Yahoo! JAPANにて利用されているマルチペタバイトなストレージ達と仲良く過ごしている私なのですが、今回はFlashCacheを用いたI/Oの最適化について検証した結果の一部を皆様にご紹介させていただきます。 FlashCacheとは SSD製品が安価に調達できるようになった昨今であっても大容量なストレージを構築する際はHDDに頼らざるを得ず、さすがにフルSSDで大容量なストレージを構築してしまうとコスト過多で現実的ではないと判断される方が大半かと思います。確かにSSDを利用することによってI/O性能が課題だったシステムを改善された事例はたくさんあるものの、大
ヤフーにおけるインプットバリデーション「何も信じるな」 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、R＆D統括本部 開発推進室 セキュリティプラットフォーム技術 セキュリティスペシャリストの戸田 薫です。 今回は、私たちが普段からヤフーのシステムに対する入力にどのような注意を払っているのか、そのいくつかをご紹介致します。 入力とは? Webサイトを運営している場合、どのような入力があるでしょうか？ たとえば、Webサービスには、以下の入力があります。 Cookie URL GET/POSTのデータ ファイルのアップロード その他リクエストヘッダ そのほかにもいくつもあります。 環境変数 設定ファイル クローラが取得したデータ パートナー企業のAPIから取得したデータ（XMLやJSONなど） パートナー企業の入稿用 F
サーバ節電について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、R&D 統括本部 プラットフォーム開発本部の吉原 哲です。 東日本で発生した未曾有の震災の影響で、多くの発電施設が影響を受けており、政府及び電力会社から節電の協力が要請されています。一日本国民として、一技術者として、できることがないか検討してみました。あわせて現在までに把握している ヤフーにおける節電に対する取り組みをまとめましたので、節電を検討する際に役立てていただければと思います。 節電方法 一般的にサーバは稼働している際に一定の電力を消費し、CPU 使用率に比例して消費電力が上昇します。またサーバは動作しているときは常に発熱してます。データセンタの空調設備ではこれを取り除くため、サーバの熱量に比例して使用電力が増
MySQLによるデータウェアハウス構築
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、オークション事業部のWangです。 データウェアハウス（以下DWH）という言葉になじみのない方は検索していただいたほうがよいかもしれません。 検索するのがめんどい、という方は、かみ砕いた表現ができなくて恐縮ですが、 基幹系システムから抽出したデータを目的をもって再構成し、 使用可能な状態に保管されたデータの集合体、とお考えください。 オークションでは、具体的には出品、入札、落札などのトランザクションデータや、 それをいろいろな単位で集計したデータなどが該当します。 ここでいう単位というのはたとえば、日ごと、週ごと、月ごとや、以前の記事でも紹介されている カテゴリといったものになります。 こういったデータは、運用、運営、
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Yahoo! JAPAN Tech Conference の資料を公開します #devsumi