こんにちはこんにちは。技術部クックパッドサービス基盤グループの id:riseshia です。 本記事では直前の記事で提案された新しい検索システム(以下、 solr-hako と呼びます)を利用し、レシピサービスの検索インフラの切り替えた話をします。 solr-hako の設計を直接参照する内容はありませんが、それを前提においた移行作業ですのでそちらの記事を先に読むことをおすすめします。 インフラ構成の変化 まずインフラ構成の変化ををみておきましょう。 検索インフラ(変更前) 今まではこのようなインフラ構成でした。特徴としては、 search-cache というキャッシュサーバ(Varnish)が手前にあることくらいでしょうか。今回、 solr-hako を利用することで以下のような感じになりました。 検索インフラ(変更後) しれっとキャッシュレイヤーである Varnish がなくなったこ
AWS再入門2019AWS WAF編ということで、AWS WAFの知見を共有したいと思います。主なトピックは「WAF全般のこと」「AWS WAFの基本」「AWS WAFマネージドルール」「WafCharm」です。 AWS再入門2019AWS WAF編ということで、AWS WAFの知見を共有したいと思います。主なトピックは以下の通りです。 WAF全般のこと AWS WAFの基本 AWS WAFマネージドルール WafCharm WAF全般のこと WAFに期待される主な働きは、悪意のある通信をブロックし、悪意のない通信を許可することです。実際に可能な動作は、通信がWAFを通過する時にルールに一致する場合はブロックまたは許可するものです。ブロックまたは許可したい通信とWAFのルールが一致するとは限りません。WAFを導入していても、悪意のある通信が通過する可能性はありますし、正しいユーザーの通信を
期日より、優先順位を決めろ！~freee Tech Night出演にあたって~ - freee Developers Hub
まずはじめに、2022/01/28のfreee Tech Nightを楽しみにお待ちいただいていた皆様、当日直前にLiveを延期してしまいまして、運営にかわりまして申し訳ございませんでした。この記事はLiveで話す予定の内容の一部を深堀りした内容になっておりますので、文字でもお楽しみいただければと思います。 Abstract 期日を決めることには様々な利点があるが、期日通りに終わらせるにはとてもじゃないが避けづらい問題が多すぎる。 特に期日を先々まで決めてしまうことで直近の期日さえ守れなくなる状態になる。 期日を決めず、優先順位を決め、短い間隔で機能や価値を出すことで、方針の柔軟さを確保し、ランダムに発生する事象に対応しやすくなる。 現在地と予測地点を確認するためにまずは「バーンダウンチャート」をつくって運用してみよう。 はじめに なにか目指したい姿があると、その姿に対して何かしらの案を考
ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話 - ZOZO TECH BLOG
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
BASEにおけるSlack活用術を大公開！〜Slackで始める業務改善〜 - BASEプロダクトチームブログ
こんにちは！New Owners Dev GroupにてEngineering Managerをしている植田です。 皆様の会社・組織ではSlackを導入・活用されていますか？ 私は2021年4月にBASEへ入社したのですが、色々と驚いた点のうちの一つに 「Slackを全社をあげて活用しまくってる！」 というものがあります。 BASEではただのチャットツールのみならず、あらゆる場面でSlackを活用し業務を効率化していることに大きな驚きを覚えました。エンジニアは当然のことながら、非エンジニアもSlackをフル活用しているので今回はそれを大公開してしまおうと思います！ ※実際社内で利用しているSlackのキャプチャを掲載しているため、画像にはマスクを施しています BASEでのSlack活用例 今回、記事を書くにあたり社内の関係者に声をかけ、どんな場面でSlackを活用しているかヒアリングをかけ
公開日 2024/05/29更新日 2024/06/06オブザーバビリティの最前線 OpenTelemetryで下げる認知負荷~活用事例4選~ 近年マイクロサービスアーキテクチャの普及やクラウドネイティブの普及が進み、システムの複雑性は増す一方です。システムの動作を正確に把握することはますます困難になっており、そのような状況の中で、オブザーバビリティはシステムを安定的に運用するために必要不可欠な要素になってきています。 そして、オブザーバビリティの重要性の認知が高まるにつれて、多くの企業でオブザーバビリティに関するツールの導入も進み始めています。 そのような潮流の中、オブザーバビリティ分野でさらなる大きな可能性を持つプロジェクトがOpenTelemetryになります。 本記事では、OpenTelemetryとは一体どんなものなのか、そして実際にOpenTelemetryの導入・活用に成功し
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。 Looker の LookML は便利ですよね。LookML はデータモデリングを抽象化してコードによる管理を可能にし、利便性を向上させました。 LookML については Google Cloud の LookMLの紹介 で次のように説明されています。 LookML は SQL データベース内のディメンション、集計、計算、データの関係を記述するための言語です。Looker は LookML で記述されたモデルを使用して、特定のデータベースに対する SQL
11月25日に開催されたISUCON13でチームNaruseJunとして参加し優勝しました。 メンバーはここ4年同じで、大学時代のサークル仲間の@sekai・@takashi・とーふとふの三人です。 昨年のISUCON12でも優勝したので、チームNaruseJunは二連覇となります。 最終スコアは468,006点でした。 スコアの推移は以下の通りです。 かなり順調にスコアを伸ばしていますね。後述しますが17時直後にめちゃくちゃ伸びているのは、ログを止めた結果です。 その他のスコアは↓ ISUCON13 受賞チームおよび全チームスコア : ISUCON公式Blog 事前準備 今年はチーム全員が忙しかったので、チームで最初に集まったのは11/14でした。 その日は30分くらいで今年の流れの確認と、素振りの日（11/18）を確定して解散しました。 ありがたいことに過去優勝チームとしてLodgeで
はじめに テストコード一般の考え方 壊れにくいテストを書く 実装した通りに動作することではなく、仕様通りに動作することをテストする テストコードはシンプルにわかりやすく書く 失敗の原因がわかりやすくなるように意識する RSpecの書き方 テストケース名をitの引数で明記する letよりもlet!を使う 通常の変数と同じ方針に基づいてlet!を利用する subjectを使わない 不要なcontextでのネストを避ける matcherを適切に使い分ける factoryのデフォルト値に依存しないテストを書く 参考にしたブログ記事等 付録：RuboCop設定 We are hiring! サムネイル画像 はじめに テストコードを書く習慣も、近年ではかなり一般的なものになってきました。 ドワンゴ教育事業のバックエンドチームでも自発的にテストコードを書く文化は根付いており、実際に計測はしていませんが、
JX通信社シニア・エンジニア兼データ基盤担当大臣の@shinyorke（しんよーく）です. 最近やった「ちょっとした贅沢」は「休日, 自宅で🍺片手に野球を見ながらUberEatsで注文したランチを楽しむ」です. ⚾と飲食を提供してくださる皆さまに心から感謝しております🙏 JX通信社では, 機械学習を用いたプロダクト開発・施策 プロダクト・サービスの改善に関する分析 日々のイベントをメトリクス化して可視化（いわゆるBI的なもの） を円滑かつ効率よく行うため, 昨年からデータ基盤を整備・運用しており, 現在では社員のみならず（スーパー優秀な）インターンの皆さまと一緒に活用し, 成果を出し始めています. ainow.ai なぜデータ基盤が必要か?どういった事をしているのか?...は上記のインタビューに譲るとして, このエントリーでは「データ基盤を支える技術 - ETL編」と称しまして, Py
研究開発プロジェクトを先に進めるためにどのようなAI技術を使用すればいいのだろうか。本稿では、その一助とすべく、機械学習とディープラーニング（深層学習）の違いについて概説し、それぞれをどのように適用すべきかについて説明する。 科学技術の急速な成長と進化のおかげもありますが、研究開発プロジェクトを先に進めるためにどのようなAI（人工知能）技術を使用するかを理解し、定めることは困難です。本稿では、その一助とすべく、機械学習とディープラーニング（深層学習）の違いについて概説し、それぞれをどのように適用すべきかについて説明します。 定義：機械学習vs.ディープラーニング 機械学習とディープラーニングの両方において、エンジニアはMATLABなどのソフトウェアツールを使用して、コンピュータがサンプルデータセットから学習することで、データの傾向や特性を識別できるようにします。 まず機械学習の場合、学習デ
75億ドキュメント以上のデータを保持するMongoDBを、Amazon EC2からMongoDB Atlasへ約3ヶ月で移設した方法 | CyberAgent Developers Blog
75億ドキュメント以上のデータを保持するMongoDBを、Amazon EC2からMongoDB Atlasへ約3ヶ月で移設した方法 はじめに タップル SREの赤野、CAM SREの庭木です。 タップルは2021年3月頃にMongoDB on Amazon EC2(以下EC2 MongoDB)からMongoDB Atlas(以下Atlas)への移設を行いました。 今回はこの移設での取り組みについて紹介します。 Atlasへ移設することになった経緯・目的 タップルでは定期的にキャパシティプランニングを目的とした負荷試験を実施しており、今後のDAU増加のシミュレーションに対してシステムのキャパシティが確保できるかを定期的に確認しています。 タップルSREのキャパシティプランニングの取り組みについては、以前発表させていただいた資料があるのでこちらにも目を通していただけると幸いです。 2020年
Startupのよくある課題をAWSで解決する 塚田朗弘氏（以下、塚田）：みなさん、こんにちは。「こんにちは」ですよね？ 朝、藤倉（成太）さんが間違えて「こんばんは」と言っていましたが。よろしくお願いします。 今ご紹介があったとおり、このセッションは「[AWS Startup ゼミ] よくある課題を一気に解説！ ～御社の技術レベルがアップする 2019 春期講習～」というかたちで、3名でお送りしていきたいと思います。 まず、3名がどういう人間かだけ、ちょっとお伝えしていきたいと思います。 私は塚田朗弘といいまして、スタートアップのお客さまを支援するソリューション アーキテクト……技術支援の担当者ですね。3人ともそうなのですが。そのなかでもモヒカンで、モバイルとかサーバレスとか、そういったテクノロジーを扱っている者になります。 よかったら、ここで祝福をしていただきたいのですが……今日は誕生日
2020年2月13日、『神姫PROJECT』などソーシャルゲームの企画・開発を手がける株式会社テクロスが主催するイベント「TECH x GAME COLLEGE」が開催されました。第32回となる今回のテーマは「ゼロからリアルタイムサーバーを作るまで」。ソーシャルゲームのリアルタイム性を実現する「リアルタイムサーバー」の仕組みと作り方について、株式会社gumiの清水佑吾氏が解説します。講演資料はこちら ゼロからリアルタイムサーバーを作るまで 清水佑吾氏（以下、清水）：本日はお招きいただきありがとうございます。株式会社gumiの清水と申します。よろしくお願いします。今日は「ゼロからリアルタイムサーバーを作るまで」ということで発表します。 まずは会社の説明をさせてください。私は株式会社gumiというところで働いております。 2007年にできた会社で、主にモバイルゲームを作ったり、VR・AR
SRE四大行 | 外道父の匠
元々なんでも屋ってたけど、我が部署名もSREになったし、インフラエンジニアって書くと『IT』警察が寄ってくるからSREでいきましょう。短いのはイィ。 SREがやることは書籍『O’Reilly Japan – サイトリライアビリティワークブック』がほぼ語っていますが、もうちょっと噛み砕いて自分的にはこの四大行を軸に活動すれば、いっぱしのSREになれんじゃねっていう戯れであります。 SREのお仕事を大雑把に表現すると、サービス開発者が作成したアプリケーションを、動かす環境を用意し、安全・効率的に動かし続けることだと思っています。 IT業界の事情変化につれて、SREの重要性は高まる傾向にあり、それに伴いSREとして活動を希望する人材も増えたような、そうでもないような。気がするけど、SREとして食ってく気ならこれら四大行が基本であり奥義になるよって話です。 『構築』 アプリケーションを動かすための
【暫定版】 Kubernetesの性能監視で必要なメトリクス一覧とPrometheusでのHowTo - kashinoki38 blog
2021/03/01 追記 記載していたリポジトリにあるマニフェスト系があまりに不親切だったので、ちゃんとまとめてみました。 後日、もうちょっとちゃんと記事書こうとは思いますが、大体はREADMEにあるので読んでみてください。 sock-shopをベースにObservability（Prometheus, Loki, Istio(Jaeger, Kiali)）とProgressive Delivery＆自動負荷試験スタック（Flagger, Jmeter, influxdb）をHelmとKustomizeで詰め込みました。 今回はちゃんと誰もが入れれるようにがんばってみたので、どうぞ。 github.com この内容でCloudNativeDaysOnline2021に登壇することにしています。 event.cloudnativedays.jp 後、随分前ではありますが、本投稿に関連してK
はじめまして、Progateの村山です。 本記事はProgateAdventCalendarの2日目の記事です。 普段はSREチームでProgateの開発や運用を支える仕事をしております。Progateには今年の7月に入社しました。前職はElixirやk8sなどを使ったWebアプリケーションの開発や運用をしていました。ProgateにElixirのコースを作るのがちょっとした野望です。 本稿ではサービスや開発のモニタリングについて紹介しようと思います。 モニタリングとは モニタリングは日本語で監視と言い、主にサービスの障害検知や可用性向上のために利用されています。ここで紹介するモニタリングは大きく2種類に分類したいと思います。 1つ目は死活監視するためのモニタリングで、サービスやアプリケーションの可用性監視し、必要に応じてフェイルオーバーさせたりアラートを飛ばして開発者へと共有します。 2
品質やテストといった活動が「本質的にアジャイルになって変わらなければならない」といった問題を定義し、その解決手段を提案する「今、全エンジニアに求められる『アジャイル開発での品質視点の変化』」。ここで株式会社デジタルハーツホールディングスの高橋氏が登壇。まずは、ウォーターフォールモデルとアジャイルにおける品質担保の変化について話します。 セッションの概要説明 高橋寿一氏（以下、高橋）：高橋です。今日は講演というよりは、できればディスカッションみたいな感じにしたいと思っています。「アジャイル開発での品質視点の変化」というところを1時間弱お話しします。 ステレオタイプですが、ウォーターフォールからアジャイルへいったと。みんなハッピーなんですよね。書店に行くと、どんな本を読んでも「アジャイルが素晴らしい、ウォーターフォールじゃない」みたいな。やはりものを作る上でも、もののフレキシブルな使い方という
CVSSバージョン4.0の変更点と活用可能性
CVSS（Common Vulnerability Scoring System）は、脆弱性管理における基本的な仕組みとして広く利用されており、業界全体のデファクトスタンダードになっています。CVSSはFIRST（Forum of Incident Respones and Security Teams）内に設置されたCVSS-SIG（Special Interest Group）1によって策定され、2023年7月現在の最新バージョンは3.1となっています。2023年6月に次バージョンである4.0のパブリックプレビュー版2が公開されており、寄せられたコメントをレビュー・反映した後、2023年10月を目途にバージョン4.0の公開が予定されています。本稿ではパブリックプレビュー版に基づいて、現行のバージョン3.1との変更点を解説します。また、SSVC（Stakeholder-Specific
クラウドネイティブ時代のコンテナ環境におけるJavaアプリケーションのメトリクス・ログ・トレースモニタリング
Java Developers Summit (2023-02-28)
「AWSでのセキュリティ対策全部盛り[初級から中級まで]」をDevelopers.IO 2019 TOKYOで発表しました #cmdevio | DevelopersIO
こんにちは、臼田です。 みなさん、セキュリティは好きですか？ 今回は弊社主催のイベント「Developers.IO 2019 TOKYO」にて「AWSでのセキュリティ対策全部盛り[初級から中級まで]」というタイトルで登壇しましたので、その資料を公開します。 資料 補足とか 発表内容への思い 一番言いたいのは、セキュリティはみんなでやるものだから視野を広く持ってもらいたいし、周りを巻き込んで欲しいということです。 一つの目の前の事象に対して対策を頑張るだけでは意味がなくて、仕組みとして解決したり、組織として解決したり(特に運用)とする必要があります。まあセキュリティに限った話ではないですが。 なので、網羅的にいろんなセキュリティをまとめつつ、これまで気にしてなかった事を気にしていただき、少しでも皆さんの組織が前に進んでもらえたらなーと思ってまとめました。 AWSのメッセージについて 最近
![「AWSでのセキュリティ対策全部盛り[初級から中級まで]」をDevelopers.IO 2019 TOKYOで発表しました #cmdevio | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/022ed020b1dde578c99b479fda74fdf91cfb3d8a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F10%2Fdevio2019.jpg)
はじめにこれは、2021年11月4日から5日にかけて開催された、CloudNative Days Tokyo 2021 においての私の発表資料となります。 発表 こんにちは。今日は、OOParts というクラウドゲーミングプラットフォームを Kubernetes 基盤に移行した話をします。よろしくお願いします。 私は、うなすけといいます。フリーランスとして、Webアプリケーションを開発する仕事をしています。2019年から、Black で OOParts のクラウドインフラ周りを担当しています。 皆さん、OOParts というサービスをご存知でしょうか。OOParts は、年代を問わず名作とされるビジュアルノベルゲームを、Webブラウザだけで遊ぶことができるクラウドゲーミングプラットフォームです。ユーザーは、インターネット環境さえあれば、端末を問わずにいつでもゲームをプレイすることが可能です
株式会社MIXIで『家族アルバム みてね』（以下みてね）のSREグループに所属している本間です。 みてねは現在、1,500万人を超えるユーザに175の国と地域でサービスを提供しています(2022年8月現在)。そこで、より高い信頼性と可用性を担保するためにみてねのSREグループではオンコールエンジニア制度を設けています。 今回はこの「みてねのSREグループにおけるオンコールエンジニア制度の取り組み」についてご紹介させて頂きます。 オンコールの定義 まず、どのような条件でアラートを設定しオンコールを実施するかの定義について簡単に触れておきます。 現在はさまざまなソースから多種多様な情報を収集することができます。 たとえば、みてねではKubernetes（Amazon EKS）を採用しています。Kubernetesだけでも非常に多くのメトリクスが収集できますが、それだけではなくアプリケーション
GitHub ActionsからGitHub wikiを更新する - Islands in the byte stream
GitHub ActionsからGitHub wikiを更新したいことがたまにあります。たとえば、何かのメトリクスを見やすく整形したものなど、repositoryのデータを何らかの形で加工したドキュメントを作りたいときです。コード生成したmarkdownドキュメントをコミットしてもいいですが、それよりはシンプルで運用が楽です。 今回は、GitHub repoで管理する原稿の文字数（など）を継続的に見れるページを作ると便利かなと思って作りました。自分一人だったらローカルで適当なツールを叩けばいいですが、同repoを見れる編集者にも共有したいとなると独立したページがあるほうが便利ですからね。 リポジトリはこんな感じです。 github.com 基本的には、 actions/checkout を使って "${{ github.repository }}.wiki" をcloneして編集してpus
技術部 Site Reliability (SR) グループの id:itkq です。2020 秋タイトルで一番期待しているのはおちこぼれフルーツタルトです。本エントリでは、Web サービスの負荷試験に対する障壁を下げるために、汎用的な Web コンソール開発に至ったまでの話を書きます。 Web サービスの負荷試験の障壁を下げたい クックパッドでは、マイクロサービスを支える基盤が成熟しており、新規サービス開発や、サービスリニューアルなどの機能開発の場面では、疎結合な新規のマイクロサービスとして実装されることが多いです。このようなサービスをリリースする際は、予想されるトラフィックに対して、実際にそれを捌ききれるかどうかテストする、いわゆる負荷試験をすることは一般的です。これまで、サービスリリース時に、負荷試験をきちんと行うこともあれば、負荷試験を行わないこともありました。負荷試験が行われない
プロダクトの成長を支えるKPI / KPIs for growing your product
Wantedly の研修資料（外部公開用に再編）
ソフトウェア開発の定量データの収集、分析を行い、分析データ集として公開しました。 これまでに収集した5,066プロジェクトの定量データからソフトウェアの信頼性を中心に分析しています。また本編とは別に業種編3編、サマリー 版、マンガ解説版も同時に公開しています。 概要 近年、ソフトウェアの社会システムへの適用領域の拡大に伴い、ソフトウェア開発における信頼性向上に対するニーズは高まっています。このニーズに対応するために技術者の経験と勘に頼った方法ではなく、実際のプロジェクトデータに基づいた開発プロセスの改善を行う定量的なプロジェクト管理が必要で、IPA 社会基盤センターではエンタプライズ分野のソフトウェア開発データを収集・分析してまとめた「ソフトウェア開発データ白書（以下データ白書）」を2005年から発行しています。 今回はこのデータ白書の装いを一新し「ソフトウェア開発分析データ集2020（以
はじめに こんにちは。 2022年の4月から、さくらインターネット株式会社に新卒入社し、7月よりSRE室という部署に配属されました、菅原大和(@drumato)と申します。 本記事では、7月の配属から今日(記事執筆時点では2022/10/31)にかけての3ヶ月間、社内のKubernetesクラスタ運用状況を調査し、現状の課題を明確にした上で、社内のKubernetesクラスタ運用状況を改善する基盤の設計と開発に取り組んできましたので、その内容をご紹介します。 その過程で得られた知見や、今後必要になってくるであろう、不足している機能についても合わせて共有します。 また、本プロジェクトの背景として、SRE室という部門の目的や今後実現したい世界観についてもお話しできればと思います。 本記事の全体を通して、技術的な側面よりもプロジェクトの背景や目的を重点的にお伝えします。 本プロジェクトの概要 本
こんにちは、エンジニアの @MinoDriven です。 今年2019年4月にリファクタリング専門チームを発足しました。 crowdworks.jp の最重要機能であるお金周りの機能に関して、どのような技術アプローチでリファクタしているかを紹介致します。特に、Railsには適用困難と言われているドメイン駆動設計の考え方を取り入れた手法を解説致します。 目次 背景 リファクタリング専門チーム発足 技術的負債 リファクタリング対象選定 方針①：パレートの法則（80:20の法則） 方針②：リファクタリング選定基準3軸 「仕事周り」か「お金周り」か お金周りモデルのリファクタリングを妨げるConcern 課題①：ActiveRecord側の構造に依存したコード 課題②：型や構造のチェック(リスコフの置換原則違反) 課題③：重要業務概念の埋没 どのようにリファクタしたか 手法①：Concern側メソ
ざっくり理解するSRE - Qiita
昨今では自社のプロダクトやシステムのエンゲージメント向上のために、「DevOps」や「アジャイル」といったキーワードのもと、大小さまざまな企業がシステムやアプリの開発手法の改善を試みています。その中において、最近だと「SRE」というキーワードを聞く頻度も多くなってきたかと思います。 しかしアジャイルやCICDなどと比べ、SREについては「言葉は知ってるけど具体的になんなのかはよくわからない」という方もいるのではないでしょうか？ここではそんな方々向けに、SREの最初の一歩となる概要について、独自の解釈を交えつつまとめていきます。 ここで話すこと SREって何？ なぜSREが必要？ SREってどんなことするの？ ここで話さないこと SREの技術の具体的なところ（k8sやAPMの導入手順、設定方法など） プラクティスの実践例・具体例（アーキテクチャ、各種設定値、モニタリング指標など） TL;DR
開発プロジェクトにおいて、開発スピードを測る尺度としてよく使われるのが「ベロシティ」です。このベロシティによって示される数字を適切に扱い、開発に活かしていくにはどうすればよいのでしょうか。 そのことを詳しく株式会社アトラクタ 吉羽龍太郎氏のセッション「ベロシティ Deep Dive」が、1月に都内で開催されたアジャイル開発の代表的な方法論であるスクラムをテーマにしたイベント「Regional Scrum Gathering Tokyo 2024」で行われました。 吉羽氏のセッションの内容をダイジェストで紹介しましょう。 本記事は前編、中編、後編の3つに分かれています。いまお読みの記事は前編です。 これから「ベロシティ Deep Dive」ということで「ベロシティ」についてお話をしていきたいと思います。 ベロシティを使っているっていう方、会場にどれぐらいいますか？ （手が挙がる） 結構多いで
皆さんこんにちは。虎の穴ラボのM.Uです。 今回は、オライリー・ジャパンの『入門 監視』を読んでみましたので、感想を書きたいと思います。 はじめに 以前に私はあるプロダクトの、監視体制強化に取り組んだことがあります。その際、ネットや書籍での情報を断片的に拾い集め四苦八苦しながら「このシステムにはこういう監視があるべき」と自分なりに答えを導き出していました。そんな体験をした私にとってこの「入門監視」はまさに「こんな本が欲しかった」と思える本でした。 本記事の書評は、監視についてのノウハウが知りたい開発者の視点となります。同じ経験をされた開発者の方に少しでも参考になれば幸いです。 本書について 著者 Mike Julian（マイク・ジュリアン） 翻訳 松浦 隼人 これ以降は私自身が特に印象に残った章を抜粋して紹介します。より詳しく本書の構成を知りたい方は、オライリー公式サイトにて目次が公開され
はじめに OpenTelemetryとは Opentelemetry のコンポーネント Opentelemetry のプロジェクトの仕様とStatus Tracing Metrics Logging(Specification にドキュメントがない) Baggage OpenTelemetry のSpanとTrace OpenTelemetry Collectorとは Collector のメリット OpenTelemetry Collector Architecture とは OpenTelemetry とSDKとパッケージ OpenTelemetry と自動計装 今後のOpentelemetry について 次回予告:OpenTelemetry とOpenTelemetry Collectorを使ったTracingとMetricsをアプリケーションで利用する方法 参照リンク はじめに 最
え、そんなに！？意外と知らないAWSでお金がかかるポイント5選！！ JAWS DAYS 2020登壇資料 #jawsdays #jawsdays2020 | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 さて僕はこれまで次のようなブログを書いてきました。 全部で15ポイントもあるのですが、今までの中から厳選して5つの特に注意したいポイントをピックアップしオンライン開催されたJAWS DAYS 2020のランチセッションで登壇/発表してきました。 資料 動画 解説 ポイント1： 通信費 AWSではわずかではありますが、通信を行うと課金が発生します。AWSから外への通信は$0.114（12.33円）/GB、リージョン間通信の場合は$0.09（9.74円）/GB、同一リージョンであっても異なるAZへの通信は$0.01/GB（1.08円）です。 こちらはEC2だけでなく他のサービスも含めたサービス間通信の合計であることに注意してください。ディザスタリカバリで複数リージョンに跨ったりログを他のリージョンに転送したりして意外と料金が上がりがちです。
その監視、必要ですか？ - Qiita
この記事は検索エンジンプロダクトを一緒に開発してた同窓会のカレンダーの24日目の記事です。 この記事の想定読者 夜中にメモリ使用率超過のアラートを受け取ってるけど、特に何もする必要がない人 アラートの通知内容だけではよく分からないので、監視ツールの画面や本番環境の状態を目視で確認して影響確認してる人 この記事で想定していない読者 MSP事業者のようなITインフラの監視・安定化、それ自体を目的とされている方 労働の疎外 まずはカール・マルクスの話をしましょう。 マルクスの理論における「労働の疎外」には主に次の四つの側面があります 製品の疎外: 労働者は自分が生産する製品との関係を失います。彼らは自分の労働で作り出した物を所有せず、それが単なる商品として扱われます。 生産活動の疎外: 労働者は自分の労働過程との関係を失います。単調な作業により創造性が抑制され、仕事に対する個人的な充足感が欠けま
ソフトウェア開発における品質のメトリクスについて、新旧2冊の本を比べてみました。 1冊は、『初めて学ぶソフトウェアメトリクス』。 原著『Five Core Metrics: The Intelligence Behind Successful Software Management』（Lawrence H. Putnam、Ware Myers著）は、2003年に出版されています*1。 初めて学ぶソフトウエアメトリクス~プロジェクト見積もりのためのデータの導き方 作者:ローレンス・H・パトナム,ウエア・マイヤーズ日経BPAmazon もう1冊は、『アジャイルメトリクス』。 原著『Agile Metrics in Action: How to measure and improve team performance』（Christopher W. H. Davis著）は、2015年に出版されて
Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合（ブロッキング）起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
機械学習による実用アプリケーション構築
機械学習は翻訳、推薦システム、異常および不正検出など、さまざまなアプリケーションで利用されており、今後も機能強化のために、機械学習を組み入れるサービスはますます増えていくと考えられています。しかし機械学習はモデルの学習や評価など、これまでのアプリケーションにはない処理が必要となるだけでなく、正常に動作しているかを単純なテストだけでは検証できないなど、特別な配慮が必要となります。本書は機械学習を利用するアプリケーションを設計、構築、デプロイするために注意すべき点をまとめました。繰り返しによりデータやモデルを漸進的に改善する方法、モデル性能の監視やモデルのデバッグを行う方法など、アプリケーションを構築、運用する上で、その品質を左右する一連のプロセスを詳しく解説します。 訳者まえがき まえがき 第Ⅰ部 適切な機械学習アプローチの特定 1章 製品目標からML の枠組みへ 1.1 何が可能であるかを
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
Amazon CodeWhispererでどの程度コーディングが効率化できそうか試してみた - Taste of Tech Topics
ここのところ気温も暖かくなり、外に出かけるのが楽しみになってきた、カメラ好き機械学習エンジニアの@yktm31です。 いま世間を賑わせている生成系AI、ChatGPTは私にとって欠かせないものになりました。 そんな中つい先日、AWSから「Amazon CodeWhisperer」がGAになりました。 といことで、さっそく試してみました。 目次 概要 特徴 サポート サポートされるプログラミング言語 サポートされるIDE サポートされる自然言語 使い方 利用開始方法 基本操作 Lambdaで、DynamoDBのレコードを取得する処理と、そのユニットテストを書いてみた コード参照（Code references）を試してみる セキュリティスキャンを試してみる ドキュメントからわかったこと 安全性・セキュリティ ProfessionalとIndividualの違い 料金と制限 オプトアウト方法
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
検索インフラを安全に切り替えた話 - クックパッド開発者ブログ
AWS再入門2019 AWS WAF編 | DevelopersIO
オブザーバビリティの最前線 OpenTelemetryで下げる認知負荷~活用事例4選~ - Findy Tools
Lookerライクな新興BIツールの比較検討
ISUCON13で優勝しました(チーム NaruseJun)
N予備校開発でのRSpecの書き方指針 - ドワンゴ教育サービス開発者ブログ
データ基盤を支える技術 - ETLフレームワークの実践的な選び方・組み合わせ方 - JX通信社エンジニアブログ
機械学習とディープラーニング、どちらを使えばいいのか
スタートアップでありがちな問題をAWSで解決する––認証基盤からログの扱い方まで
ソーシャルゲームを支える「リアルタイムサーバー」の作り方
Dockerで動かして学ぶモニタリングの基礎 - Progate Tech Blog
「旧来のテスト担当者の仕事は、たぶんどんどん減っていく」 アジャイルへの移行に必要な品質向上の定義
なぜ我々はクラウドゲーミング基盤をKubernetesに移行したのか #CNDT2021｜うなすけ
『家族アルバム みてね』を支えるオンコールエンジニア制度 | gihyo.jp
負荷試験用 Web コンソールの開発 - クックパッド開発者ブログ
ソフトウェア開発分析データ集2020 | 社会・産業のデジタル変革 | IPA 独立行政法人 情報処理推進機構
社内のKubernetesクラスタ運用を効率化する基盤について | さくらのナレッジ
リファクタリング専門チームによるお金周りリファクタリング - クラウドワークス エンジニアブログ
ベロシティ Deep Dive。スクラムにおけるベロシティのアンチパターンと適切な使い方とは（前編）
『入門 監視』を読んでみて - 虎の穴開発室ブログ
2022年版 OpenTelemetryを知れば世界が平和に - じゃあ、おうちで学べる
従来とアジャイルで、品質メトリクスには本質的な違いがあるのではないか - ソフトウェアの品質を学びまくる
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG