あのサービスの監視・オブザーバビリティ アーキテクチャ選定【前編】 - Findy Tools
公開日 2024/01/23更新日 2024/02/15あのサービスの監視・オブザーバビリティ アーキテクチャ選定【前編】 ユーザーや顧客へ信頼性を担保した価値提供をしていく中で、監視・オブザーバビリティの取り組みは非常に重要です。 今回の特集記事では、合同会社DMM.com、株式会社MIXI、株式会社マネーフォワード、パイオニア株式会社、Sansan株式会社、株式会社ZOZOの6社の各サービスを支える監視・オブザーバビリティの仕組みとして各社がどのようなアーキテクチャを組んでいるのか、またそのアーキテクチャにしている背景や意図についてお伺いしました。 自社に近いアーキテクチャやどのようにツールを活用しているかについて、実際の事例を元に参考になれば幸いです。 なお、後編も近いうちに公開させていただきますのでお楽しみに。 合同会社DMM.com（DMMブックス） アーキテクチャ設計の背景・意
【開催報告 & 資料公開】AWS 秋の Observability 祭り | Amazon Web Services
Amazon Web Services ブログ 【開催報告 & 資料公開】AWS 秋の Observability 祭り こんにちは。ソリューションアーキテクト (以下 SA) の高野です。 2023 年 9 月 22 日に「AWS 秋の Observability 祭り」と題したイベントを開催しました。昨今システムを運用する上で重要となってきている Observability をテーマにしたイベントです。ご参加いただきました皆様には、改めて御礼申し上げます。 当日の様子と実施内容 AWS から Amazon CloudWatch をはじめとする Observability 関連サービスの最新アップデートやベストプラクティス、Observability のコード化のメリットをお伝えするとともに、実際に AWS 上のシステムを運用されているお客様 (株式会社 NTTドコモ様、株式会社デイトナ
MLOpsを支えるヤフー独自のモデルモニタリングサービス
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームの開発と運用を担当している黒松です。 ヤフーではオンプレミスにあるKubernetesの上に全社で利用可能なAIプラットフォームを構築しています。昨年8月に公開した「ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に」ではヤフーのAIプラットフォームの全体概要をご紹介しました。ここではその続編として、ブログの最後に触れたモデルモニタリングツールであるDronachをご紹介します。 Dronachはヤフーで内製したモデルモニタリングツールです。YAMLフォーマットで特徴量のデータセットを指定するだけで定期的なデータドリフトの検知と統計情報の集計、結果を確認するダッシュボードの構築、アラ
「ダッシュボード」は「設計」「構築」などと同じくらい重要である Amazonのダッシュボード活用のポイント2つ
技術記事『Amazon Builders' Library』にフォーカスを当てた勉強会「AWS Tech talk Night#5 クラウドネイティブ時代のエンジニアが押さえておきたい ソフトウェアの構築・運用で考慮すべき5つのポイント 〜AWSプリンシパルエンジニアの技術記事をソリューションアーキテクトが解説〜」。ここで、ソリューションアーキテクトの吉澤氏が登壇。まずはAmazonがダッシュボードを重要視している理由と、実際の活用のポイントについて話します。 吉澤氏の自己紹介 吉澤巧氏（以下、吉澤）：それでは「Amazonにおけるダッシュボードのベストプラクティス」というタイトルで、アマゾンウェブサービスジャパン、ソリューションアーキテクトの吉澤からお話しします。 まずは簡単に自己紹介です。私は2022年に新卒で入社した吉澤といいます。現在はソリューションアーキテクトというポジションで働
負荷制限を使用して過負荷を回避する
私は、数年間 Amazon のサービスフレームワークチームで働いた経験があります。私たちのチームは、Amazon Route 53 や Elastic Load Balancing などの AWS のサービスの所有者がより迅速にサービスを構築するのに役立つツールを作成し、サービスクライアントはそれらのサービスをより簡単に呼び出せるようになりました。他の Amazon チームは、測定、認証、モニタリング、クライアントライブラリ生成、ドキュメント生成などの機能をサービス所有者に提供しました。各サービスチームがそれらの機能をサービスに手動で統合する代わりに、サービスフレームワークチームは 1 回統合を行い、設定を通じて各サービスに機能を公開しました。 私たちが直面した課題の 1 つは、特にパフォーマンスまたは可用性に関連する機能に対して、適切なデフォルトを提供する方法を決めることでした。たとえば
【書評】オブザーバビリティ・エンジニアリング | DevelopersIO
(吉井)従来のモニタリングを否定するものではなく、システムの複雑さや規模が増していくことでモニタリングの限界が現れ始め、オブザーバビリティという新しいアプローチが誕生したものと理解しました。 クラウドネイティブによってもたらされる新しい運用コストが、従来の運用作業習慣では処理できないと気付いた結果が、オブザーバビリティだとも言えます。 第Ⅱ部 オブザーバビリティの基礎 第Ⅱ部は、技術的な側面からオブザーバビリティの必要性を解説しています。 構造化イベントを使う システムがどのような状態にあっても、あらゆる質問に答え、データを任意かつ詳細に繰り返し分析でき、完全な抽象度で収集するため 構成要素としてのメトリクスの限界 メトリクスは事前に集計された測定値 あるサービスへの1つのリクエストは、複数のメトリクスで表現される可能性がある 構成要素としての従来のログの限界 非構造化ログは人間には読みや
引き継いだアラートだらけシステムを黙らせて、テスト数を３倍にした - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022 14日目の記事です。 AI・機械学習チームの北川(@kitagry)です。 最近猫を飼い始めました。可愛くて仕方がありません。 元々全然外に出なかったのに、引きこもりが加速されています。 今回は去年、新卒1年目の時に引き継いだアラートだらけのシステムを黙らせた話について書きます。 おもちゃを枕にして寝る猫 引き継いだプロダクトについて 急成長するプロダクトとそれに伴う痛み 一日に20回近く鳴るアラート エンジニアでは対応出来ない場合には編集部向けにアラートを飛ばす 無視しても良いエラーについてはそもそも出さない 結果 システムの開発や横展開によるコードのレガシー化 クラスの責務が分離されていないコードがある 仕様が失われており、ビジネス制約がわからない 結果 変更に対して自信が持てるようになりアジリティが上がった 勝手にテスト
システムの価値を維持・向上させるために必要な“監視” 5つのありがちなアンチパターンとベストプラクティス
人・カネ・ものの足りないスタートアップにおいて、どのように工夫しているか発信する「スタートアップ事例祭り ～監視・モニタリング・セキュリティ編～」。ここではまーん氏が「スタートアップの人たちに捧ぐ監視再入門 in AWS」をテーマに登壇。まずは、そもそも監視をする意味から、監視のアンチパターンを紹介します。 自己紹介 はまーん氏（以下、はまーん）：監視ってまぁ面倒くさいですよね。「メトリクスとログ集めてるだけです」「無視してるアラートが実はいっぱいあるんです」「なんで監視してるんだっけ」。こんなことを思ったことないでしょうか。僕は昔、思ったことがあります。 僕のほうからは、今日の事例祭り始めるに当たってのイントロダクションというか。「システム監視ってなんだっけ」を考えて、AWS上で小さく、そして的確に監視を始めるためのスタートラインに立てるようなお話をします。 はじめましての方ははじめまし
運用上の認識を高めるための Amazon DynamoDB のモニタリング | Amazon Web Services
Amazon Web Services ブログ 運用上の認識を高めるための Amazon DynamoDB のモニタリング Amazon DynamoDB はサーバーレスデータベースです。このサービスは、この分散システムの背後にあるインフラストラクチャの運用と保守に関連する、未分化の困難な作業を扱います。お客様は、API を使用して、テーブルのモニタリングと操作に使用できる操作データをキャプチャします。この記事では、DynamoDB を運用するためにダッシュボードとアラームを構築する際に考慮する一連のメトリクスについて説明します。 DynamoDB によって公開された Amazon CloudWatch メトリクスを使用すると、データモデルのコンテキストで進化するワークロードと DynamoDB の相互作用を理解するのに役立ちます。メトリクスは、適用されるリソースレベルに基づいて、次の 3
自分の環境に合わせた DevOps のモニタリング環境を手に入れる方法 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
皆さん、こんにちは。ソリューションアーキテクトの光吉隆雄です。 皆さんは「AWS ソリューションライブラリ」というページがあるのをご存知でしょうか ? この AWS ソリューションライブラリの中には、すぐにお客様の課題に対応できるよう導入までの手順や AWS CloudFormation のテンプレート等を含めた AWS ソリューション実装 というリファレンスとなる実装パターンが多数掲載されています。ただ、この AWS ソリューション実装はリファレンスであるため、実際の皆さんが抱えている環境にそのまま 100% 合致するような実装かと問われると、そうでない場合もあるでしょう。 このソリューション実装は AWS CloudFormation のテンプレートを利用して構築されています。つまり、 Infrastructure as Code の概念で実装されているため、そのコードを変更することに
AKIBA.SaaS ONLINE #1で「サーバーレスウェブアプリケーションにおける監視」というタイトルで話しました！ #AKIBASaaS | DevelopersIO
お久しぶりです！インターン生のみなみです。 アライアンス統括部でのインターンの一環としてAKIBA.SaaS ONLINEで登壇させていただきました！ セッション概要 今回のセッションではサーバーレスウェブアプリケーションの監視をNew Relicを使ってどんなことができるか？どのように導入するのか？と言う観点で発表しました。 ちなみに「サーバーレスウェブアプリケーション」とはLambdaやFargateがバックエンドであるSPAを例として挙げております。 登壇資料 本セッションの補足説明と関連ブログ AWS Integrationsの導入 New Relicの基本でもあるAWS Integrationsの導入は2021年に利用可能となったCloudWatch Metric Streamsのお陰で「ストリーミング化」、「コスト削減」が出来るようになりました。 New Relicのコンソール
Amazon AWS IoT を使用してアラームとメトリックスを監視する CloudWatch - AWS IoT Core
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon AWS IoT を使用してアラームとメトリックスを監視する CloudWatch AWS IoT を使用してモニタリングできます。これにより CloudWatch、未加工のデータが収集され、 AWS IoT 読み取り可能でほぼリアルタイムのメトリックスに変換されます。これらの統計は 2 週間記録されるため、履歴情報にアクセスしてウェブアプリケーションまたはサービスの動作をより的確に把握することができます。デフォルトでは、 AWS IoT メトリクスデータは 1 CloudWatch 分間隔で自動的に送信されます。詳細については、「Amazon、Amazon CloudWatch イベント CloudWatch、Amazon CloudWatch ログと
Monitoring and troubleshooting serverless data analytics applications | Amazon Web Services
AWS Compute Blog Monitoring and troubleshooting serverless data analytics applications This series is about building serverless solutions in streaming data workloads. The application example used in this series is Alleycat, which allows bike racers to compete with each other virtually on home exercise bikes. The first four posts have explored the architecture behind the application, which is enabl
AWSのエラーログ監視の設定 | ALTUS-FIVE
AWS に サーバーレスなシステムを構築したときのログは、 CloudWatch Logs を使うことになりますが、エラーログの監視設定をするときの手順をご紹介します。 AWS コンソール画面から設定するやり方は、他にも、たくさん記事があるので、本記事では、 コピペで再利用できるように aws cli で設定するやり方で説明します。 大まかな、設定手順は、次のとおりです。 1) SNSトピックを作成 2) SNSトピックにサブスクライバーとしてエラー通知先を登録 3) CloudWatch のロググループにメトリクスを作成 4) メトリクスのアラームとして検出する閾値を設定して、アラーム時のアクションをSNSトピックにする 実際にエラーが検出されると、こんな感じで流れます。 a) ログに "ERROR" の文字列で見つかる b) 対象ロググループのメトリクスフィルタでアラームになる条件が満
CloudWatch Logs を文字列検知してログ内容をメールを送信してみた サブスクリプションフィルター版 | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 アプリケーションや OS のログファイルから特定の文字列をマッチし メール等で担当者へ通知する運用はクラウドにおいても必要です。 今回は CloudWatch Logs に出力しているログファイルから サブスクリプションを使用して特定文字列マッチを行い、SNS で通知する方法を試してみます。 2021年4月13日 更新 Lambda 関数の Python コードを修正しました。 以前のコードですと複数回イベントが発生した際に初回イベントしか通知されないと問題がありました。 ループ処理を加えることより複数回のイベントを取得できるように修正しました。 以前のコードをご利用頂いている方は大変お手数ですがコード修正をお願いします。 構成 ログの流れは以下の通りです
Serverless時代のシステム監視、ノイズ通知だらけな日々を経験しての反省点 - ZOZO TECH BLOG
はじめに こんにちは。ZOZOテクノロジーズBtoB開発部の三好です。 今回はServerlessなシステムの監視、保守、運用を行う中で、これまでやってきたことや、その反省点などを紹介します。マネージドサービスでの開発・運用で同じ苦悩をされている、もしくはこれからマネージドサービスを利用して構築する方々の参考になれば幸いです。 サービス紹介 私の所属するBtoB開発部は、Fulfillment by ZOZO（以下FBZ）を提供しています。FBZはZOZOBASEと自社EC、店舗の在庫を一元化し、在庫切れの無い世界を実現するためのサービスです。 その中で、ZOZOBASEと自社ECをつなげるためのデータ連携API開発を担っています。 なぜ監視をするのか 私たちは、日々APIが正常に稼働しているか、不正なデータが発生していないかを監視してます。マネージドなサービスを使って、Serverles
AWS 監視のための主要なメトリクス
DiskReadBytes と DiskWriteBytes このメトリクスの組み合わせは、EC2 インスタンスに接続されているインスタンスストア（「エフェメラル」）のボリュームに対して読み書きされるバイト数を計測します。これらのメトリクスには、C5 および M5 インスタンスタイプに接続されているすべての EBS ボリュームの I / O データも含まれます。他のインスタンスタイプの場合は、EBS から直接ディスク I / O メトリクスにアクセスする必要があります。このメトリクスを監視すると、アプリケーションレベルの問題を特定できるようになります。たとえば、大量のデータが常にディスクから読み取られていることがわかった場合、キャッシュレイヤーを追加してアプリケーションのパフォーマンスを向上できます。 StatusCheck Failed CloudWatch は、1 分間に 2 回ステー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レガシーなアプリケーションの監視を改善するため最初にやったこと - DMM inside
One Observability Workshop
~スタートアップの人たちに捧ぐ~ 監視再入門 in AWS
