＜この記事の著者＞ ばんか（bamka） - Tech Team Journal Web制作会社の会社員（Webディレクター）として働きつつ、個人でブログ／メディアライターとしても活動するパラレルワーカー。 ChatGPT等AIを公私で駆使し、ITツール・ガジェットを用いて人々の生活をより豊かにするための活用術を提供するブログも運営。 タスク管理、得意ですか？ 自慢じゃありませんが、私は苦手です。あまり好きではありません。 Webディレクターとしては、プロジェクト管理・タスク管理は必須スキルなので、一般的には「上手にやれている方」なのかもしれません。ですがいまだに苦手意識は抜けないままです。 なんで苦手なのかなぁと思い返してみると、要因はいくつか思いつきますが、中でも最も根深い問題は「気持ちに頼りすぎる」という点にあるように思います。 【目次】 やる気の高いときに設定するから長続きしない
三行で FireLens を使うことで ECS で稼働するアプリケーションのログ転送を簡単に実装できる しかし、ドキュメントに記載されている設定例をそのまま利用しただけでは実はログの取りこぼしがあった ログの取りこぼしを防ぐためにコンテナ間の依存関係とHealthcheckの設定を行った FireLens とは FireLens を簡単に言うと、「ECS のタスク定義の記述だけで Fluent Bit / Fluentd を使ったログ転送用のサイドカーコンテナが利用できる機能」でしょうか。 FireLens という個別のサービスやソフトウェアが存在するわけでは無いようです。 詳細は以下を参照ください。 症状 私が関わったとあるサービスでは ECS を使ってアプリケーションを稼働させていて、アプリケーションのログは FireLens により Fluent Bit を使ってログ転送を行っていま
修正前のスクリプトと生成AIとのやりとり スクリプトの前提条件は、この内容と同じです。 まず、修正前の「HTTPステータスが200以外のメソッド、URIなどを出力するスクリプト」です。 HTTPステータスが200以外のメソッド、URIなどを出力するスクリプト import os import glob import pandas as pd log_directory_output_filesを指定するCSVファイルパスを変更してください config_file = "C:/performance/scripts/config/http_status_not_eq200_requests_config.csv" アクセスログフォーマットの列名 columns = ["host_ip_address", "remote_hostname", "date", "time", "method_u
UbieにおけるGo言語のエラーハンドリング
背景 Ubieでは以下の記事にあるように、一昨年から新しく始めるプロジェクトにはGoとTypeScriptを積極的に採用しています。私は本来プロダクトセキュリティが主な専門領域なのですが、公私ともに普段からGoでツールやサービスの開発をしているため、社内のGo言語の普及をサポートしたりプロダクト開発に参加したりしています。 Go言語で開発したことがある方はご存知かと思いますが、Goは標準パッケージで提供されているエラーハンドリングは最低限の機能しか提供されていません。これは、CLIツールなどではエラーの内容が簡潔に表せてよいのですが、サーバサイドアプリケーションのようにエラーにまつわる情報を詳細に残してあとから調査に利用する、という場面では不向きです。特に本番環境でしか再現しないようなエラーの場合は、いかに関連情報を残せているかが、問題の解決に大きく影響します。 先日も話題になっていました
設計カンファレンス extends OOCの発表資料です。
三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析を行うことで、セキュリティインシデントの早期発見や対応、コンプライアンス要件の達成が可能になります。 このようなログ一元管理を実現する代表的なソリューションは、そう、皆様よくご存知のSIEM。我らが「Security Information and Event Management」であります。 私はSIEMを、新卒で入社した大手企業でSOC(Security Operation Center)として触れ、その後ユーザー企業でもOSSやAWS GuardDuty（？）などの形で利用す
ログ調査基盤を構築してみた
こんにちは。 株式会社ココナラのインフラ・SREチーム所属の かず です。 システム運用において、有事の際に迅速かつ適切なシステム稼働状況の確認は欠かせません。 その手段の1つとして、ログの調査や分析の効率化は切っても切れない関係です。 システムが成長するにあわせ、ログの種類や量が多くなり、結果としてログの調査や分析が難しくなるのはよくある話かと思います。 弊社でもサービスのグロースに伴って、ログの種類や量が多くなり、結果としてログの調査や分析で課題を抱えていました。具体的には以下の2点です。 ログから原因調査を行うには、複数ログを横断・突き合わせが必要 ログの追跡に必要な情報がログに出力されない場合がある そこで、課題への対応としてログ調査基盤の構築を行いました。 本記事では背景や苦労したこと、効果についてご紹介します。 複数ログの横断調査実現に向けて ログ調査基盤の構築 苦労したこと
良さそう ITインフラの“体調”を一元監視で早期に異常検知 https://t.co/TumixShIsb @PRTIMES_JPより — adachinSRE (@adachin0817) February 26, 2024 皆さんお久しぶりです！1ヶ月ぶりのブログとなってしまいましたが、本日はなかなか面白いモニタリングツールを発見しました。 きっかけはXでの呟きからなのですが、メタップスホールディングスさんがSaaS向けイベントログの一元監視サービス「srest(スレスト)」をリリースされました。非常に気になっていたので使ってみようかなと思っていたところ！開発メンバーが「お初ですが、飲みいきましょう！」と誘われたので、いざ新大久保へ！ 今日は「srest」というイベントログの一元化ツールを開発しているメンバーと新大久保でポッサム会！みんな超面白い方でした！来週辺りに個人でsrest触っ
この記事の対象者 エディタ: IntelliJ(2023.3.4 Ultimate Edition) TypeScript・JavaScript以外の言語も触ったことがある人 console.log()をタイピングしているつもりがついうっかりprint()とか書いちゃう人 そもそもconsole.logってタイピングが長いと思っている人 console.logとか出すんじゃなくてデバッグすればよくね？ってツッコミが来そうですが、 コーディング初心者なんです、慈悲をください〜🔰 結論 IntelliJのスニペット機能、 Live Templatesに好きな形で登録して幸せになろう！ スニペットの一例↓(細かい設定は後述) console.log("🚀====$FILENAME$: L: $NO$ ====🚀") console.log("$VARIABLES$: ", $VARIABL
ゆで卵を食べるときは塩をかけるのと同じように、サーバを書くときはストラクチャードロギングをするのが当たり前といった状況になった昨今。世界のロガーたちはキー/バリュー形式の構造化データを出力すべく、その用途に特化したインターフェイスを獲得するに至っている。 一方、プログラミング言語やフレームワークによってはこの辺のサポートはけっこうまちまちで、人によってストラクチャードロギングに対しての理解度やロガーへの要求水準はけっこう違っているようである。 私がサーバを書く仕事を始めた頃なんかは、使っていたウェッブフレームワークワークはさも当然のように人間にとって読みやすく整形された文字列をログに吐いた。ほかにオプションはなかった。「ふーん。そんなもんかな」と思いながら、ログを上から下に読んでいたが、しかしこれは一件のログレコードが改行されまくっていたので、キーワードでgrepするだけで当然のようにぶっ
【Microsoft365参考書】"MailItemsAccessed"や"Send"などの監査ログがE5ライセンス以外でも利用可能に？ - 社畜の所業
メールアイテムアクセスに関する操作を監査ログで確認する場合、Search-MailboxAuditLog にて取得可能な Operations の"MailItemsAccessed" のログを確認することで可能です。 "MailItemsAccessed" は、今までは、E5 または E5 コンプライアンス アドオン サブスクリプションライセンスが付与されているメールボックスでのみ取得可能なログであり、E3 ライセンスが割り当てられているメールボックスでは取得が行えないログでした。 MC711333 では E5 コンプライアンス アドオン サブスクリプションライセンスが付与されているメールボックスのみで取得可能であった以下 3 つのログ取得が E5ライセンス以外が割り当てが行われているメールボックスでも取得可能となり、2024年3月上旬からプレビュー版のロールアウトが開始され、2024
PHPerKaigi2024 の登壇資料です。 履歴データテーブルとの向き合い方 https://fortee.jp/phperkaigi-2024/proposal/47cf9f17-825a-4021-bf33-86e4a62bc222
sumirenです。 技術顧問やSREをしています。 背景 2024年現在、OpenTelemetryが盛り上がっており、ベンダへの依存度を下げてテレメトリを収集・送信することがトレンドになってきているように思います。多くの企業様で、OpenTelemetry対応のオブザーバビリティバックエンドを選定されているのではないでしょうか。 一方で、E2E自動テストツールなどもそうですが、デベロッパーツールは画面やUXの情報がパブリックな情報として出回ることが少ないように思います。オブザーバビリティバックエンドの場合、シグナル3種に関してOpenTelemetryベースでもフルに機能が活用できるのかという疑問もあります。 そうしたこともあり、オブザーバビリティバックエンドは実際にトライアルしてみないと選定しづらいです。監視など狭義のオブザーバビリティ外の機能や、OpenTelemetryの範囲外の
構造化ログのプラクティスをあちこちで調べていたら、logfmtを推奨する記事を見つけたので調べてみました。 先に結論を言うと、JSON linesを使っておくのが良さそうです。 logfmt について logfmtとはスペース区切りで key=value を並べたフォーマットです。文字列にはクォートとエスケープによってスペースや改行を含められます。 at=info method=GET path=/ host=mutelight.org fwd="124.133.52.161" dyno=web.2 connect=4ms service=8ms status=200 bytes=1653 (logfmt から引用) あちこちで logfmt のリファレンスとして紹介されているのはこの記事です。 https://brandur.org/logfmt 発明されたのはどこか分かりませんが、流行
瞬間的に緊張を取り除く方法 - クソログ
緊張を取り除く方法。 この続きはcodocで購入
AWSのログ管理ベストプラクティス
Justtechtalk #9でお話した資料になります！
CREがエンジニアリングで業務効率化をおこなった話 〜Datadogから異常に重いリクエスト数を自動集計〜 - ANDPAD Tech Blog
こんにちは。CREの山本です。 今回はCREがエンジニアリングで業務効率化をおこなった話について書こうと思います！ 私は誰か 今回初めてブログを書きますので簡単に自己紹介させてください！ 2022年にアンドパッドへ入社し約1年半の間、ANDPAD施工管理を担当しています。 前職では自社開発のデータベースの監査アプリケーションやデータベース移行補助ツールなどのテクニカルサポートをおこなっていました。 常日頃「プロダクトと顧客」の間に立つものとして、課題に対して技術的に向き合っています。 大工一筋の父親のもとで育ちましたので、私なりに建築・建設業界の役に立ちたいとアンドパッドで充実した日々と共に業務に励んでいます！ 前提 アンドパッドのCREは、外形監視として利用しているDatadogを活用して異常に重いリクエストの確認、集計を行なっています。 そして検知回数、遭遇ユーザー数、全体のログ数など
フロントエンド監視の全体像と実現方法
必要性 フロントエンドの監視はバックエンドやインフラのそれらと比べ、優先度が低くなりがちです。 バックエンドやインフラでの障害はサービス継続に直結するため、これは当然と言えば当然なのですが、別の理由もあると考えています。 それは計算リソースをサービス提供側が管理していないことです。 例えばアプリケーションがインフラとして AWS を利用しているなら、AWS のリソースを管理するのはサービス提供側です。 これは AWS 以外のクラウドサービスプロバイダやオンプレであっても同様です。 一方でフロントエンドはエンドユーザのブラウザ上で動作し、これを管理しているのはエンドユーザです。 フロントエンドはその性質上、監視の「盲点」になりがちです。 しかしフロントエンドはエンドユーザが直接触れるものであるため、そこで何が起きているかサービス提供側は正確に把握する必要があります。 マイルストーン フロント
フロントエンドで収集するべきテレメトリは何か
先日『フロントエンド監視の全体像と実現方法』という記事を投稿しましたが、その中でテレメトリについては触れませんでした（※本記事は上記記事の内容を知らなくても読み進められるようになっています）。 というのは、テレメトリは可観測性を実現するための重要な概念ではあるものの、テレメトリを軸に監視を考えるのは手段の目的化になってしまうと考えているからです。 重要なのはサービスにとって何を観測するべきかを考えることであり、テレメトリはそれを設計や実装に落とし込む際に現れるものです。 一方で監視に対する理解を深める上では、テレメトリを軸に考えることも重要でしょう。 そこで本記事ではフロントエンド監視においてどのようなテレメトリを収集するべきか述べていきます。 監視 SaaS と OpenTelemetry (OTel) Datadog, New Relic, Sentry のいずれかを利用することを考え
GitHub - Textualize/toolong: A terminal application to view, tail, merge, and search log files (plus JSONL).
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
DuckDB メモ
モチベーション JSONL を読み込んで解析するツールが欲しかった ログを読み込ませたいので圧縮機能は必須 自社のパッケージ製品が出力する JSONL を読み込んで解析できる仕組み 顧客が問題解析を気軽にできるようにしたい 顧客向けツールとして提供したい つまり顧客環境で動かしたい 1 バイナリ OSS として提供したい Apache-2.0 として公開したい ログファイルは大きくても 100 GB は行かない もともと Go + SQLite + JSONB で検討していた SQL で書きたい SQLite ファイルとして書き出したい SQLite ファイルフォーマットは信頼できる S3 などにファイルを置いておくだけにしたい クラウド版に組み込みたい 顧客毎に duckdb ファイル作ればいいのでは？ duckdb ファイルダウンロードできると便利そう DuckDB https://d
SIEM on Amazon OpenSearch Serviceによるセキュリティログの可視化について - SEGA TECH Blog
はじめに 株式会社セガ ｹﾞｰﾑｺﾝﾃﾝﾂ&ｻｰﾋﾞｽ事業本部技術本部開発IT支援部の長谷川と申します。今回はセキュリティログの活用法の一例としてSIEMを用いた可視化方法を紹介します。 目次 はじめに 目次 背景 Opensearch(Elasticsearch)とは SIEMとは Cognitoとは ユーザプールとは IDプールとは アーキテクチャ 設定方法 Cognitoによるログイン セキュリティログの可視化 補足 まとめ 参考 背景 昨今セキュリティ対策不足によるデータの抽出やサービス操作される被害が発生しており、ログからユーザの行動を抽出し、可視化するまでを一括管理できるものが求められていました。さまざまなサービスの中でSIEM on Amazon OpenSearch Serviceにてログ情報からユーザの行動を可視化・検索により原因を改善するができるため、利用し始めました。
コスト削減成功！Amazon Auroraの監査ログをS3に保存する仕組みを構築した話 - Classi開発者ブログ
こんにちは。プロダクト本部Growth部でエンジニアをしている id:ruru8net です。 前回はこちらの記事を書かせていただきました。 tech.classi.jp 今日は前述したSRE留学中にやったことの中の「Amazon Auroraの監査ログをCloudWatch Logsを経由せずS3に保存する」を紹介したいと思います。 前提 前掲の記事にもある通り、弊社のAWSにかかっているコストを調査したところCloudWatch Logsの特にAmazon RDSの監査ログの保存にコストがかかっていることがわかりました。今回は弊社で最も使用しているAmazon AuroraのMySQLのみを対象として、監査ログをCloudWatch Logsを経由せずS3に保存する仕組みを作成しました。 作成した仕組み こちらのオープンソースの仕組みを参考に構築、またLambdaのソースを使いました。
CloudWatch Logs Insightsを利用し、VPCフローログで送信元/先をIPやCIDRに絞り込み分析してみた | DevelopersIO
はじめに Amazon CloudWatch Logs Insightsを利用して、送信元や送信先を特定のIPアドレスやCIDRに絞り込み、VPCフローログを分析しました。 VPCフローログは、VPC内のネットワークインターフェースを通過するIPトラフィックの情報をキャプチャする機能です。 VPCフローログは、CloudWatch LogsやS3に保存することができ、またKinesis Data Firehoseに送信することも可能です。 VPCフローログの作成と保存方法は、下記を参考にして下さい。 この記事では、サブネットに適用したルートテーブルのルーティング設定のうち、不要なルーティング設定かどうか判断するため、VPCフローログをCloudWatch Logs Insightsで分析する機会がありましたので、具体的なクエリを紹介します。 1つ送信元IPから１つの送信先IP 単一の送信元
はじめに 集約前のブックマークの使い方 集約後（今）のブックマークの使い方 はてブからRaindropへブックマークを移す Raindrop（有料プランの機能含む）の使い勝手 ブラウザやObsidianとの連携 おわりに はじめに Evernoteの有料プランをやめてメモ・記録用のツールをObsidianに完全に切り替えたことと合わせて、2023年はブックマークの管理もRaindrop.io（以下「Raindrop」）に集約しました。個人的にはかなり大きな変化です。 raindrop.io 切り替えに合わせてRaindropを有料プランにしたのでその使用感についても簡単に書いておきます。 集約前のブックマークの使い方 Raindrop自体は無料プランで数年前からはてなブックマーク（以下「はてブ」）と併用していて、だいたい次のような使い方をしていました。 Raindrop：はてブ以外の場で保
IAMのポリシー設定画面 IAMユーザの作成方法の詳細は、IAM公式ドキュメント、または他の参考資料をご確認ください。 IAMユーザを作成する時に、「アクセスキー」と「シークレットアクセスキー」が作成時のみ画面に表示されます。これらのキーは後ほどログを取得する際に利用しますので、大切に保管してください。 AWSプロファイルを手元のPCに設定する方法もありますが、今回はプロファイルを生成せずに環境変数でコードに渡す方法で説明します。AWSプロファイルの設定を行いたい場合は、AWS公式ドキュメント（Configure the AWS CLI） を確認してください。 環境変数への登録と確認 「アクセスキー」と「シークレットアクセスキー」を環境変数に設定します。 $ export AWS_ACCESS_KEY=****************JUMP # 作成したアクセスキー $ export
もっと log/slog を使おう
はじめに この記事は Go アドベントカレンダー 2023 の最終日 25 日目の記事です。 皆さん log/slog 使ってますか。便利なのでぜひ使ってください。 slog は構造化ログを出力する為のパッケージで Go 1.21 で導入されました。これまでも zap や zerolog といったサードパーティ製のロガーを使う事で構造化ログを出力する事ができましたが、構造化ログを出力する機能が Go の標準ライブラリになりました。 slog とは 通常の log パッケージは、時刻とメッセージの単純な出力になります。
この記事はRuby Advent Calendar 2023の21日目の記事です。 Rubyでワンライナーでテキストの処理をしたいと思ったことはありませんか？ありますよね！ そういったときに便利に使えるCLIツールのrfを作ったので紹介します。 モチベーション 具体例 インストール方法 rfの仕様 フィルタ レコードとフィールド コマンドと評価結果 特殊変数 定義済みメソッド match / match? メソッド at_exitメソッド 言語拡張 StringとInteger/Floatを直接計算、比較できる Hashのキーをメソッド名として扱える 未定義の変数にInteger/Float/String、Arrayへの要素追加ができる おわりに モチベーション 普段のオペレーションの中で、ファイルの特定の文字列を含む行を出力するにはgrepを使うと思います。 grepより複雑なことをやら
Google Cloud Tasksのあれこれ
このエントリーは一休.com Advent Calendar 2023の18日目の記事になります。 一休のいくつかのプロダクトで便利に活用されているGoogle Cloud TasksのHttpタスクあれこれについてまとめます。Httpタスクを使えば、パブリック IP アドレスを持つ任意のHTTP エンドポイントに、キューを経由して、タスクを処理させることができます。 再試行関係のパラメータを動かしながら確認してみる 公式ドキュメントは、https://cloud.google.com/tasks/docs/configuring-queues?hl=ja#retry Google Cloud Consoleから設定できるパラメータは、以下の通り。 最大試行回数 ... 公式ドキュメントのMAX_ATTEMPTS 最小バックオフ ... 公式ドキュメントのMIN_INTERVAL 最大バッ
事例から学ぶクラウドへのOpenTelemetry導入のハマりどころ - ヘンリー - 株式会社ヘンリー エンジニアブログ
ヘンリーでSRE / SDETをしているsumirenです。 この記事は株式会社ヘンリーAdvent Calendar 2023の9日目の記事です。昨日は id:nabeop の カジュアルな社内勉強会 : ギベンの紹介 という記事でした。 背景 ヘンリーでは分散トレーシングにOpenTelemetryを用いています。元々、ログはCloud Runの標準出力をCloud Loggingが拾ってくれるものを見ており、メトリクスもCloud Runがマネージドで取得してくれるものを見ていました。しかし、オブザーバビリティを高め、また民主化するためには、トレースを起点にメトリクスやログなど全てのシグナルを追えるべきだと考え、OpenTelemetryを導入しました。 ローカルでいくつかのマイクロサービスとOpenTelemetry Collectorを立ち上げ、Jaegerで分散トレースを追える
この記事はBASE Advent Calendar 2023の2日目の記事です。 こんにちは！BASE株式会社でエンジニアをしている大津(@cocoeyes02)です。 今回は自分たちが運営しているプロダクトにおいて障害対応をする中で、インシデント発生が観測されてから暫定対応をするまでの初動にあたるフェーズの動きについて書いていきます。 インシデント対応全体に関わる話は別の記事にありますので、そちらも併せてご覧ください！ devblog.thebase.in インシデント発生が観測されてからいかに早く対応に参加できるか インシデント対応の初動フェーズにおいて、いかに早く対応に参加できるかというのは非常に重要なポイントとなります。その理由はいくつかあります。 今開発している機能を将来使うかもしれないユーザが減ってしまうリスクがあるから インシデント発生時は、今現在困っているユーザ（BASEの
この記事は、株式会社カオナビ Advent Calendar 2023 の3日目です。 はじめに 株式会社カオナビの高橋(@kunit)です。 今回は MySQL バージョンアップ(5.7 -> 8.0) で起きた問題とそれに対してどのように対処したのかを書いていこうと思います。 何が起きたのか MySQL 5.7 から 8.0 にバージョンアップをするにあたって、CI およびローカル環境でテストができるように MySQL 8.0 のイメージを作成し、それをつかって各機能の担当者にテストを開始してもらっていたのですが、以下のような事が起きました。 接続を MySQL 5.7 から 8.0 に切り替えただけでテストの時間が3倍くらいかかるようになった そこを変更するだけで3倍遅くなるってやばいぞということで報告してくれた担当者と同じテストを自分でも実施してみると再現性があり、それが以下のどの
連日さまざまなサイバーセキュリティ犯罪のニュースが報じられる中、いまだに日本のセキュリティレベルは高いとは言えない状況にあります。一方で、企業がサイバーセキュリティ対策を進める上では、人材不足や経営層の意識・関心、コスト、導入による利便性の低下など、さまざまな壁が立ちはだかっています。 そこで今回は、株式会社網屋が主催する「Security BLAZE 2023」より、サイバーセキュリティのエキスパートによる講演をお届けします。本記事では、サイバー攻撃によって侵入されることを前提とした、企業側の打ち手について解説します。 今のサイバーセキュリティは「侵入されること」が前提 鈴木暢氏：みなさま、こんにちは。このセッションでは「ログの監視分析とSOCサービス、組み合わせの勘どころ」と題して、ログの分析・監視環境をどのように構成すべきかという情報提供と、ALogを活用した弊社のマネジメントセキュ
Development Division/Platform Team/Sys-Infra Unitの伊豆です。Sys-Infra Unitはインフラエンジニア・SRE 的な役割を担っています。 今回は、ある日突然SSHログインが遅くなったときに調査した内容を共有します。 SSHログインに数分かかる ある日、AWS EC2上で動いている開発環境のSSHゲートウェイにSSHログインすると30秒以上かかると報告がありました。-vvvオプションを指定してSSHログインしてみるとpledge: filesystemというログが出力された後、数十秒から数分程度かかってSSHログインが成功する状況でした。 pledge: filesystemやssh slowなどで検索してみると、主に以下のような対処法が挙げられていましたがどれを試しても状況は改善されませんでした。 systemd-logindを再起動
Go言語のAPIサーバーの冗長なエラーログを40%削減した話 #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。バクラク申請・経費精算エンジニアの@upamuneです。先週末は30kmのトレイルレースがありましたが、今週末はフルマラソンがあるので満身創痍です。 この記事はLayerXテックアドカレ2023の22日目の記事です。 私はなぜか3日分もテックアドカレに入れてしまったのですが、2回目の今回はAPIサーバーのエラーログを40%削減した話をします。 昨日は@tataneによるバクラクの Vue3 移行戦略と詰まったポイント #LayerXテックアドカレ - LayerX エンジニアブログでした。明日は@trsによる入社エントリーです！楽しみですね。 はじめに 弊社では基本的にGo言語を利用してAPIサーバーを実装しています。エラーが発生したら、調査しやすいようにエラーログを出力して調査しやすくしていますが、1つのエラーに対して複数回の冗長なエラーログが出力されるという問題がありました
[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 今回はCloudWatch Logsに異常検出とパターン分析のための機能が3つ追加されたため、それぞれを紹介いたします。CloudWatch Logsを見る際は基本開発中に正常動作しているかの確認や本番稼働中に不審な動作が起きているか確認する際の2パターンが多いかと思います。今回の機能は後者の通常とは異なるパターンが出た際に、障害箇所の特定や原因調査のために役立つ機能になるかと思います。 結論 今回のアップデートではCloudWatch Logs Insightsに1,2の機能が、CloudWatch Logsに3の機能が追加されたことだけ認識すれば大丈夫です。開発中や障害対応の訓練や発生時などに試してみて下さい。 パターンビュー 似たようなパターンのログを集約して何が、いつ発生しているかをまとめて表示し、エラー傾向の分析などができる 比較モード 検
![[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
Amazon CloudWatch のクエリを自然言語で生成できるようになりました (プレビュー) #AWSreInvent | DevelopersIO
どんなクエリを投げれば良いのか分からない こんにちは、のんピ(@non____97)です。 皆さんはCloudWatch Logs InsightsやCloudWatch Metrics Insightsにどんなクエリを投げれば良いのか分からないなと思ったことはありますか? 私はあります。 CloudWatch Metrics Insightsにはビルダー機能は存在しますが、それでも慣れていない方からするとハードルは高いように思えます。 今回、アップデートによりCloudWatch Logs InsightsやCloudWatch Metrics Insightsにて自然言語でクエリ生成ができるようになりました。 (2023/11/26時点ではプレビューです) AWS Blogsも公開されています。 Use natural language to query Amazon CloudWat
全部主観であり自分の抱えてる感想 およそ3年に及ぶパンデミックによるリモートワークを経験した結果「直接会って話したほうがはやい」といってメンバーの出社を求める組織は徐々に増えていると感じる。 出社だけではなく、例えば不動産仲介業者とのやり取りも、メールで質問した内容に対して電話で答えが返ってくるというように、事あるごとに口頭での同期的なコミュニケーションを取りたがる人はいる。 「話したほうがはやい」という人は大抵伝える時の細かいニュアンスや表情から読み取れるテンションが直接会ったほうが伝わるしお互いレスポンスを待たなくて速くて楽だと言う。 それは全く否定しない。間違いないと思う。そもそもタイプミスや誤変換を気にしながらキーボードを打つよりも発話したほうがコミュニケーションは速いに決まってる。レイテンシーが発生するのは声を届ける媒体だけだ。 だけどそれは速い、もしくは楽なだけだ。わざわざ言わ
[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ AWS Lambdaのロギング設定を制御できるようになったというアップデートがあったので、今回試してみます！ 何が嬉しいか 今までCloudWatch Logsに対するLambdaのロギング設定は、以下がデフォルトで固定され、変更できないようになっていました。 ログ形式：Text ログレベル：なし ロググループ名：/aws/lambda/<関数名> ※なおログ形式については、今までもPowertoolsを使用すればJSONに変更可能でした。 上記3点について、今回のアップデートによりLambdaのコンソールまたはAPIを通じて柔軟に設定できるようになりました！ 試してみる それではどのようにログ設定を変更できるようになったか試してみましょう。 公式では以下のブログで使い方が紹介されています。 上記のブログはLambdaのランタイム
![[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f047ea142eff06ac03d91ff00ec5d6bf61e4284/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-lambda.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
タスク管理が苦手な人の共通点 - paiza times
FireLensでログ転送するときは依存関係とHealthcheckを設定しないとログを取りこぼすことがある
Webサーバーのアクセスログをスクリプトで解析してみた(続き) - Qiita
ログラスを支える設計標準について / loglass-design-standards
ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ
[SRE][Monitoring]イベントログの一元監視サービス「srest」を使ってみた！
console.logって打つの面倒だよねって話 - Qiita
ZLogger v2の新ストラクチャードロギング体験 - hadashiA
履歴データテーブルとの向き合い方_PHPerKaigi2024
【OpenTelemetry】オブザーバビリティバックエンド8種食べ比べ
構造化ログのフォーマット logfmt vs JSON lines - methaneのブログ
石川・穴水の避難所、４０～５０代の集団が自販機破壊し金銭盗む…目撃者「避難所がパニックに」- 読売新聞オンライン - archive.today
はてなブックマーク（とEvernote）からRaindrop.ioへの切り替え - 誰がログ
AWS CloudWatchのログをpandasで解析し、エラーの状況を可視化する | gihyo.jp
rfコマンドの紹介: Rubyでテキスト処理を便利に - ぶていのログでぶログ
インシデント対応入門 〜初動フェーズ編〜 - BASEプロダクトチームブログ
MySQL 5.7 から 8.0 にしたらテストが激遅になった - Qiita
企業がサイバー攻撃を「防げる」という考え方は時代遅れ 攻撃を受けて「侵入される」前提のセキュリティ対策
SSHログインの失敗が大量に記録されているとSSHログインが極端に遅くなる - Repro Tech Blog
「直接会って話したほうがはやい」は速いだけ｜araya