タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Google Cloud のログ管理サービスである Cloud Logging は JSON で出力されたログを構造化ログとして認識します。その際に特別な JSON フィールドを使うとログに特別な属性を与える事ができます。本記事ではそれらの特別な JSON フィールドを用途ごとにまとめて紹介します。 本記事の技術的な内容はほぼすべてこのドキュメント 1 ページに書いてありますが、「実際に UI でどう表示されるのか」と「その特別な JSON フィールドにどんな価値があるのか」はドキュメントにないので参考にしていただけると思います。 Cloud Logging へのログ書き込み Cloud Logging へログを書き込むには大きく 2 つの方法があります。API で LogEntry を直接書き込むか、それ以外かです。 API で直接書き込む方法の場合、メジャーな言語であれば各言語のライブ
GCP の Cloud Run で Node のサーバを稼働させ、Cloud Logging にログを出力して、更にエラーが発生したときは Error Report で通知を受けるというような構成を組む際に、 どのようなケースで「重要度」が正しくマークされるのか どのような形式でログを吐けば Error Report が自動生成されるのか ドキュメントを読んでも、これらのことがいまいちわからなかったので実験してみました。 また、標準の console だけではなく、Node の主要なロガーライブラリーのうち、どれが一番 Cloud Logging と Error Report との相性が良いのかも実験から導き出しました。 前提 ロギング方法 Cloud Run で express サーバを用意し、下記のように文字列と Error をロガーで標準出力および標準エラーに出力 app.get("
Cloud Logging でつくる EKS のログ収集基盤
スタディスト SRE チームの @katsuhisa__ です。SRE チームでは現在、 Teachme Biz の Infra 基盤を EC2 から EKS (on EC2) へ移行するプロジェクトを推進しています。 コンテナの stdout/stderr ログ収集基盤として、GCP の Cloud Logging (旧 Stackdriver Logging) を採用し、Staging 環境への導入を行いました。本エントリでは、導入にあたっての技術的な知見を紹介します。 書くことなぜ Cloud Logging を採用したのかCloud Logging エージェント導入の進め方書かないことKubernetes の用語解説 (e.g. DaemonSet とは何か？)なぜ Kubernetes (EKS) 移行を推進しているかスタディスト Kubernetes クラスタのモニタリング全体
G-genの杉村です。Cloud Logging は Google Cloud (旧称 GCP) 上のシステム等が生成したログを収集・保管・管理する仕組みです。基本的な概念や仕組みを解説していきます。 Cloud Logging 概要 Cloud Logging とは 対象のログ ログの保存先 料金 Cloud Logging の料金 最初から存在するログバケットの料金 ストレージ料金の課金開始 取り込み料金の節約 Cloud Logging が扱う4種類のログ 1. Google Cloudサービスが生成するログ 2. ユーザーが生成するログ 3. セキュリティログ 4. マルチクラウドとハイブリッド クラウドのログ ログの閲覧 閲覧方法 クエリ言語 インデックス ログルーティングとログの保存 ログルーティングとは シンクとは 初期設定で存在するシンク 書き込み ID プロジェクトをまた
Cloud Logging の新しい「tail -f」機能でログをすばやく検索 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 1 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。 アプリやデプロイメントのトラブルシューティングは一刻を争います。Cloud Logging を使用すると、Google Cloud、オンプレミス、その他のクラウドのログの集約、インデックス登録、指標へのログの集約、Error Reporting による固有エラーのスキャンなどのトラブルシューティングをすべて 1 分未満で行うことができます。このたび、ログのストリーミングに 2 つの新機能が加わり、より最新の分析情報をログデータから取得できるようになりました。 多くの Linux ユーザーからのご要望を受けて、tail -f コマンドの動作に似た新しいツールを追加しました。このツールを使用すると、ログファイルの内容をコンソールにリアルタイムで表示できます。また、この人気のツ
Cloud Logging のご紹介 - BigQuery を活用した Log Analytics | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 9 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。 ソフトウェア開発ライフサイクルにおいて、ロギングは重要な要素です。これにより、開発者はアプリのデバッグを、DevOps / SRE チームは問題のトラブルシューティングを、セキュリティ管理者はアクセスの分析を行うことができます。Cloud Logging は、大規模なログを確実に取り込み、迅速にログを見つけるための強力なパイプラインを提供します。本日、Cloud Logging の新しい機能セットである Log Analytics が、プレビュー版で利用可能になったことを発表いたします。BigQuery を活用した Log Analytics を使うことで、ログからさらに多くのインサイトと価値を得ることができます。 Log Analytics についてLog Analy
※この投稿は米国時間 2020 年 6 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 ロギングはクラウド インフラストラクチャの重要なコンポーネントであり、システムとアプリケーションのパフォーマンスを掘り下げるための有用な分析情報を得られます。Google Cloud の Cloud Logging は、ご利用の Google Cloud Platform（GCP）インフラストラクチャのサービスとアプリケーションについて、ログのデータとイベントを保存、検索、モニタリングし、アラートを受け取ることができるサービスです。ログのデータは、ログビューア、コマンドライン、Cloud SDK を使用してリアルタイムで表示、分析できます。 これらのロギングツールは、ログを見つけ、ログに表れている状況を理解するうえで有用です。日々の業務では、ビジネス プロセスまたは技術
【祝GA】 Lambda ExtensionsでLambdaのログをGCPのCloud Loggingに送信してみた | DevelopersIO
CX事業本部@大阪の岩田です。先日Lambda ExtensionsがGAされました(東京リージョンはまだですが)。Lambda ExtensionsはLambdaのモニタリング、可観測性、セキュリティ、ガバナンスのための運用ツールをLambdaに統合する機能で、Lambda実行環境のライフサイクルと連動して外部のサードパーティ製品に直接ログやメトリクスを送信するといったことが可能です。 パブリックプレビュー自体は半年以上前から利用できる状態だったのですが、これまでちゃんと触れていなかったので自分の理解を深めるために簡単なExtensionを実装してみようと思い立ちました。何を作るか考えたのですが、今回はLambdaのログをGCPのCloud Loggingに送信するExtensionを作ることにしました。なおLambdaのランタイムにはPython3.8を利用しています。 Lambda
View logs by using the Logs Explorer | Cloud Logging | Google Cloud
Send feedback View logs by using the Logs Explorer Stay organized with collections Save and categorize content based on your preferences. This document provides you with an overview of the Logs Explorer in the Google Cloud console, which you can use to retrieve, view, and analyze log entries that are stored in log buckets. Viewing and analyzing individual log entries and a sequence of log entries
選定フロー(雑) ログレベルの運用が不要なら＝＞「1.標準Logger」 ログレベルの運用が必要で labelsなどの特殊フィールドの設定をしたい＝＞「2.標準Logger+構造化ログ」 特殊フィールドの設定が不要＝＞「3.純正Handler」 っていう感じになりそう。 方法1.標準Logger/printを使う 一番手軽なパターン。標準Loggerやprintを用いてもログが連携されますがログレベルは連動しません。 func1.py import logging import flask logger = logging.getLogger() logger.setLevel(logging.DEBUG) def main(request): print("PRINT message") logger.debug("DEBUG message") logger.info("INFO me
How Microsoft is expanding cloud logging to give customers deeper security visibility | Microsoft Security Blog
In response to the increasing frequency and evolution of nation-state cyberthreats, Microsoft is taking additional steps to protect our customers and increase the secure-by-default baseline of our cloud platforms. These steps are the result of close coordination with commercial and government customers, and with the Cybersecurity and Infrastructure Security Agency (CISA) about the types of securit
ログベースのアラートは、すべてのログタイプにアラートを開き、新しい通知チャネルを追加して、アラートを数分以内に実行可能にするのに役立つ。 疑わしいIPアドレスアクティビティなどのセキュリティ関連イベントや、ホストエラーなどランタイムシステムの問題があり、ただちにアラートを受け取る必要がある場合に、UIまたはAPIを介して単一のログエントリにアラートを設定できるようになった。 なお、今回のプレビュー提供の一環として、あらゆる種類のログアラートをメールグループ、SMS、モバイルプッシュ通知、Webhook、Pub/Sub、Slackへ送信可能となっており、チームによるアラートの調査および解決を支援する、ドキュメントまたはプレイブックへのリンクをアラートに含めることができるようになっている。 そのほか、ログエントリが一定のカウントに達した後にアラートを受け取りたい場合は、ログベースのメトリックを
Cloud Logging によるアプリのトラブルシューティングがはるかに簡単に | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Logging において、ロギングは Google Cloud で信頼性の高いアプリケーションとインフラストラクチャを運用するために不可欠なものです。そこで、ログをより簡単に保存、検索、制御できるようにする新機能を追加しました。 本日、新しいデフォルトのロギング機能であるログ エクスプローラを発表いたします。ログ エクスプローラ（旧称: ログビューア（プレビュー版））には、トラブルシューティング プロセスでログを詳しく把握して分析するための新しいツールが用意されています。従来のログビューアも残され、従来のビューアとしてアクセスできるようになっています。ログ エクスプローラに新しい機能が追加されましたが、引き続きご利用になれます。 ログ エクスプローラは名前が
Cloud Logging で新たにサポートされる正規表現の使用に関するヒントとアドバイス | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 9 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 お客様からよく受ける質問に「これをログ内で検索する方法は？」というものがあり、多くの場合はロギングクエリ言語に加えて正規表現を使いたいというご要望が伴います。Google はこのほど、クエリ言語に正規表現のサポートを追加しました。これにより、ツールやソフトウェアで使用するのと同じ強力な言語セレクタを使ってログ内を検索できるようになりました。 正規表現がサポートされ、共通クエリと Google ドキュメントに記載されている使用例を活用しても、ペタバイトに及ぶ構造化ログデータや非構造化ログデータを効率的に検索するには技術が求められ、専門家に相談するしか方法がない場合もあります。ロギングのソフトウェア エンジニアリング リードであり、ロギングクエリ言語に正規表現を追加すること
※この投稿は米国時間 2020 年 8 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。 ログは、クラウド デプロイのセキュリティを確保するために不可欠なツールです。このシリーズの最初の投稿では、Cloud Identity ログについて説明し、Cloud Identity 管理コンソールで悪意のあるアクティビティのアラートを設定してクラウド デプロイのセキュリティを強化する方法を紹介しました。今回は、さらに一歩進んで、これらのログの収集を一元化してデプロイ全体のアクティビティを 1 か所に表示する方法を見ていきます。 Google では、Google Cloud Platform（GCP）を使用する企業向けのベスト プラクティスとして、お客様に GCP の Cloud Logging でログの管理、運用、検索、分析を一元化することをおすすめしています。ただ
「Google Cloud Logging Python 3.0.0」では、Python開発者がGoogle Cloudからログを送受信しやすくなり、アプリケーションで何が起こっているかをリアルタイムで把握できるようになる。 従来バージョンでは、App EngineとKubernetes Engineのみをサポートしており、ライブラリがネットワークを通じてログをバッチ送信していたことから、Cloud RunやCloud Functionsなどのサーバレス環境では、ログをドロップする場合があることが報告されていた。 「Google Cloud Logging Python 3.0.0」では、サポートされている環境でGCPの組み込みの構造化JSONロギング機能を利用することでこの問題を解決しており、ライブラリが構造化ロギングをサポートする環境で実行されていることを検出すると、標準出力に出力され
Cloud Logging Checklist
Effective logging is an essential foundation for any cloud application or service. However, just doing print statements of plain text does not lead to effective logging nor the ability to quickly diagnose issues. This checklist is for serverless cloud services and apps with a focus on AWS. It is a simple, aspirational checklist, and by no means addresses all the possible issues. It is not expected
はじめに Cloud Logging について使い始めるのにまとめたのでその内容を記載する 一部設定についても実施してみたのでその内容も記載する (Logging Storage/オンプレ収集エージェント(fluent-plugin-google-cloud)など) Cloud Logging とは ドキュメント： https://cloud.google.com/logging/docs/basic-concepts?hl=ja Google Cloud のオペレーション スイート サービスの一部 ログのストレージ、ユーザー インターフェース（ログ エクスプローラ）、ログをプログラムで管理する API から構成される Logging では、ログエントリの読み取りと書き込み、ログのクエリができ、またログのルーティングと使用方法を制御可能 ログの種類 ドキュメントとその先のリンク先を参考に表
※この投稿は米国時間 2020 年 8 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。 クラウドに移行する組織の増加に伴い、マシン生成されるデータ量が急激に増大し、多くのチームにとってデータの重要性も高まっています。たとえば、ソフトウェア エンジニアや SRE は、新しいアプリケーションの開発や、信頼性を改善するために既存アプリのトラブルシューティングを行うにあたりログを活用します。セキュリティ オペレーターは、脅威の検出や対処、コンプライアンス要件への対応にログを活用します。また、適切に構造化されたログからは、ビジネスの成長の糧となる貴重な分析情報を得られます。そのためには、まず適切なツールを使ってログを収集、保管、分析する必要があります。しかし多くの組織が、大量のログの保管は費用がかさむうえに管理が難しいと考えています。 Google Cloud Lo
はじめに Cloud Loggingを使用しているのですが、クエリの書き方が分からず苦戦したので公式ドキュメントを読みながら確認した内容を書いています。 ローカル環境からログを送信 こちらの公式ドキュメントに載っていいます。 今回は、nodeのwinstonを使ってアップロードしてみました。 // Imports the Google Cloud client library for Winston import { LoggingWinston } from '@google-cloud/logging-winston'; import winston from 'winston'; // Creates a client const loggingWinston = new LoggingWinston({ projectId: 'your-project-id', keyFilena
Routing and storage overview | Cloud Logging | Google Cloud
Send feedback Routing and storage overview Stay organized with collections Save and categorize content based on your preferences. This document explains how Cloud Logging processes log entries, and describes the key components of Logging routing and storage. Routing refers to the process that Cloud Logging uses to determine what to do with a newly-arrived log entry. You can route log entries to de
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Logging 構造化ログの特別な JSON フィールドまとめ
NodeでのCloud LoggingとError Reportの最適な使用方法を実験で導き出す
Cloud Loggingの概念と仕組みをしっかり解説 - G-gen Tech Blog
Cloud Logging のイベントをリアルタイムで検出して対応する | Google Cloud 公式ブログ
(Python)Cloud FunctionsからCloud Loggingへのログ連携方法の比較
Google CloudのCloud Logging、ログベースのアラートをプレビュー提供
Cloud Logging を使用してログを一元管理 | Google Cloud 公式ブログ
Google、「Google Cloud Logging Python 3.0.0」をリリース
Google Cloud のログ設定 Cloud Logging の概要と一部設定など - Qiita
バケットリスト: Cloud Logging の最適なログの保管と管理 | Google Cloud 公式ブログ
Cloud Loggingのクエリ言語をまとめていく
www.lifehacker.jp
news.yahoo.co.jp
www.gadget2ch.com
yularihappysmile.com
kakuyomu.jp
togetter.com