はじめに こんにちは。inductorです。 今回は、社内のSRE技術共有会にて、MLOpsチームにおける監視の考え方や取り組みについて発表したので、その資料を展開します。 speakerdeck.com ご意見ご感想お待ちしております！
社内勉強会にて監視に関して発表した資料を公開します - inductor's blog
はじめに こんにちは。inductorです。 今回は、社内のSRE技術共有会にて、MLOpsチームにおける監視の考え方や取り組みについて発表したので、その資料を展開します。 speakerdeck.com ご意見ご感想お待ちしております！
メルカリ・メルペイメンバーのリモート勤務に張り付く「かわいすぎる存在」 #メルカリな日々 | mercan (メルカン)
こんにちは、メルカン編集部のnatukifmです。リモート勤務となった企業も多く、各社から独自のTipsが発信されていますね。 そういえば、リモート勤務中のメルカリ・メルペイメンバーの様子は？と話を聞いてみたところ、思わぬ存在による監視体制が強いられている人たちがいました。その「思わぬ存在」の正体は…？ 張り付いて離れてくれない、猫さまによる監視体制！ Looking for the bug with my cat… ＜@haitoさん（メルカリBackendエンジニア）＞ 見張り→数秒後に飽きるの図！ ＜@yskzさん（メルカリ政策企画）＞ PCから目を離したらこれ！！ ＜アキちゃんと@toshi0607さん（メルペイBackendエンジニア）＞ なぜそこなのか。 ＜@paniniさん（メルカリAndroidエンジニア）＞ 目をそらしているけれど、監視されていることは確か。 ＜@yuzu
女性声優と自動化 - Qiita
この記事は「Wake Up, Girls! Advent Calendar 2019」18日目の記事です この記事では推しの声優の情報を自動的に収集する仕組みである @yoppinews bot の開発や運用についてご紹介します。 1. はじめに: 趣味を自動化して怠惰なファン活動をしよう 声優のファン活動のなかで、どのような作品やイベントに出演するのかといった情報をおさえておくのは重要でありながら意外にも時間やコストを要します。 チケットの争奪戦が予想される場合、オタクはひっそりと情報を仕入れそっと eplus で抽選に申し込みます。気づけば行きたかったイベントの抽選は終わっているなんてことが初期にはよくありました（遠い目）。 だいたい同じ演者を追っている人間を twitter でフォローしておくと関連する情報が入ってきてベンリですが、声優オタク人生は山あり谷あり他界ありで、「お前が一番
inotify-toolsでファイルやディレクトリを監視する - Qiita
Linux2.6から追加されたinotifyというAPIは、ファイルやディレクトリーでオープン、クローズ、移動/名前変更、削除、作成、属性の変更などといったファイルシステムイベントを監視することができます。 inotify API群を利用して自分でファイルシステムイベント監視プログラムを実装することができますが、 今回は、inotify-toolsというinotifyを利用したファイルシステムイベント監視ツールを使用します。 inotifyイベント inotifyでは対象のファイルまたはディレクトリに対して以下のファイルシステムイベントが監視できます。 ※対象がディレクトリの場合は、ディレクトリ自身とその配下のファイルが対象となります。 イベント名 イベント発生タイミング
Prometheus でアプリのログを監視してアラートを発火する - GMOインターネットグループ グループ研究開発本部
レガシー環境のクラウド化およびセキュア化担当の D.M. です。 最近流行しはじめた監視ツール Prometheus は非常にシンプルで利用しやすいツールです。主に Docker やサービスディスカバリが利くクラウドとの相性がウリで Web にはいろいろな記事があがっています。特に AbemaTV、 freee が大々的に利用しているようです。 AbemaTV の事例 「Monitoring at AbemaTV」 http://sssslide.com/speakerdeck.com/nghialv/monitoring-at-abematv freee の事例 「Prometheus 監視で変わるもの」 https://speakerdeck.com/sugitak/prometheus-jian-shi-debian-warumofalse 基本的な事柄の詳細は他の記事に譲りますが、
【運用監視ツール比較】ZABBIXからPrometheusへの移行を開始しました - WILLGATE TECH BLOG
概要 運用監視ツールの比較検討をして、ZABBIXからPrometheusへ移行することにしました。 その経緯を書きます。 現状 弊社ではAWSやさくらのクラウド、ConoHaのクラウドなど様々なIaaS/VPSを使って暮らしニスタやMillyなどのサービスを展開しています。 監視対象VM数は170台程度です。 抱えていた課題 重い 監視対象が増えるにつれて重くなってきて、素早く情報を見たい時にストレスになっていました。 ZABBIXのDBはMySQLを使っていましたがパラメータチューニングが必要で、運用に手間がかかっていました。 サポート切れ ZABBIXサーバのバージョンが2.2で、サポート期限の終了が2019年8月と近づいてきていました。 （詳細は公式情報をご覧になってください） スクリーン作成の難しさ ZABBIXはグラフをまとめたものをスクリーンと呼んでいるのですが、スクリーン作
【読書メモ】モニタリングでの4大シグナル/USEメソッド/REDメソッド - febc技術メモ
最近、監視やモニタリング熱が自分の中で高まってきてます。 その一環で先月"Prometheus Up & Running"を購入しました。 Prometheus: Up & Running: Infrastructure and Application Performance Monitoring 作者: Brian Brazil出版社/メーカー: O'Reilly Media発売日: 2018/07/28メディア: ペーパーバックこの商品を含むブログを見る 少し前にようやく届いたので読んでいってます。 今回は読書のメモとして調べたサイトなどを残しておきます。 Prometheus Up & Runningに出てくるUSEメソッド/REDメソッド とりあえずPrometheus Up & Runningのchapter3まで読みました。 chapter3ではREDメソッドとUSEメソッドと
10年モノのインフラを3年がかりでカイゼンした - Qiita
CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと
次世代監視の大本命！ Prometheus を実運用してみた - Qiita
こんにちは！freeeでインフラゾンビをやっている @sugitak です。ゲームではレベルを上げて物理で殴る派です。 freee ではたまにインフラエンジニアの数が減るのですが、その減ったインフラエンジニアはインフラゾンビへと進化し、社内を闊歩します。インフラゾンビは主に開発チームに所属して、アプリっぽいインフラの仕事をインフラからアプリ側へと持っていきます。デプロイとか、Dockerとか、Jenkinsとかの、いわゆる DevOps 系のところですね。こうすることで開発者は手を出せるものの自由度が増えるし、インフラはより本来のインフラとして純度を上げていける、 so, win-win ってわけです。 さて、そんなわけで監視です。freee Engineers Advent Calendar 2016の9日目の記事として、 Prometheus による監視が最高なのでみんなもっと使おうと
Prometheus - Monitoring system & time series database
«Even though Borgmon remains internal to Google, the idea of treating time-series data as a data source for generating alerts is now accessible to everyone through those open source tools like Prometheus [...]» — Site Reliability Engineering: How Google Runs Production Systems (O'Reilly Media) Open Source Prometheus is 100% open source and community-driven. All components are available under the A
Linuxサーバにログインしたらいつもやっているオペレーション - ゆううきブログ
主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /
ScaleOut | Supership
「ミライリアルの幸せを、デジタルの力で創る」ことを目指すSupershipグループの社内報です。日々の出来事、メンバーの働く様子や声、未来への想いなど、Supershipグループの”Be Super”なストーリーをみんなでシェアしていきます。
ログ監視ツール Logwatch を使ってみる – シングスブログ
シングスブログ 中小企業のマーケティングやブランディングのコンサルティング。事業開発 (ビジネスモデルの開発)、デジタルマーケティングやウェブサイト改善など事業の持続的・長期的な成長・発展に貢献できるサービスを提供しています。 2018.2.20追記: Logwatchのコマンドが変わっていたので、書き直しました。ログ監視ツール Logwatch を使ってみる (アップデート版) Logwatch は、いろいろなログをまとめて集計し、レポートとして毎日定期的にメールで届けてくれる。不正アクセスや不具合の発見とサーバの監視に便利なツール。 Logwatch のインストール Logwatch は Perl で書かれていて Perl 5.8 が必要です。 yumからのインストールは、 $ yum install logwatch で、 ソースからのインストールは、こちらから。 Logwatch
[さくらのVPS]サーバー監視がとても捗るlogwatchを入れてみた
logwatchとは、サーバのログを解析しやすい形に変えて通知してくれる便利な監視ツールです。デフォルトの設定なら、/var/logにあるログをひと通りチェックして、サービスごとに、そして見るべきチェック項目ごとに、見やすいかたち整理してメールで通知してくれる、とても気の利いたサーバ監視ツールです。 チェックしてくれるサービスは環境によって異なると思いますが、僕の環境だとデフォルトで下記のサービスをチェックしてくれています。 たとえばApacheのaccess_logひとつとっても、手作業でチェックするのは（僕にとって）途方もない作業ですが、logwatchが届けてくれるログメールを見れば、どのIPアドレスからおかしなアクセスがあるとか、エラーレスポンスコードごとに、どのパスに対してのアクセスで何回エラーが出ているとか、ひと目でわかります。 僕みたいな素人でもこうした情報を元にすれば、不正
inotifyでディレクトリにフックかける話 - 某日記
．Linuxにはinotifyって仕組みがあって便利って話なので、BSDでも実装できんかなと調べたけど、表題の件について、どうもLinuxの実装もいまいちだし、ちゃんと作ってもなかなか微妙で難しいね、という話。 ．BSDで似たようなことをやるにはkqueueを使うのだけれども、ディレクトリにフックを掛けたとしたら、そのディレクトリエントリに対する操作は検出できても、ディレクトリの内容物に対する操作を検出することはできない。 ．対してLinuxのinotifyは(前身のdnotifyもそうだけど)、ディレクトリにフックをかけると、その内容物に対するアクセスまで追跡してくれる(ただし、そのディレクトリ直下の内容物に対する変更だけであって、サブディレクトリの内容物までは追跡してくれない)。 ．たとえば、CentOS5でやってみると、次のように検出できる: term A term B % mkdi
カジュアルに鯖を監視するNewRelic をAmazon Linux に導入 - aws memo
今っぽい感じのSaaS型監視サービス NewRelicを Amazon Linuxに入れてみる。( Newvem とか Server DensityとかPingdomとかもある） New Relic は、エージェントを監視対象ノードに入れておく点は Zabbix等と変わらないが、監視サーバを構築しないですぐに(無料で)始められる、という点がメリット。 監視対象サーバが少ないシステムだと、監視サーバのコスト・運用負荷がデメリットになるので、CloudWatchを補助する目的で、CloudWatchで取れない Load Average, free memory, Disk UsageといったOS内部の情報をカジュアルに一元管理するのに向いている。 特徴を説明したページはこちら。 Server Monitoring Application Monitoring Real User Monitor
[ThinkIT] 統合監視ツールZABBIX事始め
社内・社外を問わず、IAサーバがITシステムの中核に導入されることは珍しくなくなってきました。特に、Webアプリケーションサービスを行う場合、主にIAサーバとLinuxまたはWindowsという組合せでシステムを構築されていることでしょう。 IAサーバは比較的安価なため、リソースが不足しても追加購入してシステムを容易に増強することができます。これは大きなメリットですが、管理面では負担の増加が避けられません。数台規模ならば手作業で個々のサーバを管理できますが、数十台〜数百台規模となってくると、某CMではありませんが「増え続けるサーバの管理に困っていませんか？」という状況になるのは想像に難くありません。 システムを効率的に管理するためには、まずサーバのハードウェアリソース、そしてその上で稼働するOSやアプリケーションの状態を適切に把握できることが重要です。シェルスクリプトなどを利用して監視／通
MUNIN [ほほほのほ]
MUNIN(http://munin.projects.linpro.no/)は、RRDtool(http://oss.oetiker.ch/rrdtool/)を利用したシステム監視用ソフトウェアパッケージである。 画面を見てみると、なかなか派手だが格好良く見えたので、試してみる。 LinuxやらWindowsやらに関しては知らない。Linuxだとyumなりapt-getでなんとかなるらしい。 NetBSDの場合、pkgsrc/sysutils/munin-(server|node|doc)をInstallするだけ。 ただし、muninを動作させるアカウントが必要。 defaultでは、user:munin group:muninとなっているので、UID/GIDを固定したいなら先に作成しておく。 なお、MUNIN_USERとMUNIN_GROUPをmk.confで定義しておけば、usern
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Real-Time Web App Performance Monitoring : New Relic
http://www.zabbix.jp/modules/download1/