PyCon mini Osakaで異常検知システム構築の裏側について発表しました - yasuhisa's blog
現在仕事で作っている異常検知システムについてPyCon mini Osakaで登壇してきました。異常検知というマイナーなトピックですが、多くの人に聞いてもらえてよかったです。 #pyconjp #pyconosaka 「Pythonを用いた異常検知システム構築の裏側」 吉田康久さんです！ たしかはてなの人だったはず。 pic.twitter.com/hRacSgV59D— PyCon mini Osaka (@OsakaPyConMini) 2018年5月19日 はい、はてなのMackerelチームの中の人です。 機械学習の人からすると「なんだただの混合ガウス分布か」と思われるかもしれませんが、異常検知のシステムを実際に作ろうとすると考えることが色々あります。今回の発表では ユーザーのどのような要望から異常検知機能を作るに至ったか 異常検知とはそもそも何か、どういった問題設定か 異常検知手
異常検知本の読書メモ Part 1 - yasuhisa's blog
異常検知本を最近読み進めていたので、自分が知らなくて新しく勉強になったところのみメモ。 ホテリングの法による異常検知 異常度はマハラノビス距離で与えることができる サンプル数Nが次元数Mより圧倒的に多い場合はは自由度M、スケール因子1のカイ二乗分布に従う これによりカイ二乗分布で欲しい閾値(逆関数か対応表から)を決めておく 「カイ二乗分布の分散はであるため、精度よく異常検知をするためにはなるべく変数選択をするか部分集合毎にを計算するのがよい」と書いてあってナルホド感があった 単純ベイズ法による異常検知 naive bayesのところまぁ知ってるので飛ばす ベイズ決定則とネイマンピアソン決定則の関係のところは勉強になった ベイズ決定則は異常判定を強く抑制する傾向にあるので、既存の二値分類の実装をあまり深く考えずに異常検知に使うと異常標本精度が非常に低くなってしまうため注意が必要 近傍法による
Change Detection using Directional Statisticsを読んだ - yasuhisa's blog
方向データに対する変化点検出の論文を読んだところ、面白かったのでメモを残しておきます(論文、スライド)。IJCAI2016の論文です。 異常検知は重要な領域であるにも関わらず、まだまだ枯れていなくて論文読んでて面白いものが多いですね。 問題設定 確率分布の選択 異常検知の方法 目的関数 複数のパターンに対応できるようにする 異常度としてのKLダイバージェンス 実験: Failure detection of ore belt conveyors 問題設定 多次元かつノイズの多い時系列データに対して変化点検出を行いたい 実データでは、ある変数にのみノイズが乗るというより、相乗的にノイズが乗ることが多いが、そのノイズを誤検知したくない 例: 同じモーターで複数のベルトコンベアが操作されているので、一緒にセンサーのノイズが乗る 確率分布の選択 複数の変数に同時にノイズが乗る場合、ベクトルのノルム
異常検知ライブラリを作ってみた - Fire Engine
今回の記事は、前職消防士でゼロからプログラミングを始めた超未熟者の私が、異常検知ライブラリを作った話です。 なぜ作ったか マインド的背景 消防士を辞めてエンジニアに転職してから1年、いろんな技術に触れました。TensorFlow、scikit-learn、Dockerなどなど、必死になって使い方を覚えました。しかしだんだん、「これ、コマンド覚えてるだけで自分に何も技術身についてなくない？」という疑問や焦りが湧いてきて、自分は便利なツールを使いこなせるようになりたいんじゃなくて、いつの日かみんなが使って便利なツールを作る側になりたいんだ、ということに気づきました。そのような思いから今回初めてライブラリを作り、公開してみました。 データサイエンス的背景 世の中は時系列データで溢れています。ビジネスの場において、データの何かしらの変化の兆候を捉えて、いち早く意思決定をしたいという場面がよくありま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
