異常性、新規性、オープンセット、外れ値検出を統一的にサーベイ
3つの要点 ✔️ 似たような概念である異常性、新規性、オープンセット、外れ値の検出について統一的手法でサーベイ ✔️ それぞれの境界のは様々な定義があり、それに伴って分離する手法のバリエーションがあります ✔️ このサーベイでは、包括的な分析と、今後の研究課題が整理 A Unified Survey on Anomaly, Novelty, Open-Set, and Out-of-Distribution Detection: Solutions and Future Challenges written by Mohammadreza Salehi, Hossein Mirzaei, Dan Hendrycks, Yixuan Li, Mohammad Hossein Rohban, Mohammad Sabokrou (Submitted on 26 Oct 2021) Commen
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
【コード検証中】【精度対決】リアルな画像で異常検知 - Qiita
SSIMオートエンコーダ（論文より引用） SSIMを適用する窓のサイズは11 x 11 オートエンコーダの入力画像サイズは256 x 256 潜在変数は100 学習データはDataAugmentationにより10,000個に増幅 metric learning 学習データは上記4種類のデータ全てを渡しました。つまり、968個のデータです。 入力画像サイズは224 x 224 今回使うmetric learningはL2 SoftmaxLoss epochは50、最適化手法はSGD バッチサイズは128 ベースモデルはMobileNet V2($\alpha=0.5$)（学習済モデルを使用、つまり転移学習） 異常スコアはLOFで算出 10回試行して、それぞれの試行で再現率と特異度の和が高いものを採用 アンサンブル異常検知 metric learningについて、更なる高精度を目指してアンサ
「弱異常検知」と他の異常検知、違いはなにか？ - Qiita
ディープラーニングを使った「画像の異常検知」が流行りつつあります。 通常の異常検知は正常画像のみで学習させます（例えばこちら）。 今回は、運よく少量の異常画像を手に入れたとして、異常画像と正常画像を 組み合わせて異常検知性能を上げる方法を考えてみます。 ※こちらはPythonデータ分析勉強会#08の発表資料です。 結論から 結論からいうと、少量の異常画像とmetric learningを使えば、異常検知性能を上げることが可能です。 精度でいうと、10％弱向上するかもしれません。 AUC ※本稿では、「正常画像」と「少量の異常画像」を組み合わせて異常検知する手法を 弱異常検知と呼んでいます。論文のサーベイは全くしておらず、もし、他の呼び方が あれば、教えていただけるとありがたいです。 想定するシーン 製造ラインの画像による異常検知を想定します。 以下のように、データが手元にあったとします。
【まとめ】ディープラーニングを使った異常検知 - Qiita
ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による
多次元時系列の異常検知手法 sGMRFmix について /sGMRFmix - Speaker Deck
All slide content and descriptions are owned by their creators.
Kaggleクレジットカード詐欺データセットで3種の異常検知アルゴリズムを比較
はじめに Scutumでは2017年の初旬からアノマリ検知(異常検知)による防御機能の開発を本格的にスタートし、1年ほどかけて徐々に実用性を高めてきました。ここで行っているのはいわゆる「教師なし学習による異常検知」で、中核としているアルゴリズムはXBOSというものです。 しばらくの間は完全に手探りでシステム開発を進めていて、異常検出のアルゴリズムの定量的な性能については科学的な裏付けに乏しい状態でした。「なんとなく動いている(異常を見つけることができている)ようだから、これでいいか」という感じの状態でデプロイし、結果を見て改善を重ねるというサイクルを繰り返してきた形です。 2018年になり、これまで殆ど目を通すことができていなかった異常検知に関する学術的な情報(論文等)を見ていたところ、いくつか面白い発見がありました。そこで今回、少し自分でも手を動かして調査したポイントのうちの1つ、3つの
異常検知ナイト（エンジニア向け）
異常検知ナイト！ 2017年頂戴した技術的質問の中でとても多かったものが、異常検知でございました。懇親会で研究者が質問攻めに会い、懇親会が終われない！ということもございました。異常検知の問題をいかに解くかは情報も限られ、教師無し学習、元になるデータ補正、等々様々な難しさがあります。しかし、やりたい人が多い。それならば、一線の研究者、エンジニアを集めて、異常検知問題を如何に解くか情報を共有する会を開催することにしました。Deep Learning Lab 初のエンジニア向けイベントです。 ＜アンケートにご協力ください＞ ご視聴いただいた皆様からのご意見・ご要望をぜひお聞かせください！ アンケートサイトはこちら： http://aka.ms/dllab-survey/
深層学習 を 用いた 異常値検知 手法まとめ 〜 (Denosing) AutoEncoder, LSTM, TDA（Topological Data Analysis) + CNN - Qiita
オーソドックス な アプローチ（一般的手法） まず は、以下 が よくまとまっている。 株式会社クロスコンパス・インテリジェンス（2016.10.5）「NVIDIA GPU TECHNOLOGY CONFERENCE JAPAN 2016 Industry Deep Learning」 異常値予測 を 行う アプローチ としては、以下 が 一般的な考え方 の ようだ。 （データ量の多い）正常時のデータ挙動の特徴パターンを学ばせて、 新規データが上記の特徴パターンから乖離している場合を、異常とみなす 上記のアプローチをとる理由 は、「異常発生時のデータ」の取得可能件数 は、「正常時のデータ」 に 比べて、取得できるデータの件数 が 圧倒的に少ない から である。 上記のスライド で 挙げられている AutoEncoderモデル や LSTMモデル を 採用し、 AutoEncoderモデル
異常検知の世界へようこそ - Preferred Networks Research & Development
比戸です。 先週Jubatusの最新0.4.0がリリースされましたが、外れ値検知機能の追加が目玉の一つとなっています（jubaanomaly）。昨年PFIへ入社して初めて手がけた仕事が公開されたということで感慨ひとしおですが、便乗してあまり語られることのない異常検知の世界について書きたいと思います。以下の資料は昨年のFIT2012で使ったものです。 異常検知とは簡単にいえば、「他に比べて変なデータを見つけ出す」タスクです。お正月にテレビで繰り返し流れた、おすぎとピーコのCM(*1)がわかりやすいイメージですね。機械学習の枠組みで言えば”教師無し学習”に属します。分類や回帰、クラスタリングなど応用も多く人気も研究熱も高いタスクに比べると、マイナーです。SVMとか、Random Forestとか、Boostingとか、最近だとDeep Neural Networkとか、有名な必殺技アルゴリズム
「異常検知と変化検知」輪読会で論文紹介しました - ほくそ笑む
去る 7/21(木) に行われた「異常検知と変化検知」輪読会で論文紹介をさせていただきました。 タイトルは「非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出」で、資料は SlideShare に上げています。 非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出 from hoxo_m 本発表で紹介した論文は下記です。 Hido+ (2011) Statistical Outlier Detection Using Direct Density Ratio Estimation 『異常検知と変化検知』「第11章 密度比推定による異常検知」では、密度比推定法として カルバック・ライブラー密度比推定法 KLIEP (Sugiyama+ 2008) 最小2乗密度比推定法 LSIF (Kanamori+ 2009) が紹介されていますが、LSIF を進化させた uLSIF という手
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
異常の定義と推定
[DL輪読会]Deep Learning for Anomaly Detection: A Survey![[DL輪読会]Deep Learning for Anomaly Detection: A Survey](https://cdn-ak-scissors.b.st-hatena.com/image/square/478b3710d8160afd739fc0999bb33a800773d20c/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdeeplearningforanomalydetectionasurvey-190212051246-thumbnail-4.jpg%3Fcb%3D1549948416)
h2o-training-book/anomaly_detection.md at master · h2oai/h2o-training-book · GitHub