これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
異常検知入門と手法まとめ - Qiita
異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました： [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev
はじめに 最近、異常検知に関する案件に関わって、結構苦労しました。 その理由の一つとして、異常検知の手法については一部本がでているもののそこまで多くはなく、また、異常検知プロジェクトの進め方という意味では情報があまり見つけられなかったというのがあります。 そこで、プロジェクト実施前に、こんな情報があればよかったなという内容についてまとめました。 自分が関わった案件は、設備のセンサーデータを用いた異常検知だったため、その内容に偏っていますが、全体の流れや考え方としてはあまりドメインや異常検知によらないものと思います。 なお、個別の異常検知のアルゴリズムについては話しません。 また、読者の対象しては、異常検知に興味がある人、機械学習プロジェクトに興味がある人を想定しています。 異常検知を取り巻くコミュニケーション 前提として、「異常検知」という言葉でイメージするものは人によって違います。関係者
そろそろ前職を退職してから、はてなで働き始めて5年(!)が経とうとしている。5年も働いていると、昔何をやっていたか、その当時どういう気持ちで働いていたかを忘れてしまう。備忘録っぽく書き残しておこう。ポエムです、長いです、大体自分向けに書いてる。 NTT CS研 => 株式会社はてな チーム開発への適応 インフラ苦手意識の克服 教師なし機械学習の本番環境での運用 データ基盤とCustomer Reliability Engineerへの挑戦 今後はデータエンジニアリング NTT CS研 => 株式会社はてな 基礎研究職からWebアプリケーションエンジニアへの転職だった。ログを残しておくと、こういう時に振り返れて便利。 NTT CS研を退職して、株式会社はてなに入社しました - yasuhisa's blog 割と珍しい(?)転職ではあったかもしれないが、機械学習や自然言語処理はアルゴリズム単
先日、革新的な画像の異常検知（SAA）が出てきました。 何やら革命的な臭いがする... SAMを使った異常検知手法https://t.co/wmwFcbULdq コードはこちらhttps://t.co/3npK3FhnEz pic.twitter.com/JDs30bEJyQ — shinmura0 (@shinmura0) May 22, 2023 本稿では、操作手順 & 触ってみた感想をご報告します。 特長 本題に入る前に、どこら辺が革新的なのかざっくり説明します。 ※ SAAの詳細は論文をご参照ください。 学習データは不要 通常、学習（正常）データを数百枚用意しますが、この手法では正常データを必要としません。 ドメイン知識を導入できる 予め、異常の傾向をプロンプトに入れることにより、異常の特徴をモデルに教えることができます。 二点目が特に大きく、今までの異常検知では、積極的に異常の傾
ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による
概要 ニューラルポケットは、正常品と異常品を高精度で判別する画像分析アルゴリズムを開発し、国際学会ACPRにて発表しました。複数のオープンデータセットによる評価で、世界最高の異常画像検出精度を達成しています。 正常品と異常品を画像から識別するアルゴリズムは、工場や農業、インフラ管理などの幅広い領域において活用が進められており、属人的な作業を機械化することによる、見逃し率の低減や作業の効率化などに、大きな期待が寄せられています。 この領域においては、従来、正常品とのパターンマッチングを中心としたアプローチが主流でしたが、近年、深層学習を用いたアプローチが広まり、正常品の中でも形状変化が大きい、食品や柔らかい素材の部品など含め、幅広く活用することが出来るようになってきました。 本手法は、その発展として開発されたものであり、以下のような特徴を持ちます： 従来の手法では大量に必要となっていた異常画
【2022年最新AI論文】画像異常検知AIの世界最先端手法「PatchCore」の論文を解説【CVPR 2022】 - Qiita
本日(2022/6/19)からアメリカのニューオーリンズで開催されているCVPR2022（2022/6/19-24）で、世界最先端の異常検知手法「PatchCore」が発表されました！ CVPRはコンピュータビジョン分野のトップカンファレンスで、画像系AI研究の最難関の国際会議の一つです。ちなみに、昨年（CVPR2021）の採択率は23％。 PatchCoreは、外観検査（画像の異常検知）タスクで有名なデータセット「MVTecAD」でSOTA（State-of-the-Art）を達成しています。 この記事では、世界最先端の画像異常検知AIがどのような手法なのか、できるかぎり簡単にわかりやすく論文を解説したいと思います。 論文解説 タイトル/著者 Towards Total Recall in Industrial Anomaly Detection Karsten Roth, Latha
Pythonではじめる教師なし学習
教師なし学習はラベル付けされていないデータから学習する機械学習の一種です。現在の機械学習では大量のラベル付きのデータを用いる教師あり学習が主流ですが、ラベルを付けるには膨大なコストがかかります。現実世界に機械学習を適用していくためには、ラベル付けを必要としない教師なし学習の重要性が増してくると考えられます。本書は実践的な視点から、データにある隠れたパターンを特定し、異常検出や特徴量抽出・選択を行う方法を紹介します。ラベルなしデータを有効に利用することで、機械学習の可能性を各段に広げる教師なし学習の本質に迫ります。さらに、変分オートエンコーダ（VAE）や敵対的生成ネットワーク（GAN）、制限付きボルツマンマシン（RBM）などの生成モデルも紹介します。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書
おまたせしました この度、ついにこの記事を完成させることができました。これは私が数年前からずっと書きたいと思っていた、ウェブのアクセスログに対する、機械学習を使った異常検知の実例です。私は事あるごとに(※1)「情報セキュリティ分野でもデータサイエンスの技術は非常に重要だ」と繰り返していますが、この記事の内容はまさにその1つの証となると思います。この記事で示される内容を見れば、「うわ、機械学習、マジでヤバイい(語彙力)んだな...」となるでしょう。以下に心当たりのあるセキュリティエンジニアはぜひ読んで、そして実践してみてください。 機械学習に興味はあるものの、どこから手を付ければよいのかイメージがわかない 本当にAIやデータサイエンス、機械学習がセキュリティの分野で役に立つのか、確信がもてない データサイエンスや機械学習は難しそうだと思っている ログ解析において、grepや単純な統計処理より
【異常検知】異常原因を特定する - Qiita
異常検知は、正常データだけで学習できる製造業で人気のある手法です。 そして、異常検知で異常を検出したとして、「異常原因を特定したい」という 要望もよく聞かれます。 そこで、本稿では、複数のセンサが付いた異常検知システムにおいて、 異常が発生した場合に、どのセンサが異常値を示しているのかを特定する 方法を検討します。 ※コード全体はこちらに置きました。 ※こちらはPythonデータ分析勉強会#17の発表資料です。 きっかけ 以前に、こんな内容をツイートしたところ、皆さん興味をお持ちのようでした。 昨日、JFEスチールの製造ラインで異常検知する話しを聞いた。 ・数十個にわたるセンサで常時監視 ・異常検知の制約は、異常のみならず異常原因も特定する ・センサは相関が強いものだけを取り出し、主成分分析だけで異常検知 ・これによりコストと納期を大幅に削減 ー続くー — shinmura0 @ 3/14
Machine Learning Casual Talks #10での登壇資料です https://mlct.connpass.com/event/125316/
前回の記事では、ディープラーニングの異常検知に関するベンチマークを 行いました。その結果、「L2-SoftmaxLoss」が一番良い性能を示しました。 本稿では、その元になった「論文の概要」と「異常検知に適用した場合の考察」を 記したいと思います。 ※なお、本稿の図は特に明記がない場合は論文（L2-constrained Softmax Loss for Discriminative Face Verification ）より引用しています。 論文の結論 結論からいうと、論文で言いたかったことは ということです。この意味が分かる方は、既に論文のほとんどを理解できています。 あとは、分類精度を向上させるために、ソフトマックス関数をどう改造するかのお話しです。 ソフトマックス関数のクロスエントロピー 分類問題で良く使われるソフトマックス関数のクロスエントロピーは 以下のとおりです。 L_S=-\
AWS、機械学習で量産品の不良を見分ける「Amazon Lookout for Vision」の本サービス提供開始
AWS、機械学習で量産品の不良を見分ける「Amazon Lookout for Vision」の本サービス提供開始 米Amazon Web Servicesは2月24日（現地時間）、量産品の中から異常を見つけ出す「Amazon Lookout for Vision」の正式版の提供を始めた。2020年11月30日から開催したオンラインイベント「AWS re:Invent 2020」で発表し、プレビュー版として提供していたサービスだ。 Amazon Lookout for Visionは、カメラで写した大量生産品の画像を機械学習モデルで解析し、不良品を検出するサービスだ。初期費用は不要で、モデルの学習や解析にかけた時間に応じた従量課金となる。 米東部（バージニア北部）、米東部（オハイオ）、米西部（オレゴン）、ヨーロッパ（アイルランド）、ヨーロッパ (フランクフルト)、アジア太平洋（東京）、アジ
以前に以下のツイートをしました。 この論文の凄さは、「DNNは学習していない」ということ。学習済モデルを全面的に信用している。それでAUC95.80％は驚愕。 凄まじく早い（学習）ので、エッジなんかで威力を発揮しそう。 （続く） https://t.co/1u6BUQsJnt — shinmura0 @ 2/27参加者募集中 (@shinmura0) September 14, 2020 個人的に、この論文は画像分野において異常検知の決定版と認識しています。 ただ、弱点を挙げるとすれば「可視化手法がない」ということです。 本稿では、この手法で異常検知しつつ、異常部分を可視化する方法を模索します。 ※コードはこちら 先に結論 本稿のターゲットは、「高精度に異常検知しつつ(detection)」、「低速+ある程度の 可視化(segmentation)」です。本稿の内容が適合していない場合、お好
(DCASEホームページより) はじめに 音を題材とした異常検知のデータセットによる機械学習コンペが始まりました。 音に関するコンペ自体が珍しいなか、タスクとして一般的な分類などでもなく、更に難しい異常検知が設定されました。 個人的に2019年に画像の異常検知に積極的に取り組んだのですが、音声は周波数領域に変換すると画像のように取り扱えることから、チャレンジしたい題材でした。下記は画像にチャレンジしたときの記事です。 欠陥発見! MVTec異常検知データセットへの深層距離学習(Deep Metric Learning)応用 深層距離学習(Deep Metric Learning)各手法の定量評価 (MNIST/CIFAR10・異常検知) この記事では、そのコンペ「DCASE 2020 Task 2 Unsupervised Detection of Anomalous Sounds for
最近、画像の異常検知研究が活発になってきました。 そこで、本稿では、画像の異常検知研究に関する最新情報をお伝えします。 画像はpaper with codeより転載 先に結論 最近の研究は精度を維持しつつ、メモリの圧迫を抑える。さらに、推論時間も短縮させている。 最近のデータセットは多様性が増し、より難易度が上がっている 予備知識 本題に入る前に、従来の手法・データセットが抱える問題点をおさらいしておきます。2021年くらいまでの情報ですので、ご存知の方は読み飛ばしてください。 従来の手法 PaDimとマハラノビスAD 今でも根強い人気があるのがPaDim[1]です。中身が簡単なことに加え、異常検知性能も高いことが理由だと思います。また、PaDimの基となったのがマハラノビスAD(gaussian AD)[2]です。 上記のスライドは二つの手法を説明したものです。両手法とも、ImageNe
機械学習を簡単に試したい人向け、「Amazon Lookout for Vision」で画像データを使った学習、ラベル付け、精度向上の手順
機械学習を簡単に試したい人向け、「Amazon Lookout for Vision」で画像データを使った学習、ラベル付け、精度向上の手順：AWSチートシート AWS活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は、「Amazon Lookout for Vision」を使って、画像で簡単に異常検知を行う方法を紹介する。 「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は「Amazon Lookout for Vision」を使って、画像で簡単に異常検知を行う方法を紹介します。 「Amazon Lookout for Vision」とは 「Amazon Lookout for Vision」は、コンピュータビジョンを使用して視覚表現の欠陥や異常を発見するサービスです。Lookout for V
以前の記事でオートエンコーダによる異常検知は古い！と書いてしまいましたが、 最近は進化しているようです。 今回ご紹介する論文は、損失関数を工夫することで通常のオートエンコーダよりも 異常検知能力を上げる手法です。 ※本稿の図は論文（Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders）より引用しています。 論文の概要 通常のオートエンコーダによる異常検知は、微小な異常は捉えられない。 そこで、一枚の画像に対し小さな枠を用意して「輝度」、「コントラスト」、「構造情報」の類似度を計算して異常検知を行う。 本手法を使うことで、通常のオートエンコーダやVAEの異常検知と比べて、AUCで大幅な向上が見られた。 異常部分の可視化についても、通常のオートエンコーダよりも優れ
BigQuery MLでスロット使用量が急増しているプロジェクトやユーザーを異常検知する - yasuhisa's blog
背景 どうやって異常を検知するか BigQuery MLでの異常検知 検知できるモデルの種類 共通設定 データの前準備 モデルの学習 モデルを元にスロット使用量が異常に増加していないか予測する 所感 背景 BigQueryはオンデマンドとフラットレート(定額料金)がある オンデマンドはスキャン量がお金に直結するため、INFORMATION_SCHEMA.JOBS_BY_*などを使ってクエリ警察をしている方も多いはず INFORMATION_SCHEMAに代表されるデータ管理に役に立つ現場のノウハウを最近会社のTech Blogに書いたので、そちらも見てね 一方で、フラットレートに関しては定額使いたい放題のプランであるため、オンデマンドよりはクエリ警察をしていない場合もある 見れるなら見たいが、どうしても支出に直結するオンデマンドを優先して見てしまいがち。工数も限られている が、あまりに自由
こんにちは、CTOの森です。 本記事はiimonアドベントカレンダー16日目の記事となります。 普段機械学習を使うことは無いのですが、勉強も兼ねてCloudFrontのログを機械学習させてみたらどうなるのか試してみました。 検証した環境 ログデータの形式 使用したログデータのフィールド 分析までの手順 正しくデータを読み込む 学習できる形式に変換 method result_type path_num path_0 ~ path_4 query_num query_len sc-status time-to-first-byte 学習 元のデータと結合 CSVファイルに出力 コード全体 分析結果 (比較的)うまくいった結果 うまくいかなかった結果 参照したサイト まとめ 最後に 今回ログデータをIsolation Forestという手法を用いて分析してみました。Isolation Fore
〜機械学習による違反商品検知〜 株式会社メルカリ（以下、メルカリ）は、当社のAIエンジニアによる論文「Auto Content Moderation in C2C e-Commerce」（邦題：CtoCマーケットプレイスにおける機械学習による違反商品検知）が、2020年7月から8月にかけて開催される国際会議「2020 USENIX Conference on Operational Machine Learning (OpML’20)」にて採択されたことをお知らせいたします。 OpMLを主催するUSENIX協会は、約45年の歴史と権威がある団体で、いくつかの研究会から構成されています。OpMLは2019年より開催されている研究会で、機械学習を実世界で運用する際の課題と解決策がテーマになっています。近年、機械学習が研究領域分野だけでなく、さまざまな商用サービスで実運用されているなかで注目分野
著者 鶴田 博文, 坪内 佑樹 所属 さくらインターネット株式会社 さくらインターネット研究所 研究会 第8回WebSystemArchitecture研究会 1. はじめに インターネットを介して利用するシステムの大規模化に伴い，システムの構成要素数の増大や，構成要素間の関係性の複雑化が進んでいる． そのため，システムの性能に異常が発生したときに，システムの状態を示す指標であるメトリックをシステム管理者が網羅的に目視することや，メトリック間の関係性を把握することができず，システムの異常原因を特定することが難しくなっている． この問題を解決するために，深層学習などの機械学習モデルを用いて，システムの異常の原因を診断する手法が提案されている[1,2]． これらの手法は，システム管理者が異常の根本原因を絞り込むために活用することが期待できる． しかし，原因診断を行うためには，事前に機械学習モデ
はじめに こんにちは、わっしーです。本記事では、CVPR2022で発表された画像異常検知手法であるPatchCoreの実装について解説します。 まずは、実際に試した結果です。下図の上は正常画像、下は異常画像です。異常部分が赤くなっており、製品が欠損していることがわかります。 PatchCoreの詳細については、外観検査向け異常検知手法に関する論文紹介の記事がわかりやすいです。 PatchCoreの利点は、ImageNetなどのデータセットで学習された事前学習モデルの特徴マップを用いるため深層学習モデルの訓練の必要ないことです。 手法としては、 正常な画像群の特徴マップにおける局所的な部分をパッチ特徴量としメモリバンクに保存する 高速化のためランダム射影で次元削除した特徴量に対してGreedy法を用い、メモリバンク内のパッチ特徴量の数を削減 テスト画像の各位置の特徴量に対して、近傍法でメモリ
異常の定義と推定
2019年電子情報通信学会ソサイエティ大会 チュートリアルセッション『異常検知と教師なし学習の理論と応用』 https://www.ieice-taikai.jp/2019society/jpn/webpro/_html/ess_kikaku.html#at_2
画像の欠損補間 実世界の問題において、データが欠損していることが多々あります。そのような場合にも、スパースであるという仮定をうまく利用することで、データの欠損を補間することができます。 前回、画像の再構成について紹介したとき、自然画像をパッチに区切って辞書学習を行うと、各パッチは得られた辞書を用いてスパースに表現できることがわかりました。実はこの辞書とスパース表現は、学習画像に、ある程度欠損があったとしても、うまく求めることができるのです。 なぜ、そんなことが可能かというと、例えば100変数の連立方程式を考えたときに、式の数は100個あれば全ての変数の値を決定できます。データとして10000個方程式があったとしても、そのうちの1％だけを使って連立方程式を解くことができます。また、方程式の解がほとんど0であるとわかっている場合も少数の方程式から解が得られることが知られています。つまり、100
米Amazon Web Services（AWS）は12月1日（現地時間）、製造機械用の状態監視デバイス「Amazon Monitron」を発売した。機械に取り付けたセンサーで熱と振動を検知して1時間ごとにクラウドに送信。AIがデータを分析し、異常があれば通知する。 機械に取り付ける「Monitronセンサー」と、AWSとの通信を行う「Monironゲートウェイ」などをセットで販売。センサーをベアリングやギアボックス、モーター、ポンプ、コンプレッサー、ファンなど、監視したい機械に取り付け、ゲートウェイやAWSとの接続を行えば利用できる。 利用にはBluetoothとNFCの機能を搭載したAndroidスマートフォンと専用アプリが必要。機械の異常を検知した場合は、アプリを通してユーザーに通知する。ユーザーがアプリから通知についてフィードバックを送れば、異常検知の精度向上もできる。 センサーの
SSIMオートエンコーダ（論文より引用） SSIMを適用する窓のサイズは11 x 11 オートエンコーダの入力画像サイズは256 x 256 潜在変数は100 学習データはDataAugmentationにより10,000個に増幅 metric learning 学習データは上記4種類のデータ全てを渡しました。つまり、968個のデータです。 入力画像サイズは224 x 224 今回使うmetric learningはL2 SoftmaxLoss epochは50、最適化手法はSGD バッチサイズは128 ベースモデルはMobileNet V2($\alpha=0.5$)（学習済モデルを使用、つまり転移学習） 異常スコアはLOFで算出 10回試行して、それぞれの試行で再現率と特異度の和が高いものを採用 アンサンブル異常検知 metric learningについて、更なる高精度を目指してアンサ
ディープラーニングを使った「画像の異常検知」が流行りつつあります。 通常の異常検知は正常画像のみで学習させます（例えばこちら）。 今回は、運よく少量の異常画像を手に入れたとして、異常画像と正常画像を 組み合わせて異常検知性能を上げる方法を考えてみます。 ※こちらはPythonデータ分析勉強会#08の発表資料です。 結論から 結論からいうと、少量の異常画像とmetric learningを使えば、異常検知性能を上げることが可能です。 精度でいうと、10％弱向上するかもしれません。 AUC ※本稿では、「正常画像」と「少量の異常画像」を組み合わせて異常検知する手法を 弱異常検知と呼んでいます。論文のサーベイは全くしておらず、もし、他の呼び方が あれば、教えていただけるとありがたいです。 想定するシーン 製造ラインの画像による異常検知を想定します。 以下のように、データが手元にあったとします。
今回の目的 前回までに全結合型のオートエンコーダー、CNNを利用した畳み込みオートエンコーダー、それから学習を高速に行えるようにGPUを使用する方法などを見てきました。 ところで、オートエンコーダーが持つエンコーダーで元画像を縮小（次元削減）して、それをデコーダーで復元することはどんなことで役に立つのでしょうか。一般には異常検知やノイズ削減などがオートエンコーダーの用途として挙げられています。そこで、今回は、MNISTの手書き文字を例に異常検知とはどんなものなのか、その本当に表面的な部分だけを見てみることにします。 「異常検知」とは、数多くのデータの中から、他のデータとは異なる特徴を持つデータを見つけ出すことです。例えば、工場で生産されたネジを考えてみましょう。製造されたネジの多くは何の問題もなく、製品として出荷できるものです。しかし、その中のごく一部には、傷があったり、先端が曲がっていた
教師データが足りないと「異常予測」は難しい、ならば「異常検知」から始めよう：もう失敗しない！製造業向け機械学習Tips（3）（1/2 ページ） 製造業が機械学習で間違いやすいポイントと、その回避の仕方、データ解釈の方法のコツなどについて、広く知見を共有することを目指す本連載。第3回は、「異常予測」と「異常検知」について取り上げる。教師データ量の不足が課題になる「異常予測」に対して、「異常検知」は教師データなしでも始められることが特徴だ。 ⇒連載「もう失敗しない！製造業向け機械学習Tips」バックナンバー 製造業では、生産設備の故障や製品の不良など、さまざまな異常の発生を予測する目的で機械学習が活用されています。しかし、異常発生の予測に機械学習を使う場合、多くの企業は故障の教師データ不足という課題に直面します。そこで今回は、機械学習プロジェクトにおいて教師データが不足している場合の対処法につ
ディープラーニングを使った異常検知で役に立つ「Ano-Unet」を開発しました。 Ano-Unetは、異常部分を可視化できます（教師無し学習）。 コード全体はGithubに置きました。 ※こちらは、Pythonデータ分析勉強会#10の発表資料です。 はじめに このAno-Unetは以前の記事の続きで開発したものです。 以前の記事では、オートエンコーダで可視化する手法を提案しました。 ところが、オートエンコーダだとうまくいかないとのご意見をいただいております。 そこで、実験してみました。まずは、以前に示した成功例です。 上の図は「スニーカー」を正常として学習させています。 そして、「ブーツ」を異常画像としてテストしてみた結果です。 ブーツのヒールなどが異常部分として可視化できています。 今回やってみた失敗例です。 上の図は「馬」を正常として学習させています。 そして、「馬」を入力画像としてテ
外観検査がこんなに簡単に！？Amazon Lookout for Visionで欠陥検出をやってみた - Taste of Tech Topics
皆さんこんにちは @tereka114です。 さて、今回は2020年の「AWS re:Invent」で紹介された「Amazon Lookout for Vision」を評価していきます。 ※記事公開の2021年1月25日時点ではプレビューサービスであるため、GAとなった時には結果が変わる、適用できないTipsもありますが、ぜひお試しください。 Amazon Lookout for Vision Amazon Lookout for Visionの検証方法 検証データセット 検証内容 検証 学習データセットの数量の追加 学習データセットの異常データ追加 その他便利な機能 トライアル検出を用いた再学習機能 最後に Amazon Lookout for Vision Amazon Lookout for Visionは画像が正常か異常を判定する、異常検知のサービスです。 2020年の「AWS r
はじめに 異常検知AIソフトウェア・クラウドサービスを提供しているアダコテックでエンジニアをしているshin-ueです！ 今回は、弊社内で保有する電子部品を撮像した画像データに対して、異常検知を実施してみます。 そもそも異常検知って？ 異常検知における異常とは、みなさん何を思い浮かべますか？ 例えば、毎日休まず周期的な信号を出力してくれるシステムが一家に一台あったとします。 機械とよくケンカする僕みたいな人間は「ほんとうに周期的な信号だしてるのか！？」と疑いをかけてモニタリングしてしまいます。 t=9~11の出力値がいつもと違う変化をしているぞ・・・不良品だコイツこのやろう！（過激派） という感じで、「いつもの正常状態とは異なる状態」を異常と表現しています。 定期的に状態を監視し異常傾向を予兆してあげたり、異常状態を検出するような仕組みを作成し、異常発生したら関連システムにアラート信号を送
SankeiBiz（サンケイビズ）：自分を磨く経済情報サイト
サービス終了のお知らせ SankeiBizは、2022年12月26日をもちましてサービスを終了させていただきました。長らくのご愛読、誠にありがとうございました。 産経デジタルがお送りする経済ニュースは「iza! 経済ニュース」でお楽しみください。 このページは5秒後に「iza!経済ニュース」（https://www.iza.ne.jp/economy/）に転送されます。 ページが切り替わらない場合は以下のボタンから「iza! 経済ニュース」へ移動をお願いします。 iza! 経済ニュースへ
Amazon DevOps Guruが新機能、機械学習によるログの異常（アノマリー）検知と推奨される解決策の提示
Amazon DevOps Guruが新機能、機械学習によるログの異常（アノマリー）検知と推奨される解決策の提示 Amazon Web Services（AWS）は、機械学習によってアプリケーションの異常動作などを検出、改善するためのサービス「Amazon DevOps Guru」の新機能として、アプリケーションログの異常値検知（Log Anomaly Detection）と、その際に推奨される解決策の提示（Recommendations）が可能になったことを発表しました。 異常値検知では、ログの中にキーワード、数値、HTTPステータスコード、データフォーマットなどの異常値が現れると、それらを検出。Amazon DevOps GuruのダッシュボードにログのサンプルとCloudWatch Logsへのディープリンクが表示されます。 これにより、異常を起こした原因を特定するとともに、推奨され
学習データは上記4種類のデータ全てを渡しました。つまり、968個のデータです。 学習済モデルを使用、つまり転移学習 異常スコアはLOFで算出 10回試行してAUCを取得 実験中、以下の項目は変更しますが、特段の指定がない場合は 以下の設定とします。 epochは50、最適化手法はSGD 今回使うmetric learningはL2 SoftmaxLoss バッチサイズは128 ベースモデルはMobileNet V2($\alpha=0.5$) 画像のサイズは224 x 224 実験1 どの出力層で取り出すと一番性能が出るのか？ ここでは、出力層を変えながらスコアの比較を行います。 MobileNetV2の層を見たところ、 expand_BN depthwise_BN project_BN の三種類があり、これらの出力で異常検知したところ、「project_BN」のスコアが 一番良かったです
GitHub - arundo/adtk: A Python toolkit for rule-based/unsupervised anomaly detection in time series
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
変動検知機能が大幅アップデートされました 【wevox data blog】 - formal ver.｜Wevox（ウィボックス）【組織づくり応援チャンネル】
アトラエ Data Scientist 杉山です。 この記事では、新しい変動検知機能（2020年3月リリース）の説明をします。 変動検知機能が大幅アップデートされましたwevox で提供していた変動検知機能が、大幅にアップデートされました。 今までは、 誤報が多い 大事な変化を見逃す 処理が非常に重いという問題がありましたが、このすべてが大幅に改善されました。 パルスサーベイの肝は、変動を素早く察知できること！ 新しい画面で検知されているあなたのチームのスコア変動は、納得感があるでしょうか？ 何となく肌で感じていたことがデータになって現れていたり、全く気づいていない事実に気付かされたり、はたまた誤報だったり、いろいろな可能性があると思います。 いわゆる AI にできるのは、データから見えることをお伝えするところまでであるというのが現状です。完璧に組織課題を検出し、 AI の言うとおりにして
予測AIカオスマップ 2023で注目114製品を比較！データ分析を自動化 | DXを推進するAIポータルメディア「AIsmiley」
AIポータルメディア「AIsmiley」は、需要や売上、健康や株価を予測するAIツールをまとめた「予測AIカオスマップ 2023」を公開します。掲載数は合計114サービス。 予測AIカオスマップ2023を公開 ※2022年12月12日作成 予測AIとは？ 予測AIとは、過去のデータに基づき、未来の数値や結果を予想する、主にマーケティングや分析といった領域で活用されるAIの総称です。これまで担当者が積み重ねた経験や勘に頼っていた属人的な将来予測をAI・人工知能が自動化し、予測工程の標準化と精度向上が期待できます。 AIによる予測の取り組みが最も進んでいるのでは、商品の需要や売上、在庫はもちろん、株価やスポーツの試合結果、広告クリエイティブの効果測定、過去データからの天候リスク予測でも活用されています。より高い精度で予測を行うためには、予測AIモデルの開発に十分な過去 (時系列) データを必要
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
異常検知プロジェクトを取り巻くtips - Qiita
はてなで働き始めてからほぼ5年になるので振り返ってみる - yasuhisa's blog
【速報】次世代の外観検査！？プロンプトを駆使した異常検知 - Qiita
【まとめ】ディープラーニングを使った異常検知 - Qiita
GANを用いた画像異常検知アルゴリズム - Qiita
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
教師なし学習によるMackerelの異常検知機能について�〜設計/運用/評価の観点から〜
【論文読み】異常検知を支える技術 - Qiita
【異常検知】学習ゼロの衝撃！を可視化する - Qiita
機械音の異常検知チャレンジ DCASE 2020 Task 2 - Qiita
【異常検知】最近の研究動向・2023年夏 - Qiita
【論文読み】新・オートエンコーダで異常検知 - Qiita
CloudFrontのログを使って機械学習で異常検知を試してみた - iimon TECH BLOG
メルカリ、機械学習の実運用に関する国際会議「OpML’20」に論文が採択
機械学習モデルの局所的な解釈に着目したシステムにおける異常の原因診断手法の構想 - Fire Engine
【CVPR2022】画像異常検知 PatchCoreの実装解説
スパースモデリングの画像処理への発展的な応用～欠損補間、異常検知、超解像
産業機械の異常を検知する「Amazon Monitron」、AWSが発売 センサーで熱と振動を監視
【コード検証中】【精度対決】リアルな画像で異常検知 - Qiita
「弱異常検知」と他の異常検知、違いはなにか？ - Qiita
MNISTを使ってオートエンコーダーによる異常検知を試してみよう
教師データが足りないと「異常予測」は難しい、ならば「異常検知」から始めよう
【可視化】Ano-Unetで異常部分の可視化 - Qiita
異常検知技術を比較してみた（ルールベース, HLAC, PatchCore）
【コード検証中】【黒魔術】異常検知性能を劇的に向上させる方法 - Qiita
www.cbnews.jp
qiita.com/Kodai0417
news.livedoor.com
twitter.com
applech2.com
saki11.vp.bex.jp