これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
異常検知入門と手法まとめ - Qiita
異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました： [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev
はじめに 最近、異常検知に関する案件に関わって、結構苦労しました。 その理由の一つとして、異常検知の手法については一部本がでているもののそこまで多くはなく、また、異常検知プロジェクトの進め方という意味では情報があまり見つけられなかったというのがあります。 そこで、プロジェクト実施前に、こんな情報があればよかったなという内容についてまとめました。 自分が関わった案件は、設備のセンサーデータを用いた異常検知だったため、その内容に偏っていますが、全体の流れや考え方としてはあまりドメインや異常検知によらないものと思います。 なお、個別の異常検知のアルゴリズムについては話しません。 また、読者の対象しては、異常検知に興味がある人、機械学習プロジェクトに興味がある人を想定しています。 異常検知を取り巻くコミュニケーション 前提として、「異常検知」という言葉でイメージするものは人によって違います。関係者
先日、革新的な画像の異常検知（SAA）が出てきました。 何やら革命的な臭いがする... SAMを使った異常検知手法https://t.co/wmwFcbULdq コードはこちらhttps://t.co/3npK3FhnEz pic.twitter.com/JDs30bEJyQ — shinmura0 (@shinmura0) May 22, 2023 本稿では、操作手順 & 触ってみた感想をご報告します。 特長 本題に入る前に、どこら辺が革新的なのかざっくり説明します。 ※ SAAの詳細は論文をご参照ください。 学習データは不要 通常、学習（正常）データを数百枚用意しますが、この手法では正常データを必要としません。 ドメイン知識を導入できる 予め、異常の傾向をプロンプトに入れることにより、異常の特徴をモデルに教えることができます。 二点目が特に大きく、今までの異常検知では、積極的に異常の傾
ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による
概要 ニューラルポケットは、正常品と異常品を高精度で判別する画像分析アルゴリズムを開発し、国際学会ACPRにて発表しました。複数のオープンデータセットによる評価で、世界最高の異常画像検出精度を達成しています。 正常品と異常品を画像から識別するアルゴリズムは、工場や農業、インフラ管理などの幅広い領域において活用が進められており、属人的な作業を機械化することによる、見逃し率の低減や作業の効率化などに、大きな期待が寄せられています。 この領域においては、従来、正常品とのパターンマッチングを中心としたアプローチが主流でしたが、近年、深層学習を用いたアプローチが広まり、正常品の中でも形状変化が大きい、食品や柔らかい素材の部品など含め、幅広く活用することが出来るようになってきました。 本手法は、その発展として開発されたものであり、以下のような特徴を持ちます： 従来の手法では大量に必要となっていた異常画
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
【2022年最新AI論文】画像異常検知AIの世界最先端手法「PatchCore」の論文を解説【CVPR 2022】 - Qiita
本日(2022/6/19)からアメリカのニューオーリンズで開催されているCVPR2022（2022/6/19-24）で、世界最先端の異常検知手法「PatchCore」が発表されました！ CVPRはコンピュータビジョン分野のトップカンファレンスで、画像系AI研究の最難関の国際会議の一つです。ちなみに、昨年（CVPR2021）の採択率は23％。 PatchCoreは、外観検査（画像の異常検知）タスクで有名なデータセット「MVTecAD」でSOTA（State-of-the-Art）を達成しています。 この記事では、世界最先端の画像異常検知AIがどのような手法なのか、できるかぎり簡単にわかりやすく論文を解説したいと思います。 論文解説 タイトル/著者 Towards Total Recall in Industrial Anomaly Detection Karsten Roth, Latha
おまたせしました この度、ついにこの記事を完成させることができました。これは私が数年前からずっと書きたいと思っていた、ウェブのアクセスログに対する、機械学習を使った異常検知の実例です。私は事あるごとに(※1)「情報セキュリティ分野でもデータサイエンスの技術は非常に重要だ」と繰り返していますが、この記事の内容はまさにその1つの証となると思います。この記事で示される内容を見れば、「うわ、機械学習、マジでヤバイい(語彙力)んだな...」となるでしょう。以下に心当たりのあるセキュリティエンジニアはぜひ読んで、そして実践してみてください。 機械学習に興味はあるものの、どこから手を付ければよいのかイメージがわかない 本当にAIやデータサイエンス、機械学習がセキュリティの分野で役に立つのか、確信がもてない データサイエンスや機械学習は難しそうだと思っている ログ解析において、grepや単純な統計処理より
AWSコスト異常検知を導入したら、『人にお願いする』トイルが発生したのでSlackBotを作って解消した - KAYAC engineers' blog
SREチームの池田(@mashiike)です。SRE連載の５月号になります。 AWSのコストについては、多くの方がすごく気にしていると思います。 カヤックでもAWSのコストの変動に関しては敏感に気にしています。 そんな方々の心のお供になる機能が、 AWSコスト異常検知(AWS Cost Anomaly Detection) です。 今回は、このコスト異常検知にまつわるトイル削減の取り組みを紹介します。 背景 AWSコスト異常検知は、AWS マネジメントコンソールの中では『Billing and Cost Management』配下にある機能になります。 この機能を使うことでAWSで発生したコストに関して、通常とは異なるコストの発生を検知することができます。 コスト異常検知自体については、CureApp テックブログ様のZennの記事がわかりやすくまとまっているので、そちらを参照いただければ
【異常検知】異常原因を特定する - Qiita
異常検知は、正常データだけで学習できる製造業で人気のある手法です。 そして、異常検知で異常を検出したとして、「異常原因を特定したい」という 要望もよく聞かれます。 そこで、本稿では、複数のセンサが付いた異常検知システムにおいて、 異常が発生した場合に、どのセンサが異常値を示しているのかを特定する 方法を検討します。 ※コード全体はこちらに置きました。 ※こちらはPythonデータ分析勉強会#17の発表資料です。 きっかけ 以前に、こんな内容をツイートしたところ、皆さん興味をお持ちのようでした。 昨日、JFEスチールの製造ラインで異常検知する話しを聞いた。 ・数十個にわたるセンサで常時監視 ・異常検知の制約は、異常のみならず異常原因も特定する ・センサは相関が強いものだけを取り出し、主成分分析だけで異常検知 ・これによりコストと納期を大幅に削減 ー続くー — shinmura0 @ 3/14
前回の記事では、ディープラーニングの異常検知に関するベンチマークを 行いました。その結果、「L2-SoftmaxLoss」が一番良い性能を示しました。 本稿では、その元になった「論文の概要」と「異常検知に適用した場合の考察」を 記したいと思います。 ※なお、本稿の図は特に明記がない場合は論文（L2-constrained Softmax Loss for Discriminative Face Verification ）より引用しています。 論文の結論 結論からいうと、論文で言いたかったことは ということです。この意味が分かる方は、既に論文のほとんどを理解できています。 あとは、分類精度を向上させるために、ソフトマックス関数をどう改造するかのお話しです。 ソフトマックス関数のクロスエントロピー 分類問題で良く使われるソフトマックス関数のクロスエントロピーは 以下のとおりです。 L_S=-\
Pythonの異常検知パッケージPyODのフォーマットに従って、カーネル密度推定に基づく異常検知を実装した - 備忘録
はじめに 異常検知（外れ値検知）のための便利なPythonパッケージとしてPyODが存在する。 pyod.readthedocs.io github.com クラシックな手法から比較的最先端の手法まで実装されており、インタフェースも使いやすいのでオススメできる。 2021年8月9日現在、PyODにカーネル密度推定（Kernel Density Estimation; KDE）ベースの異常検知が実装されていなかったので、それを実装したということである。 PyODのインストール pipでインストール可能である。 pip3 install pyod 異常検知について 以下の記事を読むのが良いだろう。 qiita.com カーネル密度推定について ばんくし氏の記事が参考になるだろう。 vaaaaaanquish.hatenablog.com 作成したクラス：KDE すでに実装済のPyODの各種アル
以前に以下のツイートをしました。 この論文の凄さは、「DNNは学習していない」ということ。学習済モデルを全面的に信用している。それでAUC95.80％は驚愕。 凄まじく早い（学習）ので、エッジなんかで威力を発揮しそう。 （続く） https://t.co/1u6BUQsJnt — shinmura0 @ 2/27参加者募集中 (@shinmura0) September 14, 2020 個人的に、この論文は画像分野において異常検知の決定版と認識しています。 ただ、弱点を挙げるとすれば「可視化手法がない」ということです。 本稿では、この手法で異常検知しつつ、異常部分を可視化する方法を模索します。 ※コードはこちら 先に結論 本稿のターゲットは、「高精度に異常検知しつつ(detection)」、「低速+ある程度の 可視化(segmentation)」です。本稿の内容が適合していない場合、お好
(DCASEホームページより) はじめに 音を題材とした異常検知のデータセットによる機械学習コンペが始まりました。 音に関するコンペ自体が珍しいなか、タスクとして一般的な分類などでもなく、更に難しい異常検知が設定されました。 個人的に2019年に画像の異常検知に積極的に取り組んだのですが、音声は周波数領域に変換すると画像のように取り扱えることから、チャレンジしたい題材でした。下記は画像にチャレンジしたときの記事です。 欠陥発見! MVTec異常検知データセットへの深層距離学習(Deep Metric Learning)応用 深層距離学習(Deep Metric Learning)各手法の定量評価 (MNIST/CIFAR10・異常検知) この記事では、そのコンペ「DCASE 2020 Task 2 Unsupervised Detection of Anomalous Sounds for
クックパッドでデータにまつわるあれやこれやをずっとやってる佐藤です。分析・調査に仮説検証にデータパイプラインにと色々やってました。ちなみに先日はCyberpunk2077休暇をとるなどという呑気なことをしていたら、この記事でやりたかったことがほぼできそうなサービスがAWSから発表されて頭を抱えながら書いています。 そのログはどこまで信頼できるのか クックパッドではサービス改善のためにWebサイトやアプリからログを収集して開発を行っています。これらのログは集計された後、ダッシュボードの形で可視化されてサービス開発者たちの意思決定を支えています。 クックパッドのログ基盤はログ送信側（クライアントサイド）もログ格納側（DWHサイド）も十分に整っており、いつでも必要であれば簡単にログを送信・集計するだけの仕組みができあがっています。 アプリログにおける大雑把なログ収集の図 （注:例として上図を載せ
最近、画像の異常検知研究が活発になってきました。 そこで、本稿では、画像の異常検知研究に関する最新情報をお伝えします。 画像はpaper with codeより転載 先に結論 最近の研究は精度を維持しつつ、メモリの圧迫を抑える。さらに、推論時間も短縮させている。 最近のデータセットは多様性が増し、より難易度が上がっている 予備知識 本題に入る前に、従来の手法・データセットが抱える問題点をおさらいしておきます。2021年くらいまでの情報ですので、ご存知の方は読み飛ばしてください。 従来の手法 PaDimとマハラノビスAD 今でも根強い人気があるのがPaDim[1]です。中身が簡単なことに加え、異常検知性能も高いことが理由だと思います。また、PaDimの基となったのがマハラノビスAD(gaussian AD)[2]です。 上記のスライドは二つの手法を説明したものです。両手法とも、ImageNe
以前の記事でオートエンコーダによる異常検知は古い！と書いてしまいましたが、 最近は進化しているようです。 今回ご紹介する論文は、損失関数を工夫することで通常のオートエンコーダよりも 異常検知能力を上げる手法です。 ※本稿の図は論文（Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders）より引用しています。 論文の概要 通常のオートエンコーダによる異常検知は、微小な異常は捉えられない。 そこで、一枚の画像に対し小さな枠を用意して「輝度」、「コントラスト」、「構造情報」の類似度を計算して異常検知を行う。 本手法を使うことで、通常のオートエンコーダやVAEの異常検知と比べて、AUCで大幅な向上が見られた。 異常部分の可視化についても、通常のオートエンコーダよりも優れ
打突棒 打突棒は、Amazonで適当なものを購入しました。 https://www.amazon.co.jp/gp/product/B00QQ2J70K/ref=ppx_yo_dt_b_asin_title_o09_s00?ie=UTF8&psc=1 手順 2. USB接続されたマイクで録音 木板の端を打突棒で叩いた音をUSBマイクで録音します。 板によっては、左右の差があるかどうかを見るために、左右それぞれを打突して録音します。 USBマイクもは、Amazonで適当なものを購入しました。 https://www.amazon.co.jp/gp/product/B075PJ7V3V/ref=ppx_yo_dt_b_asin_title_o09_s00?ie=UTF8&psc=1 特に性能で選んだわけでもなく、自立するマイクで、高価でなく、ユーザー評価の高いもの適当に選びました。 録音は、３
ディープラーニングを使った画像の異常検知について、研究が盛んに行われています。 工業製品を対象に、正常データのみを使って異常品を検出するアプローチとしては、 今のところ、@daisukelab さんの自己教師あり学習が一番有力です。こちらの研究では、 課題として、一部の画像で精度が伸び悩み、異常クラスのデータの作り方を試行錯誤した とのコメントがありました。 そこで、本稿では、多様な異常画像の自動生成方法について模索してみたいと思います。 ※こちらはPythonデータ分析勉強会＃16の発表資料です。 ※コード全体はこちらに置きました。 結論から 先行研究の自己教師あり学習では、「正常」、「線を描画した異常」の2クラスに対して、本稿では「歪みを加えた異常」を追加して3クラスの深層距離学習（下図参照）で学習させた。 3クラスになったことにより、深層距離学習の最新手法「AdaCos」の使用も可能
BigQuery MLでスロット使用量が急増しているプロジェクトやユーザーを異常検知する - yasuhisa's blog
背景 どうやって異常を検知するか BigQuery MLでの異常検知 検知できるモデルの種類 共通設定 データの前準備 モデルの学習 モデルを元にスロット使用量が異常に増加していないか予測する 所感 背景 BigQueryはオンデマンドとフラットレート(定額料金)がある オンデマンドはスキャン量がお金に直結するため、INFORMATION_SCHEMA.JOBS_BY_*などを使ってクエリ警察をしている方も多いはず INFORMATION_SCHEMAに代表されるデータ管理に役に立つ現場のノウハウを最近会社のTech Blogに書いたので、そちらも見てね 一方で、フラットレートに関しては定額使いたい放題のプランであるため、オンデマンドよりはクエリ警察をしていない場合もある 見れるなら見たいが、どうしても支出に直結するオンデマンドを優先して見てしまいがち。工数も限られている が、あまりに自由
深層距離学習(Deep Metric Learning)各手法の定量評価 (MNIST/CIFAR10・異常検知) - Qiita
各組み合わせにつき、上図で表した10テストケースをそれぞれ実施して統計をとっています。 まとめ: 10テストケースでは、正常・以上に割り当てる具体的なクラスを入れ替える。 8つのセットで評価の条件を組み合わせ、各条件で10テストケースすべてを実施した上で統計をとった結果を出している。 1.3 評価方法 ひとつの組み合わせは10テストケース実施それぞれで、①AUC、②各クラスサンプルの平均距離を得た。 ひとつのテストケースの評価手順 通常のCNN分類器(ResNet18)に、手法を組み込む。(Conventionalのときは何もせずそのまま使う) 学習は、「正常」に割り当てたクラスだけで構成する学習データセットを使い、転移学習によって行う。学習データは、各データセットで元々trainセットに入っているサンプルのみ利用する。 評価データの距離を得る。 正常・異常を問わずすべてのクラスから評価デ
こんにちは、CTOの森です。 本記事はiimonアドベントカレンダー16日目の記事となります。 普段機械学習を使うことは無いのですが、勉強も兼ねてCloudFrontのログを機械学習させてみたらどうなるのか試してみました。 検証した環境 ログデータの形式 使用したログデータのフィールド 分析までの手順 正しくデータを読み込む 学習できる形式に変換 method result_type path_num path_0 ~ path_4 query_num query_len sc-status time-to-first-byte 学習 元のデータと結合 CSVファイルに出力 コード全体 分析結果 (比較的)うまくいった結果 うまくいかなかった結果 参照したサイト まとめ 最後に 今回ログデータをIsolation Forestという手法を用いて分析してみました。Isolation Fore
はじめに こんにちは、わっしーです。本記事では、CVPR2022で発表された画像異常検知手法であるPatchCoreの実装について解説します。 まずは、実際に試した結果です。下図の上は正常画像、下は異常画像です。異常部分が赤くなっており、製品が欠損していることがわかります。 PatchCoreの詳細については、外観検査向け異常検知手法に関する論文紹介の記事がわかりやすいです。 PatchCoreの利点は、ImageNetなどのデータセットで学習された事前学習モデルの特徴マップを用いるため深層学習モデルの訓練の必要ないことです。 手法としては、 正常な画像群の特徴マップにおける局所的な部分をパッチ特徴量としメモリバンクに保存する 高速化のためランダム射影で次元削除した特徴量に対してGreedy法を用い、メモリバンク内のパッチ特徴量の数を削減 テスト画像の各位置の特徴量に対して、近傍法でメモリ
先日、9月に終了した鳥コンペについて、反省会を開催させていただきました。 （発表資料は俺人さんのブログにきれいにまとめられています。） 私自身は、チームメイトの@daisukelabのおかげで銀メダルを取りましたが、 全く戦力外で、単なる傍観者にすぎませんでした。（お恥ずかしい） そのため、反省会でも発表する内容がありませんでした。 本稿ではコンペ終了後にlate subして、一矢報いたので内容をご報告します。 今回は異常検知にフォーカスした内容になっております。 鳥コンペとは ルールはこちらに書きました。ざっくりいうと 音データから、264種類の鳥の鳴き声を推測する問題 各鳥の音源は9～100個用意されている ただし、264種類以外の鳥、もしくは関係のない音の場合、"nocall"ラベルを付与する nocallは、学習データには含まれないのにも関わらず、テスト時にはラベル付けをしないと
パソコン壊れそう…を事前警告！ Windows 10にSSD異常検知機能が実装へ2020.10.02 22:3016,045 湯木進悟 データ全滅を回避可能に！ 忘れたころにやってくるのが、パソコンのトラブルです。昔はHDDがカラカラと異音を発し、動きがぎこちなくなってはお蔵入りだなんて悲劇に見舞われることが、けっこうありましたよね？ ただ最近はSSDを採用するPCが主流となり、HDDのような異音を耳にする機会は減っていますが、そのぶんだけSSDの故障は、前触れなく突如としてやってくるような…？ このほどWebProNewsは、新たにDev Channelへ配信されたWindows 10 Insider Previewの｢Build 20226｣が、SSDの異常を事前に検知して警告する新機能を実装していると報じました。NVMe対応のSSDが、正常に動作していない状態にあるとき、その現状を表
画像の欠損補間 実世界の問題において、データが欠損していることが多々あります。そのような場合にも、スパースであるという仮定をうまく利用することで、データの欠損を補間することができます。 前回、画像の再構成について紹介したとき、自然画像をパッチに区切って辞書学習を行うと、各パッチは得られた辞書を用いてスパースに表現できることがわかりました。実はこの辞書とスパース表現は、学習画像に、ある程度欠損があったとしても、うまく求めることができるのです。 なぜ、そんなことが可能かというと、例えば100変数の連立方程式を考えたときに、式の数は100個あれば全ての変数の値を決定できます。データとして10000個方程式があったとしても、そのうちの1％だけを使って連立方程式を解くことができます。また、方程式の解がほとんど0であるとわかっている場合も少数の方程式から解が得られることが知られています。つまり、100
SSIMオートエンコーダ（論文より引用） SSIMを適用する窓のサイズは11 x 11 オートエンコーダの入力画像サイズは256 x 256 潜在変数は100 学習データはDataAugmentationにより10,000個に増幅 metric learning 学習データは上記4種類のデータ全てを渡しました。つまり、968個のデータです。 入力画像サイズは224 x 224 今回使うmetric learningはL2 SoftmaxLoss epochは50、最適化手法はSGD バッチサイズは128 ベースモデルはMobileNet V2($\alpha=0.5$)（学習済モデルを使用、つまり転移学習） 異常スコアはLOFで算出 10回試行して、それぞれの試行で再現率と特異度の和が高いものを採用 アンサンブル異常検知 metric learningについて、更なる高精度を目指してアンサ
はじめに 弊社アダコテックでは、異常検知AIを開発・提供しています。 弊社で取り扱った実績のある異常検知の対象には、いろいろな形式のデータがあります。 静止画 電子部品（半導体部品、受動部品）や、自動車部品など 動画 監視カメラ映像や、製造装置の監視など 時系列信号（センサー） さまざまな機械の劣化検知など 音 さまざまな機械の異音検知など 今回は、弊社でも長年にわたって研究開発してきた、動画の異常検知について説明します。 はじめに 動画ってなんだっけ？ そもそも異常検知って？ HLACによる異常検知 CHLACは動画版HLAC CHLACのマスクパターン CHLACによる異常検知の流れ おわりに 動画ってなんだっけ？ 動画？ 動く画像ですよね。 動画像とか映像とかアニメーションとかとも言います。 少しずつ変化する画像を連続的に見ると残像効果で動いているように見えます。 ノートの端などに描
1. はじめに テーマ「"やってはいけない” アンチパターンを共有しよう！」…色々とネタが思い当たります！ 最近再び出会った、とある問題についてご紹介しようと思います。 2. それは画像の異常検知を解いていたときのこと… 画像の異常検知とは、正常な画像に対して異常な画像を検出して、例えば不良品の選別などに使う技術です。 図: MVTec ADウェブサイトより、緑 の正常サンプルに対する 赤 の異常サンプル例。 普通あまり「異常の画像」が発生しないので、「距離学習」という手法を使って「正常品じゃない度合い」を数値化して、この数値が大きいと「異常だ!」とみなす方法などがあります。 その一つ、記事「幾何変換を使った効果的な深層異常検知 (CNN画像分類モデル/教師なし/MVTec異常検知データセット)」で紹介した「DADGT」という略称の手法を試していたときのことです。 3. 学習〜やったね、A
宇宙航空研究開発機構（JAXA）は17日、種子島宇宙センター（鹿児島県）で国の新たな大型ロケット「H3」初号機の打ち上げを試みたが離陸できなかった。固体補助ロケットが着火しなかったという。何らかのトラブルが起きたもようでJAXAは情報収集を急いでいる。H3は予定通り10時37分に打ち上げを試みた。JAXAによると、主エンジン「LE-9」には着火したが、固体補助ロケットに着火できなかったため、打
【読売新聞】 地方銀行「きらぼし銀行」（東京）が会社社長による４億円超の不審な送金を見過ごした疑いのある問題で、社長から別に送金依頼を受けたメガバンク１行が取引を監視するシステムで異常を検知し、送金を拒否していたことがわかった。きら
今回の目的 前回までに全結合型のオートエンコーダー、CNNを利用した畳み込みオートエンコーダー、それから学習を高速に行えるようにGPUを使用する方法などを見てきました。 ところで、オートエンコーダーが持つエンコーダーで元画像を縮小（次元削減）して、それをデコーダーで復元することはどんなことで役に立つのでしょうか。一般には異常検知やノイズ削減などがオートエンコーダーの用途として挙げられています。そこで、今回は、MNISTの手書き文字を例に異常検知とはどんなものなのか、その本当に表面的な部分だけを見てみることにします。 「異常検知」とは、数多くのデータの中から、他のデータとは異なる特徴を持つデータを見つけ出すことです。例えば、工場で生産されたネジを考えてみましょう。製造されたネジの多くは何の問題もなく、製品として出荷できるものです。しかし、その中のごく一部には、傷があったり、先端が曲がっていた
教師データが足りないと「異常予測」は難しい、ならば「異常検知」から始めよう：もう失敗しない！製造業向け機械学習Tips（3）（1/2 ページ） 製造業が機械学習で間違いやすいポイントと、その回避の仕方、データ解釈の方法のコツなどについて、広く知見を共有することを目指す本連載。第3回は、「異常予測」と「異常検知」について取り上げる。教師データ量の不足が課題になる「異常予測」に対して、「異常検知」は教師データなしでも始められることが特徴だ。 ⇒連載「もう失敗しない！製造業向け機械学習Tips」バックナンバー 製造業では、生産設備の故障や製品の不良など、さまざまな異常の発生を予測する目的で機械学習が活用されています。しかし、異常発生の予測に機械学習を使う場合、多くの企業は故障の教師データ不足という課題に直面します。そこで今回は、機械学習プロジェクトにおいて教師データが不足している場合の対処法につ
いつもMackerelをご利用いただきありがとうございます。 先日、Mackerelではロール内異常検知ベータ版をリリースしました。 mackerel.io これまでいただいたご意見を踏まえ、継続的な改善の結果、機能のクオリティが一定のものを満たしたと判断しましたため、これを2019年8月より正式提供させていただきます。 正式化にあたりまして、ベータ提供期間中の無料キャンペーンを終了させていただきます。 正式化に際して、ユーザーによる特別な操作は必要ありません。ロール内異常検知を継続していただければ、自動で正式版に切り替わり、料金が発生します。 ロール内異常検知の料金設定と決済タイミング ロール内異常検知は、監視対象となるロールに登録されているスタンダードホスト5台ごとに、スタンダードホスト1台分の1,800円が請求されます。このときにカウントされるスタンダードホスト台数は、オートスケール
図２：異常検知を用いた手法のイメージ図。入力画像を再構成する手法を学習する深層学習モデルを、一般的な銀河を用いて訓練します (左側上段)。このモデルに希少天体 (例としてクエーサー) の画像を入力すると、珍しい特徴 (明るい中心核) を再現することができず残差が大きくなるため、希少天体として検出されます。右端の画像は、上から順に、g、r、iバンドでの残差を示しています。(クレジット：田中匠/東京大学) SWIMMY プロジェクトの第一段階として、本研究では HSC で撮影された大量の銀河画像の中から異常検知手法を用いた希少天体の探査を行いました。用意した約５万枚の銀河画像をコンピューターに学習させ、中心部分に珍しい色特徴や明るさを持つ銀河 (全サンプルの約 12 パーセント) を検出しました。 既存の銀河カタログと照合した結果、検出した候補天体の中には、クェーサー (注１) や、爆発的に星
はじめに 異常検知AIソフトウェア・クラウドサービスを提供しているアダコテックでエンジニアをしているshin-ueです！ 今回は、弊社内で保有する電子部品を撮像した画像データに対して、異常検知を実施してみます。 そもそも異常検知って？ 異常検知における異常とは、みなさん何を思い浮かべますか？ 例えば、毎日休まず周期的な信号を出力してくれるシステムが一家に一台あったとします。 機械とよくケンカする僕みたいな人間は「ほんとうに周期的な信号だしてるのか！？」と疑いをかけてモニタリングしてしまいます。 t=9~11の出力値がいつもと違う変化をしているぞ・・・不良品だコイツこのやろう！（過激派） という感じで、「いつもの正常状態とは異なる状態」を異常と表現しています。 定期的に状態を監視し異常傾向を予兆してあげたり、異常状態を検出するような仕組みを作成し、異常発生したら関連システムにアラート信号を送
今回は、実例があまり出てこない食品画像を攻略してみたいと思います。（といっても、精度100％は出ていません(^^；） （右端「Padim + YOLOv5」が提案手法） 食品画像の難しさ 食品画像の検査は、工業製品と違って難しいと言われています。個人的には 見た目に多様性がある 位置が決まっていない が理由だと思っております。 見た目の多様性は、例えばミカンでいうと、色やサイズ、形が様々で、一つとして同じものはありません。つまり、正常品の範囲が広く、正常/異常の境界線があいまいになりがちです。一方、工業製品は多様性が少なく、正常品の範囲が狭いです。このため、正常/異常の境界線がはっきりしています。 二点目、「位置が決まっていない」は、食品という特性上、位置が多少ズレることがあります。さらに、2つの食品があったとして、2つの位置が入れ替わったとしても正常となることがあります。つまり、位置ベー
以前に、【まとめ】ディープラーニングを使った異常検知の記事を 書きましたが、主に「画像」を対象とした内容でした。 今回は、その記事で有効だった深層距離学習を「時系列データ」に 適用して異常検知を行います。 画像データとの違い 画像の場合は、比較的有利な条件で学習が可能でした。 一方、時系列データの場合は、以下の制限があります。 転移学習が使えない 画像では学習済モデルが公開されているため、転移学習が使えましたが、 時系列データの学習済モデルは一般的に公開されていないため、転移学習が使えません。 参照データがない metric learningを使う場合、正常データと共に全然関係ない参照データ （正常データと見比べるデータ）が必要でした。ところが、時系列データの 場合、参照データが存在しない可能性が高いです。 以上の制約から、時系列データは自作のモデル+正常データのみで学習させる 必要があり
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
異常検知プロジェクトを取り巻くtips - Qiita
【速報】次世代の外観検査！？プロンプトを駆使した異常検知 - Qiita
【まとめ】ディープラーニングを使った異常検知 - Qiita
GANを用いた画像異常検知アルゴリズム - Qiita
踏切の異常検知は作動 自動ブレーキ機能なく 京急説明：朝日新聞デジタル
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
【論文読み】異常検知を支える技術 - Qiita
【異常検知】学習ゼロの衝撃！を可視化する - Qiita
機械音の異常検知チャレンジ DCASE 2020 Task 2 - Qiita
分析用ログデータに対する品質保証としての異常検知 - クックパッド開発者ブログ
【異常検知】最近の研究動向・2023年夏 - Qiita
【論文読み】新・オートエンコーダで異常検知 - Qiita
Deep Metric Learning（深層距離学習）を使った打突音による異常検知 - Qiita
【異常検知】深層距離学習で画像の歪みを検出する - Qiita
CloudFrontのログを使って機械学習で異常検知を試してみた - iimon TECH BLOG
【CVPR2022】画像異常検知 PatchCoreの実装解説
【Kaggle】鳥コンペ一人反省会 -異常検知編- - Qiita
パソコン壊れそう…を事前警告！ Windows 10にSSD異常検知機能が実装へ
スパースモデリングの画像処理への発展的な応用～欠損補間、異常検知、超解像
東芝、半導体ウェハの不良など異常検知を高精度化する世界トップレベルのAIを開発
【コード検証中】【精度対決】リアルな画像で異常検知 - Qiita
やさしい！動画の異常検知 CHLAC入門 - アダコテック技術ブログ
一足早い初夏のML怪談😱〜深層学習を使った画像の異常検知編 - Qiita
H3ロケット、離陸せず JAXA「機体1段目に異常検知」 - 日本経済新聞
不審送金「見逃し」疑惑、メガバンク１行は異常検知で送金拒否…きらぼし銀行は８０回・４億円超の送金も「適切に対応」
MNISTを使ってオートエンコーダーによる異常検知を試してみよう
教師データが足りないと「異常予測」は難しい、ならば「異常検知」から始めよう
2019年8月からロール内異常検知が有料になります - Mackerel お知らせ #mackerelio
すばる望遠鏡×異常検知 AI が捉えたへんてこな銀河たち | 観測成果 | すばる望遠鏡
異常検知技術を比較してみた（ルールベース, HLAC, PatchCore）
【異常検知】食品画像を攻略してみる - Qiita
【時系列データ】深層距離学習で異常検知 - Qiita