Googleは、AIを用いることでファイルの種類を高速かつ正確に判別できるツール「Magika」をオープンソースで公開したと発表しました。 Magikaは、あるファイルの中味が何なのか、記述されたプログラミング言語の種類、動画や画像、音声などのフォーマットの種類、ExcelやWord、PDFなどのオフィス系ソフトウェアの種類、OSの実行形式バイナリなどの種類を瞬時に判別してくれます。 下記はコマンドラインとしてMagikaを実行した例で、フォルダ内のファイルの種類を出力しています。 特別に最適化された1MBのモデルでを用いて推論を実行 Magikaはファイルの判別に、Kerasを用いて特別に最適化されたディープラーニングによる、わずか1MBのモデルを用いていると説明されています。 このモデルは推論エンジンのOnnx上で実行されています。実行速度はGPUを用いずCPU上で処理されたとしても数
Magika
Googleの研究チームが、AIの力を活用してファイル形式を高速かつ効率的に識別するツール「Magika」を開発し、オープンソースで公開しました。Magikaは99％以上の精度でバイナリやテキストのファイルタイプを検出し、CPU上でもミリ秒以内に実行できるとのことです。 Magika: AI powered fast and efficient file type identification | Google Open Source Blog https://opensource.googleblog.com/2024/02/magika-ai-powered-fast-and-efficient-file-type-identification.html Magika https://google.github.io/magika/ Google launches AI Cyber D
GitHub - google/magika: Detect file content types with deep learning
Magika is a novel AI powered file type detection tool that relies on the recent advance of deep learning to provide accurate detection. Under the hood, Magika employs a custom, highly optimized Keras model that only weighs about 1MB, and enables precise file identification within milliseconds, even when running on a single CPU. In an evaluation with over 1M files and over 100 content types (coveri
米Googleは2月15日（現地時間）、AIを活用してサイバーセキュリティ防御を強化する新たな取り組み「AI Cyber Defense Initiative」を発表した。AIによる脅威の検出強化、脆弱性管理の自動化、インシデント対応の効率向上を推進していくことが目的だ。 Googleは、サイバーセキュリティの主な課題として、攻撃者にとっては脅威が1つでも成功すればいい一方、防御側は1つのミスもなく常に最高の防御を展開しなければならないという「Defender’s Dilemma（防衛者のジレンマ）」があると説明。大規模なAIがあれば、この防衛者のジレンマに対処できるとしている。 新イニシアチブは、AIで脅威に対応するだけでなく、脅威を予測し、無力化することを目的とする。そのために、サイバー脅威を示すパターンを分析するAIアルゴリズムを導入する。 Googleは昨年6月、生成AIを採用する
Magika: AI powered fast and efficient file type identification
The latest news from Google on open source releases, major projects, events, and student outreach programs. Today we are open-sourcing Magika, Google’s AI-powered file-type identification system, to help others accurately detect binary and textual file types. Under the hood, Magika employs a custom, highly optimized deep-learning model, enabling precise file identification within milliseconds, eve
Google、AIでファイル種類を高速正確に判別する「Magika」をオープンソース公開 | テクノエッジ TechnoEdge
ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 Googleは、AIを用いることでファイルの種類を高速かつ正確に判別できるツール「Magika」をオープンソースで公開したと発表しました。 Magikaは、あるファイルの中味が何なのか、記述されたプログラミング言語の種類、動画や画像、音声などのフォーマットの種類、ExcelやWord、PDFなどのオフィス系ソフトウェアの種類、OSの実行形式バイナリなどの種類を瞬時に判別してくれます。 下記はコマンドラインとしてMagikaを実行した例で、フォルダ内のファイルの種類を出力しています。 特別に最適化された1MBのモデルでを用いて推論を実行Magikaはファイルの判別に、Kerasを用いて特別に最適化されたディープラーニングによる、わずか1MBの
Google が 2023年の2月に GitHub で公開した Magika というプロジェクトがあります。 主に Python で書かれたプログラムなのですが、今回これを自身の勉強のために C# に移植してみましたので、その過程を記録したいと思います。 過程には興味がないので結果だけ知りたいという方は、以下のリポジトリをご覧ください。 目次 Day 1 : まずは Magika の中身を見てみよう Day 2 : C# で 概念実証コードを書いてみる Day 3 : C# クラスライブラリとして Magika を移植していく Day 4 : GitHub Copilot を使って作業効率アップ Day 5 : クラスライブラリとしての Magika を完成させる Day 6 : コンソールアプリを作成する Day 7 : 移植したMagikaをビルドし、動作確認する Magika の紹介
Magikaとは MagikaはGoogleの深層学習ベースのファイルタイプ検出ライブラリで、ベースはPythonです。現在非公式かつ実験的なプロジェクトとなっていますが、2024年2月にオープンソースとして公開されました。高速な動作と高精度な検出がウリとのことです。GMailやGoogle Driveなどのファイルチェックには利用されているそう。 Python製ツールなのですが、公式のデモを見れば分かる通り、Javascript版が実験的に提供されています。 ここではPythonではなく、Javascript版ライブラリを利用してみたことについて記載します。 まず、このツールの基本的に想定される要素としては、Webバックエンドなどでの外部データ入力の判定等と言えます。 この分野でのjavascriptライブラリとしては、古典的かつ普及しているものとしてfile-typeのような読み込んだ
Magikaのインストール 現時点（2024年2月中旬）におけるMagikaの最新バージョンは、0.5.0です。 Python製のため、pipで簡単にインストールできます。 サポートしているPythonのバージョンは、以下。 Magikaをインストールするには、次のコマンドを実行するだけです。 pip install magika 処理が終わったら、Magikaのインストールは完了です。 Magikaの動作確認 Magikaには、二つの使い方があります。 コマンドラインツールPython API それぞれで動作を確かめてみましょう。 コンテンツタイプを識別するために、対象ファイルとしてpngを用意します。 コマンドラインツール 使い方は、ヘルプで確認できます。 > magika --help Usage: magika [OPTIONS] [FILE]... Magika - Determ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google、AIでファイルの種類を高速正確に判別できる「Magika」をオープンソースで公開
Googleが高精度かつ高速にファイル形式を判別するツール「Magika」公開
GoogleがAIの力でファイル形式を正確に識別するツール「Magika」をオープンソースで公開
Google、AI採用のサイバー防御イニシアチブ発表 「Magika」オープンソース化も
Google の Magika を Python から C#に移植するまでの過程（Day 1 / 7） - Qiita
GoogleのAIファイル判定ツールMagikaを試した感想（js版）
Magika：次世代のGoogle製コンテンツタイプ検出ツール