AI開発の新たなパラダイム「基盤モデル」とは

さて、視覚・言語を扱う基盤モデルとしては、2021年の CLIP がブレイクスルーでした。CLIPはテキストと画像を同じ特徴空間に写像する2つのエンコーダからなります。CLIPを使うと、次のようにして任意の画像分類問題を追加の学習なしで解くことができます。まず、各候補クラスを文章の形式（例：「犬の写真」）にした後、テキストエンコーダに入力します。次に、分類したい画像を画像エンコーダに入力します。最後に、画像から得られたベクトルと候補クラスたちから得られた複数のベクトルとのコサイン類似度を計算し、最も類似度が高いクラスを出力結果とします。 CLIPによるゼロショット画像分類の方法。OpenAI Blogより引用 CLIPは画像とテキストというモードの異なる情報を意味的な近さによって結びつけることを可能にしました。CLIPを教師のようにして使うことで、テキストから画像を生成するモデルを訓練する

[mkusunok]

基盤モデルについての分かりやすい解説。データセットの収集＆特徴量エンジニアリングは専門組織がないと難しいけれども、プロンプトエンジニアリングであれば文系人間の試行錯誤にも出番がありそうな予感も

[naggg]

GPT-3のような大規模言語モデルや、少し前のBERTも基盤モデル。 "基盤モデルとは、「大量・多様なデータから高い汎化性能を獲得したAI」"

[misshiki]

“この「基盤モデル」について、執筆時点での定義、性質、具体例、課題と将来の展望をまとめたいと思います。”

[udofukui]

まとまっててよい！参考になる。/未来だなぁー。ワクワクしますなぁー。