マルチモーダルAI（Multimodal AI）とは？

用語「マルチモーダルAI」について説明。テキスト／画像／音声／数値など複数の種類のモダリティー（データ種別）を一度に処理できる統合されたAIモデルを指す。 連載目次 用語解説 マルチモーダルAI（Multimodal Artificial Intelligence）とは、テキスト／画像／音声／数値など複数の種類のデータ（＝モダリティー：Modality*1）を一度に処理できる統合されたAIモデル（基本的にはニューラルネットワークのモデル）を指す（図1）。また、複数のモダリティーから学習することはマルチモーダル学習（Multimodal Learning）とも呼ばれる。 マルチモーダルAIの代表例としては、例えば大規模言語モデル（LLM）に画像の入力を追加してマルチモーダルLLMへと進化したOpenAIのGPT-4などが挙げられる。このような、特に自然言語とコンピュータビジョンのモダリティー

[misshiki]

“数値／画像／テキスト／音声など複数のモダリティー（データ種別）を組み合わせて、もしくは関連付けて処理できる単一のAIモデル”