BERTとResnetのマルチモーダルモデル「MMBT」を徹底解説 - Qiita

はじめに 実務でECサイトのレコメンド精度改善のために、画像とテキストの両方を用いたマルチモーダル分類モデルを実装しました。 当初社内にマルチモーダル・ディープラーニングについての知見がなく、web記事を片っ端から漁りましたが執筆時点（2021年11月）には参考になるような日本語記事はほとんど見当たりませんでした。 何とかしてマルチモーダルモデルを構築できないものかと調査したところMMBTの論文にたどり着きました。 そして、自社データを用いてモデル構築したところベースラインを上回る精度が出ましたのでここで紹介したいと思います。 これからマルチモーダルモデルに挑戦される方の参考になれば幸いです。 原論文：Supervised Multimodal Bitransformers for Classifying Images and Text github：MultiModal BiTransf

[sh19910711]

"データサイエンスVtuber アイシアさんの自然言語処理シリーズ / MMBT: BERTとResNet-152のベクトルを結合した後にさらにBERTに入力 / 判断根拠の可視化: nike,fear,airといった単語が注目され、画像側ではNikeのロゴマーク" / 2021