作って遊ぼう！LLMを搭載した君だけのV&Lモデル！

はじめに TuringのBrain Research teamで頑張ってる井ノ上です。(Twitter: いのいち) Turingは完全自動運転の開発を目指しており、その実現のためには賢い頭が必要だと考えています。その方法の一つとして、近年の大規模言語モデル（LLM）に見られるような文脈理解力をうまく取り入れられないかと考えており、LLMとVisionの情報をかけ合わせたモデルに注目して研究を行っています。自動運転とVision and languageモデルについては、ぜひこちらの記事を読んでみてください。 今回の記事は2023年7月に開催されたABCI LLMハッカソンで取り組んだときに開発していたGIT-LLMというモデルの開発について解説する記事となっています。途中のコードの解説部分などは少し退屈に感じるかもしれませんので、その場合はぜひ結果のパートだけでも見てみてください。いろい

[sys-bio]

テックブログを書きました！Vislon and languageモデルの開発のお話といくつか実験結果を載せました！ぜひ読んでください！

[isrc]

GITはMicrosoftから提案されたVision and languageモデル。画像エンコーダから抽出した特徴ベクトルをテキストと同じように扱えるベクトルに変換、テキストベクトルと一緒に言語モデルに入力し画像に対するキャプションやQ&Aを

[misshiki]

Vision and languageモデルのGIT（Generative Image-to-text Transformer）をLLM（OPT-350m使用）化する方法を紹介して、いろいろな実験をしている記事。画像とテキストをペアで入力すると最終的に言語モデルがキャプションやQ&Aを行う。

[tyosuke2011]

本読まないと