大規模言語モデルを使って自動車走行時の状況説明をさせてみる？ -社内LLMハッカソン記-

Turing株式会社の自動運転MLチームでエンジニアをしている岩政です。 Turingの自動運転MLチームでは、完全自動運転の開発に向けて、走行データから自動走行が可能な深層学習モデルの作成およびデータ基盤の整備、視覚情報以外にも言語を活用したマルチモーダルな基盤モデルの作成に取り組んでいます。 本記事では、視覚情報を認識するモデルと大規模言語モデルを組み合わせて、「自動車走行時の特に危険な状況を説明することができないか？」という観点から、社内ハッカソンで取り組んだことを紹介します。 社内LLMハッカソン 事の発端は、4月のある1日に急遽開催された大規模言語モデル(以下LLM)を活用した社内ハッカソンでした。高度な自動運転の実現において、一般的な社会常識のもと複雑な状況を理解して適切に行動するための「知能」は必要不可欠です。現在、Turingでは、LLMはその知能として高いポテンシャルがあ

[misshiki]

“TuringでLLMハッカソンを取り組んだ際に作成した自動車走行時の状況説明サービスをもとに、今のTuringの取り組みや注目している技術について紹介”

[quwachy]

実際には3D空間なのでさっき路上駐車してる車の陰に入った人が出てこないか注意するとか今は見えていないが過去に見えていた情報から推論しないといけないので2Dの絵をいくら眺めてても運転できるようにはならない

[dominion525]

シンプルなルールで良いなあ。> “「LLMを使って何かすごそうなことをやる」と「5分で発表する」の2つで行いました。”

[K-Ono]

動画がすごい。

[sys-bio]

LLMハッカソン！1 dayハッカソンでPoCできていい感じ！

[chizuchizu_blog]

複数の特徴抽出プロセスを経て、LLMに入力し、コンテキストを理解してもらっています！！ 挑戦的な取り組み！