完全自動運転にLLMは必要か？

この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Researchチームでは、中長期的に自動運転においてキーとなるコア技術の開発を行っています。最近ではVision LanguageモデルのフレームワークとしてHeronをリリースしました。なぜ自動車を製造する会社が、LLMの開発を行っているのでしょうか。 Turingでは1年以上前から自動運転における複雑な文脈理解には自然言語が必要であると主張してきました。今年の7月にはLLMで実際の車を動かしてみるプロジェクトをデモとして公開しました。このデモ

[kotesaki]

なるほどね。確かに現実の自動車走行はロングテールなレアケースがまま発生する。それをLLMのもつ『一般常識』で判断するのは意味がある。また自動運転がなぜそう判断したかのログが残るのも有用だよね。

[tokuniimihanai]

「LLMは判断した理由について説明を行うことができる」LLM自身による説明という意味なら正しい保証がないと思うんだけど・・

[skypenguins]

“Chat-GPT” i-Phoneみたいな気持ち悪さを感じる/軽車両の馬が歩いてたり、現代じゃ滅多に見かけない三輪オートが走ってたりするレア事象に対してLLMは確かに強いわな

[blueboy]

　LLM はオマケなので、あってもなくてもどっちでもいい。Turing 社の方式は、三次元測距をしないので、根源的な難点がある。2次元モニターを見ながら運転するのと同じで、立体視ができないから、無能。　https://x.gd/uEFLw

[oisux]

倫理的なLLMが倫理的でない人間を轢き回すようになって欲しい(欲しいか？)

[blackphone9]

EVはこれから航続距離じゃなくてこういう計算処理に電力持っていかれるからバッテリーの強化はまだ必要ってどこかで読んだのを思い出した｡

[tattyu]

判断のスピードが重視される車の運転とはかなり相性良くないと思うがその辺りは解決の目処が立ってるんだろうか。

[misshiki]

“uringでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた ... Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている”

[hate_flag]

「人間とは何か」を知らないので轢いた人の身体の上で停車するような自動運転AIに適用したい https://www.sfchronicle.com/bayarea/article/woman-run-autonomous-vehicle-san-francisco-18403044.php#photo-24300411

[akyuna]

車は「走る、止まる、まがる、ランプで知らせる」の基本性能を100%保証するために、多大なメンテナンスが必要。これ以上メンテナンス項目が増えるのはごめんだ

[canadie]

クリティカルな判定には使えないだろうけどファインチューンすればハルシネーションは減らせるし、もともとTransformerモデルは自分の判定の根拠を説明するのが上手い（出力の裏に出力しなかった文脈があるため）

[shoronpoo]

すげーな｡強化学習使わないのか?それとも組み合わせるのか?

[dltlt]

ペダル踏み間違えの検出に使えるかも……だが、『「技術的に実現可能なのか」という別の問いも存在します。特に推論に巨大なGPUを必要とするLLMを車の上で動かすことができるのかという課題』があるか。

[sgo2]

https://gigazine.net/news/20230130-san-francisco-self-driving-cars/ の様なケースで指示に従わせる為に必要かも

[slkby]

LLMがなんかそれっぽい答えを出力してる間にもう事故は起きてるだろう。そもそもLLMは画像の解析に役立つというだけで運転能力があるわけじゃないし。

[Shin-JPN]

確かに役立ちそう。人間が比較的小規模なデータセットで一般化できるのは五感情報を紐づけたマルチモダールな学習やってるからと思うので、DL学習でも通用しそう。人間同様に判断が遅く/勘違いもするAIになりそうだが

[kkoiro]

初めは「ロングテールなデータにはLLMではなくtransformerと大規模データセットが大事なのでは」と思ったが、「未知のデータに一般常識で対応」という部分でハッとした。画像解析への一般常識の注入というのは、興味深い

[magnitude99]

結局は、完全自動運転でも電脳の誤作動や外部からの乗っ取りへの緊急対応には、人的判断と操作が電脳に優先して必要だ。つまり、完全自動とは潜在的に同時に２名の運転者が運転するという極めて危険な操作系なのだ。

[napsucks]

LLMsの利点である文字表現は自動運転にとっては欠点ではと感じる。AIの巨大な常識的知識のセットから直接運転判断に繋げるのがベストなはずだが、言語というチョークポイントを経由して運転判断をすることになる。

[aox]

超電導力士を積めばちゃんこだけで動きますね

[filinion]

運転データだけではレアケースに対して学習が足りないのでLLMを使うと。カメラが見たものをLLMが言語化して、その説明を元に車が動くということ…？

[sys-bio]

自動運転と大規模言語モデルの関係がすごくわかりやすくまとめてあります！最新の研究もめっちゃ紹介されててとても良い記事です！！！