自動運転カメラの高負荷、その原因はLinuxカーネルのどこに？

はじめに Turing株式会社ソフトウェアエンジニアの堀ノ内です！ 私が所属する自動運転チームでは2024 ~ 2025年に発売予定の自動車に搭載する自動運転システムの開発を行っています。Turingでは車両前方に取り付けられたカメラの画像を入力とし、機械学習モデルが進むべき経路を推論、その経路に沿って実際に車両を動かすための制御信号(ステアリング、アクセル、ブレーキ)をCANで車両に送信することで以下の画像のような自動運転を実現しています。 今回のブログでは以下について記載し、私達のチームの仕事内容について知って頂くきっかけになればと思います。 Turingの自動運転システムの紹介 GMSLカメラの評価と発生した問題 Linuxカーネル及びドライバのデバッグ Turingの自動運転システム Turingでは「カメラ画像入力 → 機械学習モデルで経路を推論 → 車両制御」の流れを実現するた

[pixmap]

いろいろなカメラやセンサーを試行錯誤している中でのデバッグの一例で、これだけで会社や製品に難癖つけるのは誰も得しない。強いて言えばnVidiaにもバグを共有すべきなくらいで、情報公開には感謝しかない。

[kamm]

ものすごく優秀な人だと思うけれど、すでに先行しているGoogle等の自動運転技術に対してTuringのどの辺が優位なのか分からない。車輪の再開発だったら資本力と時間で負けそう

[kagehiens]

とってもプラクティカルなトラブルシューティング事例だけど、それに言及することで逆に細かい調整以前の工程にある状況だとして進捗を心配されるのには、どうにも哀しみを禁じ得ない。

[amd64x64]

この状態では乗りたくないね

[augsUK]

2024年の発売予定にとても間に合うようには思えないのだけど。自動車メーカー側で通常のモデルチェンジでも1年はテスト期間を設けるし、自動運転の検証なんてその前に洗い出しのテストをひたすらやると思うのだが。

[puhu208n]

自動運転はまだ理論が固まってないというか、GoogleとNVIDIAから十年前と五年前くらいに落ちてきた爆弾をみんなで弄っている以上の成果はほぼ無いので議論しても意味無いです(MobilEyeは相変わらず変な進捗を出してるが…)

[Fluss_kawa]

こう言うシステムにLinux使ってって汎用性が高くて開発も速くなるから流れとしては止まらないんだろうけどその流れで良いのだろうかと思わなくもない。

[mohno]

「今回行った修正が本当に正しいのか判断が難しいのが実情」←ソフトウェアが大規模化してるからしょうがないだろうけど、こうなるとセキュリティとかハッキングとか心配しないといけなくなりそう。

[mas-higa]

［参考になる］10年以上前、組込み機器のソフトウェアを受注してる企業の人と話したとき、リアルタイム処理に Linux を使おうと思ったらカーネルハックは必須で、スケジューラを自前で作ってるって言ってた。

[nakag0711]

まだ関連ソフトウェアが安定してない段階のようだな

[diveintounlimit]

Turing周りは謎のマウンティングが多いけど、無視して開発進めてもらったら良いと思う。

[nobuking]

“たリストからデータの取り出しが行われないことでスリープせずビジーループに陥ってCPU使用率が高くなっている可能性がありそうです。 そこでカーネルのログであるdmesgを確認してみると、キャプチャ開始時に何かしら

[ysync]

理想的にはマイクロカーネルのリアルタイムOSから作らないとなのでは？／実際はコスト問題やらでハードウェアの進歩におんぶされる方向にしか行かなそうだけど。

[blueboy]

「最先端の AI 技術（DL）で自動運転を」という方針。だが 2次元の技術処理では原理的に現実世界を認識できない。3次元を直接測定する他社方式には根源的に負ける。AI技術者の驕り。自動車技術に無知すぎ。https://x.gd/kvOWz

[blackphone9]

この段階で正しい対処か不安って言われると､この先のAI使った画像処理なんかはもっと不安になる｡別記事でニューラルネットワークを制御できるような試みが始まったってのを読んだせい｡

[akikan2]

日本にもすごいエンジニアいて嬉しい。

[cvtbgspuda]

CPUなりGPUなり増やすのはダメなの？応援してるので頑張ってほしい。

[ya--mada]

エッジCVカメラ向けLinuxチューン？

[magnitude99]

EVで完全安全自動運転の恐怖（笑。carview! EVやHVで山道を下っていると…ブレーキが効かない!! キミは電動車の宿命、恐怖の「回生失効」が頭に入っているか？ → https://carview.yahoo.co.jp/news/detail/31f73a6dbc359407ba2e580c920fa772ac9ac006/

[rin51]

トレース

[urtz]

“関連するコードが多く複雑であるため、今回行った修正が本当に正しいのか判断が難しいのが実情です” 修正できたのは素晴らしいが、構造的に潜在バグも多いとなると、フェイルセーフが重要になるんやろな