misshikiのブックマーク - はてなブックマーク

misshiki id:misshiki

ブックマーク / qiita.com/terryky (3)

Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】 - Qiita
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】RaspberryPiTensorflowLitexnnpack 1. はじめに今から半年前の2020年6月、ラズパイ４上でTensorFlow Liteを使った様々なAI認識アプリを動かしてみて、その動作速度をまとめました。当時のTensorFlowはバージョン2.2でしたが、現在は 2.4(rc4) へと進んでいます。進化が極めて速いDeepLearningの世界において、この半年間でTensorFlow Liteはどう変化したでしょうか。もし「手持ちのアプリは何も変えてないのに、TensorFlow Liteを新しくするだけでめっちゃ速く動くようになったぜ」というのだと嬉しいですよね。本記事では、前回計測に用いたアプリを再び最新版のTensorFlow Lite環
misshiki 2020/12/14
“モデルによって処理速度はまちまちですが、TensorFlow Liteを2.2→2.4に更新すれば全てのモデルで高速化（1.3～3.9倍速）されることがわかりました。とりわけ、XNNPACKの導入によりfloatモデルの処理速度が大きく改善”

TensorFlow

エッジデバイス

モバイルデバイス
リンク
[Jetson Nano] Nsight で TensorFlow Lite アプリの性能ボトルネックを観測 - Qiita
1. 概要 NVIDIA が提供するプロファイリングツール　Nsight を使って、Jetson Nano で動作するアプリの性能ボトルネックを見つける方法をまとめます。今回私が Nsight を使おうと思ったきっかけは、前回記事でもネチネチと作業したように、 TensorFlow Lite GPU Delegate (OpenGLESバックエンド) を使ったアプリを少しでも速くしたかったからです。ですので、下記のような Posenet による姿勢推測処理負荷の高いアプリを観測対象とします。なお、観測対象アプリのソースコードは下記にあります： https://github.com/terryky/tflite_gles_app/tree/master/gl2posenet 2. Nsight について 2.1 Nsight 3兄弟公式ページにある通り、2019/12月時点におい
misshiki 2020/06/09
“NVIDIA が提供するプロファイリングツール Nsight を使って、Jetson Nano で動作するアプリの性能ボトルネックを見つける方法をまとめます。”

NVIDIA

Jetson

電子工作
リンク
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？ - Qiita
1. はじめに世の中にはDeepLearningの学習済みモデルを公開してくださっている方がたくさんいらっしゃいます。本記事は、そのうちのいくつかをラズパイ４で動かしてみて、いったいどれくらいの速度で動くのかを検証したものです。計測対象モデルとして、Mediapipe および TensorFlow.js、TensorFlow Lite models で公開されている学習済みモデルを利用させて頂きました。またモデル実行フレームワークとしては、モバイル向けに整備が進む TensorFlow Lite (C++) を用いました。計測にあたっては、公開されているモデルをそのまま動かすだけでなく、一般的な高速化手法である下記の２手法を両方試し、その効果も計測しました。 [1] モデルをint8量子化する方法演算精度に多少目をつぶる代わりに、NEON等のSIMD演算器による並列処理の並列度をさ
misshiki 2020/06/05
“ラズパイ４でTensorFlow Lite を動かす場合に最も処理速度が速くなるのは、...64bit OS環境で、量子化したモデルを用い、GPUではなくCPUで推論する。...ラズパイ４ではGPU Delegateは活用できないという結果となりました”

TensorFlow

エッジデバイス

電子工作
リンク
1