学習が何で律速してるか、把握してますか？ - arutema47's blog
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
物体検出ライブラリの紹介と所感 - arutema47's blog
記事について 画像はDetectron2より 物体検出をほとんど使っていない方を対象として、2021年末の物体検出ライブラリを俯瞰することが本記事の目的。 ある程度物体検出の経験ある方は学ぶことは少ないと思う。またあくまで書いてあるのは筆者の感想であるので人によっては全く違う意見になることもあるかと。また本記事ではモデルの技術的な説明はありません。それらについて理解を深める際は参考ページや元論文を当ってみると良いかと思います。 また大変遅くなりましたが、本記事はKaggleアドベントカレンダー（裏）の24日目でもあります（年明けちゃってすみません）。 qiita.com 記事について 紹介するライブラリ一覧 所感 アンサンブルについて 精度vs速度トレードオフ ライブラリ紹介 yolov5 学習について 推論について Yolox 学習について Efficientdet 学習コード torc
dToF/iToF LiDARセンサの原理や製品について - arutema47's blog
記事の目的 本記事ではdToFとiToF LiDARの基本や原理について説明します。 また込み入った理論ではなく、LiDARの大まかな種類や用途を理解するのが目標です。 LiDARセンサはLight Detection and Rangingの略で光を使った距離測定技術の総称です。 RADARが電磁波を使って距離を測るのに対して、光を使った距離センサを指します。 こちらは距離センサ全般の記事です。合わせてどうぞ。 aru47.hatenablog.com 記事の目的 LiDARには大きく２種類ある dToF LiDAR 原理 dToF LiDARの製品 dToF LiDARの種類について iPadのdToF LiDAR indirect Time of Flight 原理 iToF LiDARの製品 参考文献 最後に LiDARには大きく２種類ある LiDARには大きく２つ種類があります。
ハードウェアの速度をどう評価するか考える(2) ～メモリ、メモリ律速～ - arutema47's blog
前回のあらすじとこの記事の目的 前編： ハードウェアの速度をどう評価するか考える(1) ～クロック、OPS～ 現代ハードウェアの計算性能を評価する尺度であるメモリ律速の概念とルーフラインモデルについて理解を深めることです。 本記事を通し、あるアルゴリズムが速度が十分に出ない時、それがハードウェアのどの性能（メモリか演算）に律速されてるかイメージできるようになるのが目標です。 しかし前編は子供が起きたので前編は演算速度だけで終わってしまった！ 今回は起きる前にメモリ律速まで書くぞ！ アチアチのGPUお待ち！ 前回のあらすじとこの記事の目的 メモリ律速 メモリが重要なワケ GPUから読み解くメモリバンド幅 ルーフラインモデル Further comments TPU vs GPU FP16, BF16, TF32などの低精度Mixed Precision学習 メモリ律速 脱線したが本線のメモリ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
