遅すぎるCNN処理、日立の自動運転研究部が原因と対処術を発表
日立製作所 研究開発グループ 自動運転研究部は、GPUによるCNN（Convolutional Neural Network：畳み込みニューラルネットワーク）処理において期待したような性能が出ない理由やその対処方法について、「DAシンポジウム2022 −システムとLSIの設計技術−」（情報処理学会 システムとLSIの設計技術研究会(SLDM)が2022年8月31日～9月2日に開催）で発表した。CNN処理は、ADAS（先進運転支援システム）や自動運転における画像認識でよく使われる演算である。 発表した日立の島村光太郎氏によれば、CNN処理をGPUで実行すると、その演算性能がGPUメーカー発表のピーク性能より桁違いに低い場合があるという（図1）。例えば、データセンターでの推論処理でよく使われている米NVIDIA（エヌビディア）のGPUカード「Tesla T4」の16ビット浮動小数点演算（FP1
Pythonでニューラルネットワークを書いてみよう
連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記事はたくさんあると思います。それらで学んだ際に、「誤差逆伝播」（バックプロパゲーション）のところで挫折して、そこはスルーしている人は少なくないのではないでしょうか。個々の数式や計算自体を理解していても、何となく全体像がつかめずに、 と自信を持って言えない人も多いのではないかと思います。 本連載（基礎編）はそういった人に向けた記事になります。この記事はニューラルネットの仕組みを、数学理論からではなくPythonコードから学ぶことを狙っています。「難しい高校以降の数学は苦手だけど
ソニーＧが深層学習向け演算器を開発、エネルギー効率は最高レベル ニュースイッチ by 日刊工業新聞社
ソニーグループＲ＆Ｄセンターの齋藤大輔デバイスエンジニアらは、エネルギー効率が同種のチップで最高レベルとなる深層学習（ディープラーニング）用演算器を開発した。メモリーに使われる強誘電体ゲート電界効果トランジスタ（ＦｅＦＥＴ）を深層学習の積和計算に用いるのが特徴。消費電力が小さく、自動車や携帯端末など電力の限られる装置で深層学習の推論を行う用途が開ける。 深層学習は大量の掛け算（積算）と足し算（和算）を繰り返す。この積算をＦｅＦＥＴの０／１で、和算は複数の演算素子を流れた後の電流値の合計で演算する。演算素子の抵抗部を窒化チタンと二酸化ケイ素で作製。数メガオーム（メガは１００万）の電気抵抗が得られ、電流値が安定した。 この演算素子でアレイを作り、簡単なパターン識別ができることを確認。このデータを基に、演算に必要なエネルギー効率をシミュレーションしたところ１万３７００ＴＯＰＳ／ワットだった。Ｆｅ
スタンフォード大のアンドリュー・ン氏 大人気のディープラーニング講座を更新「今が飛び込む良い機会！」 | Ledge.ai
Top > ラーニング > スタンフォード大のアンドリュー・ン氏 大人気のディープラーニング講座を更新「今が飛び込む良い機会！」
2021年最強になるか！？最新の画像認識モデルEfficientNetV2を解説 - Qiita
その他層の数も探索空間に入れています。ここで拡張率とは、MBConvの最初のConvでチャネル数を何倍にするかの係数のことで、こちらでより詳しく解説しています。 探索は精度$A$、ステップごとの学習時間$S$、パラメータサイズ$P$を用いて、$A\cdot S^w\cdot P^v$を最大化するように行われます。ここで$w=-0.07, v=-0.05$であり、これらの値は実験的に決定されています。 1.3.2 EfficientNetV2のアーキテクチャ 下表がEfficientNetV2のSサイズのモデルになります。 画像: "EfficientNetV2: Smaller Models and Faster Training", Tan, M., Le, Q., (2021) 比較のためにEfficientNet-B0(i.e. V1)のアーキテクチャも下に載せます。 画像: "Ef
『データ分析のための統計学入門』PDFが無料公開 データサイエンティストたちが執筆 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyTorch の基礎 - Training
画像化したテキストから直接翻訳する全く新しいニューラル機械翻訳モデルが登場【論文速報】