Amazon SageMaker の NVIDIA Triton Inference Server を使用して高速でスケーラブルな AI をデプロイする | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker の NVIDIA Triton Inference Server を使用して高速でスケーラブルな AI をデプロイする 機械学習 (ML) とディープラーニング (DL) は、医療診断における画像分類、チャットボットにおける会話型 AI、e コマースにおけるレコメンデーションシステムに至るまで、さまざまなコンピューティングの問題を解決するための効果的なツールになりつつあります。ただし、特定のレイテンシーまたは高スループットの要件を持つ ML モデルは、一般的なコンピューティングインフラストラクチャで大規模に実行するには莫大なコストがかかる可能性があります。企業や顧客が期待する厳しいスループット、スケール、レイテンシーでの推論を最小限のコストで実行するために、ML モデルは GPU などの推論アクセラレータを必
[Amazon SageMaker] 最新のJetPack4.5でDLR (Deep Learning Runtime) 1.8.0を利用するための環境構築 | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 エッジで機械学習の推論を行う場合、SageMaker Neo（モデル最適化）とJetson Nanoという組み合わせは、非常にコスパが高いと感じています。 今回は、2021/02/20 現在で最新のJetPack 4.5と、DLR(Deep Learning Runtime) 1.8.0の環境をセットアップする手順を纏めました。 2 JetPack 4.5 最新のJetPackは、下記でSDカードイメージ（jetson-nano-jp45-sd-card-image.zip 6GByte）としてダウンロードできます。 JetPack SDK セットアップ後に、jtopで確認すると、JetPackのバージョンが確認可能です。 必須では有りませんが、DLRを使用してモデルを動作させる場合、少し大きなものだと、メモリ不足で止まってしまう事があるの
![[Amazon SageMaker] 最新のJetPack4.5でDLR (Deep Learning Runtime) 1.8.0を利用するための環境構築 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/be008d04a8db62514ca43cd7765e62041ee423f3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-sagemaker.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
