Quanto: a pytorch quantization toolkit
Quantization is a technique to reduce the computational and memory costs of evaluating Deep Learning Models by representing their weights and activations with low-precision data types like 8-bit integer (int8) instead of the usual 32-bit floating point (float32). Reducing the number of bits means the resulting model requires less memory storage, which is crucial for deploying Large Language Models
NumpyやPyTorchで使える超便利ツールを作った - シバニャンだニャン！
この記事は，CAMPHOR- Advent Calendar 2018の7日目の記事です． この記事は，NumPyやPyTorchなどの開発に使える「shape_commentator」という便利ツールを使った話です．このツールはpipでインストールできるので，サクッと試してみたい方はGitHubのページに飛んで使ってみてください． 加筆修正(2019/12/12) IPython拡張を追加したことでIPythonやJupyterNotebookでの使い心地が良くなったので，IPythonの例の部分を中心に一部修正しました． はじめに こんにちは．シバニャンです．最近は卒論で画像系の研究をしています． 卒業研究ではNumPyやPyTorchを使ってコーディングしているんですが，今までUnityのコードをC#で書いてVisual Studioのコード補完のぬるま湯に浸かってきた僕とっては，型
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化 | ゆるいDeep Learning
