GitHub - lucidrains/lion-pytorch: 🦁 Lion, new optimizer discovered by Google Brain using genetic algorithms that is purportedly better than Adam(w), in Pytorch
Learning rate and weight decay: the authors write in Section 5 - Based on our experience, a suitable learning rate for Lion is typically 3-10x smaller than that for AdamW. Since the effective weight decay is lr * λ, the value of decoupled weight decay λ used for Lion is 3-10x larger than that for AdamW in order to maintain a similar strength. The initial value, peak value, and end value in the lea
PyTorch
by The PyTorch Team If you installed PyTorch-nightly on Linux via pip between December 25, 2022 and December 30, 2022, please uninstall it and torchtriton immediately, and use the latest nightly binaries (newer than Dec 30th 2022). PyTorch-nightly Linux packages installed via pip during that time installed a dependency, torchtriton, which was compromised on the Python Package Index (PyPI) code rep
Python(PyTorch)で自作して理解するTransformer
1. はじめに Transformerは2017年に「Attention is all you need」という論文で発表され、自然言語処理界にブレイクスルーを巻き起こした深層学習モデルです。論文内では、英語→ドイツ語翻訳・英語→フランス語翻訳という二つの機械翻訳タスクによる性能評価が行われています。それまで最も高い精度を出すとされていたRNNベースの機械翻訳と比較して、 精度(Bleuスコア) 訓練にかかるコストの少なさ という両方の面で、Transformerはそれらの性能を上回りました。以降、Transformerをベースとした様々なモデルが提案されています。その例としては、BERT,XLNet,GPT-3といった近年のSoTAとされているモデルが挙げられます。 ここで、「Attention is all you need」内に掲載されているTransformerの構造の図を見てみま
PyTorch 2.0
Get Started Select preferences and run the command to install PyTorch locally, or get started quickly with one of the supported cloud platforms. Overview Introducing PyTorch 2.0, our first steps toward the next generation 2-series release of PyTorch. Over the last few years we have innovated and iterated from PyTorch 1.0 to the most recent 1.13 and moved to the newly formed PyTorch Foundation, par
Announcing the PyTorch Foundation: A new era for the cutting-edge AI framework
Announcing the PyTorch Foundation: A new era for the cutting-edge AI framework To accelerate progress in AI, PyTorch is moving to a new, independent PyTorch Foundation, under the Linux Foundation umbrella. The project will join the Linux Foundation with a diverse governing board composed of representatives from AMD, Amazon Web Services, Google Cloud, Meta, Microsoft Azure, and Nvidia, with the int
torchdataとwebdatasetの使いどころ - Qiita
TorchData pytorchでデーラローダーを作成する方法は色々ありますが，最近（2022年前半）にTorchDataがアナウンスされました． https://github.com/pytorch/data https://pytorch.org/data/beta/index.html でもあまり情報が出回っておらず，検索してもcsvを読み込む程度の説明しか見当たりません．データパイプの分岐や処理などをどうやるのか，何に使えるのかがよく分からないので，記事を書いてみました． リンク先の記事ではtorchdataの簡単な説明から始めて，物体検出用のデータセットに適用するということをしています．画像は画像フォルダに，bbox情報はcsvに，というアノテーションデータをtorchdataのdatapipeを使って読み込みます．データ拡張にはalbumentationsを使います． tor
DALL-E in Pytorch の使い方｜npaka
以下の記事が面白かったので、ざっくり翻訳しました。 ・lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch 1. DALL-E in Pytorch 「DALL-E in Pytorch」は、OpenAIのText-to-Image Transformerである「DALL-E」（論文）のPyTorch実装/複製です。生成画像をランク付けするための「CLIP」も含まれます。 Eleuther AIのSid、Ben、Aranは、「DALL-E for Mesh Tensorflow」に取り組んでいます。 DALL-EがTPUで学習されるのを見たい場合は、彼らに手を貸してください。 2. 状態Hannuは、わずか2000枚の
Introducing Accelerated PyTorch Training on Mac
by PyTorch In collaboration with the Metal engineering team at Apple, we are excited to announce support for GPU-accelerated PyTorch training on Mac. Until now, PyTorch training on Mac only leveraged the CPU, but with the upcoming PyTorch v1.12 release, developers and researchers can take advantage of Apple silicon GPUs for significantly faster model training. This unlocks the ability to perform m
Accelerating PyTorch with Intel® Extension for PyTorch*
Intel engineers have been continuously working in the PyTorch open-source community to get PyTorch run faster on Intel CPUs. On top of that, Intel® Extension for PyTorch* is an open-source PyTorch extension that brings about user experience enhancement and helps users to achieve maximized deep learning inference and training performance on Intel CPUs. Most of the optimizations in the extension wil
Advanced Micro Devices, Inc. - AMD Home Page
製品 プロセッサ アクセラレータ グラフィックス アダプティブ SoC、FPGA & SOM ソフトウェア、ツール、アプリケーション
M1搭載Macの環境を汚さずにDeep Learningしたい！（Docker, PyTorch, TensorFlow, VSCode, Jupyter） - Qiita
M1搭載Macの環境を汚さずにDeep Learningしたい！（Docker, PyTorch, TensorFlow, VSCode, Jupyter）MacDeepLearningDockerVSCodeM1 DockerでDeep Learningしたいが、、、 せっかく新しく買ったM1搭載Macなのだから、環境はできるだけ汚さずに開発したいなぁ、という方は少なくないと思われます。 環境をクリーンに保つ方法の一つがDockerですけれども、 Deep Learningに必要なPyTorchとTensorFlowを両方利用できるいいarm64用Dockerイメージが見つからなかったので、なければ作れということで、作ってみました。 （PyTorchのビルドは何の苦労もなくできましたが、TensorFlowのビルドが辛いこと辛いこと、、、ビルドを開始して数時間経過後にエラーやらOut o
Annotated Research Paper Implementations: Transformers, StyleGAN, Stable Diffusion, DDPM/DDIM, LayerNorm, Nucleus Sampling and more
This is a collection of simple PyTorch implementations of neural networks and related algorithms. These implementations are documented with explanations, and the website renders these as side-by-side formatted notes. We believe these would help you understand these algorithms better. We are actively maintaining this repo and adding new implementations. for updates. Translations English (original)
PyTorch Lightning 2021 (for MLコンペ) - Qiita
こちらの記事は 2021年6月18日に開催された 第２回分析コンペLT会 - connpass で発表に用いた資料です。 前回の発表 や 他の類似ライブラリとの比較記事 の投稿からある程度時間が経ち、PyTorch Lightning については色々と書き方も変わったのであらためてまとめました。 0. この記事について 対象 素の PyTorch を使ったことがある人 使ったことがない人は必ず Tutorial やってください MLコンペ（特に画像系）に何回か参加する予定がある人 MLコンペは主に Kaggle を想定しています 一度しか参加しないなら素の PyTorch 書き下したほうがはやいです 注意事項 この記事は PyTorch Lightning を使う「べき」という主張ではありません あくまでライブラリの一つの紹介です 「まあそこまで言うなら触ってみよう」というきっかけになるこ
PyTorchで自然言語処理でよく使用されるTransformerを少ないコードで使用してみる
参考情報 今回は下記の記事を参考に記述しています。 https://pytorch.org/tutorials/beginner/transformer_tutorial.html 動作確認した環境はGoogle Colabになります。設定方法は下記の記事に記述しました。 Transformerとは複数のAttention処理を使用しているモデルになります。Attention Is All You Needで提唱された手法になります。 Transformerが出るまでLSTMなどのモデルが自然言語処理では一般的に使用されていましたが、LSTMなどのモデルは並列実行が難しく、学習、推論時にパフォーマンスを出すのが難しい問題がありました。 TransformerはAttentionをベースにしたモデルにしてLSTMで使われている処理を使わないようにすることで並列実行速度を上げただけでなく、あら
TorchDrug
A powerful and flexible machine learning platform for drug discovery TorchDrug is a machine learning platform designed for drug discovery, covering techniques from graph machine learning (graph neural networks, geometric deep learning & knowledge graphs), deep generative models to reinforcement learning. It provides a comprehensive and flexible interface to support rapid prototyping of drug discov
Pytorchの「.detach()」と「with no_grad():」と「.requires_grad = False」の違いが計算グラフにどう影響を与える？ - Qiita
Pytorchの「.detach()」と「with no_grad():」と「.requires_grad = False」の違いが計算グラフにどう影響を与える？PythonDeepLearningPyTorch計算グラフ勾配 内容 pytorchで勾配計算をしない方法には tensorの.detach()を使って計算グラフを切る GANのサンプルコードでよく見かける with文を使ってtorch.no_grad()で囲んで計算グラフを作らない eval時によく使う tensorの.requires_gradをFalseにセットして勾配計算をしない fine-tuingするときによく使う という方法がありますが，どのように違うのかが少しややこしかったので整理してみました． notebookはGistにあります． 対象 ここでは以下のような，単純に積和を繰り返しただけの計算を考えます．
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Optimized PyTorch 2.0 Inference with AWS Graviton processors
ABCIで回そう爆速深層学習 (基礎編)
Easy to use set of tools to create on-device ML demos on Android and iOS. Unlock the vast potential of AI innovations.
Tensorflow/Pytorch モデル移植のススメ
