TPU VS GPU(日本語版)

はじめに(この記事の英語版はTPU VS GPU(English Edition)にあります。) Machine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、大規模データでニューラルネットワークを訓練し良い結果を得ようとするならば、深層学習モデルの訓練にかかる時間の膨大さに誰もが悩まされたことがあるかと思います。さらに、深層学習モデルはハードウェアのリソースを多く必要とします。 深層学習モデルの学習では、計算の特性上、CPU（Central Processing Unit）より GPU（Graphics Processing Unit）が高速であるため、GPUが推奨されます。しかし、GPU以外の選択肢として、TPU(Tensor Processing Unit)があります。 そこで、本記事では、自然言語処理のタスクで深層学習モデル

[misshiki]

翻訳記事。“今回のタスクでは、TPUがGPUに比べはるかに高速という結果になりました。”1時間あたりGPUは約0.7ドル、TPUは約8ドル、ということは10倍価格差があるってこと？

[theatrical]

Take1のBERTの事前学習はTPUの方が随分低コストだけど、Take2のBERTのファインチューニングは、大きな差はないと言う感じかしら。逆転するタスクもあるだろうから、ちゃんと事前に費用計算しといたほうがいいという結論かな

[quwachy]

知ってた