Vertex AI ではじめる「大規模言語モデル」
2017 年に Transformer が提案されてから自然言語処理の技術が飛躍的に進化しました。特に GPT-3 や PaLM など Large Language Model (LLM, 大規模言語モデル) は、近年の機械学習で最も関心が高い研究分野の一つであり、テキストや音声データから新しいインサイトを得る方法として注目を浴びています。このセッションでは、LLM を取り巻く環境の変化、Google の T5X などのフレームワークや Google Cloud での LLM 運用についてご紹介します。 チャプター： 0:00 イントロダクション 1:02 LLM(Large Language Model) とは 11:31 様々な LLM 26:03 Google Cloud における T5X の活用 35:00 まとめ 36:07 ライブ Q&A • Google Cloud Ja
電気をバカ食いするAIは背徳、脳をまねて省エネするグーグルSwitch Transformer
人間の脳の消費エネルギーは電力に換算するとわずか20ワットほどであり、消費電力数百ワットのGPUを何百～何千個も学習に使う最先端のAI（人工知能）に比べるとはるかに省エネである。そこで脳の動きに習って、AIの省エネを図ろうとする動きが始まっている。代表例が米Google（グーグル）の言語モデルSwitch Transformerだ。 言語モデルは最近非常に注目されている自然言語処理用のAIだ。米国のOpenAI（オープンAI）財団が2020年6月に発表した言語モデルであるGPT-3は、あたかも人間が書いたような自然な文章を作ったことから大きな話題になった。しかしGPT-3は膨大なエネルギーを消費する。 GPT-3が高性能なのは、1750億個ものパラメーターを備えた機械学習モデルに45テラバイト（TB）、4100億単語からなる巨大な文書を学習させたからだ。その学習には米Microsoft（マ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/goto_yuta_/status/1598524732944830469
