タグ

Transformerとエネルギーに関するnagggのブックマーク (1)

  • 電気をバカ食いするAIは背徳、脳をまねて省エネするグーグルSwitch Transformer

    人間の脳の消費エネルギーは電力に換算するとわずか20ワットほどであり、消費電力数百ワットのGPUを何百~何千個も学習に使う最先端のAI人工知能)に比べるとはるかに省エネである。そこで脳の動きに習って、AIの省エネを図ろうとする動きが始まっている。代表例が米Googleグーグル)の言語モデルSwitch Transformerだ。 言語モデルは最近非常に注目されている自然言語処理用のAIだ。米国のOpenAI(オープンAI)財団が2020年6月に発表した言語モデルであるGPT-3は、あたかも人間が書いたような自然な文章を作ったことから大きな話題になった。しかしGPT-3は膨大なエネルギーを消費する。 GPT-3が高性能なのは、1750億個ものパラメーターを備えた機械学習モデルに45テラバイト(TB)、4100億単語からなる巨大な文書を学習させたからだ。その学習には米Microsoft(マ

    電気をバカ食いするAIは背徳、脳をまねて省エネするグーグルSwitch Transformer
    naggg
    naggg 2021/05/15
    "GPT-3など従来の言語モデルはタスクを処理する際にモデル全体を稼働させていたが、GShardやSwitch Transformerはモデルの中でもそのタスクに関連しそうな一部しか稼働させない"
  • 1