大規模言語モデルによる気象予報が、スパコンの予想を超える｜Google研究所からの論文（12月22日 Science 掲載論文） - Lab BRAINS

今年は大規模言語モデル（LLM）の様々な分野へ導入した論文がトップジャーナルに溢れるようになる元年と言えるかも知れない。一般の方ににとってLLMは、ChatGPTのようなテキストを学習させたモデルを指すのだと思うが、元々ノンリニアーな情報を扱う生物学では、早くから様々な目的でLLMの導入が進んでいる。最も普及しているのが蛋白質の構造予測もでるαフォールドだろう。 過去の経験は未来の予測に重要だが、これまでの予測はデータをなんとか法則に落とし込んで、その法則を未来に適用してきた。これに対しLLMでは、過去のデータを自然にコンテクスト化して、そこから最も確率の高い結果を導き出す。まさに生物情報に合致したモデルと言えるが、これと似ているのが気象現象だ。 本日紹介する論文 今日紹介するGoogleの2つの研究所からの論文は、3700万パラメーターを持つニューラルネットを用いて、地球規模で過去の気象

[l__LINE__l]

Abstract からは機械学習を使ってとしてか読み取れない。記事中はTransformerの記載があるが、Transformerはllm専用というわけでもない

[oich]

googleの論文は「大規模言語モデルによる」気象予報ではない。この記事の著者は論文を読んでいないか、論文を理解できていない。

[dynamicsoar]

「12月23日に Science に掲載された」とあるが実際は14 Nov 2023だし、既にニュースになっている https://www.itmedia.co.jp/news/articles/2311/15/news132.html LLMでなくgraph neural networks (GNN) // arXiv: https://doi.org/10.48550/arXiv.2212.12794

[mshkh]

ということは、他にも応用できそうで、たとえば株の予想なんかもできるんだろうな。とっくにやってそうだけど

[misshiki]

“3700万パラメーターを持つニューラルネットを用いて、地球規模で過去の気象データを学習したモデルが、スーパーコンピュータを用いた気象予想より正確な予測を行えることを示した研究で、12月23日 Scienceに掲載。”

[urandom]

単なる用語の誤りでなく全体的にしっちゃかめっちゃかだし重要な点に触れてなかったりするな。よくいる驚き屋とは違って生命科学研究者の方らしいけど、全くの専門外で断定的に語るとこうなるのか。自戒を込めて……

[baroclinic]

ブクマカ、こういうときに能力発揮するぅ。論文読んでないけど、1つのグリッドに多くのパラメータを均等に置く(従来の方式)のでは無く、傾向を掴んで無駄なものを省けるってことかな？

[agrisearch]

https://www.itmedia.co.jp/news/spv/2311/15/news132.html

[Fluss_kawa]

これ、多分上空の気象状況を学習データや、予測するときの特徴量として使ってるけど、それを計算するのに気象予報モデルが必要でそれを計算するのにスーパーコンピュータが必要なのでスパコンへの投資やめると頭打ち

[byaa0001]

LLMじゃないよ　論文読んでないなこれ

[fraction]

このやり方はほぼ間違いなく過去90年くらいをインプットして将来9年有効って感じでしかないだろう。もちろん年々アップデートすれば有効だろうけど温暖化対策と言ったような将来の政策決定には全然使えない。

[steel_eel]

単なるニューラルネットワークによる機械学習を大規模言語モデルと言ってしまっている気がする（中身見てないのでアレだが）。

[manboubird]

Learning skillful medium-range global weather forecasting

[blueboy]

この手法は　2017年01月18日　に提案されている。それから 7年かけて、実現した。Google 研究所は、日本人の提案よりも、7年も遅れているわけだ。日本人の方が 7年も早いんだ。　→　http://openblog.seesaa.net/article/446065117.html

[dekaino]

21世紀は機械の暗黙的経験知による問題解決手法が大発展するんだろうな。現象の機序解明への寄与は小さいが、予測結果だけほしいビジネス分野では大いに役立ちそう。

[wildhog]

結果の予想が当たってもその機序や予想のロジックが分からないと占い師っぽくて気持ち悪い感じは残るかも

[anigoka]

年末年始は予報だとめっちゃ暖冬っつってたのに全然寒くてもうAIのほうが当たんじゃねぇのか！？

[slkby]

(ある程度の規模までの情報で決まるような)決定論的課題はうまくやれば大体機械学習で解決可能だしなあ。まあ工学的な解決であって理論を紐解くのは結局従来通りの理学的研究だろうけど。

[hasiduki]

これ大規模言語モデルじゃなくね！？？！！！？！

[kei_1010]

すげーな。確かにこんな方法で気象予測が可能なんだったら株価の予想もできてしまうのでは？俺ならそっちを研究してこっそり儲けるわ。でも意外と株の予測は無理だったりして。参加者増えるとすぐ折り込むからな。

[zgmf-x20a]

最初西川先生の名前を見逃して、なんか西川先生のAASJ.jpでみたトピックだなと思ったら、最後に西川先生の記事と分かった。LLMも驚異なんだけど、西川先生も私の中では驚異。ブコメ見て思ったけど、LLMより基盤モデルか

[forest1040]

論文まだ見てないからわからないけど本当かなぁ。

[uehaj]

これは凄いな。未来を補完するのか。