GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Singapore to Build World’s Largest Facility to Remove Carbon From the Ocean
How age-old food science could make fake meat taste better
The Slow March Of Sodium-Ion Batteries To Compete With Lithium-Ion
Synthetic Fats Could Reduce Palm Oil Reliance
Underground thermal energy networks are becoming crucial to the US’s energy future
Cleaning up aluminum will be critical to a low-carbon future
Revolutionary Electrolyzer Efficiently Converts CO2 into Renewable Propane Fuel
'World-first' grid-scale sodium-ion battery project in China launched
Super-cheap gigawatt-scale rust battery greenlit for Minnesota
Cement emits as much CO2 as India. Why is it so hard to fix?
This startup is zapping seawater to tackle climate change
CATL Unveils "Condensed Battery" With an Energy Density of 500-WH/Kg
Northvolt, a $12 billion startup founded by an ex-Tesla VP, thinks crushing and shredding old batteries is the way to make electric vehicles truly sustainable
Science | AAAS
Improved LFP Battery Production Could Mean Ford EVs Will Be Cheaper Than Ever
Why Fires From E-Bike Batteries Have Left Cities Helpless
How to make hydrogen straight from seawater – no desalination required
The new ChatGPT clones from Google and Microsoft are going to destroy online search
World's largest drone maker is unfazed — even if it's blacklisted by the U.S.