GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
GitHub - run-llama/llama_index: LlamaIndex is a data framework for your LLM applications
LlamaIndex (GPT Index) is a data framework for your LLM application. Building with LlamaIndex typically involves working with LlamaIndex core and a chosen set of integrations (or plugins). There are two ways to start building with LlamaIndex in Python: Starter: llama-index (https://pypi.org/project/llama-index/). A starter Python package that includes core LlamaIndex as well as a selection of inte
GPTシリーズの限界と非連続的な進歩について
GPTシリーズの限界と非連続的な進歩について 2023.02.28 Updated by Ryo Shimizu on February 28, 2023, 09:04 am JST 先日、秋葉原の3331で開催されたテクノエッジ主催イベントでは、StableDiffusionを開発したStability.AIのジェリー・チーさんと、THE GUILDの深津貴之さんと筆者の三人で鼎談した。 残念ながらイベントのアーカイブは残っておらず、80人の席は全て即完売。 改めて考えると、会場が小さすぎるしチケットが安すぎる。 まあそれはいいとして、懇親会ではTwitterやnoteでしか見たことがなかった生成AI業界のスターたちに挨拶できて非常に嬉しかった。 講演の感想をいただく中で、「Scaling Lawについての話が一番面白かった」と言われたので、昔もこの連載でとりあげた気がするが、再度この段
GPT in 60 Lines of NumPy | Jay Mody
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience training neural networks. This implementation is missing tons of features on purpose to keep it as simple as p
「GPT-3」などの最新言語モデルが自然に他者の心を推察する能力である「心の理論」を獲得していたという研究論文
あまりに高精度なテキストを生成できるということで話題になった「GPT-3」のような最新の言語モデルは、言語処理能力を向上させる過程で自然に他者の心を推察する能力を獲得していたとする研究論文が発表されました。 [2302.02083] Theory of Mind May Have Spontaneously Emerged in Large Language Models https://arxiv.org/abs/2302.02083 Theory of Mind May Have Spontaneously Emerged in Large Language Models (PDFファイル)https://arxiv.org/ftp/arxiv/papers/2302/2302.02083.pdf ヒトが他者の心の状態、目的、意図、知識、信念、志向、疑念などを推測する心の機能を「心の理
DALL-E - Wikipedia
DALL·E, DALL·E 2, and DALL·E 3 are text-to-image models developed by OpenAI using deep learning methodologies to generate digital images from natural language descriptions, called "prompts." The first version of DALL-E was announced in January 2021. In the following year, its successor DALL-E 2 was released. DALL·E 3 was released natively into ChatGPT for ChatGPT Plus and ChatGPT Enterprise custom
Perplexity AI
Bulletproof coffee, also known as butter coffee or keto coffee, is a high-calorie drink made with added fats, intended to fuel your start to the day. It was created by Dave Asprey, the originator of the Bulletproof Diet, and is popular among low-carb dieters and those following a ketogenic diet. The drink consists of coffee made from high-quality beans, unsalted butter, and a medium-chain triglyce
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DALL·E 2
Amazon.co.jp: 作ってわかる! 自然言語処理AI〜BERT・GPT2・NLPプログラミング入門: 坂本俊之: 本
OpenAI API