タグ

GPTに関するWindymeltのブックマーク (3)

  • Prompt Engineering Guide – Nextra

    Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル(LMs)を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル(LLMs)の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること

  • Anond AI開発日記 - Hatena Developer Blog

    こんにちは。Anond AIを研究している id:cockscomb です。 私たちはこの度、このAI時代を制するプロダクト、Anond AIを開発しました。エントリではその詳細について説明します。 Anond AIとは Anond AIはいわゆるGenerative AIで、人類が匿名で日記を書くことをアシストしてくれるものです。私たちは日記に芸術性を感じる文化を持っていて、「日記文学」という言葉もあります。Generative AIによって、名前を隠して楽しく日記を書くことをサポートし、匿名日記文化のさらなる発展に寄与できないか、と考えました。 Anond AIは、rinna/japanese-gpt2-mediumをはてな匿名ダイアリーのデータを用いてファインチューニングし、ドメイン適応させたものです。 Anond AIの開発 Anond AIは実験的なプロダクトのため、Hatel

    Anond AI開発日記 - Hatena Developer Blog
  • GPTの仕組みと限界についての考察(1) - conceptualization

    GPT4が登場してChatGPTが盛り上がってますね。 記事は、GPT(を支えるTransformerという仕組み)をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 (1)大まかな背景と概要:記事 (2)GPTの能力と可能性:実際の使用例とTransformerの仕組みを踏まえて説明 (3)GPTの限界と未来展望:Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い: トークン長とは何か? まずここから話を始めます。GPT-3は、パラメータ数が750億個(850GBの容量をう)でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク

    GPTの仕組みと限界についての考察(1) - conceptualization
    Windymelt
    Windymelt 2023/03/22
    良い記事
  • 1