GPTで「できること」を増やすための3つのアプローチを非エンジニア向けにまとめてみた 〜プラグインとAPIとファインチューニング｜遠藤太一郎
GPTで「できること」を増やすための3つのアプローチを非エンジニア向けにまとめてみた 〜プラグインとAPIとファインチューニング 最近、とにかく話題が尽きないChatGPTやLLM（大規模言語モデル）。 毎日のように“できること”の情報がどんどんと更新されているので、追いかけるだけで精一杯！という方も多いのではないでしょうか。かくいう自分も相当インプットしているつもりですが、いまだに全容を掴みきれていません。 そこで今回は、自分自身の整理も兼ねながら、ChatGPTでプロンプト開発をする際の全体像をまとめてみました。 ※プロンプト：GPT等のLLMに対する入力文ないしはコマンドのこと チャット上でのプロンプトエンジニアリングはもちろん、pluginやAPI、LangChain、プロンプトの評価、さらにはファインチューニングまでテーマを広げてまとめています。 エンジニアにとどまらず、Chat
筆者がネタに苦しんでいるうちに、マイクロソフトがAzureにChatGPTを含むOpenAIのサービスを採用すると発表したり、ChatGPT Professionalのウェイトリストが用意されたりと、世の情勢は活発にうごいていますね（かわさき）。 OpenAI Cookbook OpenAIは「OpenAI Cookbook」と呼ばれるリポジトリをGitHubで公開しています。これは、OpenAIが提供するAPIを使って何らかのタスクを行うためのサンプルコードやガイドを示したものです。今回はそのうちのGPT 3に関連する内容を幾つか紹介しましょう。ただし、OpenAI Cookbookで紹介されているノウハウはChatGPTに特化して書かれているわけではないことには注意してください。
今話題のチャットAI「#ChatGPT 」をマスターできる！noteに集まった最新事例とともに、チャットAI黎明期から活用しているnote CXOの深津が解説します。このイベントを通して、「人を置き換える」のではなく「人の創造力を拡張する」AIの使い方がわかり、明日から使えるノウハウが学べます。 ▼ タイムコード 0:00 目次 4:37 イベントスタート 7:40 ChatGPTは検索サービスではない！ 10:01 ChatGPTは記事を大量生産するものではない！ 11:04 ChatGPTってなに？ 11:52 クロスレビューに使ってみる 13:19 改善レビューに使ってみる 14:29 危険度チェックに使ってみる 15:42 ChatGPTのしくみ 20:39 ChatGPTの注意点 26:25 民主化されつつあるAI 31:31 ChatGPTをうまく使うコツ：可能性の空間を限定
OpenAIが開発した「ChatGPT」について、大きな可能性を期待する声がこのところ相次いでいる。ChatGPTは、人間の問いかけに応じて自然言語で対話ができる人工知能（AI）プログラムだ。 多くの人がChatGPTプログラムに新しさを感じ、唯一無二のものに違いないとして高い関心を抱いている。 だが、AIの研究者らは、そういう考えに異を唱えている。 「根底にある技術という点で、ChatGPTは特に革新的なものではない」と、MetaでチーフAIサイエンティストを務めるYann LeCun氏は米国時間1月19日、少数の報道関係者や企業幹部が参加した「Zoom」会議で語った。 LeCun氏は次のように述べた。「革新的なところは何もないが、世間ではそのように受け取られている」「まとめ方がうまいというだけであり、その点では見事だ」 同氏によれば、このようなデータ駆動型のAIシステムは、これまでにも
あまりに高精度なテキストを生成できるということで話題になった「GPT-3」のような最新の言語モデルは、言語処理能力を向上させる過程で自然に他者の心を推察する能力を獲得していたとする研究論文が発表されました。 [2302.02083] Theory of Mind May Have Spontaneously Emerged in Large Language Models https://arxiv.org/abs/2302.02083 Theory of Mind May Have Spontaneously Emerged in Large Language Models (PDFファイル)https://arxiv.org/ftp/arxiv/papers/2302/2302.02083.pdf ヒトが他者の心の状態、目的、意図、知識、信念、志向、疑念などを推測する心の機能を「心の理
人間と見分けがつかないほど自然な文章を書けるAI「GPT-3」の改良版AI「InstructGPT」一般公開、詩も執筆可能
文章生成AI「GPT-3」はオンライン掲示板で人間とバレずに1週間会話できるほど違和感の少ない文章を生成できることで知られており、Microsoftのプラットフォームに採用されるなど大きな注目を集めています。一方でGPT-3には反イスラム教的なバイアスが存在することが指摘されるなど、生成される文章に偏りがあることも分かっています。そんなGPT-3の学習モデルを改良して偏りを抑えつつ文章生成精度も向上させた文章生成AI「InstructGPT」の一般提供が2022年1月27日に始まりました。 Aligning Language Models to Follow Instructions https://openai.com/blog/instruction-following/ OpenAI launches new GPT-3 model despite continued toxic t
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 中国の上海財経大学などに所属する研究者らが発表した論文「How Close is ChatGPT to Human Experts？ Comparison Corpus, Evaluation, and Detection」は、ChatGPTと人間の専門家が答える内容のそれぞれの特徴や違いを調査した研究報告である。 2022年11月のリリース以来、OpenAIのChatGPTは自然言語処理（NLP）コミュニティー含め、学術界や産業界など多くの分野で注目を集めている。有用性の面でこれまでの公共チャットbotを大幅にしのいでおり、さまざまなところで活用され
「GPT Index」を試したので、まとめました。 1. GPT Index「GPT Index」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。 同様のチャットボットは「LangChain」でも作成できますが、「GPT Index」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 【注意】ドキュメントが大きいと、OpenAI APIの呼び出しも多くなるので、コストを注意する必要があります。 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !p
リンク OpenAI ChatGPT: Optimizing Language Models for Dialogue We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests. ChatGPT is a 25 users 996
非常に高精度の文章を作れる言語モデル「GPT-3」は、OpenAIが開発したものの、オープンソースでもオープンアクセスでもなく、さらにMicrosoftと独占的ライセンス契約を締結しているので、自由に使うことはできません。こうした状況に対して「オープンソースのGPT-3」を作ろうとする動きがあります。その中の1つが「GPT-Neo」です。 EleutherAI - GPT-Neo https://www.eleuther.ai/gpt-neo AI Weekly: Meet the people trying to replicate and open-source OpenAI's GPT-3 | VentureBeat https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and
インタビューや会議の際に発言内容をメモしながら、後で間違えないよう録音もする人は少なくないだろう。だが、録音した音声を聞いてテキストに起こす作業はかなりの手間がかかる。筆者の場合は聞き取りづらい箇所を繰り返し再生したり、パソコンに文字を打ち込む操作が遅れて音声の再生を一時停止したりしているうちに、実際の録音時間の何倍もかかってしまう。作業が終わるころには疲れてうんざりしていることもある。 筆者と同じように「骨の折れる文字起こし作業を何とか楽にこなしたい」と考える人は、洋の東西を問わず多いのかもしれない。最近はAI（人工知能）によって音声を解析して自動的に文字起こしするツールが国内外で増えてきた。中でも大きな注目を集めているのは、米OpenAI（オープンAI）の音声認識AI「Whisper」だ。 同社は米テスラ創業者のイーロン・マスク氏らが設立したAIの研究開発企業で、2020年に発表した言
ChatGPT Bot を new Slack Platform で動かしてみた - LayerX エンジニアブログ
こんにちは、LayerX の Enabling Team の suguru です。 ChatGPT のAPIが公開されて、ものすごい勢いで Slack へのインテグレーションが始まりそうです。 API 利用する場合は、会話の内容が学習などに使われることはない、ということで、安心して利用できそうです。 LayerX でも、早速ChatGPTが応答してくれるボットを作ってみることにしました。 今回は new Slack Platform を使うことにしました。new Slack Platform は、Slack Cloud と呼ばれる Slack 側のサーバーでコードを動かす機能があります。Slack にコードをデプロイするだけで、サーバーの準備等をしなくても ChatGPT を自分たちの SlackBot として埋め込むことができます。 注 - new Slack Platform は執筆時
革命かパンドラの箱か、新AIツールGPT-3の波紋
革命かパンドラの箱か、新AIツールGPT-3の波紋：星暁雄「21世紀のイノベーションのジレンマ」（1/5 ページ） 米シリコンバレーのテクノロジー好きな人々の間で、ひとつの新技術が大きな反響を呼び起こしている。米サンフランシスコに本拠を置くAI（人工知能）開発の非営利組織OpenAIが開発した最新AIツール「GPT-3」だ。 OpenAIが2020年6月にGPT-3をインターネット経由で利用できるインタフェース（API）を限定公開したところ、試した人々は想像を越える応用範囲の広さに驚いた。そこからソーシャルメディア経由で話題が広がり、より大勢の人々に刺激を与える形となった。 GPT-3は、英単語や短い文章をインプットすると、関連する「それらしい」テキストを自動生成するツールだ。文章だけでなく、プログラムコードや楽譜を自動的に生成するデモンストレーションも登場した。 プログラムを自動生成でき
LlamaIndexを使ってAWS CDKの記事200本以上でインデックスを作りOpenAIに質問してみた | DevelopersIO
OpenAIのAPIに対してLlamaIndexを使い特定の分野の記事を取り込むと正しい答えが返ってくるのか確認してみました。本記事ではAWS CDKを対象に調査しています。 はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回はタイトルの通り、LlamaIndexを使いOpenAIにAWS CDKに関する記事（DevelopersIOのもの)を200本以上でインデックスを作り、どのような返答が返ってくるのか試してみました。LlamaIndexとは、簡単な実装で個別のインデックスを作成しOpenAIのモデルに対して問い合わせできるインターフェースです。詳細は以下をご確認ください。 インデックスの対象となる記事 AWS CDKのタグが付いている記事で、2021年12月21日から2023年3月8日までの合計240本の記事を対象にします。こちらで1つのAWS CDKというジャンルに対し
OpenAI Platform
Explore resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's developer platform.
メタ（旧フェイスブック）AIラボは、自社開発した大規模言語モデル「OPT」を研究者向けに無償で提供を開始した。オープンAIの「GPT-3」と同じパラメーター数を持つ。同モデルの構築方法や訓練方法の詳細も公開しており、巨大テック企業の取り組みとしては異例だ。 by Will Douglas Heaven2022.05.09 56 11 メタ（旧フェイスブック）AIラボは、オープンAI（OpenAI）の先駆的なニューラル・ネットワーク「GPT-3」の驚くべき能力と有害な欠陥の両方を継承する新しい大規模言語モデル「OPT（Open Pretrained Transformer）」を作成し、研究者向けに提供を開始した。同モデルの構築方法や訓練方法の詳細も公開する。巨大テック企業の取り組みとしては異例のことだ。 「自社の研究を他者が精査できることは、研究にとって重要なことだと強く思っています。他の研
GPT-3.5世代のオープンな言語モデルを調べてみました。 本稿では以下の特徴をもって「GPT-3.5世代」の言語モデルと定義しました。 ChatGPT等（text-davinci-003、gpt-3.5-turbo）の登場した2022年11月以降に登場 GPT-3と同様にテキスト生成ができる言語モデル GPT-3（text-davinci-003等）を主なベンチマークにしたり、学習に利用したりしている 「オープンな言語モデル」としていますが、本稿では以下いずれかを満たしていればオープンな言語モデルとします。一般的なオープンソース・ソフトウェアの定義等とは少し異なります。 学習済モデルが公開されている 学習データと学習用ソースコードが公開されており、学習済モデルの再現が可能である GPT-3.5世代のオープンな言語モデルの特徴 本稿で紹介するGPT-3.5世代のモデルには、以下のような特徴
またすごいものが世の中に出てきました……。 「ChatGPT」、皆さんはもう試されたでしょうか？ ChatGPTとは、サム・アルトマン、イーロン・マスクを中心とした投資家たちが設立した研究機関「OpenAI」が開発した対話型AIチャットボットです。テキストで質問を打ち込むだけで瞬時に、機械学習による非常に精度の高い回答が、しかも会話として違和感のないごく自然な言語で返ってくることで、IT業界を中心に話題になっています。 2023年1月23日マイクロソフトは今後数年かけてOpenAIに投資し、「マイクロソフト製品にChatGPTを基本搭載する」と発表しました。その投資総額は、1兆円（100億ドル）を超える規模！！と噂されています。 これが実現すると、Office等にAIが搭載されるのはもちろんのこと、アカウントに紐づくデータとAIを組み合わせ、個人ごとに最適化された全く新しい体験も生まれてく
絶体絶命の危機を迎えたグーグルのAI開発、遅れをとった理由 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
2015年にGoogle（グーグル）のCEOに就任したスンダー・ピチャイは、その翌年の開発者会議Google I/Oで、同社が「AIファースト」企業になると宣言したが、その2年前の2014年にAmazon（アマゾン）は音声アシスタント「Alexa（アレクサ）」を発表しグーグルを驚かせた。「世界の情報を整理する」というのがグーグルの使命であり、このようなサービスは本来、同社が行うべきものだった。 それから7年後の現在、グーグルは再び同様の立場に追い込まれているが、今回はさらに分が悪い。挑戦者はOpenAIというサンフランシスコの比較的小さなスタートアップで、アマゾンのような資金力のある巨大企業ではない。ChatGPTと呼ばれる同社の人工知能（AI）チャットボットは、考えうるほぼすべてのテーマについて、まるで人間が書いたかのような文章を生成するが、このボットはグーグルが数年前に開拓した技術的ブ
OpenAI GPT-3 APIの使い方を解説
アカウントが作成できたらログインします。 そして、Anaconda Promptなどからpipでopenaiというライブラリをインストールします。 pip install openai Google Colaboratoryでも大丈夫です。 Google Colaboratoryであれば !pip install openai ですね。 そして、以下のモジュールをインポートします。 import os import openai API keyを設定します。 API keyはログインしたあと右上の"Personal"から"View API keys"をクリックすることで確認することができます。 そのAPIを以下のようにopenai.api_keyに設定します。 API_KEY = "受け取ったAPI key" openai.api_key = API_KEY これで前準備ができました。 文
ChatGPTやWALL-E 2を開発したOpenAIの元社員によって設立されたAIスタートアップ・Anthropicは、ChatGPTと同じような対話型AI「Claude」を開発しました。AIデータプラットフォーム・Scale AIのエンジニアであるスペンサー・パペイ氏とリリー・グッドサイド氏が、ChatGPTとClaudeの性能を比較した結果を公開しています。 Meet Claude: Anthropic’s Rival to ChatGPT | Blog | Scale AI https://scale.com/blog/chatgpt-vs-claude ChatGPTもClaudeも、「文章を入力すると、その内容に対して文章を生成して回答する対話型AI」です。ChatGPTは自然言語処理モデルであるGPT-3から派生したInstructGPTをベースとしたモデルで、「より人間らし
手順 トレーニングデータを準備してアップロードする 新しいFine-tuningされたモデルをトレーニングする Fine-tuningモデルを使用する ドキュメントに沿って行っていくので、APIの利用はOpenAIのCLIを使って実行してきます。 以下のコマンドでインストール。・ pip install --upgrade openai openaiのAPI keyを環境変数にセットします。 export OPENAI_API_KEY="<OPENAI_API_KEY>" サンプルとして、ゲーム内のとある名称がスキルなのか爆発なのか分類させてみます。 chatGPTではこのように間違った回答を返していたので、正しい情報を学習させてみます。 1. トレーニングデータを準備してアップロードする トレーニングデータは、GPT-3に言いたいことを教える方法です データセットの準備 に書いてあるベス
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience training neural networks. This implementation is missing tons of features on purpose to keep it as simple as p
超高精度な言語モデル「GPT-3」などを開発した研究機関のOpenAIが、プロセスの改善によりGPT-3のウェイトリストを削除し、誰でもAPIを利用可能にしたと発表しました。 OpenAI’s API Now Available with No Waitlist https://openai.com/blog/api-no-waitlist/ OpenAIはテスラの創業者であるイーロン・マスク氏らの手により設立された人工知能(AI)研究企業です。これまでに画像認識AIの「CLIP」や言語モデルのGPT-3の開発を行ってきたほか、GitHubでソースコードの続きを自動補完する「GitHub Copilot」の開発に協力するなどの実績を残してきました。このうち、OpenAIはGPT-3を用いたAPIの利用にウェイトリストを設け、使用者数に制限をかけていました。 OpenAIが超高精度な言語モデ
ChatGPTを使った〇〇(例：ChatGPTを使ったアプリ、ChatGPTによる自動生成サービス)は、こうしたワードがQiitaやSNSに飛び交っています。 しかし、実際にChatGPTを使ったものではなく、OpenAIのGPT-3.5系文章生成AIのAPIで作ったアプリやサービスがほぼ100%です。 以前は 「はいはい、ChatGPTじゃなくてOpenAIのAPIでしょ。」 で片付けられましたが、OpenAIが「ChatGPTのAPIを提供予定」とアナウンスしたことでややこしくなっています。 水曜日ということで、「ChatGPTを使ったアプリ(サービス)、ChatGPTじゃない説」 を検証し、注意喚起と命名ルールを提案したいと思います。 ChatGPTのAPIがついに一般公開されました。 Youtube動画にて、ChatGPTのAPIについて解説しています。今後は本物のChatGPTア
人間ならではの領域に踏み込むAI AI（人工知能）が言葉の意味を理解する方向へと大きく舵を切った。 先日、シリコンバレーで限定的にリリースされた「GPT-3」という言語モデルを使うと、コンピュータ（AI）がかなり高度な文章を書いたり、私たち人間の言葉による命令に従って簡単なアプリ開発などの仕事ができるようになる。 GPT-3は現時点で米国のプレスや一部関係者らに限ってリリースされたが、実際にそれを使ってみた人たちからは驚くべき結果が報告されている。 たとえば、「この度、一身上の都合により退社することを決めました」あるいは「ベン、ごめんね、あたし貴方と別れなければならない」という冒頭の一文を入力するだけで、GPT-3はそれに続く文章をしたためて、普通なら書くのが気が重い退職願や別れの手紙を手際よく仕上げてくれるという。 これらの機能は、一般にAIの中でも「自然言語処理」と呼ばれる分野に属する
パナソニックグループのパナソニックコネクト（東京都中央区）は3月16日、大規模言語モデル「GPT-3.5」をベースにしたAIアシスタント「ConnectGPT」を国内の全社員向けに提供していると発表した。生産性向上が目的で、2月17日から導入しているという。 ConnectGPTは、クラウドサービス「Microsoft Azure」上で米OpenAIのサービスが使える「Azure OpenAI Service」を活用して開発した。社員はイントラネット上からサービスにアクセスし、テキストベースで質問ができる。 入力した情報は一定時間が過ぎたら消去し、米Microsoftによる二次利用もないという。開発に利用したAzure OpenAI Serviceは、ユーザーからの申請があった場合はデータを記録しない形での利用に応じることを明記している。一定の基準を満たした顧客から申し出があった場合、ログ
【シリコンバレー=佐藤浩実】米マイクロソフトが米新興オープンAIへの追加投資に向けて協議をしていることが10日までに明らかになった。米メディアのセマフォーが関係者の話として、最大で100億ドル（約1兆3200億円）の投資を視野に交渉していると報じた。取引は破談になる可能性もあるという。 オープンAIは「GPT-3」などの大規模言語モデルを手がける人工知能（AI）の研究開発企業で、起業家のサム・アルトマン氏らが2015年に設立した。22年11月には質問に対して自然な文章で回答する「ChatGPT（チャットGPT）」を公開し、日本でも話題になった。進化の著しい生成AIの分野で先行する企業のひとつだ。 マイクロソフトは19年にオープンAIに10億ドルを投資し、多くの協業をしている。作りたいアプリケーションに合わせてAIがソースコードを提案するサービスや、画像生成AI「DALL-E 2」を組み込ん
クラウドコンピューティング事業「Microsoft Azure」を展開するMicrosoftが、人工知能(AI)開発団体・OpenAIとの継続的なパートナーシップを拡大し、超高精度な文章生成AI「GPT-3」の独占的ライセンスを取得したことを2020年9月22日に発表しました。 Microsoft teams up with OpenAI to exclusively license GPT-3 language model - The Official Microsoft Blog https://blogs.microsoft.com/blog/2020/09/22/microsoft-teams-up-with-openai-to-exclusively-license-gpt-3-language-model/ Microsoft gets exclusive license fo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenAI Cookbookで学ぶChatGPTプロンプトの基礎の基礎
あなたの仕事が劇的に変わる!? ChatGPT使いこなし最前線
対話AI「ChatGPT」にそれほどの革新性はない--Metaのチーフサイエンティスト
「GPT-3」などの最新言語モデルが自然に他者の心を推察する能力である「心の理論」を獲得していたという研究論文
ChatGPTと人間の違いは？ 約4万件の質疑応答から中国の研究者らが分析
GPT Index で専門知識を必要とする質問応答チャットボットを簡単作成｜npaka｜note
chatGPTにある条件を付けて質問すると「編集者との打ち合わせ」が出来てしまうことに気付いた
「GPT-3」に近い性能の言語モデルをオープンソースで目指す「GPT-Neo」
都市名と滞在日数を入力するとOpenAIが旅行日程を作成してくれるツールが海外で話題に【やじうまWatch】
話題の文字起こしAI「Whisper」、ニュース記事を読み上げて試したら驚きの精度だった
メタ、「GPT-3並み」の大規模言語モデルを研究者向けに無償提供
GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita
ChatGPTの衝撃 ーー新しいテクノロジーがもたらすもの。｜Yosuke Tsuji
OpenAIの「ChatGPT」と元OpenAIエンジニアが開発した「Claude」の性能を比較した実験結果
OpenAI APIのFine-tuningを試してみる | DevelopersIO
GPT in 60 Lines of NumPy | Jay Mody
AIベンチャー・OpenAIの「GPT-3」がウェイトリストなしで誰でも利用可能に
ChatGPTを使ったアプリ(サービス)、ChatGPTじゃない説 - Qiita
AIの「自然言語処理」技術がここへきて劇的な進化を遂げている（小林 雅一） @gendai_biz
パナ子会社、“GPT”利用の独自AIアシスタントを全社員に 漏えい防ぎつつ生産性向上へ
Microsoft、ChatGPTのオープンAIに1.3兆円を追加投資か - 日本経済新聞
Microsoftが世界トップクラスの言語モデル「GPT-3」の独占的ライセンスを取得