Zennチームの五十嵐です。普段、Zennに関する記事はZennのPublicationに書くのですが、今回は「やってみた」系の内容なのでこちらに記事を書きます。 Zennチームでは、ZennのテキストデータとGPTなどのLLMとを組み合わせて、これまでにない新しい体験を作りたいと考えています。その第一歩として、Zenn公式アカウントの記事（使い方ページ）をベクトルデータにしてPineconeに登録し、OpenAIのChat APIを使って対話形式で質問できるようにしてみました。 デモ 若干怪しい部分もありますが、関連するページのテキストを要約して回答できていることが分かります。 実装 本記事ではざっくりとした流れだけを説明します。ソースコードをご覧になりたい方は、GitHubのリポジトリを参照してください。（内容としてはよくあるチュートリアルレベルのものです。） 構成 テキストのベクトル
MetaのAI研究組織であるMeta AI Researchが、2023年2月24日に発表した大規模言語モデル「LLaMA(Large Language Model Meta AI)」はパラメーター数の小ささから、単体GPUでも動作可能とされています。そんなLLaMAを、iPhoneやPixelといったスマートフォンで動作させることにエンジニアのanishmaxxing氏が成功したと報告しています。 anishmaxxing（@thiteanish）さん / Twitter https://twitter.com/thiteanish Meta AI Researchが発表したLLaMAはWikipediaやCommon Crawl、C4などの一般に公開されているデータセットで学習が行われています。一方でOpenAIが提供する「GPT-3」などの言語モデルは一部非公開のデータセットを使用し
OpenAIが「GPT-3.5 Turbo」にファインチューニング機能を発表しました。なお、GPT-4のファインチューニング機能は、今秋に公開する予定です。 このAIニュースのポイント 米OpenAI、GPT-3.5 Turboのファインチューニング機能を発表。ユーザーは独自データでカスタマイズ可能 ファインチューニングにより、モデルの操作性向上や論調統一が可能。特定のタスクではGPT-4以上の性能を発揮 プライバシー保護も保証されており、GPT-4のファインチューニング機能も2023年秋に提供予定 米OpenAIは、大規模言語モデル「GPT-3.5 Turbo」のファインチューニング機能を発表しました。これにより、ユーザーは独自のデータを使用してモデルをカスタマイズできるようになります。 ファインチューニングは、事前学習済みモデルを再トレーニングしてパラメーターを調整する手法であり、モデ
GPT-3、GPT-J、GPT-Neoは非常に強力なAIモデルです。ここでは、これらのモデルを効果的に利用する方法として、数撃ちゃ当たる学習法を紹介します。 スモールショット学習は、プロンプトにいくつかの例を与えるだけで、AIモデルを訓練／微調整するようなものです。 ジーピーティー・スリー OpenAIが公開した「GPT-3」は、テキスト理解やテキスト生成のためのAIモデルとして、これまでで最も強力なものです。 1,750億ものパラメータで学習させたので、非常に汎用性が高く、ほとんど何でも理解できるのです チャットボット、コンテンツ作成、エンティティ抽出、分類、要約など、GPT-3を使えばいろいろなことができます。しかし、ある程度の練習が必要で、このモデルを正しく使うことは簡単ではありません。 GPT-JとGPT-Neo GPT-NeoとGPT-Jは、オープンソースの自然言語処理モデルで、
ステージ上のロボット「ソフィア」。中国・香港で（2018年7月10日撮影、資料写真）。(c)ISAAC LAWRENCE / AFP 【10月2日 AFP】実業家イーロン・マスク（Elon Musk）氏が共同設立した企業で開発された人工知能（AI）技術は、筋の通った記事や小説、理路整然としたコンピュータープログラムなどを生成する能力に対して称賛を受けている。しかしその一方で、人種差別や性差別といった問題にはまだ対応できていないのが現状だ。 米カリフォルニア州に拠点を置く企業「オープンAI（OpenAI）」が開発した最新のAI言語モデル「GPT-3」は、2人が交わしている会話を完結させたり、一連の質問と答えを続けたり、更には英劇作家ウィリアム・シェークスピア（William Shakespeare）のようなスタイルで書かれた詩を完成させることができる。 GPT-3は学習済みの膨大な情報に基づ
概要 Aの場合はBして、Cの場合はDして、、、みたいな命令をGPT3に与えるときに、プログラミング言語風にプロンプトを書けたらいいなーと思ったので試してみます。 自然言語で指示を出せるからこそ使い勝手が良かったはずのGPT3に、あえてプログラム風に指示を出す逆転の発想です。 環境 GPT3のplayground(text-davinci-003)で検証しています。 簡単な分岐処理の実行 入力した時刻に応じて異なる挨拶を返す処理をpython風に書いてみます。 def greeting(hour: int) -> str: result = "" if 6<=hour<=10: result = "おはよう" elif 11<=hour<=16: result = "こんにちは" elif 17<=hour<=24 or 0<=hour<=5: result = "こんばんは" else:
Creative writing by OpenAI’s GPT-3 model, demonstrating poetry, dialogue, puns, literary parodies, and storytelling. Plus advice on effective GPT-3 prompt programming & avoiding common errors. I continue my AI poetry generation experiments with OpenAI’s GPT-3 (released mid-2020), which is 116× larger, and much more powerful, than the 2019 GPT-2. GPT-3, however, is not merely a quantitative tweak y
GitHub - jokenox/Goopt: 🔍 Search Engine for a Procedural Simulation of the Web with GPT-3.
Web 4.0 could be the propitious evolution for the procedural web. Goopt is an experiment in what the "procedural web" could be. This new web will use procedural content generation to create varied content, completely synthetic, since these are generated by algorithms and artificial intelligence. For now, the content is only text that is being generated automatically with GPT-3, the recent OpenAI m
革命かパンドラの箱か、新AIツールGPT-3の波紋
革命かパンドラの箱か、新AIツールGPT-3の波紋：星暁雄「21世紀のイノベーションのジレンマ」（3/5 ページ） GPT-3は大規模化を追求した「言語モデル」 GPT-3の正体を一言で説明するなら、「テキスト生成のための巨大な学習済みモデルを備えているAIツール」だ。GPT-3の特徴は、とにかく規模が巨大なことだ。 OpenAIの開発者らは論文中で、GPT-3を「1750億のパラメータ（変数）を持つ自己回帰型言語モデル」と呼んでいる。また機械学習のため、Webサイトから数年にわたり収集した1兆語におよぶデータセットを用いている。 かみ砕いて説明すると、こうなる。1兆語から成るきわめて巨大な例文集を元に、1750億種類の変数を持つ「言語モデル」に言葉と言葉の関連の度合いを記憶させておく。この「言語モデル」に対して「数種類の実例と課題文」を与えると、それらしい文章を出力する。これがGPT-3
GPT-3 can run code
tl;drGPT-3 edit capability works like an input-function-output process. Not only can you verbally instruct GPT-3 to transform inputs, but you can tell it to evaluate python functions! IntroductionRecently OpenAI released an update to the GPT-3 playground for editing and inserting text. This update brings a new layer of controls to what GPT-3 will do and modify. For example, we can provide an input
Open AI GPT-3 APIを使った「AIｽﾀｯｸﾁｬﾝ」を作った。音声認識はiPhoneでやっているがそれ以外はM5Stackで処理している。
How To Use GPT-3, GPT-4, ChatGPT, GPT-J, And Other Generative Models, With Few-Shot Learning
How To Use GPT-3, GPT-4, ChatGPT, GPT-J, And Other Generative Models, With Few-Shot Learning June 13, 2023 GPT-3, GPT-4, ChatGPT, GPT-J, and generative models in general, are very powerful AI models. We're showing you here how to effectively use these models thanks to few-shot learning, also known as prompt engineering. Few-shot learning is like training/fine-tuning an AI model, by simply giving a
Open AIは2023年3月14日（現地時間）、大規模マルチモーダルモデル「GPT-4」を発表した。テキストだけでなく画像が混在した入力にも対応し、テキストを出力する。Open AIは、GPT-4について「さまざまな専門的および学術的なベンチマークで人間レベルのパフォーマンスを示す」と評価している。同社によると、GPT-3.5のスコアは模擬司法試験において受験者の下位10％前後だったのに対し、GPT-4は上位10％のスコアで合格した。 Open AIが同日に発表した技術レポートには、大規模言語モデルや生成AI（人工知能）ならではのリスクも指摘されている。同社は、GPT-4をリリースする前に、安全性の調査やリスク評価、その反復に8カ月を費やし、その結果を技術レポートにまとめている。 GPT-4はGPT-3.5から何が進化し、どのようなリスクを抱えているのか。 GPT-3.5から何が進化した
このレシピでは、イーロンマスクの共同経営している人工知能研究所（OpenAI）が開発したGPT-3という文章生成言語モデルを使って、タイトルや要約などの文章をデータとして与えることでその記事の本文を自動生成する方法を解説します。言語モ...
SNLP2022:What does the sea say to the shore? A BERT based DST style approach for speaker to dialogue attribution in novels
オープンソースAI【Whisper、GPT3、GoogleTextToSpeech】を用いた音声対話ロボットの作成 - Qiita
import glob import librosa import IPython import MeCab import unidic import pandas as pd import alkana import re import os from IPython.display import Audio %cd /content/voicevox_core # ローカルPCマイクでの録音設定 from IPython.display import Javascript from google.colab import output from base64 import b64decode RECORD = """ const sleep = time => new Promise(resolve => setTimeout(resolve, time)) const b2text
GitHub - ddddddeon/a: CLI tool to generate code from GPT3
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-3でZennの使い方を回答できる問い合わせシステムを作ってみた | DevelopersIO
GPT-3に匹敵するチャットAIモデル「LLaMA」をiPhoneやPixelなどのスマホで動かすことに成功
OpenAIが「GPT-3.5 Turbo」にファインチューニング機能追加、GPT-4も秋に対応予定
GPT-3、GPT-J、GPT-Neoの使い方、数撃ちゃ当たるの学習法。
文章生成AI「GPT-3」 驚きの高性能と懸念される道徳的判断
GPT3にプログラミング言語で指示を与える - Qiita
GPT-3 Creative Fiction · Gwern.net
shi3z on X: "これすごい。 ほんとにGPT-3.5-Turbo並の性能っぽく見えて7B そしてオープンソース Apacheライセンス https://t.co/uV36RH8HFy"
Open AI GPT-3 APIを使った「AIｽﾀｯｸﾁｬﾝ」を作った。#M5Stack #ｽﾀｯｸﾁｬﾝ
GPT-4とは？ GPT3.5からの進化とOpen AIが指摘した生成AIとしてのリスク
GPT-3でタイトルや要約から記事本文を自動生成するレシピ
SNLP2023:Is GPT-3 a Good Data Annotator?