GPT×松尾研発AIの威力 コンタクトセンターで34％減った業務とは
高精度の文章を作れる文章生成AI「GPT-3」を、Microsoftがビジネスアプリ作成ツール「Microsoft Power Apps」に統合することを発表しました。これにより、コーディングの知識を持たないユーザーでも、文章形式でアプリを作成できるようになるとのことです。 From conversation to code: Microsoft introduces its first product features powered by GPT-3 - The AI Blog https://blogs.microsoft.com/ai/from-conversation-to-code-microsoft-introduces-its-first-product-features-powered-by-gpt-3/ Microsoft has built an AI-powered
","unk_token":"","pad_token":"[PAD]","bos_token":"","cls_token":"[CLS]","sep_token":"[SEP]","mask_token":"[MASK]"}},"discussionsDisabled":false,"downloads":1941,"downloadsAllTime":682916,"id":"rinna/japanese-gpt-1b","isLikedByUser":false,"isWatchedByUser":false,"inference":"Yes","lastModified":"2024-04-03T07:17:07.000Z","likes":92,"pipeline_tag":"text-generation","library_name":"transformers","lib
GitHub - run-llama/llama_index: LlamaIndex is a data framework for your LLM applications
LlamaIndex (GPT Index) is a data framework for your LLM application. Building with LlamaIndex typically involves working with LlamaIndex core and a chosen set of integrations (or plugins). There are two ways to start building with LlamaIndex in Python: Starter: llama-index (https://pypi.org/project/llama-index/). A starter Python package that includes core LlamaIndex as well as a selection of inte
1. GPT-3モデル「OpenAI API」は、用途に応じて様々なGPT-3モデルを提供しています。 ・GPT-3 : 自然言語を理解し生成するモデル ・Codex : 自然言語からコードへの変換 および コードを理解し生成するモデル ・Content filter : センシティブ および 安全でないテキストを検出するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル 2. GPT-3「GPT-3」は、自然言語を理解し生成することができるモデルです。 性能の異なる4つの主要モデルを提供しています。Davinciは最も高性能、Adaは最も高速なモデルになります。 2-1. text-davinci-003「GPT-3」の中で最も高性能なモデルです。他のモデルで可能なあらゆるタスクが可能で、多くの場合、より高い品質、より長い出力、より良い命令追従性が得られます
rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。 ■背景 rinna社はこれまでに、日本語の自然言語処理 (NLP) に特化したGPT (3.3億パラメータ) やBERT (1.1億パラメータ) の事前学習モデルを公開し、多くの研究・開発者にご利用いただいています。最近のNLPに関する研究では、モデルのパラメータ数が多いほど高い性能であることが知られています。 そこでrinna社は、これまでに公開してきたモデルより大規模な13億パラメータを持つ日本語に特化したGPT言語モデルを開発し、日本語のNLPコミュニティに貢献するために、この言語モデルをNLPモデルライブラリ Hugging Face に商用利用可能なMITライセンスで公開しました。 ■ Hugging Fac
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/Read less
Rootport💰🍹🍑 on Twitter: "「GPT-3と会話できるだけの広告だらけのアプリ」が数十万DLされているのを見て、「これが…世間…ッ!!」ってなった。 OpenAIの公式サイトで使えば無料で広告もない（ただし少しレスポンスが遅い）のだけど、入り口が英語だし電話… https://t.co/9jAH8xfo8h"
「GPT-3と会話できるだけの広告だらけのアプリ」が数十万DLされているのを見て、「これが…世間…ッ!!」ってなった。 OpenAIの公式サイトで使えば無料で広告もない（ただし少しレスポンスが遅い）のだけど、入り口が英語だし電話… https://t.co/9jAH8xfo8h
Generative AI(生成AI)の時代が到来しています！AIがクリエイティブかつ人間のようなアウトプットを生み出せるようになりました。そして、画像や音楽、動画だけでなく、AIはついに「言葉」を高度に生成する能力を習得しつつあります。その象徴こそが「ChatGPT」の登場です。 ChatGPTの登場は、まさに「シンギュラリティ(技術的特異点)」を予感させるものでした。いよいよ人間と遜色ない会話をAIができる未来が、ついそこまで迫っていることを実感させられました。これからは、ChatGPTを代表とする自然言語処理領域のGenerative AIによって、会話AI(チャットボット)の分野に大転換が起きると予想されます。 本書は、そんな大転換の中、チャットボットの構築方法がどのように変化していくのかを解説しています。変革期なのでこれから違う変化を遂げて行く可能性はありますが、要素技術はすでに
膨大なデータでトレーニングしたGPT-3やBERTなどの大規模言語モデルは、基本的には「文章の並び方に確率を割り当て、次に来るのが自然な語を予測する」というモデルです。ところが、大規模言語モデルはまるで人間のように自然な文章を生成できるほか、画像の生成やタンパク質の立体構造の予測など、さまざまなタスクにも応用することが知られています。新たにカリフォルニア大学ロサンゼルス校の研究チームが、GPT-3は特定の情報を別のものに適用して答えを推測する「類推」のタスクにおいて、大学生を上回るスコアを記録したという研究結果を発表しました。 Emergent analogical reasoning in large language models | Nature Human Behaviour http://dx.doi.org/10.1038/s41562-023-01659-w GPT-3 ca
GitHub - EleutherAI/gpt-neo: An implementation of model parallel GPT-2 and GPT-3-style models using the mesh-tensorflow library.
*As of August, 2021 code is no longer maintained. It is preserved here in archival form for people who wish to continue to use it. 🎉 1T or bust my dudes 🎉 An implementation of model & data parallel GPT3-like models using the mesh-tensorflow library. If you're just here to play with our pre-trained models, we strongly recommend you try out the HuggingFace Transformer integration. Training and inf
米AI研究企業OpenAIは1月5日（現地時間）、人間の自然な言葉による説明を入力するとそれを画像として描くAI「DALL・E」を発表した。例えば下の画像は「チュチュを着て犬を散歩させている大根の赤ちゃんのイラスト（an illustration of a baby daikon radish in a tutu walking a dog）」という説明をDALL・Eが画像化したものだ。 OpenAIの説明によると、DALL・Eは「テキストと画像のペアのデータセットを使って、テキストの説明から画像を生成するようトレーニングされた120億パラメータ版のGPT-3」という。DALL・Eという名称は、アーティストのサルバドール・ダリとPixarの映画「ウォーリー」の主人公のロボットの名前を合成したものとのこと。 GPT-3は、ネット上のテキストの次の単語を予測するためだけに訓練されたTransf
Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few
一番星はての開発ブログ
まえがき 2023年も終わりなので「2023年 一番星はてのコメント10選」みたいな記事を書こうと思い、とりあえずスター数の多かったコメントを集計していました。 集計自体はすぐ終わったのですが、はての以外の人でもこれ知りたいなあと思い、サービスとして公開することにしました。 というわけで、ブックマークについたスターを眺められるサイト「はてなギャラクシー（β版）」をリリースしました。 はてな★ギャラクシー どういうサイトなのか サイト自体を見てもらった方が早いので、一番星はてののページを見てみます。 一番星はてののブックマーク firststar_hateno - はてな★ギャラクシー 一番星はてののはてのギャラクシーのページ ユーザーの全ブックマークを取得し、スター数の降順に並べます。 あとはキーワードと日付によるブックマークの絞り込みができます。 キーワードはブックマークコメントとブック
オープンAIが開発した大規模言語モデル「GPT-3」が作成する文章は、不気味なほどのリアリティで人間の書く文章を模倣できる。だが、こうした成果は主に、ニューラル・ネットワークの規模と訓練に使うデータをとてつもなく大規模化したおかげであり、現在のAIが抱える無視できない問題点も明らかにしている。 by Will Douglas Heaven2021.04.26 64 58 15 24 ディープマインド（DeepMind）の「アルファ碁（AlphaGo）」や、チェスをするIBMの「ディープ・ブルー（Deep Blue）」以降に登場したさまざまな人工知能（AI）の中で、人々の心を確実に捕らえているAIがある。「GPT-3」だ。 この記事はマガジン「10 Breakthrough Technologies」に収録されています。 マガジンの紹介 GPT-3は、サンフランシスコを拠点とする研究所である
OpenAI API
An API for accessing new AI models developed by OpenAI
著者のAlberto Romero氏はスペイン在住のAI技術批評家で、同氏の鋭い洞察に満ちた記事のいくつかはAINOWでも紹介して来ました。同氏が2022年4月にMediumに投稿した記事『GPT-4は間もなく登場。それについて私たちが知っていること。』では、リリース時期が近付きつつあるGPT-4の特徴が予想されています。 Romero氏は昨年9月にGPT-4の特徴を予想する記事を公開しましたが、自然言語処理研究の最新トレンドを考慮して予想記事を書き改めました。同氏によるとGPT-4は2022年の7月から8月頃にリリースされ、その特徴は以下のような5項目にまとめられます。 自然言語処理の最新研究にもとづいて予想されるGPT-4の特徴 モデルサイズ至上主義からの方向転換：最新の自然言語処理研究によって、モデルサイズは言語モデルの性能を決定する要因のひとつに過ぎないことが判明した。こうした知見
GitHub - hpcaitech/ColossalAI: Making large AI models cheaper, faster and more accessible
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
「gpt2-japanese」の「smallモデル」と「ファインチューニングのコード」が公開されたので、日本語によるGPT-2のファインチューニングを試してみました。 前回 (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルのダウンロード「smallモデル」を「gpt2-japanese」フォルダにダウン
判定者が使った戦略を分析すると、36％が雑談を通じて相手の人となりを探ろうとした。また、25％が感情や経験、ユーモアのセンスを尋ねるなど、社会的・感情的なアプローチを取っていた。論理的思考や一般知識を問うたのは13％にとどまった。 判定理由を分析した結果、43％が言語的スタイル（スペル、文法、語調など）に関するもので、24％が社会的・感情的要因（ユーモアのセンス、人格など）に関するものであった。知識や論理的思考に関する理由（知りすぎている、知らなさすぎているなど）は10％にとどまった。 AIだと判定した理由として「わざとらしい人格を演じている」「過度にくだけすぎている」「個性に欠けている」ことが挙げられた。逆に人間だと判定された主な理由は「人間らしく、くだけた言葉遣い」「もっともらしい受け答え」「スペルや文法の間違いを含むこと」などであった。以上の結果から、判定者は知性よりも言語的・社会的
We’ve trained language models that are much better at following user intentions than GPT-3 while also making them more truthful and less toxic, using techniques developed through our alignment research. These InstructGPT models, which are trained with humans in the loop, are now deployed as the default language models on our API.
OpenAI API
We’re releasing an API for accessing new AI models developed by OpenAI. Unlike most AI systems which are designed for one use-case, the API today provides a general-purpose “text in, text out” interface, allowing users to try it on virtually any English language task. You can now request access in order to integrate the API into your product, develop an entirely new application, or help us explore
OpenAI Status
Message and data rates may apply. By subscribing you agree to the Atlassian Terms of Service, and the Atlassian Privacy Policy. This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.
GPT-4 Turbo GPT-4 Turbo は、大規模なマルチモーダル モデル (テキストまたは画像の入力を受け入れ、テキストを生成します) であり、OpenAI の以前のモデルよりも高い精度で困難な問題を解決できます。 GPT-3.5 Turbo や以前の GPT-4 モデルと同様に、GPT-4 Turbo はチャット用に最適化されており、従来の入力候補タスクでも適切に動作します。 GPT-4 Turbo の最新の GA リリースは次のとおりです。 gpt-4バージョン:turbo-2024-04-09 これは、次のプレビュー モデルに代わるものです。 gpt-4バージョン:1106-Preview gpt-4バージョン:0125-Preview gpt-4バージョン:vision-preview OpenAI と Azure OpenAI GPT-4 Turbo with Visi
GitHub - openai/gpt-3: GPT-3: Language Models are Few-Shot Learners
arXiv link Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
超汎化言語モデル GPT-3のライセンスを日本でいち早く取得して使ってみた話 - Babel, Inc. Engineering Blog
はじめまして。 株式会社バベルでAIエンジニアとしてとして自然言語エンジンの開発をしている満石と申します。 この度バベルでは、日本のスタートアップではなかなか許可が降りないと話題のGPT3の使用許可申請を行なった所なんと！使用許可をもらうことができました！ そこで当記事ではGPT3では何ができるのか、これまでのモデルと何が違うのかについて実例を交えて紹介させて頂きます。 GPT-3とは そもそもGPT-3とはOpen AIが開発した超巨大言語モデルで、そのパラメータ数なんと1750億。GPT-3が出てくるまで最大だったモデルの約10倍、GPT-3の前身であるGPT-2の約120倍であることを考えるとその巨大さが伺えるかと思います。 開発にかかった費用は、学習に使ったものだけで約4億9000万円。言語研究はまさにMoney is all you needといった様相を呈しています。 そんなG
米Microsoftは9月22日（現地時間）、オンラインで開催の年次テクニカルカンファレンス「Ingite 2020」で、汎用言語モデル「GPT-3」の独占的ライセンスを米OpenAIから取得したと発表した。これにより、「OpenAIの技術革新を活用して、顧客向けのAIソリューションを開発、提供し、自然言語生成の力を利用する新たなソリューションを作成できるようになる」としている。 GPT-3は、イーロン・マスク氏が共同会長を務める非営利のAI（人工知能）研究企業であるOpenAIが6月に発表した汎用言語モデルの3世代目。ネット上のテキストの次の単語を予測するためだけに訓練されたTransformerベースの自己回帰言語モデルで、1750億個のパラメータで動作する。人間が作ったものと見分けられないレベルの文章作成能力が話題になっている。 Microsoftは昨年7月、OpenAIに10億ドル
「つくよみちゃん」の「会話テキストデータセット」でGPT-3のファインチューニングを試したので、まとめました。 【最新版の情報は以下で紹介】 1. つくよみちゃん会話AI育成計画（会話テキストデータセット配布）今回は、「つくよみちゃん」の「会話テキストデータセット」を使わせてもらいました。「話しかけ」と、つくよみちゃんらしい「お返事」のペアのデータが300個ほど含まれています。 以下のサイトで、利用規約を確認してから、Excel形式のデータをダウンロードします。 2. データセットの準備「つくよみちゃん」の「会話テキストデータセット」をGPT-3の学習で利用するJSONLファイルに変換します。 (1) Colabで新規ノートブックを作成 (2) Excel版の「会話テキストデータセット」を「tsukuyomi.csv」という名前のCSVで出力し、Colabのアップロードボタンからアップロー
Replicate ChatGPT Training Quickly and Affordable with Open Source Colossal-AI
February 14, 2023 Replicate ChatGPT Training Quickly and Affordable with Open Source Colossal-AI We recently released new open source code for Colossal-AI, which enables you to use it as a framework for replicating the training process of OpenAI’s popular ChatGPT application optimized for speed and efficiency. With Colossal-AI's efficient implementation of RLHF (Reinforcement Learning with Human F
https://www.autoregex.xyz/
膨大なパラメータを持つ言語モデルであるGPT-3は、学習後にパラメータを更新することなくタスクの情報と少量のデモンストレーションを入力することで、様々なNLPタスクをこなすことができます。論文のタイトルに含まれる「Few-Shot Learners」というフレーズもこれを意図したものだと言えます。 論文ではZero/One/Few-Shotという概念に触れられていますが、これらの説明が自分の理解していた内容と違っていました。結論から言えば、GPT-3におけるZero/One/Few-Shotと、一般に紹介されている（と思う）Zero/One/Few-Shot learningは大きく異なります。本稿ではGPT-3におけるこれらの説明と、他の資料での説明を比較し内容を整理します。 GPT-3によるマルチタスク処理の仕組み GPT-3がパラメータの更新なしに様々なタスクを処理する仕組み自体は、
Microsoftが2018年に75億ドル（約9700億円）で買収したGitHubのユーザー数は、クロスプラットフォームのデスクトップ開発フレームワーク「Electron」の人気もあり、2018年の2800万人から、2019年の4000万人に、そして2021年に7300万人となった。 もしもGitHubの1億人のユーザーすべてがアクティブな開発者なのであれば、それはソフトウェア開発という物事の性質が変わりつつあることの現れなのかもしれない。 SlashDataの見積もりによると、世界には2400万人のアクティブな開発者がいるという。それらプロフェッショナルのうちの1960万人はJavaScriptを使っており、そのほとんどはMicrosoftが機能拡張したTypeScriptを使っているという。また、Statistaは世界で2800万人の開発者がいると見積もっている。さらにIDCは、Jav
AI - Replit
Check out the latest product innovations, AI updates, and more from Replit Developer Day. Learn more
🤖 作ったもの OpenAI が提供している GPT-3 を利用して、Slack で ChatGPT ライクに会話ができる SlackBot を作りました。 ChatGPT のように前の会話を考慮して回答してくれるくれるところがポイントです。 🛠️ 仕組み 前の会話を考慮して返答してくれるようにする実装の肝は prompt です。 毎回以下のような prompt を OpenAI の Completion API に渡すことで、前の会話を考慮した回答をもらっています。 const prompt = ` あなたは優秀なSlackBotです。あなたの知識とこれまでの会話の内容を考慮した上で、今の質問に正確な回答をしてください。 ### これまでの会話: ${prevMessageText} ### 今の質問: ${text} ### 今の質問の回答: `; export const use
GPT-3がAPI経由で利用可能に
１．GPT-3がAPI経由で利用可能にまとめ ・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる ・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能 ・現時点では限られた機関とプライベートベータを行っている段階だが待ちリスト登録は可能 ２．GPT-3とは？ 以下、openai.comより「OpenAI API」の意訳です。元記事の投稿は2020年6月11日、Greg Brockmanさん、Mira Muratiさん、Peter Welinderさん、そしてOpenAIによる投稿です。 人間が読んでも不自然ではない文章を幾らでも作り出す事が出来るので「フェイクニュースが作り放題になってしまう！」と危惧されて一般公開が延期されたGPT-2が登場したのは2019年2月の事ですが、先日、その後継であるGPT-3、おそらくは
OpenAI Platform
Explore resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's developer platform.
人工知能を研究する非営利団体・OpenAIが開発した文章生成AI「GPT-3」は、超高精度な文章を生成することで知られており、海外掲示板のRedditで1週間にわたり他のユーザーにAIと気づかれずに会話することに成功したこともあります。そんなGPT-3について調べたスタンフォード大学とマックマスター大学の研究チームが、「GPT-3にはイスラム教徒(ムスリム)への強いバイアスが存在する」との研究結果を発表しました。 Persistent Anti-Muslim Bias in Large Language Models (PDFファイル)https://arxiv.org/pdf/2101.05783v1.pdf ‘For Some Reason I’m Covered in Blood’: GPT-3 Contains Disturbing Bias Against Muslims | b
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
著者のCatherine Yeo氏は、現在アメリカ・ハーバード大学のコンピュータサイエンス学科に在学中であり、今年の6月からはIBMにリサーチ・インターンとして勤務しています（同氏の詳しい経歴についてはこちらを参照）。同氏がMediumに投稿した記事『GPT-3のバイアスはどのようなものなのか？』では、5月に発表された言語AI「GPT-3」に内在するバイアスが論じられています。 1750億のパラメータを使ったGPT-3の登場は、その汎用性とヒューマンライクな文章生成能力により、このAIの前身であるGPT-2と同様にAI業界に衝撃を与えました。GPT-3の開発には大規模な実在する英語の学習データが使われているのですが、まさに実在する学習データを使っているがゆえに、現実の英語に見られるバイアスや差別が反映されています。 以上のようなGPT-3が持っているバイアスは、ジェンダー、人種、宗教という
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoftが文章生成AI「GPT-3」をビジネスアプリ作成ツールに統合すると発表、文章形式でアプリ作成が可能に
rinna/japanese-gpt-1b · Hugging Face
OpenAI API で提供されている モデル まとめ｜npaka
rinna社、日本語に特化した13億パラメータのGPT言語モデルを公開
【メタサーベイ】基盤モデル / Foundation Models
Generative AI時代のチャットボット構築が分かる本(ChatGPT + miibo)
GPT-3は傾向や類似点を見いだして問題を解決する「類推」のテストで大学生を上回る能力を発揮できる
OpenAI、自然な言葉の説明からイラストを描くAI「DALL・E」発表
Language Models are Few-Shot Learners
GPT-3が「最高」で「最悪」なAIである理由
GPT-4は間もなく登場。それについて私たちが知っていること。 | AI専門ニュースメディア AINOW
gpt2-japaneseの使い方 (2) - GPT-2のファインチューニング｜npaka
「もうAIって人間と区別つかないよね……」 米研究者らがGPT-4などでチューリングテスト 結果は？
Aligning language models to follow instructions
Azure OpenAI Service モデル - Azure OpenAI
Azure OpenAI Service – 高度な言語モデル | Microsoft Azure
Microsoft、汎用言語モデル「GPT-3」のライセンス取得
つくよみちゃんの会話テキストデータセットでGPT-3のファインチューニングを試す｜npaka
GPT-3におけるFew-Shot・Zero-Shot
GitHubユーザー1億人時代--変わりつつある開発者の役割
OpenAIのGPT-3を使って、ChatGPTライクに会話ができるSlackBotを作る
超高精度な文章生成AI「GPT-3」には反イスラム教的なバイアスが存在すると判明
GitHub - elyase/awesome-gpt3
GPT-3のバイアスはどのようなものなのか？ | AI専門ニュースメディア AINOW