ChatGPT - LLMシステム開発大全
ChatGPTとLLMシステム開発について纏めた187ページ資料です。 2024/04 名称を改め資料を大幅にアップデートしました！ 今後も随時更新していきます。 データサイエンティスト協会での発表動画はこちら。 https://youtu.be/l9fpxtz22JU Build Japanでの発表はこちら。 https://youtu.be/UEZzx6a005g?si=Ot8EO2bv8yhQQEcy 2023/7/28 体裁修正、余計なページを削除 2023/12/12 RAG、API仕様、モデルのページを追加。また情報を最新化。 2024/04 名称を改め資料を大幅にアップデートしました！ 1. LLM - GPTの全体像 LLM - GPT とは何なのか ～チャットAIを例にした動作イメージ～ 大規模言語モデル(LLM)が持つ基礎能力 デジタルツールとLLMの連携 GPTに関す
Azure OpenAI リソースにおけるモデル別の利用トークン数と利用料金を確認してみた | DevelopersIO
Azure OpenAI Service リソースで複数モデルを使い分けている状況において、モデル別の利用トークン数と利用料金を確認したいと思い、その方法を調べてみました。モデル別の利用状況や料金を把握することでコスト最適化の検討がしやすくなります。 本ブログで紹介する例を先に掲載します。 モデル別の Generated Completion Tokens (生成された完了トークン数) を可視化した例です。 モデル別の利用料金を確認した例です。 モデル別の利用トークン数を確認 Azure OpenAI リソースの「メトリック」からモデル別の利用トークン数を調べることができました。 トークン数を確認するためのメトリックは次のドキュメントに掲載されています。 Azure OpenAI Service の監視 - Azure AI services | Microsoft Learn 今回は、ト
ChatGPT/LangChainによるチャットシステム構築［実践］入門
2023年10月18日紙版発売 2023年10月18日電子版発売 吉田真吾，大嶋勇樹 著 B5変形判／280ページ 定価3,300円（本体3,000円＋税10%） ISBN 978-4-297-13839-4 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto この本の概要 本書は，ChatGPTのAPIとLangChainを使って，大規模言語モデル（LLM）を本番レベルのシステムに組み込むための知識をステップバイステップで学習し，手を動かしながら実践できる書籍です。 生成AIが登場し，APIやフレームワークのエコシステムが充実してきたことによって，これまで機械学習やプログラミングの十分な知識が必要だったことに対してアプリケーション開発者が挑戦し
「Azure OpenAI Service」の一般提供から始まった“ビジーな”進化 マイクロソフト製品におけるGPT機能組み込みの流れ
ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。まずは、テキスト生成過程におけるGPTの動きと、マイクロソフトの製品におけるGPT機能の組み込みの流れについて話します。 蒲生氏の自己紹介 司会者：本日のセミナーは「ChatGPTによって描かれる未来とAI開発の変遷」として、日本マイクロソフトの蒲生さまに講演いただきたいと思います。蒲生さま、よろしくお願いいたします。 蒲生弘郷氏（以下、蒲生）：日本マイクロソフトの蒲生と申します。よろしくお願いします。本日は非常にたくさんの方に集まっていただいて、なんでこんなに集まったの
Meta、商用利用可能なオープンソースLLM「Llama 2」を提供開始 「MPT」や「Falcon」を上回る成績
Metaは2023年7月18日（米国時間）、次世代のオープンソース大規模言語モデル（LLM）「Llama 2」の提供開始を発表した。研究および商用向けに無償で提供されている。 Llama 2は、同社が2023年2月に研究者向けに公開し、高い需要がある「Llama 1」の次期バージョン。開発者や組織が生成AIを活用したツールや体験を構築できるように設計されており、70億、130億、700億パラメーターの3つのサイズのモデルがある。 公開されているオンラインデータソースを用いて、Llama 1より40％多い2兆トークンで事前にトレーニングされており、コンテキスト長はLlama 1の2倍の4096トークンとなっている。 チャットやQ&Aなどの対話アプリケーション用に、これらをファインチューニングしたモデル（Llama-2-chat）も用意されている。これらは、公開されているインストラクションデー
ChatGPTのCode Interpreterとは何なのか？何ができて何がスゴいのか？｜梶谷健人 / 新著「生成AI時代を勝ち抜く事業・組織のつくり方」
ChatGPTの新機能として一般公開されたCode Interpreterがすごすぎて結構感動しているのだが、Code Interpreterで色んなことができるが故に「一言で言うと何なのか？」「一体それでなにができるのか？」疑問に思っている人も多いのではないだろうか？ このnoteではそうした疑問に答えるべき、まず最初にCode Interpreterでできることを紹介した上で、最後に一言でこれを説明すると一体なんなのかを紹介していきたい。 Code Interpreterで主にできること1. データ分析とビジュアライズまずこれが最もベーシックな使い方だろう。 特定のデータセットをエクセルファイルやcsvファイルでアップロードすると、そのデータの中身を読み取ってくれて、ビジュアライズしてもらうことができる。 ビジュアライズの際の分析の切り口やデザインを細かく指示することも、ChatGPT
「脱ブラックボックス化！LLMと一緒に使われるLangChainやLlamaIndexを徹底解説」というタイトルでDevelopersIO 2023に登壇しました #devio2023 | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。 先日開催された DevelopersIO 2023 のチョークトークで登壇いたしました。 その際の資料と概要を共有いたします。 資料 登壇資料は以下となります。 概要のご紹介 以下の内容をご紹介しました。 OpenAI APIの話 APIの詳細な使い方 トークンとは何か Function callingの詳細 LangChainの概要 基本的なChain（LLMChain、SequentialChain） 応用的なChain（LLMRouterChain、SQLDatabaseChain、ConversationChain、RetrievalQA） Memoryの種類 Agentの種類 LlamaIndexの概要と仕組み LangChainとの違い、内部的な仕組み カス
ChatGPTプラグインを実際に作成してみる - NRIネットコムBlog
こんにちは堤です。 最近ゼルダのプレイ時間が100時間を超えましたが、まったく終わる気配がなくて困ってます。 さて、本題ですが、ChatGPTではプラグインが公開されて盛り上がっていますね！ 以前申請していたChatGPT PluginsのDeveloperのアクセス権が最近付与されていたので、実際に自分でも何かプラグインを作成してみたいと思います。 ChatGPT Pluginsとは ChatGPT Pluginsは、ChatGPTとサードパーティのアプリケーションを接続して、拡張機能として利用できる機能です。サードパーティのアプリケーションと接続することで、素のChatGPTではできない、様々なタスクを実行することができます。 最新情報の取得 ChatGPTは2021年までの情報しか保持していませんが、プラグインでブラウジング等を行うことで、最新の情報も扱うことができます。 ユーザーの
[初心者向き] OpenAI APIを使ってPythonでChatGPT遊びするための最初の三歩くらい | DevelopersIO
ChatGPT面白いですね！ あんなことやこんなことできるんじゃないかと夢想して楽しんでいます。 そんなわけで、OpenAIのAPIキーを発行できたんだけれども、そのあとどうすればいいの？ という過去の自分のために、Pythonでの超基本的な使い方をまとめておきたいと思います。 結論から言うと、 Pythonのコード15行程度でChatGPTを使ったアプリが出来上がりました！ （APIキーを発行するやり方は他の記事をご参照ください） 準備 Python3でOpenAIのライブラリを使うので、pipでインストールしておきます。 pip install openai また、最小限のコードとはいえ、環境変数はハードコードしたくないので、 コマンドラインの環境変数に設定します。 export OPENAI_API_KEY="sk-xxxx" コード Pythonのコードを書いていきます。 ここに書
![[初心者向き] OpenAI APIを使ってPythonでChatGPT遊びするための最初の三歩くらい | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3c0e373391bd52827f22134f0b09da3118d7f40a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F01%2Fopenai_chatgpt.png)
プロンプトエンジニアリングを加速する、AI モデルの性能評価フレームワーク「OpenAI Evals」を試してみた | DevelopersIO
生の json ファイルは以下です。 evals/evals/registry/data/test_match/samples.jsonl {"input": [{"role": "system", "content": "Complete the phrase as concisely as possible."}, {"role": "user", "content": "Once upon a "}], "ideal": "time"} {"input": [{"role": "system", "content": "Complete the phrase as concisely as possible."}, {"role": "user", "content": "The first US president was "}], "ideal": "George Washing
自然な対話で商品検索！OpenAI と全文検索エンジンで対話型ゆるふわ検索 AI アシスタントを作ってみた | DevelopersIO
自然な対話で商品検索！OpenAI と全文検索エンジンで対話型ゆるふわ検索 AI アシスタントを作ってみた ChatGPT(GPT-4)を対話のインタフェースに利用し、検索は自社で持つ商品 DB(OpenSearch)を組み合わせることで、店員さんと対話で商品を絞り込む体験を提供する商品検索AIアシスタントを作成したプロジェクトの結果報告です。 こんにちは。CX 事業本部 Delivery 部のきんじょーです。 突然ですが皆さん、 ECサイトと実店舗での商品購入をどのように使い分けていますか？ 私は欲しいものが決まっている場合、もっぱら Amazon を利用しています。 一方で、家具・家電や洋服など、詳しい店員さんに相談したい場合は実店舗に足を運ぶことが多いです。 両者の違いは何でしょうか？ 自分の中に具体的な欲しいものが見えている場合、EC サイトでキーワードを入力して検索し、欲しい商品
OpenAIのテクノロジーも活用した、英会話学習アプリが登場 Speakeasy Labsが「Speak」日本版をリリース
OpenAIのテクノロジーも活用した、英会話学習アプリが登場 Speakeasy Labsが「Speak」日本版をリリース：新ベンダー／新製品じろじろウオッチ（6） Speakeasy Labsは、英語スピーキングに特化した特化型学習アプリ「Speak（スピーク）」の日本語正式版を2023年2月9日にリリースした。独自開発の自動音声認識技術やChatGPTを支えるAI技術、英語学習ノウハウにより対人英会話以上の体験を提供するとしている。 OpenAIのテクノロジーも活用した、AI英会話講師が登場 米国に本社を置くSpeakeasy Labsが提供する英語スピーキングに特化した特化型学習アプリ「Speak（スピーク）」は、対人英会話レッスン同様のスピーキング学習が可能となるAIによる英会話学習のためのスマートフォンアプリだ。技術的背景には、同社が独自に開発した自動音声認識技術や英語学習ノウハ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
