つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用
つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用 この本では、LangChain と Streamlit を用いて、ChatGPT APIを活用するAIアプリを開発していきます。つくりながら学ぶことを重視し、簡単なチャットアプリ開発から始めて、Embeddingを活用するアプリ開発まで、ステップバイステップで学べます。 AIアプリをローカル環境で開発した後は、WEB上にデプロイする方法も学びます。クラウドの知識もほぼ必要なく、ランニングコストも掛からない方法で行うため、ぜひ作ったアプリを公開することにチャレンジしてみましょう。 500円と設定していますが投げ銭用です。本文は全て無料で読めます。
話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握する - Qiita
話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握するPDFOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT はじめに 本記事では、ChatGPT と LangChain の API を使用して、PDF ドキュメントの内容を自然言語で問い合わせる方法を紹介します。 具体的には、PDF ドキュメントに対して自然言語で問い合わせをすると、自然言語で結果が返ってくる、というものです。 ChatGPT と LangChain を使用することで、下記のような複数ステップの仕事を非常に簡単に実行させることができます。 PDF ドキュメントからテキストを抽出して複数に分割する 分割したテキストからテキスト間の関連を表すベクターデータを作成する 作成したベクターデータをベクターストアに格納しておく ChatGPT に外部から与
「ChatGPT/LangChainによるチャットシステム構築 」という書籍が素晴らしかったのでNode.jsでも書いてみた - selmertsxの素振り日記
はじめに 「ChatGPT/LangChainによるチャットシステム構築」 という本が素晴らしかったので、ちゃんと身につけるために Python だけじゃなくて Node.js でも動かしてみました。同じことをやろうとした人のために、ここにそのときの記録を残します。特に callbacksやmemoryについて、詳細に記載しようと思います。 書籍の説明につながるようなことはできる限り書きません！めっちゃ良書なので、ご興味持っていただけた方は購入してもらえますと 🙏 5章まではPython固有のToolを利用しており、6章の中身は7章とかなり近いところがあるので、7章のプログラムだけここに記載します。LangChainの学習に注力したいので、Serverelss Frameworkに関連するコードは省略しました。また、Momentoや @slack/bolt に関する説明はしません。 プロ
【📩 仕事の相談はこちら 📩】 お仕事の相談のある方は、下記のフォームよりお気軽にご相談ください。 https://forms.gle/G5g1SJ7BBZw7oXYA7 もしもメールでの問い合わせの方がよろしければ、下記のメールアドレスへご連絡ください。 info*galirage.com（*を@に変えてご送付ください） 🎁 「生成AIの社内ガイドライン」PDFを『公式LINE』で配布中 🎁 「LINEで相談したい方」や「お問い合わせを検討中の方」は、公式LINEでご連絡いただけますと幸いです。 （期間限定で配信中なため、ご興味ある方は、今のうちに受け取りいただけたらと思います^^） https://lin.ee/3zRuqKe おまけ①：生成AIエンジニア塾 より専門的な「生成AIエンジニア人材」を目指しませんか？ そんな方々に向けて、「生成AIエンジニア塾」というプログラムを
この本では、初心者・入門者の方に向けて、プロンプトエンジニアリングの知識や使い方を体系的にまとめました。 【概要】 ・内容：プロンプトエンジニアとは？、プロンプトエンジニアの必須スキル5選、プロンプトデザイン入門【質問テクニック10選】、LangChainの概要と使い方、LangChainのインストール方法【Python】、LangChainのインストール方法【JavaScript・TypeScript】、LCEL（LangChain Expression Language）の概要と使い方、LangSmithの概要と使い方【LLMOps】、LangServeの概要と使い方【API】、LangGraphの概要と使い方【Multi-Actor】、OpenGPTsの概要と使い方【OSS版のGPTs】、LangChain Evaluations【生成物の評価方法】、LangChain Hub、Op
この記事は記事投稿キャンペーン_ChatGPTの記事です。 以下は、個人開発した最新のものになります． CreateToolAGI：ChatGPTとLangChainで何でもできるAI はじめに こんにちは、fuyu-quantです． 今回はLangChainという「大規模言語モデルを使いこなすためのライブラリ」の紹介とその機能を発展させるために作った新しいライブラリlangchain-toolsの説明およびその可能性について共有したいと思います． LangChainの機能であるtoolを使うことで，プログラムとして実装できるほぼ全てのことがChatGPTなどのモデルで自然言語により実行できるようになります．今回は自然言語での入力により機械学習モデル(LightGBM)の学習および推論を行う方法を紹介します． 記事に誤り等ありましたらご指摘いただけますと幸いです。 (※この記事の「Chat
書籍はこちら：https://www.amazon.co.jp/dp/4297138395 === ChatGPTのAPIが公開されたころから、多くの組織が大規模言語モデル（LLM）を使ったアプリケーション開発に取り組むようになりました。LLMを使ったアプリケーション開発では、「LangChain」というフレームワークも大きく注目されています。 しかし、「LLMやLangChainが話題なのは知っているが、具体的なことは分からない」「この分野に興味を持っているが、勉強するきっかけを持てずにいる」といった方も少なくありません。 そこでこの講演では、LLMを使ったアプリケーション開発がなぜ盛り上がっているのか、どのように開発するのかといった基本から始めて、LangChainの基礎知識まで概説します。 === イベントページ：https://forkwell.connpass.com/event
こんにちは！ 逆瀬川（@gyakuse）です！ 前回はOpenAIが公開しているChat APIとWhisper APIを用いて議事録文字起こしアプリケーションを作ってみました。今回は、Chat APIを便利に使うためのライブラリであるLangChainとguidanceを紹介していきます。 なぜ便利に使うためのライブラリが必要なのか？ 単純にChat APIにリクエストを送るだけであれば、各言語に用意されたライブラリを使うだけで良いでしょう。たとえば、Pythonにおいてはopenai-pythonが用意されています。前回紹介したとおり、Chat APIを使うだけなら以下のようなリクエストを作るだけで済みます。 import openai openai.api_key = "sk-..." # APIキー completion = openai.ChatCompletion.create
TL; DR LangChainのメリデメを整理する過程で、今となってはopenai-pythonのうちChatGPTのAPIをを簡単に取り回せる程度のシンプルなライブラリがあるだけでも十分便利なんじゃないかと思ったので、ライブラリを個人で作ってみました。（バージョン0.0.1なのでちょっとお粗末な所もありますが） github.com はじめに こんにちは、データサイエンティストの坂元です。ABEJAアドベントカレンダーの13日目の記事です。世は大LLM時代ということで、ありがたいことにABEJAでも複数のLLMプロジェクトを推進させて頂いています。私自身もいくつかのLLMプロジェクトに参画しています。LLMといえばLangChainが便利ですね。OpenAI APIの利用だけでなく、各種ドキュメントのパースが出来たり、HuggingFaceやインデックスDBを扱う他のライブラリとインテ
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・LangChain v0.0.329 (2023/11/3) 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント 2. LangChain のモジュール「L
こんにちは、クラウドエース SRE ディビジョン所属の茜です。 今回は、現在最も普及している対話型 AI サービスである ChatGPT で使用されているモデルと、LLM を使ったアプリケーション開発に特化したライブラリである LangChain を用いて社内向けのチャットボットを作成します。 ターゲット 任意のデータを元に回答を行うチャットボットを作成したい方 任意のデータを元に回答させる仕組みを知りたい方 ChatGPT とは ChatGPT とは、ユーザーが入力した質問に対して、まるで人間のように自然な対話形式でAIが答えるチャットサービスです。2022 年 11 月に公開されて以来、回答精度の高さが話題となり、利用者が急増しています。 人工知能の研究開発機関「OpenAI」により開発されました。 執筆時点では、GPT-3.5、GPT-4 という大規模言語モデル (LLM) が使用さ
はじめに この記事では、3日間でテック記事のAI要約・翻訳メディアをつくる個人開発で利用した OpenAI API LangChain の具体的な実装と利用コストについて触れていきます。 OpenAI APIとLangChainとは... OpenAI API OpenAI APIは、OpenAIという人工知能の研究・開発・普及を目的とした団体が提供するAPIです。このAPI は、自然言語とコードの理解または生成を必要とするタスクに利用することができます。 LangChain OpenAIが提供するGPT-3のような大規模言語モデル（Large Language Model: LLM）を利用してサービスの開発をしたいときに、「あるとうれしい機能」が集まったライブラリです。 この記事の目的 OpenAI API を使った記事の要約とFunction Callingの紹介 LangChain
YouTubeの文字起こし、youtube-transcript-apiで簡単に取得でき、LangChainでLLMに入力できる！ - nikkie-ftnextの日記
はじめに 夢見ていた nikkieです。 最近LangChainに執心ですが、今回は「こんなこともサクッとできちゃうの！？」という個人的ビッグニュースをアウトプットします🔥 目次 はじめに 目次 YouTubeの文字起こしをこんなに簡単に取得できちゃうの！？ 素振り：LangChainでYouTube動画の文字起こしを取得する 動作環境 文字起こし取得 ChatGPTに要約をお願い youtube-transcript-api 終わりに YouTubeの文字起こしをこんなに簡単に取得できちゃうの！？ 話題の つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用 を眺めていたnikkie氏。 Chapter 07「Youtube動画の要約をしよう」を読んでいると YouTubeの動画の文字起こし（transcript
勉強会アーカイブ動画はこちら：https://youtube.com/live/8FPgoCjoenI === 昨年末に公開されて以来、「ChatGPT」は一般にも知られるキーワードとなり、非常に盛り上がっています。 ChatGPTが使っているGPT-3.5やGPT-4などのモデルは大規模言語モデル（LLM：Large Language Model）と呼ばれます。 LLM周辺のトピックとして、とくにこの数ヶ月は日々新しい発表が話題になっています。 そんな中、LLMを使ったアプリケーションを開発するためのツールとして、「LangChain」が注目を集めています。 LangChainをキャッチアップするには、LLMに狙い通りの動きをさせるために内部で使われている「プロンプトエンジニアリング」から学ぶとスムーズです。 そこでこの勉強会では、プロンプトエンジニアリングから始めてLangChainに
LLMアプリ開発を体系的に学ぶには最適の入門書「ChatGPT/LangChainによるチャットシステム構築［実践］入門」 | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ ChatGPTから始まった第四次AIブームは、まだまだとどまる事を知らないですね。 さらにAzure OpenAI ServiceやAmazon Bedrock等の生成AIサービスが主要クラウド上で出揃った事で、エンタープライズ業界でも徐々にLarge Language Models(以下LLM)を用いたシステム開発の需要が高まってきています。 しかし普段はAWSインフラ関連の業務を専門とする私を含め、LLMアプリ開発初心者のエンジニアにとって、生成AIを活かして一からシステムを開発するのは、まだまだハードルが高いように感じられます。 特に以下のような点で、まだ理解が追いついていないと感じているエンジニアの方が多いのではないでしょうか？ LLMを使うと何ができるのか？ ChatGPTのAPIを触ってみたいが、どのように使えばいいの
「ChatGPT Meetup」は、プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティです。2回目に登壇したのは、株式会社リンクアンドモチベーションの岡田大輔氏。OpenAIからAzure OpenAI Serviceへの移行について発表しました。 登壇者の自己紹介 岡田大輔氏：機能開発を「ChatGPT」を使ってやってみたので、そこからわかったことを共有させていただければなと思います。 最初に自己紹介です。岡田大輔といいます。リンクアンドモチベーションで働いていて、今4年目です。アプリのエンジニアをしています。ふだんはRailsとVueでWebアプリを作っているのですが、今回は、機能開発のところで（ChatGPTを）いろいろ触ってみました。 ChatGPTを使った機能開
こんにちは！逆瀬川( https://twitter.com/gyakuse )です！ 今日はLangChainの使い方について書いていこうと思います。 ChatGPT API の欠点について LangChainについて書く前に、ChatGPT APIの使いづらい部分をまとめていきたいと思います。 これを考えておくと、なぜLangChainが必要であるかということがわかり、さらに今後どのような機能が搭載されうるか/されるべきかということがわかります。 ChatGPT APIを使う際の難しい部分は一般的に以下のようにまとめられます。 プロンプトの共通化や管理が面倒くさい 最近の事実をベースとした質問-応答が難しい 最大の入出力合計が4096トークン(約3000字)であるため、長い情報を持たせることがしづらい ExcelやCSV、PDF等を直接読み込ませることができない 出力の処理のチェーンの
2023年10月からの景品表示法の改正に伴う注記：この記事は技術評論社様より献本をいただき、発売前の書籍レビューをするものです。 昨年末からの生成AIブーム、すごいですよね。 勢いを落とすことなく毎日のように新しい技術や製品のアップデートが登場しており、業務やプライベートで生成AIを活用したアプリケーション開発に取り組まれている方も多いのではないでしょうか。 そんな2023年10月、大規模言語モデル（LLM）を利用したアプリケーション開発に入門できる名著が発売されますので紹介します。 紹介したい本 ChatGPT/LangChainによるチャットシステム構築［実践］入門 著：吉田 真吾、大嶋 勇樹 あさって10/18(水) 発売です！ 今回ありがたいことに発売前に献本を頂けることになったので、先行レビューをさせていただきます。 この本を読むべき人は誰？ OpenAIなどの大規模言語モデル（
大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう－langchainのご紹介－ - Qiita
はじめに 近年、深層学習を用いた自然言語処理技術の進展が目覚ましいです。 その中でも、GPT-3をはじめとする大規模言語モデル（LLM）には大きな可能性を感じています。 最近ですと、AI技術者以外にも大きなインパクトを与えたChatGPTが記憶に新しいでしょう。 今後もLLMの進化は止まらないと予想されており、私たちもどうやって活用するかを具体的に検討すべきフェーズに入ったのではないでしょうか。 しかし、LLMを実業務に適用するとなると、越えなければならない課題がいくつも出てきます。 今回は、以下にあげた第2・第3のハードルを越えるために役立つlangchainというライブラリをご紹介します。 第1のハードル：機密データの扱い LLMはOpenAPIのGPT-3等、モデル自体は公開されておらずWebAPIだけが提供されているというパターンが多いです。 そのため、機密データを社外に送信すると
はじめに 昨今の激アツChatGPTブームを見ると、これをアプリとして開発してみたいと思う方も多いのではないでしょうか。気になって調べてみるとLangChainやLlamaIndexというライブラリに行き着く方も多いはずです。 そしてすぐ壁に直面すると思います。 結局これらのライブラリが 何で どういう時に どう使えば良いのか わからない！ そうです。私です。 特にLangChainは初めてLLMアプリ開発される方には少し難解です。LangChainは非常に積極的な開発がされているライブラリで、課題や良い方法が発見されればそれをすぐ実装！というスピード感で動いています。 その分、ドキュメントこそ整備されているものの膨大な情報量に迷子になりやすい状況です。 そこで、今回はLangChainのメンタルモデルを簡単に説明してみることにしました。 全体感が抑えられていればコアな情報、追加で必要とな
そろそろ知っておかないとヤバい？ 話題のLangChainを30分だけ触って理解しよう！ - Qiita
LangChainって何？ ChatGPTを始めとする大規模言語モデル（LLM）の流行が止まりませんが、そんなLLMを活用して日々開発するエンジニアの間で最近ずっと耳にするキーワードの一つがLangChainです。 LangChainとは、LLMを用いたアプリケーション開発を効率的に行うためのライブラリです。機械学習分野で最も人気のあるPython言語用に提供されています。 そもそもライブラリって何？ プログラミングの文脈でよく聞く「ライブラリ」って何者なのか、初学者にはいまいちピンと来づらいですよね。 分かりやすく言うと 「特定の言語でプログラミングをする際によく使いそうな機能をあらかじめ誰かが作ってくれて、呼び出すだけでその機能を使えるようにしてくれている便利セット」 のようなものです。 例えば、よく使われるPython言語のライブラリの例として math があります。これは数学的な計
LangChainとフルサーバーレスですばやくセキュアなRAGアプリをつくるための実践解説/LangChain_Book
2023.11.21 講演した資料です。 ChatGPT/LangChainによるチャットシステム構築［実践］入門 https://forkwell.connpass.com/event/301152/
Prompt Flowが使えるようになったから、もうLangChainとか自分でホストしなくていい世界になったのかもしれない。 | DevelopersIO
Prompt Flowが使えるようになったから、もうLangChainとか自分でホストしなくていい世界になったのかもしれない。 Buildで発表され、注目されていた Model Catalogと Prompt Flowが2023年7月6日(JST)から使えるようになっていました。 ※ まだ、Previewなので、今後仕様などが変更する可能性があります。 この記事ではPrompt Flowの紹介です。 Model Catalogはこちら Azure Machine LearningでModel Catalogが使えるようになりました。 どちらの機能も、Azure Machine Learning Studioから使うことができます。 Prompt Flowとは Prompt flow is a powerful feature within Azure Machine Learning (A
はじめに 今回はChatGPTを利用した開発におけるアシスタントのやり方とLangChainを活用した実装方法を具体的なアプリ開発を例に解説していきます。 LangChainの実装方法について、Python未経験の自分でもサクッと実装できたので、初心者でも理解できるように解説をしていきます。 この記事で学べること ChatGPTを使って要件定義、設計、開発などをアシストする活用例が分かる アプリ開発においてLangChainの活用方法を学べる 前半でビジネスサイド(いわゆる要件定義、設計)などの解説をし、後半で具体的な開発例を解説する構成になっています。 LangChainにおける開発では具体的に下記の機能を実装します。 【URLを入力】 【URL先のコンテンツを解析】 【解析をしたデータを元に文章を生成】 前提 あくまで活用例を紹介する記事なので、技術的な細かい内容は公式サイトを添付して
LangChain Advent Calendar 2023 の 2 日目の記事です。 LangChain Expression Language (LCEL) とは LangChain Expression Language (LCEL) は、LangChain でのコードの新しい記述方法です。 公式ドキュメント: https://python.langchain.com/docs/expression_language/ LCEL ではプロンプトや LLM を | で繋げて書き、処理の連鎖 (Chain) を実装します。 2023 年 10 月後半頃から、LangChain では LCEL を使う実装が標準的となっています。 この記事では LCEL の基本的な使い方を紹介していきます。
OSSベクトルDBのChromaを使ってQ&AボットをLangChainで作成する｜mah_lab / 西見 公宏
新興で勢いのあるベクトルDBにChromaというOSSがあり、オンメモリのベクトルDBとして気軽に試せます。 LangChainやLlamaIndexとのインテグレーションがウリのOSSですが、今回は単純にベクトルDBとして使う感じで試してみました。 データをChromaに登録する今回はLangChainのドキュメントをChromaに登録し、LangChainのQ&Aができるようなボットを作成しようと思います。 しかしLangChainのドキュメントはほとんどがJupyter Notebook形式なので、ベクトルDBへ取り込みやすいようにフラットテキストにしてあげる必要があります。 以下の関数はJupyter Notebook形式（JSON）のファイルを分解してMarkdown形式に変換し、その後Unstructured.ioのMarkdownスプリッタを利用してコンテンツをチャンクに分割
AIに手足ができる！Zapier Natural Language Actions + LangChainがすごいので試してみた【LangChain・Zapier NLA・OpenAI】 | DevelopersIO
AIに手足ができる！Zapier Natural Language Actions + LangChainがすごいので試してみた【LangChain・Zapier NLA・OpenAI】 はじめに 新規事業統括部Passregiチームの山本です。 3/16にLangChainのサイトで、Zapier Natural Language Actions（以下Zapier NLA）との連携についての記事がありました。 https://blog.langchain.dev/langchain-zapier-nla/ 今回は、このページを参考に、簡単な解説や考えたこと、実際に動かしてみた様子について記載しようと思います。 (補足) Zapierについて Zapierは世の中の多数あるサービス（GmailやSlackなど）の操作を自動化できるサービス（SaaS自動化サービス）です。設定はWeb画面でノ
Lambda + DynamoDB + LangChainで外部情報に対応したサーバレスチャットボットを作ってみる - NRIネットコムBlog
Lambda + DynamoDB + LangChainを組み合わせて外部情報に対応したチャットボットを作ってみました。 構成 Lambda Dockerfile requirements.txt lambda_function.py OpenAI Functions Agent 会話履歴の保持 外部情報の参照 DynamoDB 動作確認 まとめ 構成 Lambda LangChainのパッケージが250MBを超えてしまうので、コンテナイメージからLambda関数を作成するようにします。 docs.aws.amazon.com Dockerfile FROM public.ecr.aws/lambda/python:3.10 # Copy requirements.txt COPY requirements.txt ${LAMBDA_TASK_ROOT} # Copy function
LLM を組み込んだチャットアプリケーションを写経しながら実装できる「ChatGPT/LangChain によるチャットシステム構築［実践］入門」を読んだ - kakakakakku blog
2023年10月18日に出版される新著「ChatGPT/LangChain によるチャットシステム構築［実践］入門」を読んだ & 写経した📕 読者層的には「ChatGPT って最近よく聞くしたまーに使うこともあるけど LangChain って何なのー？」という人や「LLM (Large Language Model) をアプリケーションに組み込むなんて考えたこともなかったけどできるのー？」と感じるような人に特におすすめできるかなーと💡本書を読みながら写経すると，難しいことは考えずに ChatGPT のように LLM を組み込んだアプリケーションをあっという間に構築できてしまって，とにかくワクワクして楽しめる一冊だった❗️ ChatGPT/LangChainによるチャットシステム構築［実践］入門 作者:吉田 真吾,大嶋 勇樹技術評論社Amazon 著者の一人 id:yoshidashin
以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基
『OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門』 が発売になります。｜npaka
この本は、「GPT-4」「ChatGPT」「LangChain」を活用して「チャットAI」を開発するための入門書です。 対象読者は、 ・チャットAIのしくみを知りたい人 ・チャットAIに知識や計算の能力を与えて仕事を自動化したい人 ・会話ロボットやAITuberなどの会話エンジンとして使いたい人 ・自分のアプリケーションにチャットUIを組み込みたい人 になります。 「ChatGPT」は、OpenAIが開発した最新のチャットAIです。ログインして会話を入力するだけで使える手軽さはもちろん、人間のような自然な会話ができることから世界中で人気となり、2022年11月にリリースされてからわずか2ヶ月で1億人のアクティブユーザー数を達成しました。同年にリリースされた画像生成AI「Stable Diffusion」とともに、研究者や専門家ではない一般の人が人工知能を活用しはじめる、ターニングポイントと
まずは環境準備をしよう｜つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用
つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用
大規模言語モデルなどを抽象化し、生成AIアプリの開発を容易にする「LangChain」が初の安定版に到達 大規模言語モデル（LLM）やチャットモデルなどを活用したアプリケーション開発のためのフレームワーク「LangChain」が、初めての安定版となる「LangChain v0.1.0」に到達したことが発表されました。 LangChain v0.1.0 After a year of development, we've released LangChain v0.1.0 Read the full blog here: https://t.co/DDh7xZfO3p After talking with the users and developers, we released this stable version and focused the library on a few cor
こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) こちらに引き続き、LangChainの解説をしていきたいと思います。 副読用Colab: 動かしながら遊びましょう。 前回のあらすじ Chatbotや言語モデルを使ったサービスを作ろうとしたときに生のOpenAI APIを使うのは以下の点でたいへん。 プロンプトの共通化や管理をすること 複数のドキュメントやWebの情報を参照して質問応答をすること 言語モデルにcsvやpdf等のプレーンテキストでないファイルを読ませること それらの処理を統括して管理すること 使い方まとめ(1)で説明したLangChainの各モジュールはこれを解決するためのものでした。 Prompt Templates : プロンプトの管理 LLMs : 言語モデルのラッパー(OpenAI::GPT-3やGPT-Jなど) Document L
書籍はこちら：https://www.amazon.co.jp/dp/4297138395 === ■なぜLangChain？ ChatGPTのAPIが公開されたころから、多くの組織が大規模言語モデル（LLM）を使ったアプリケーション開発に取り組むようになりました。 LLMを使ったアプリケーション開発で、最も注目されているフレームワークが「LangChain」です。 LangChainはLLMを使ったアプリケーション開発の幅広い分野を扱っており、論文などで発表された新しい手法も次々実装しています。 そのため、LangChainを学ぶことは、LLMを使ったアプリケーション開発の様々な工夫を学ぶことになるのです。 ■この勉強会のテーマ この勉強会では、LangChainからLLMを使ったアプリケーションの工夫の例を学んでいきます。 とくにRAG (Retrieval Augmented Gen
LangChainの用意しているプロンプトやラッパーは英語以外を意識していないことが多く、特に検索系のtoolがUSのサイトを引っ張ってくるということが多々ある。 こういったケースはtoken数に制限のあるChatGPT APIにとっては大きな問題になってくる。USのサイトが検索上位にかかってくることで得られる情報が減る上に、これを解消するために検索数を増やせばそれだけtoken数を消費するためである。当然だがtoken数の上限を超えればエラーを吐いて異常終了する。 こういった問題の多くは、LangChainのライブラリが用意しているクラスをそのまま使うことによって発生している。 またLangChainはagentの定義を行うだけで簡単に基本的な機能が使えてしまうため、agentがどのようなロジックで動いているのか理解しにくい。 本記事はLangChainを少しだけ掘り下げて、これらの問題
株式会社バンダイナムコ研究所のLaiです。LangChainで実装した恋愛シミュレーションゲーム用AIエージェントについて解説したいと思います。 TL;DR スタンフォード大学の「Generative Agent」論文のコンセプトを基に実装 恋愛シミュレーションゲームのテーマに合わせて一部の設定を調整 LangchainのGenerativeAgentクラスを中心とした実装 コンセプト 今月、スタンフォード大学とGoogleが「Generative Agents: Interactive Simulacra of Human Behavior」という論文を発表しました。この論文では、LLM (ChatGPT)をベースにした生成エージェントの構造が提案されました。これらのエージェントは、社会に関する様々な推論を行い、自身の特性や経験を反映した日々の計画を立て、その計画を実行し、反応し、適切な
pgvector、LLM、LangChain を使用して Google Cloud データベースで AI 搭載アプリを構築する | Google Cloud 公式ブログ
postgres=> CREATE TABLE embeddings( id INTEGER, embedding vector(3) ); CREATE TABLE postgres=> INSERT INTO embeddings VALUES (1, '[1, 0, -1]'), (2, '[1, 1, 1]'), (3, '[1, 1, 50]'); INSERT 0 3 pgvector の新しい類似性検索演算子pgvector 拡張機能では、ベクトルに対して類似性のマッチングを行うための新しい演算子も導入されており、意味的に似ているベクトルを見つけることができます。このような演算子には次の 2 つがあります。 ‘<->’: 2 つのベクトル間のユークリッド距離を返します。ユークリッド距離は、ベクトルの大きさが重要なアプリケーション、たとえばマッピングやナビゲーション アプリケー
高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る | Amazon Web Services
Amazon Web Services ブログ 高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る 2023/05/17: DocumentExcerpt の Request quota value を 1000 から 750 に修正しました 2023/05/18: Flan-T5-XL、Flan-T5-XXL、Anthropic Claude-V1、OpenAI text-davinci-003のtypoを修正しました Amazon Bedrock や Amazon Titan を通じて間もなく利用可能になるような生成系 AI（GenAI）と大規模言語モデル（LLM）は、開発者や企業が従来行っていた自然言語処理と自然言語理解に関連する複雑な課題の解決方法を変革しています。LLM が提供するメリットには、カスタマーサービス
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
『LLM(GPT, PaLM等) with MLOps LT大会!!!』登壇資料。 https://mlops.connpass.com/event/279156/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最強のツール「LangSmith」が登場した話【Python / LangChain】
サクッと始めるプロンプトエンジニアリング【LangChain / ChatGPT】
ChatGPTとLangChainで何でもできるAIを作る - Qiita
LLMを使ったアプリケーション開発の基本とLangChain超入門
ChatGPT APIを取り巻くライブラリ 〜LangChainとguidanceの紹介 | gihyo.jp
LangChainを使わない - ABEJA Tech Blog
LangChain クイックスタートガイド - Python版｜npaka
LangChain で社内チャットボット作ってみた
OpenAI APIとLangChainを用いた記事の翻訳・要約メディアのつくり方
プロンプトエンジニアリングから始めるLangChain入門
「OpenAI」から「Azure OpenAI Service」への移行 「LangChain」を使って実装する中で気づいたこと
ChatGPT APIの運用で必須のツール: LangChainの使い方まとめ (1) - Qiita
LangChainで生成AIアプリ開発に入門できる名著が出ました！ - Qiita
ざっくりつかむ！LangChainのメンタルモデル
ChatGPTとLangChainを活用したアプリ開発
LangChain の新記法「LangChain Expression Language (LCEL)」入門
LangChain への OpenAIのRAG戦略の適用｜npaka
大規模言語モデルなどを抽象化し、生成AIアプリの開発を容易にする「LangChain」が初の安定版に到達
ChatGPT APIの運用で必須のツール: LangChainの使い方まとめ (2) - Qiita
【書籍出版記念】LangChainから学ぶLLMを使ったアプリケーションの工夫
ChatGPT向けライブラリ、LangChainを格段に使いやすくするtips
ChatGPTとLangChainで恋愛シミュレーションゲーム用AIを実装してみた - Qiita