Make AI your expert customer support agentIt's like having ChatGPT specifically for your products. Instantly answer your visitors' questions with a personalized chatbot trained on your website content. Personalized onboarding helpFriendly pricing as you scale95+ languages supported14-day free trialCancel anytime

2023年3月23日、OpenAI社はChatGPTでのプラグインの立ち上げを発表しました。 これにより、ChatGPTとさまざまな情報を組み合わせることができるようになり、ChatGPTが利用できるシーンはさらに多様になっていくと予想されます。 この発表と併せて、OpenAI社のGithubリポジトリで、「ChatGPT Retrieval Plugin」が公開されました。 このプラグインにより、ChatGPTで自前のドキュメントを利用する（つまり、自前のドキュメントの情報をもとにしたQ&Aなどができる）ようになるようです。 2023年3月24日現在、まだChatGPTのプラグイン自体は利用するにはWaitlistに登録して順番を待たなければいけない状態です。そのため、このプラグインをいまいま試すことはできないのですが、Github上のREADMEを読み解いて、どんなことができるかなどざ

1. Unstructured「Unstructured」は、MLサービス用の自然言語データの前処理ツールです。HTML、PDF、Wordなどの自然言語データをMLサービス用に変換することができます。 以下のような処理を行います。 ・ドキュメントを要素に分割。 ・ドキュメントから不要なテキストを削除。 ・データラベル付けなどの下流タスク用の書式調整。 対応ドキュメントは、次のとおりです。 ・txt ・docx ・pptx ・jpg ・png ・eml ・html ・pdf 2. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) Colabで新規ノートブックを開く。 (2) パッケージのインストール。 # パッケージのインストール !pip install unstructured !apt-get install -y libmagic-dev(3) 左端

こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 LangChainのAgentのカスタムツールとして、LlamaIndexのインデックスを使用する方法を紹介します。 LangChainとは LlamdaIndexと同様、大規模言語モデル(LLM)をカスタマイズして使用するためのライブラリです。 カスタムされたチャットボットやエージェントを作成することが可能で、以下のような様々な外部リソース・サービスと連携可能です。 OpenAIのChatCompletion（要するにChatGPT） Google検索やOpenSearchなどの検索サービス Hugging Faceのエコシステム Pythonのコーディングをするツール 例：PyTorchでhogehogeな構成のサンプルコードを教えて、など SQLデータベースなどのリソース 例：hogehog

2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/

ReActとは？ LLMのpromptingの方法の一つです。LLMに質疑応答させたり、意思決定させたりという場面で力を発揮するほか、外部データベースや外部APIとLLMを組み合わせる場合にも使えます。 また、LangChainでもReActの考え方は多く活用されています（エージェントなど） 今回はReActが提案された論文REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELSを細かくチェックしていきます！ 論文のソースはこちら： この記事を見て分かること CoT、ReActのノリが分かる ReActの限界と能力の向上方法について理解できる Let's Go! 元の論文の各章の内容要約＋一言コメントでまとめています。ちょっとLangChainとか齧った方なら理解できる程度のものだと思います。（内容要約が分からなかったら所感だけ見

GPTはじめ大規模言語モデルの登場により、MLシステム開発にもパラダイムシフトが起こっています。流れが速すぎてやや混沌としてきたので、プロンプトエンジニアリングの考え方をはじめとした新しい概念について有用な引用と共に交通整理をしてみました。 今から始めたい人はまずこれを読むと、どんな点に配慮すべきかがざっくり分かるかと思います。

【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた こんにちは。CX 事業本部 Delivery 部のきんじょーです。 ここのところChatGPT と戯れてアプリを作ったり、様々なプロンプトの検証をしていましたが、言語モデルの性能を最大限に引き出すために、体系的にプロンプトエンジニアリングを学びたいと考えていました。 GitHub に「Prompt Engineering Guide」という素晴らしいリポジトリがあったので、読んで検証した内容をブログにまとめていきます。 本記事は、執筆時点の上記リポジトリの内容を元にしていますが、意訳や独自に検証した日本語のプロンプトを含みます。 上記リポジトリも絶賛開発中の段階のため、最新情報や原文が気になる方はリポジトリを直接参照してください。 目次 プ

Python版の「LangChain」のクイックスタートガイドをまとめました。 ・LangChain v0.0.89 【最新版の情報は以下で紹介】 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。本当の力は、それを他の計算や知識と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント 2. インストールGoogle Colabで

1. OpenAI APIのモデル「OpenAI API」は、用途に応じて「GPT-3.5」をはじめとする様々なモデル を提供しています。 ・GPT-3.5 : 自然言語とコードを理解および生成する最新モデル。 ・DALL-E : 自然言語から画像を生成・編集するモデル ・Whisper : 音声をテキストに変換するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル ・Codex : コードを理解および生成するモデル ・Moderation : センシティブおよび 安全でない文章を検出するモデル ・GPT-3 : 自然言語を理解および生成する旧モデル 2. GPT-3.5「GPT-3.5」は、自然言語とコードを理解および生成する最新モデルです。最も高性能で費用対効果の高いモデルは、チャット用に最適化されていますが、既存タスクにも適している「gpt-3.5-tu

pytest、unittest.mock.patchらへんでハマっていたのでメモ。 整理したかったこと 同じ機能で、書き方が何種類もあること 引数の使い分け 注: このページでは同じものを別の名前で指しているかもしれないです(例:package, module, library という単語は同じものを指すことがある) テストモジュールについて unittest ... Pythonビルトインのテストpackage pytest ... 3rd partyのテストpackage。unittestよりよく使われていて主流らしい unittestをそのまま使える importしなくても使える(pytest.xxxを使わないとき) mock について オブジェクト(何でも)を自由に置き換えるもの unittest.mock ... unittestのモジュール pytest-mock ... py

「学生のうちにたくさん本を読んだ方がいい」とよく言われますが、多くの人々にとっては何を読めばいいのかを判断すること自体が困難な課題です。そこで、1冊の本をじっくり読み込む「Great Books curriculum(グレート・ブックス・カリキュラム)」を実践しているアメリカのセント・ジョンズ・カレッジが、「大学生にオススメな本のリスト」を公開しています。 Great Books Reading List and Curriculum | St. John's College https://www.sjc.edu/academic-programs/undergraduate/great-books-reading-list 以下のリストが公式ページで紹介されている全書籍というわけではなく、日本語訳で単著として出版されており、比較的入手しやすい書籍を優先的にピックアップしているほか、科学

こんにちは、Emotion TechでSREチームに属している菅原です。 Pythonで実装されたデータ処理のテストを書く際に、まとまったテストデータが必要ということはあるかと思います。 今まではテスト用のCSVファイルを用意する or 適当な値を入れたPandasのデータフレームを用意する、で対応していました。 今回は、簡単にテストデータを用意する手段として、panderaの機能が使えないか試してみました。 panderaとは panderaは、データフレームでデータバリデーションを実行して、データ処理パイプラインをより読みやすくロバストにするためのライブラリです。 公式ドキュメントの例をみてみましょう。 import pandas as pd import pandera as pa # data to validate df = pd.DataFrame({ "column1": [