OpenAIのサイトを眺めていたら、Prompt Engineeringのマニュアルが出来ていましたので、自身のメモ用として纏めてみました。 https://platform.openai.com/docs/guides/prompt-engineering プロンプトエンジニアリングのマニュアル構成は6つの戦略からなっております。 明確な指示を書く 参照テキストを提供する 複雑なタスクを簡単なサブタスクに分割する モデルに「考える」時間を与える 外部ツールを使用する システマティックに変更をテストする 言語定義として、戦略と戦術の違いは、戦略は、具体的な目標や計画であり、それらを実現するための具体的アクションが戦術です。 1.明確な指示を書く  戦術としては、以下があります。 質問を詳細にせよ ペルソナを設定せよ デリメーターを使用せよ 複雑なタスクのためにステップを踏め 例を与えよ 回

キーワードベースで情報収集をしているという下記の記事を読みました。私も似たようなことをしているのですがキーワードは使わない方法でニュースの収集をしていて、そのほうがLLMを活用できていると思うのでその方法を紹介します。 forest.watch.impress.co.jp キーワードではなく自分の目的や関心を伝える 以前私が手動でやっていたのはRSSリーダーにサイトを登録して、記事のタイトルと概要を読んで気になる記事を開いて読むということでした。こういうときに人間はキーワード検索をしていません。何をしているかというと自分の目的や関心があって、それに関連する記事をピックアップするということです。それと同じようなことをさせようというのが今回紹介する方法です。 ポイントは今回の場合は私の所属する会社について情報をプロンプトで与え、それに関連するニュースが何かをLLMに考えさせることです。 今回の

音声認識の世界では、OpenAIが開発したwhisperというモデルが話題になりましたね。99言語に対応しており、日本語の音声認識の精度も抜群です。 非常に優秀なwhisperですが、いつ誰が話したのかを認識する、いわゆる「話者分離」はできません…。 ということで、アドベントカレンダー8日目の記事では、pyannote.audioというライブラリを使った話者分離方法について紹介します。 pyannote.audioの概要 pyannote.audioは、話者分離のためのPythonによるオープンソースフレームワークです。 下記のようなパイプラインで話者分離を実現しています。 論文：pyannote.audio: neural building blocks for speaker diarization Github：https://github.com/pyannote/pyannote

こんにちは！逆瀬川 ( @gyakuse ) です！ 今日は最近作った議事録文字起こしアプリに話者分離機能をくっつけたものを作っていきたいと思います。 ChatGPT APIの使い方、Whisper APIの使い方、Hugging Face Spacesへのデプロイ方法等を知りたい場合は以下の記事をぜひ！ できたもの openai_keyにOpenAIのAPIキーを入れる メイン音声ファイルに会話音声 (wav, 25MB以内) を入れる 話者 (1) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (1) の名前を入れる 話者 (2) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (2) の名前を入れる 上記を行って送信ボタンを押すと処理が開始されます。なお、参考音声は10秒程度で大丈夫です。実装全体は以下で確認できます。 話者分離 (S

Whisper APIは、音声ファイルをテキストデータに変換する、非常に便利なAPIです。しかし、その利便性にも関わらず、25MB以上の音声ファイルには対応していないという課題がありました。今回の記事では、これを解決し、どんなサイズの音声ファイルでも文字起こしができるようになった方法を紹介していきます。 下記にコードを載せてあります。詳しくはこちらをご確認ください！ 仕組みについてまず、25MB以下の音声ファイルに関しては、通常通りWhisper APIを使用して文字起こしを行います。これにより、小さな音声ファイルは引き続き簡単に扱えるようになっています。 ここで問題となるのが、25MBを超える音声ファイルです。その対応策として、次の2つの方法が提案されました。 音声ファイルを圧縮してサイズを縮小する 音声ファイルを複数の小さなファイルに分割する まず、音声ファイルを圧縮することで、25M

Llamaindex を用いてCSVデータからchatGPTちゃんに回答させてみようと思います。 とりあえずやってみた系の記事なので、雑ですがご了承下さい。 準備 今回は居酒屋的のメニュー的なものを適当に作りました。 項目,タイトル,価格,説明 鴨料理,鴨フィレ肉のカシスソース,930円,鴨フィレ肉を浅めにソテーしロゼ色に。甘酸っぱいカシスと赤ワインのソースで。ピンクペッパーがとても合います。赤ワイン。 鴨料理,鴨刺し,860円,"皮面をパリッと焼き、肉にも焼き目をつけた状態をお刺身。" 鴨料理,鴨南蛮うどん,830円,"鴨と長ネギをごま油で炒め、味を出しています。 合わせだしも引いています。汁まで美味しい一品。小さめの為〆に最適です。" 馬料理,ユッケ,930円,"言わずと知れた生肉ユッケ。 ...

アルバイトの Sasaokaです。今回はChatGPTにCSVやYouTube動画などの独自データを情報を付与して回答させることができるLlamaIndexというライブラリを試してみました。 準備 次の3つのライブラリをインストールします。 $ pip install llama-index langchain youtube_transcript_api OpenAIのAPIキーを環境変数OPENAI_API_KEYに設定しておきます。 $ export OPENAI_API_KEY='sk-xxxxxx' CSVデータを与える ここでは弊社のアドクロールの広告タイトル文を読み込ませてみます。次のような、id、飲料の広告の会社、カテゴリ、ブランド、広告タイトルをカラムとする258レコードのdrink.csvファイルを用いました。 "id","company","category","br

株式会社クラウドネイティブは、Azure OpenAIで自組織専用のChatGPTの構築を支援するサービスを展開しています。ChatGPTとAzure AD OpenAI Serviceの取り組みや事例、支援… IDチームの前田です。今日は生成AI(ChatGPT)と音声認識モデル(Whisper)を利用した会議アシスタントツールに関する投稿になります。 (追記) 作ったツールはGitHub上で公開しており、Dockerを利用してすぐに試せるようになってます。 https://github.com/cloudnative-co/mtg-ai-assistant 2023年8月30日現在Azure OpenAIにてWhisperが利用出来ていないため、OpenAI Whisper APIを利用した試験段階のものになります。近日中にAzure OpenAIにてWhisperが利用出来るとアナウ

AI技術の進化により、私たちの働き方も大きく進化していくと想定されています。特に注目を集めているのが、OpenAIが開発したAI文章生成モデル「ChatGPT」です。このChatGPTは、自然な文章を生成することで有名で、様々なシーンで利用が進んでいます。そんなChatGPTを手軽に使えるツールとして、Google Chromeの拡張機能があります。 今回は、ChatGPTを使ったGoogle Chromeの拡張機能おすすめ7選を紹介します。これらの拡張機能を活用することで、ウェブブラウジングの体験が一段と豊かになるでしょう。 そして、本記事では各拡張機能の特徴だけでなく、インストール方法や使い方、さらには連携可能な他のプラットフォームや注意点、問題対処方法まで詳しく解説します。これらの情報を元に、あなたのブラウジング体験を効率的に、そして楽しく進化させてみてください。

インターネットイニシアティブ（IIJ）は7月27日、資料「AI・ChatGPTとの“業務上”の付き合い方」を無料公開した。同社のエンジニアで、広報部の堂前清隆副部長が作成。自身が登壇したセミナーで使った資料で、「IT業界以外の方にも話を聞いてもらう前提でまとめたもの」という。 米OpenAIが提供するAIチャットサービス「ChatGP」などにも利用されている、大規模言語モデル（LLM）の利用方法や、動作の仕組み、特徴、注意点などを紹介。今後登場すると予測できるLLMや、LLMを利用したサービスに対する見解も掲載している。一部の内容については、デモ動画による紹介も行っている。 堂前副部長は「今後AIはさまざまな用途で使われるようになると思う。特にLLMは『汎用的なAI（強いAI）』の基礎として発展するのではないか」と指摘。「今は人間との対話（チャット）用途ばかりが強調されているように感じるが

データドリブンにプロダクトを改善していきたい、とはどんなプロダクトマネージャーでも志すことですが現実には上手く行かないこともあると思います。その時に、参考になる動画を見つけたので紹介します。 Product School のチャンネルで公開されている Webinar: Top 10 Digital Analytics Mistakes by Amplitude's Adam Greco and WillowTree's Jeremy Stern です。登壇者の Adam Greco さんは Amplitude という分析プラットフォームの Product Evangelist 、 Jeremy Stern さんは WillowTree というプロダクトでのデータ活用を支援するコンサルティングサービスの Director of Product Analysis を担当されています。動画の見ど

きっかけ 落合陽一氏がfewshotを公開していたので落合陽一AIなるものを作って遊んでいたが どこまでがGPT-4の標準出力で、どこまでがfewshotによる影響なのか知りたくなった。 まずは差分を測る GPT-4に素直に聞いてみる 思考パターンを述べてもらう 落合陽一の思考パターンを確認する 抽象化 思考パターンを抽象化して、列挙してもらう 原子的な概念に落とし込む それぞれの特性を原子的な概念や言葉に落とし込むと、以下のようになります。 相互関連性と統合性: 連携、一体化、融合 融合的思考: 総合的、多面的、相補性 創造性と革新性: 創出、新規性、突破 伝統と現代の融合: 適合、連結、混成 形状と流動性の探求: 変形、移行、流動 可視と不可視の間の探索: 潜在性、探究、視覚化 哲学と科学の交差: 理論、体系、分析 プレイフルな探求: 遊び、探検、好奇心 結合と相互作用の理解: 相互依

闇のエンジニア/変なデジカメ開発中/ディープラーニング芸人/Raspberry Piとからあげ大好き/はてなブログ書いてます

RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに

ChatGPT（チャットGPT）をExcelで利用できるアドインはいくつか提供されていますが、マイクロソフトが実験的に提供している「Excel Labs」も気になるところです。「LABS.GENERATIVEAI関数」の数式からChatGPTからの回答を表示できます。 数式の結果としてChatGTPからの回答を表示 マイクロソフトが提供しているExcelのアドイン「Excel Labs」を追加すると、Excelで「LABS.GENERATIVEAI関数」が使えるようになり、セルに入力した数式からChatGPTを利用できるようになります。 Excel Labsアドインは、Excelの画面から追加できます。 アドインを追加することで、LABS.GENERATIVEAI関数が使えるようになります。 本記事ではExcelにExcel Labsを追加し、LABS.GENERATIVEAI関数を使って

ChatGPT APIリリースの衝撃から(およそ)3ヶ月。 私が所属する旅行系スタートアップのAVA Intelligenceでは、APIリリース以降、ミッション"Discover the Best For You"を実現するための重要技術と位置付け、様々に活用してきました。 中でも、自然言語で旅行について聞くことができるLINEボットがご好評をいただいています。 ▼AVA Travelの公式LINE 3ヶ月間、ChatGPTのAPIを使って目的を達成する方法を模索する中で、重要だと考えることを整理しました。 指針1.分割して各個撃破する あなたはAIでどのような問題を解決しようとしていますか？ 大抵の解くべき問題は、複雑で難しいです。 大きくて難しい問題を分割し、解けるサイズに分けて、扱いやすくすることは、ChatGPTを使う開発において大きな効果を発揮します。 課題を分割することで、A

こんにちは。BizOpsエンジニアのにっしーです。 データ分析やOps自動化の仕事をしています。 昨今世界を賑わせているChatGPTですが、「どう業務で使うのかいまいちわからない。。」と感じている方が多いのではないでしょうか。 そこで今回は、ChatGPTを使った業務改善の実践例を3つ紹介します。 私がお手伝いしているmicroCMS社での実例で、業務をまるっと置き換えるというよりは業務の一部を切り出して担当してもらおう、というお話です。 プロンプトも載せています。参考になれば幸いです。 なお、自動化ツールにはpipedreamを採用していますが、Zapier、makeほか自前実装でも実現可能です。自社に最適なツールを選択してください。 📮 バックオフィス部門の効率化：問い合わせの分類 会社の問い合わせフォームから営業の連絡ばかり来てうんざりしませんか？ できれば必要な問い合わせだけに