概要 GPT-4 に全自動で Minecraft をプレイさせる論文 "Voyager: An Open-Ended Embodied Agent with Large Language Models" を紹介します。 Voyager は、継続的・段階的に複雑なタスクを学習し続けることができ、マップ開拓や新アイテム獲得の能力で既存手法に勝ると主張されています。 既存手法との違い LLM にツールや外部 API を与えて自律的に計画・行動させるアルゴリズムと言うと、ReAct, Reflexion, Auto-GPT などが特に有名です。 これらと Voyager の一番の差別化部分は、Iterative Prompting Mechanism および Skill Library と呼ばれるコンポーネントです。 Voyager はボットを操作するために Mineflayer という Java
【AI】新たに搭載されたChatGPTを自分のAIアシスタントにするCustom Instructions機能とその使い方 | EARLの医学ノート
【AI】新たに搭載されたChatGPTを自分のAIアシスタントにするCustom Instructions機能とその使い方 ※2023年7月21日作成 ※2023年8月14日改訂：無料ユーザーが8/9から使用可能に。設定アイデアに「（7）キャラクター設定」を追加 ChatGPTを自分のAIアシスタントにするCustom Instructions機能搭載 1．Custom instructionsとは？ ■ChatGPTに新たな機能「Custom instructions（カスタム指示）」が搭載された．OpenAI社のリリースでは2023年7月21日から有料のChatGPT Plus会員から利用できるようになり，8月9日からは無料ユーザーも使用できるようになった． ■Custom Instructionsは，ユーザーのニーズに合わせてChatGPTを調整できるカスタム指示であり，専門知識の調
LLMにまず前提から尋ることで出力精度を向上させる『ステップバック・プロンプティング』と実行プロンプト | AIDB
ステップバック・プロンプティングは極めてシンプルで具体的なテクニックながら、CoT（Chain-of-Thought prompting）やTake a Deep Breatheといった既存の手法を凌駕する性能を発揮しています。 参照論文情報 ・タイトル：Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models ・著者：Huaixiu Steven Zheng, Swaroop Mishra, Xinyun Chen, Heng-Tze Cheng, Ed H. Chi, Quoc V Le, Denny Zhou ・所属：Google DeepMind ・URL：https://doi.org/10.48550/arXiv.2310.06117 従来の課題 LLMはSTEM（科学、技術、工学、
GPTでソースコードからpatchを生成し続けたらプログラミングを自動化できるのでは？？？？ - laiso
と思ってやってみたら結構実現できてウケたので解説します。 はじめに 最近のGPT(LLMs)アプリケーション開発界隈は「プロンプトの内容を試行錯誤して結果を期待する」フェーズから「LLMsの特性を生かした今までできなかった自動化を実現」という段階が訪れつつあって楽しい時期です。 LlamaIndexというOSSではDBのスキーマと自然言語からSQLを自動生成してその場で実行するというクレイジーな機能があるのですが(A Guide to LlamaIndex + Structured Dataを参照) これと同じ発想でソースコード全体からpatch(patch - Wikipedia)を生成してその場で適用するというアイデアを思いついたのでしばらく検証していました。 「コミットメッセージを先に書いてそれを満すコミットをGPTに生成してもらう」ようなイメージ。 書いたコードはpmonというコマ
自分がこうありたいというメモ。 作業者と開発者の違いとして、問題解決への寄与だとか、創意工夫の余地があるかというのがありそう。 これは今 GPT-4 に聞いた。 Q: 作業者と開発者の違いを100文字ぐらいで教えて。 A: 作業者は指定されたタスクや手順を実行する人を指し、特定のルーチンや手順に従って作業を進めることが主な役割です。一方、開発者は新しい製品やソフトウェアを設計・構築する人を指し、創造性や技術的なスキルが求められます。作業者は指示に従い行動し、開発者は新しいアイディアや解決策を生み出します。 単なるタスクの遂行でなはく、より多くの責任とリーダーシップを求めている コードを書くだけではなく、問題解決や創意工夫の余地が多くあるタスクが欲しい 自分のアイディアをベースとして、形にすることで、プロジェクトを完遂したい そもそも何が問題なのかを明らかにするだとか、最適な解決策を見つける
Large language models like GPT-4 are becoming increasingly capable, at an alarming rate. Within a couple of years, we won't need developers any more! …Or at least, that's the narrative going viral on Twitter. I'm much more optimistic about what these AI advancements mean for the future of software development. Keep reading.
優秀と噂なCohere社のCommand R+でRAGチャットボットを簡単に構築して体験しよう！ - Qiita
1. はじめに Cohere社が最近リリースしたLLMのCommand R+がGPT4に迫る性能を発揮していたり、RAG利用での性能で話題となっています。 そのCommand R+でRAGを体験できるチャットアプリの実装がLightningAIにてチュートリアルが公開(CC-BY-4.0ライセンスとして)されています。 これを身近な環境で動かしてみたいと思います。 このチャットボットでCohere社の以下のモデルが使われています LLM: Command R+ Embed: embed-english-v3.0 / embed-multilingual-v3.0 Reranker: rerank-english-v3.0 / rerank-multilingual-v3.0 以下の動画のようにブラウザでPDFファイルをアップロードしてチャットで問い合わせができます。 2. 必要なもの 以下
2023年10月からの景品表示法の改正に伴う注記：この記事は技術評論社様より献本をいただき、発売前の書籍レビューをするものです。 来週1/24にMicrosoft社のAzureクラウドで生成AIアプリケーションを開発する人向けの入門書籍が発売されます。 幸運なことに、著者の一人である吉田真吾さんのご厚意で発売前献本の機会に預かりましたので、先行レビューということでみなさんに紹介させていただきます！ Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門 永田 祥平 (著), 伊藤 駿汰 (著), 宮田 大士 (著), 立脇 裕太 (著), 花ケ﨑 伸祐 (著), 蒲生 弘郷 (著), 吉田 真吾 (著) - 技術評論者より2024/1/24発売予定 通称「ドーナツ本」です。おそらくOpenAIのロゴが某ドーナツ屋さんのフレンチ●ルーラーに酷似していることか
Stability AI、言語モデルシリーズ「StableLM」の第1弾をリリース — Stability AI Japan
Stability AIは、新しいオープンソースの言語モデル StableLMをリリースしました。アルファ版は30億パラメータと70億パラメータのモデルが用意されており、今後150億パラメータから650億パラメータのモデルも用意される予定です。開発者は、CC BY-SA-4.0ライセンスの条件に従って、商用または研究目的で、私たちのStableLM ベースモデルを自由に検査、使用、適応することができます。 2022年、Stability AIは、プロプライエタリなAIに代わる透明でオープンで拡張性のある画期的な画像モデルである Stable Diffusionを一般公開しました。StableLM モデル一式のリリースにより、Stability AI は、基盤AI 技術をすべての人が利用できるようにすることを続けています。StableLMモデルは、テキストやコードを生成でき、様々なアプリケー
Introducing OpenAI Japan
As we grow our operations internationally, we’re expanding into Asia with a new office in Tokyo, Japan. We are committed to collaborating with the Japanese government, local businesses, and research institutions to develop safe AI tools that serve Japan’s unique needs and to unlock new opportunities. We chose Tokyo as our first Asian office for its global leadership in technology, culture of servi
MacでLocal LLM そこそこRAMの大きなMacbook proが手に入ったので、ローカルでのLLM実行を試すことにした。 しかし、MacのGPUを有効化させることのできるローカル環境を整えるまでに、思いのほか苦労したので、メモとして記しておく。 とりあえず、以下の3つの選択肢を試した。 open interpreter text-generation-webui LM Studio で、結局のところ現状まともに動作してくれたのは、LM Studioだけだったのだが、それぞれの所感について示しておく。 1: open interpreter open interpreterそのもの説明については、Qiitaにもいくらでも記事があるのでここでは省略する。 例えば以下の記事など。 https://qiita.com/ot12/items/d2672144b914cb6f252f htt
【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで｜ppp
【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで ■5/22追記 投稿したのは数日前なのに、なんだこれ？ ちょっと怖い。 ■はじめに 日曜日、chatGPT-4（以下「GPT」）のプロンプトや拡張機能を色々と試していました。また、GoogleのBardも使えるようになっていたので、素人なりに試行錯誤していました。 朝から何時間も試行して疲れたので、ちょっと気分転換にTwitterの”おすすめ”に流れてくるツイートを漫然と見ていました。 すると、見出しの記事が流れてきました。別に私は鳥取県知事に対して好意も悪意もない・・・というか、あの時おすすめツイートが流れてこなければ、他組織の首長のインタビューを読むことは恐らくなかったでしょう。北海道知事や沖縄県知事が何をしようと関心ないし、それと同じ程度に関心ないも
昨日、OpenAIが生成AIの新しいモデルであるGPT-4oを発表しました。消費するトークン数の節約や、音声合成機能の改善、応答速度の向上など着実な品質改善を見せているようです。私も、特に音声合成（Text To Speech）の表現力について非常に興味を持っています。 私は以前、「OpenAIのGPT-4 Turbo with visionを日本語OCRとして使ってみる」で、GPT-4 Turboの画像認識機能の日本語OCRについて検証を行いました。その当時は、既存のコグニティブAI APIに比べて認識精度が十分でないという評価をしています。とはいえ、その後に出てきたClaude 3 Opusは驚くべき認識精度だったので、OpenAIも巻き返す可能性は十分にあると感じました。Azure OpenAI Serviceを使っている場合は、Vision enhancementという既存のコグニ
2023年2月8日未明にMicrosoftからチャット機能を搭載した検索エンジンの新しいBingが発表されました。すぐにBingのサイトからウェイティングリストに登録したところ、翌日（2月9日）、招待メールが届き、新しいサービスを利用できるようになりました。 １．新しいBingの機能や仕組みについての質問 最初は、こんな感じに始まります。 Bingのチャットモード画面 Bingが回答するのに検索が必要と判断した場合は、「'〇〇（検索ワード）'を検索しています」と表示されます。 回答の下に「詳細情報」として参照先のリンクが表示され、対応する箇所に脚注番号が表示されます。 回答中の点線の引かれた文章をクリックすると、対応する参照先のサイトが開きます。 さらに、今日の天気を聞いた場合は、（今回は表示させていませんが、）現在地の天気予報の情報が表示されます。 また、次のユーザーの質問候補も回答の下
Art by GPT-4. Prompt: “an image that evokes ‘The Triumph of Death’, with similar buildings and a similar layout, but where everyone is healthy and happy”不運には，代償に見合う値打ちがない「50歳までぜひとも生きていたいよ」――キース・ヘリング いや，たしかにこの記事の発端は，旧称 Twitter のソーシャルメディアプラットフォームでつい先日に起きた馬鹿馬鹿しいいざこざではあるんだけど，約束する，後の方まで読んでくれたらもっと面白い話になっていくよ！ つい先日のいざこざは，有名な絵画を軸に展開してる．その絵とは，キース・ヘリングの「未完の絵画」だ ("Unfinished Painting")．1989年に描かれたこの絵は，AIDS にな
大実験！ChatGPTは競プロの問題を解けるのか (2024年5月版) - E869120's Blog
1. はじめに 2024 年 5 月 14 日、OpenAI 社から新たな生成 AI「GPT-4o」が発表され、世界に大きな衝撃を与えました。これまでの GPT-4 よりも性能を向上させただけでなく1、音声や画像のリアルタイム処理も実現し、さらに応答速度が大幅に速くなりました。「ついにシンギュラリティが来てしまったか」「まるで SF の世界を生きているような感覚だ」という感想も見受けられました。 しかし、いくら生成 AI とはいえ、競技プログラミングの問題を解くのは非常に難しいです。なぜなら競技プログラミングでは、問題文を理解する能力、プログラムを実装する能力だけでなく、より速く答えを求められる解法 (アルゴリズム) を考える能力も要求されるからです。もし ChatGPT が競技プログラミングを出来るようになれば他のあらゆるタスクをこなせるだろう、と考える人もいます。 それでは、現代最強の
こんにちは！逆瀬川 (@gyakuse) です！ 今日は開発に使うときのプロンプトの例を紹介します。ただ、これは一例に過ぎず、もっと雑な表現や工夫されたプロンプトを使っても良いでしょう。大事なのは、どのように情報を与えるとうまくin-context learningしてくれそうか、ということを考えながらプロンプトを渡してあげることだと思います。 だいじなこと ChatGPTのGPT-4を使いましょう ChatGPTをそのまま使う場合、オプトアウト申請し、受理されたことを確認しましょう オプトアウトしていても他者に会話履歴が見える状態になる等のトラブルもあったため、API経由のほうが安全です 会社のプログラム等は情シス部門と連携を取り、会社のポリシーを検討をしましょう 実装を依頼するプロンプト 「行いたいこと」「処理の流れ」「参照ドキュメント」という順で書いてあげると良いです。 サンプルプロ
GitHub Copilot chatが解禁されたので使ってみての感想とChatGPTと比べてどうかの所感 - Qiita
GitHub Copilot chatのウェイティングリストが通過して本日使えるようになりました。 結構本日通っている方が多かったようです。 アイコンがかわいいですね。 このかわいいアイコンと対話することになります。 使えるようになったので何ができるかを試してみました 準備 まだCopilot chatに関しては公式でも文献がおいておらず招待のメールを見ながら準備を進めるのですが必要なのはVSCode Insiders とGitHub Copilot Nightlyになります。 またVSCode InsidersにGitHub Copilot拡張をいれるとNightlyと競合するようなのでその点が注意です。 使い方 コード上で右クリックを押すとCopilotメニューが追加されています。(Chatでない標準のCopilotだとこれはなかった） 基本的にできること /helpででてきます。 た
Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報（名前、住所、生年月日）を正しく認識できるか試してみた | DevelopersIO
構成 構成としては、下記の通りです。 Connectのフローの詳細は下記の通りです。 例として、発話で住所を認識させる処理の流れは以下のとおりです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Kinesis Video Stream（KVS）への音声のストリーミングを開始します。 顧客は、住所を含めた発話をします。 「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングを終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、LambdaでKVSからデータを取得します。取得したデータをWAV形式に変換し、Whisper APIで文字起こしします。文字起こし内容から、GPT-4 Turboで住所のみを抽出します。 プロンプト再生で、住所のみを音声出力します。 以下の図は、電話での対話の流れを示しています。 前提 2023年11月時
【Copilot はじめました】GitHub Copilot 導入におけるハードルの整理 - M&Aクラウド開発者ブログ
こんにちは。M&AクラウドのEMの鈴木です。M&Aクラウドでは GitHub Copilot（以下Copilotと呼びます）を導入してみることになりました。導入にあたり一般に言われているCopilotのリスクを元に、弊社なりに整理してみました。この記事はその学びを共有するものです。最近は GPT-4をベースにした「Copilot X」も発表されて Copilot を導入しようか迷っている方も多いかと思いますが、導入の際の意思決定の参考になったら幸いです。 GitHub Copilot とは Copilot 関係のリリース状況整理 GitHub Copilot for Business GitHub Copilot X セキュリティ・ライセンス問題に関する論点 Copilot 経由で弊社コードが流出するセキュリティ上の懸念に対するチェック プライバシーポリシーを見てみる Copilot を使
sazan on Twitter: "OpenAIからヤバすぎる論文出た。必読 * 就くのが困難な仕事ほどGPTに置き換えられやすい * 給料が高い仕事ほど（略 * プログラミングとライティングを使う仕事が（略 * どのような仕事がなくなるかを人間とGPT-4に聞い… https://t.co/8cIzgvMkGz"
OpenAIからヤバすぎる論文出た。必読 * 就くのが困難な仕事ほどGPTに置き換えられやすい * 給料が高い仕事ほど（略 * プログラミングとライティングを使う仕事が（略 * どのような仕事がなくなるかを人間とGPT-4に聞い… https://t.co/8cIzgvMkGz
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米スタンフォード大学、米ノースウェスタン大学、米コーネル大学に所属する研究者らが発表した論文「Can large language models provide useful feedback on research papers？ A large-scale empirical analysis」は、大規模言語モデル（LLM）が研究論文の査読を行えるかを調査した研究報告である。この検証のため、論文の査読を自動で行うシステムと、LLMによる査読コメントと人間による査読コメントとの間の共通点を探るシステムを開発した。 学術雑誌に投稿される研究
マイクロソフト、「GitHub Copilot X」をVisual Studioに搭載したデモ動画を公開。コードを自然言語で解説、デバッグ、ユニットテストの生成など
マイクロソフト、「GitHub Copilot X」をVisual Studioに搭載したデモ動画を公開。コードを自然言語で解説、デバッグ、ユニットテストの生成など GitHubは先月、GTP-4をベースに「GitHub Copilot」の機能を大幅に強化した「GitHub Copilot X」を発表し、Visual Studio Codeのコードエディタ内でAIと対話しながらプログラミングが可能になる様子を公開しました。 参考：［速報］「GitHub Copilot X」発表、GPT-4ベースで大幅強化。AIにバグの調査依頼と修正案を指示、ドキュメントを学習し回答も そして先週、マイクロソフトは同社の統合開発環境であるVisual StudioでGitHub Copilot Xを用いてプログラミングを行うデモ動画「GitHub Copilot X in Visual Studio」を公開
ChatGPTを使ってプレゼン資料を作る エンジニアのみなさんはコードを書くことは得意でもLTなどで発表するプレゼン資料（スライド）を作成することが苦手の方もいらっしゃいますよね。そんな人（自分含む）にChatGPTを使ってスライドを作成する方法についてまとめましたので共有します。 ちなみに、現状(2023/03/30時点)のChatGPTには直接スライドを出力できるような機能はないので、下記のような感じで工夫するとChatGPTを使って爆速でスライドが作れちゃいます。 使用するツール ChatGPT Marp for VS Code Marpって何?という方は下記の記事をご参考ください。簡単に言うとMarkdownからスライドを作成できるものです。もちろん皆さん大好きなPowerPointやPDFにも出力可能です。 作成フロー 1.ChatGPTでプレゼン資料にしたい内容をMarp形式で
最近はGoogleではなくKagi Searchをメインの検索エンジンとして使っています。 Kagi Searchは$108/year($10/month)の有料の検索エンジンです。 広告モデルではない検索エンジンなので、有料のサブスクリプションモデルとなっています。 Plan Types | Kagi’s Docs いくつかプランがあり、検索し放題のProfessionalプランが$10/monthです Ultimate Plan ($25/month)だと外部のOpenAIのGPT 4とかClaude 3との連携とかも入ってきます 月に1-2万回ぐらいは検索することを考えると、 (108 / (10000 * 12)) * 150 で大体1検索が0.1円ぐらいのイメージですが、こちらもKagiのLLM機能は利用できるので、実質もう少しコスパは良いと思います。 検索ソースにはGoogle
Python 初心者でも簡単！OpenAI を利用したチャットアプリを Streamlit で公開してみた | DevelopersIO
[2023.09.19 追記] 本記事の執筆にあたり参考にさせていただいたUdemy講座の講師の方より、記事内容についてコメントをいただいたため一部修正しました。 はじめに こんにちは、アノテーション テクニカルサポートの Shimizu です。 突然ですが、私も含めた Python 初心者に、以下のような人は多いのではないでしょうか。 昨今の AI ブームに乗って API でデータをやり取りする基本的な Python プログラムを PC 上で動かせたものの、それを Web アプリとして公開するまでのハードルが高く感じる。 ブラウザ操作の UI を実装するには Django などの Web フレームワークを習得したり、アプリとして公開するには Python が動作するサーバーを用意したりと、なんだか難しそう・・ そんな私にピッタリのUdemy講座を見つけたため、今回受講してみました。 Ch
GPT-4 Turboでいちばん嬉しいのは、300ページ相当の長文をまるっと読み込めること2023.11.08 17:009,334 Maxwell Zeff・Gizmodo US ［原文］ （ mayumine ） これは嬉しい進化です。 OpenAIの開発者向けカンファレンス｢DevDay｣で、サム・アルトマンCEOよりGPT-4 Turboの公開が発表されました（こちらの記事もどうぞ）。 いちばん大きなアップデートは、今回で扱えるトークン数が128Kになって、従来の16倍となる300ページを超える長い文書を1つのプロンプトに入れられるように。本をまるごと一冊読み込ませられるようになったということです。長い文章を要約させたり、気になる箇所を教えてもらったりできるようになったことで、活用の幅はさらに大きく広がると思います。 さらにGPT-4 Turboでは、JSONモードが実装され、JS
GPT-4なら、確定申告のための税額計算もラクラク――米OpenAIが3月14日（現地時間）に公開した、次世代の大規模自然言語モデル「GPT-4」のデモで、GPT-4に税法と家族構成を読み込ませ、控除額を簡易的に計算するシーンがあった。 河野太郎デジタル大臣は15日、自身のTwitterでこれに触れ、「e-Taxに実装したい」とコメントした。 デモでは、「誰もやりたくないが、やらなければならないタスクを行う」方法として、16ページにわたる税法のドキュメントを読み込ませたうえで、家族構成や収入を入力し、税金の控除額を計算さる様子を紹介した。 このデモを、梶谷健人氏（XR Creative Studio創業者）が「全人類が欲しているやつ」などと動画付きでツイート。河野氏はこれを引用し、「e-Taxに実装したい」とツイートした。 関連記事 「GPT-4」で何ができる？ ラフからWebサイトを瞬間
GPT-4は医師国家試験に合格するという研究結果が発表されて話題だったので、我々も馴染み深い IPA の試験にGPT-4は合格できるのか試してみた。 高度情報処理技術者試験の 午前I に限って言えば合格しているので、レポートをこちらに置いておく。 github.com まとめ 高度情報処理技術者試験の共通科目である午前I に 合格できる解答(正答率6割を超える)をGPT-4は生成する GPT-3.5 では合格できない。GPT-4 の賢さが際立つ ちなみに図表読み取り問題は入力できないので、すべて不正解扱いした やりかた IPA の Webサイトから、2022年度秋試験の午前I問題のPDFを取得 (PDF) Google Docs の OCR 機能でテキスト取得 手でコピペして整形 整形したファイルは こちら にある OpenAI の API に問い合わせて解答を取得。スクリプトはこちら。
ChatGPTのMac用クライアント「MacGPT」がGPT-4 APIに対応しています。詳細は以下から。 OpenAIは現地時間2023年03月14日、マルチモーダルとなった次世代大規模言語モデル「GPT-4」の提供を開始しましたが、ChatGPTをMacのメニューバーやデスクトップから利用できる「MacGPT」がGPT-4 APIキーに対応しています。 Just released in version 1.19: If you have access to the GPT4 api you can use it in native mode Added the close button back to the menu bar Added the toggle back on the main app to switch between native and web 🧠 MacGPT
手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)｜masa_kazama
イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。 今回は、手元で動作する軽量な大規模言語モデル「Alpaca-LoRA」を日本語にファインチューニングしてみました。この記事では、そのファインチューニングのプロセスや応用例について簡単に解説していきます。ChatGPTやGPT-4は、モデルがブラックボックスでありAPI経由でしか入力を与えて出力を得ることができません。さらに、現時点（2023年3月20日）では、独自のデータを用いてファインチューニングを行うこともできません。 しかし、Alpaca-LoRAというモデルを用
Azure Open AI「Add your data」のシンプル設定方法、試した結果の比較と「4つの所感 & 解決案？」 - Qiita
Azure Open AI「Add your data」のシンプル設定方法、試した結果の比較と「4つの所感 & 解決案？」AzureCognitiveServicesgpt-3AzureOpenAIServiceonyourdata Azure Open AIの新機能「Add your data」の使用方法の概説、試してみた結果、そして私なり感じた4つの所感とその解決策？を紹介いたします。 ※本領域は変化が激しいです。この内容は23年6月24日時点の情報となります 【記事の目次】 23年Buildでのデータサイエンス・AI系のアップデータについて Azure Open AI「Add your data」のシンプル設定方法 Azure Open AI「Add your data」を使用した結果と、ChatGPT、 Bing AIチャットの比較 私の4つの所感と解決案？ 4.1 引用元の引用部
【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO
ただし、GPT-4と比較すると安価にはなっていますので、性能比較をしながら良い塩梅を探すとコスト的にメリットがある可能性があります。 また学習のコストですが、以下のように学習データ全体のトークン数 x エポック数という形で費用が掛かるので注意が必要です。 （エポック数は後述するようにパラメータとして指定可能です） For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. 公式ページは以下となりますので、併せてご確認ください。 レート制限 fine-tuningのレート制限については、以下に記載があります。 fine-tuningについては以下のように
GPT-4, GPT-3.5 の API を利用して JSON だけ生成する (Function calling)
先日 OpenAI API のアップデートが以下のように発表されました。 一番の注目は Function calling じゃないでしょうか？ 名前から「関数を呼び出せるのかな？」と一番最初に想像しちゃいますが、この機能の革新的な部分は「JSON を作成してくれる」ところだと思っています。 JSON を作れると嬉しいことがいっぱいありますね！ ダミーデータの作成 生成した JSON をそのままレスポンスとして返すエンドポイントの作成 テストとしても良い 関数や外部 API の呼び出し 今までは難しかった JSON の作成 今まで、JSON を作成してもらうにあたって gpt-3.5-turbo を用いて JSON を作成させようとするとほぼ失敗していました。それで gpt-4 のモデルを利用して JSON を作成させますが、このモデルはほとんど正確になる一方で処理速度がかなり遅くなる点がネ
こんこよ～🧪 カバー株式会社CTO室エンジニアのAです。 カバー株式会社には2023年4月に新卒で入社し、第1回COVER Techを執筆したKさんの下で、タレントの皆様が日々のYouTube配信などで使用するホロライブアプリの開発に携わっています。 また、ここ数か月はそれと並行してAIこよりシステムの開発を担当してまいりました。 この記事では開発したシステムの概要についてご紹介します。 開発経緯AIこよりシステムの開発に至った経緯について。 まず社内に生成AIの可能性や関連技術の検討をしたいという需要がありました。そこへ、こよりさんからご自身のAIを作りたいというご要望をいただいたため、それがきっかけとなり、こよりさんの全面的なご協力の下でAIこよりシステムの開発が始まりました。 システム概要今回開発したものは、AIシステムへの入出力を操作し配信画面に映すフロントアプリと、各種外部AP
画像生成ソフトウェア「ComfyUI」のノードにキーロガーが仕込まれていたことが発覚、クレジットカード情報やパスワードなど全ての入力が筒抜けに
ノードベースの画像生成ソフトウェア「ComfyUI」向けに作られたノードの一つ「ComfyUI_LLMVISION」にマルウェアが仕込まれていることがわかりました。発覚後、ComfyUI_LLMVISIONのGitHubリポジトリが削除されています。 PSA: If you've used the ComfyUI_LLMVISION node from u/AppleBotzz, you've been hacked byu/_roblaughter_ incomfyui クリエイターのロブ・ラフター氏がRedditで共有したところによると、ComfyUI_LLMVISIONをインストールして使用した場合、ブラウザのパスワード、クレジットカード情報、閲覧履歴がWebhook経由でDiscordサーバーに送信されてしまうとのこと。 ラフター氏自身も影響を受け、ComfyUI_LLMVISIO
この記事は何 Techカテゴリに含まれてこそいるものの、この記事はあくまで理論の側面でアプローチについて語るメモのようなものです。このアプローチに沿ったプロンプトやプログラムを書いてはいるものの、まだ期待通りの挙動をするとは言い難いです。 なぜ公開したかというと、自分より賢くて素早い誰かが理屈だけを見て代わりにやってくれたりしないか、という期待からです。 ChatGPT Plus(GPT-4 APIではない)とPythonを使います。 今回作ったプロンプト そういう前提を踏まえ、まだ完成していないプロンプトを掲載します。 プロンプト(コードブロック記法の関係で```が``に置換されている) # イントロダクション あなたはCLIを使用中の凄腕エンジニアとして振る舞ってください。 今からゲームをしましょう。 あなたの目の前にとあるtxtファイルがあります。 このtxtファイルに書かれている内
生成AIの可能性を広げる「ベクトルデータベース」への関心が急速に高まっている。ベクトルデータベースとは、生成AIが扱う非構造化データの格納・管理・照会で利用されるデータベースのこと。ここではベクトルデータベースの基本をわかりやすく解説するとともに、生成AIの普及において、どのような役割を果たすのか、注目される理由などと合わせて紹介しよう。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上げにあたり、ドローンの可能性を模索。ドローンレース・ドバイ世界大会に選手として出場。現在、音楽制作ソフト、3Dソフト、ゲームエンジンを活用し
GPTsという、特定の役割を持った専用のGPTを作る仕組みが最近できた。といっても、従来のGPT-4にあらかじめ特定の指示 (description)と前提知識のファイル (knowledge)を与えられるだけで、今までできなかったことができるわけではない。だけど、特定のタスクをさせる時に、それらをいちいち指定する手間を省けるので、便利な機能と言えよう。 ChatGPTにミニゲームを作らせる試みは前もやったけど、あまりうまくいかなかった。 そこで今回は以下の改良を加えて、専用のGPTを作ってみた。 最初にユーザからゲームのテーマを与えてもらう。 その後、そのテーマに沿ったゲームのアイデアを5つユーザに提示し、適切なものを選んでもらう。 選ばれたアイデアに対して、ルール作成、プレイヤー動作のコード作成、その他の動作作成、スコアリング、難易度、効果音、と順番に少しづつゲームを作らせる。 「小さ
Open Interpreter - 自然言語でコーディングを実現するオープンソースツール｜masia02 (CipherWeb,LLC.)
Open Interpreterは、自然言語でプログラミングができるようになる、興味深いオープンソースツールです。機能呼び出し型の大規模言語モデルを利用して、Python、JavaScript、Bashなどのコードをローカルで実行できるのが大きな特徴です。インストールと利用は簡単で、コーディング作業の効率化を図れそうなツールです。 Open InterpreterとはOpen Interpreterは、GPT-3.5やGPT-4またはCode Llamaなどの大規模言語モデルを利用して、自然言語でのコード実行を可能にするオープンソースのツールです。 コマンドラインインターフェース上で言語モデルと対話することで、PythonやJavaScriptなどのコードをローカルマシン上で実行できます。複雑なロジックのコーディングもステップごとに指示できるので、開発効率の大幅な向上が期待できます。 公式
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-4 で Minecraft を自動プレイする Voyager を動かしてみた - Qiita
作業者じゃなく開発者でありたい - id:onk のはてなブログ
The End of Front-End Development
Azureで生成AIアプリ開発に入門したい人に朗報！ 鉄板の解説書が出ました✌️ - Qiita
MacでLocalでLLMを走らせるならLM Studioが楽。 - Qiita
OpenAIのGPT-4oを日本語OCRとして使ってみる
チャット機能を搭載した新しいBingが使えるようになったので早速試してみた｜IT navi
ノア・スミス「もっと浅薄な未来に向かって」（2024年1月3日）｜経済学101
開発に使える？ChatGPTとプロンプトエンジニアリング - Qiita
「GPT-4」は論文の査読ができるか？ 米スタンフォード大らが検証 参加者の80％以上「AI査読は有益」
ChatGPTを使って爆速でプレゼン資料を作る - Qiita
Kagi Searchをメインの検索エンジンとして使っている
GPT-4 Turboでいちばん嬉しいのは、300ページ相当の長文をまるっと読み込めること
GPT-4で確定申告も一発？ 「e-TAXに実装したい」河野太郎氏 控除額を自動計算
GPT-4 は高度情報処理技術者試験(午前I)に合格する - kurainの壺
ChatGPTのMac用クライアント「MacGPT」がGPT-4 APIに対応。
AIこより爆誕！？の裏側｜カバー株式会社 公式note
ChatGPTにCtrl+Fを覚えさせるアプローチについて
ベクトルデータベースとは何かを解説、生成AIで「必須の存在」はどんな役割を担うのか
ワンボタンミニゲームを自動的に作るためだけのGPTを作ってみた - ABAの日誌