やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる

この記事について この記事は、 Web制作の基礎から学べる「Webコーディングスクール」 などの資料制作をお手伝いして頂いているemiさんによる寄稿記事です。 emiと申します。USAGI DESIGN emi.というサイトでWebデザインやコーディング練習用のデザインデータを配布しています。Webデザインをメインにストックイラストレータ、グッズデザインなどしております。 ChatGPTとは ChatGPTはOpenAIが開発した対話型のチャットボットです。質問を入力すると質問に対する回答が出力されます。 今回はChatGPTを使って、効率よくコーディングを進めてみます。 headタグ内のコードをChatGPTで生成しよう HTMLの大枠をChatGPTを使ってコーディングしてみよう グロナビをChatGPTで生成してみよう ボタンをホバーした時のCSSをChatGPTで生成してみよう H

話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握するPDFOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT はじめに 本記事では、ChatGPT と LangChain の API を使用して、PDF ドキュメントの内容を自然言語で問い合わせる方法を紹介します。 具体的には、PDF ドキュメントに対して自然言語で問い合わせをすると、自然言語で結果が返ってくる、というものです。 ChatGPT と LangChain を使用することで、下記のような複数ステップの仕事を非常に簡単に実行させることができます。 PDF ドキュメントからテキストを抽出して複数に分割する 分割したテキストからテキスト間の関連を表すベクターデータを作成する 作成したベクターデータをベクターストアに格納しておく ChatGPT に外部から与

ChatGPTが思いがけずいろいろなことを人間より賢くやっているのを見てシンギュラリティという言葉を使う人が増えたように思いますが、逆に、シンギュラリティは来ないのではという思いを強くしています。 まず、この文章でのシンギュラリティがなにかという話ですが、レイ・カーツワイルが「シンギュラリティは近い」の1章の終わりで「さあ、これが特異点だ」といっている特異点、そのシンギュラリティです。 シンギュラリティは近い―人類が生命を超越するとき 作者:レイ・カーツワイルNHK出版Amazon この特異点は単にAIが人間より賢くなるというだけではありません。人間より賢くなるだけだと、便利な道具が増えるだけなので、大騒ぎするほどの変化は起きません。人の仕事を奪うといっても、蒸気機関ほどでもないですね。印刷機などと並んで、人の生活を変える転換点にすぎず、ただひとつの点をあらわすシンギュラリティには なりま

地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 名前がアツいよね。 BabyとはいえAGI(Artificial General Intelligence:汎用人工知能の略。男性の頭が薄くなるのはAGA。)。 実はこうした実行計画・調査・追加調査事項の抽出といったタスク管理を含めた総合的な動作をNLPモデルに行わせつつ、本来はn-CTXと呼ばれるインプットレイヤーのトークン数しか情報が入れられない環境下でも長期記憶を持たせて適切な回答をさせるようなものが増えました。今回、その中でも仕組みがわかりやすく作られていた https://

(本記事は数時間前からRWKVの手法について調べ始めた著者が、手法をまとめるためのメモ書きとして深夜テンション書いたレベルのものです。内容の正確さについて保証しないので各自最後にある参考文献の確認をお願いします。日本語の記事でRWKVの手法について解説されたものが見当たらなかったので、一部僕の見解が含まれますが英語版中国語版の翻訳程度に受け取ってもらえたら幸いです。中国語は一切読めないけど・・・） Introduction 昨今の生成系AIブームの中で、OpenAIが開発するChatGPT、特にGPT4の性能は目を引くものがあります。ですが、そのモデルを動かすための計算資源にも目を引くものがあり、LLaMA.cppなどローカルで動かそうとする試みは存在するにせよ、やはり一般の家庭でしかも現実的な電気代でGPT4を動かすという未来は遠そうです。 さて、そんな話題のChatGPTやGPT4です

ここのところ気温も暖かくなり、外に出かけるのが楽しみになってきた、カメラ好き機械学習エンジニアの@yktm31です。 いま世間を賑わせている生成系AI、ChatGPTは私にとって欠かせないものになりました。 そんな中つい先日、AWSから「Amazon CodeWhisperer」がGAになりました。 といことで、さっそく試してみました。 目次 概要 特徴 サポート サポートされるプログラミング言語 サポートされるIDE サポートされる自然言語 使い方 利用開始方法 基本操作 Lambdaで、DynamoDBのレコードを取得する処理と、そのユニットテストを書いてみた コード参照（Code references）を試してみる セキュリティスキャンを試してみる ドキュメントからわかったこと 安全性・セキュリティ ProfessionalとIndividualの違い 料金と制限 オプトアウト方法

一般的にChatGPTを使用する際には、プロンプトを入力して進めていく必要がありますが、プロンプトの作成は意外に難しいと感じる方も多いかもしれません。 AutoGPTは、プロンプトを作成せずとも自動的に行うべきことを提案してくれる、という驚くべき機能を持っています。AutoGPTは誰でも利用可能です。 今回PROMPTYでは、そんな話題のAutoGPTの特徴や始め方、使い方を解説していきます。 エンジニアではない方でも導入できるよう、できるだけわかりやすく説明しますので、１つずつ手順を踏みながら試してみてください。 ブックマーク必須！PROMPTYとは 国内最大級のChatGPTなどの生成AIのプロンプトエンジニア専門メディアです。 「プロンプトのテンプレ集」「生成AIの開発・活用ノウハウ」「海外の時事ニュース」など幅広い内容を取り揃えています。 一般的なニュースなどでは取り扱っていない最

はじめに: Auto-GPTの紹介 Auto-GPTは、GPT-4が完全自動で動作する最初の例の1つとして、作られたそうです。 この記事では、Auto-GPTのインストールと使用方法について解説します。 ※この記事は2023年4月時点のものです。 準備: Python3とAuto-GPTの環境構築 Python3をインストール 公式サイトのダウンロードページから、お使いのOSに合ったインストーラーをダウンロードし、インストール手順に従ってください。 Auto-GPTの環境を整える https://github.com/Significant-Gravitas/Auto-GPT git clone https://github.com/Significant-Gravitas/Auto-GPT.git cd 'Auto-GPT' pip install -r requirements.txt

無料で始めるAmazon CodeWhisperer on VSCode（Github Copilotと同等の性能？）AmazoncopilotCodeWhisperer 現在の AIを一言で説明すると・・・ フミコ・フミオさんはTwitterを使っています: 「ほぼ全員がご高齢者の会社上層部からの「対話型AI とは何かその功罪について簡潔に分かりやすく出来たら一言で説明しろ」という難題にヤケクソで「ドラえもんです」と答えたら「便利だけど取扱注意ということだな」とほぼ正解な認識をしてくれたので藤子・F・不二雄先生は偉大すぎる。」 / Twitter Github Copilot と Amazon CodeWhisperer の比較 現時点では Github Copilot の方が使いやすい。 単純な機能だと同じくらいだが、 Github Copilot は、コマンドパレットがあるので、その

プロダクトマネジメントのコーチをしています。プロダクト開発の中でもGPT4を使うケースが増え、相談されることが増えてきました。 ChatGPTのGPT4を用いた際の、専門家として信用できる精度で推論させるための工夫の一部を紹介します。精度が必要な専門職かつ中級者向けになると思います。「機密情報の入力をどうさけるか」といった運用の話は今回はしません。 やったことと起きたこと一通り論文を読んで試したり、試行錯誤しました。 その結果、専門家として業務レベルで使える程度のものができるようになってきました。 クライアントのプロンプトを添削する仕事も増えつつあります。副作用として、日本語なのに日本語と感じられない自然言語に目覚めてきました。この片鱗についてお話しします。 分かったこと分かったこととして、精度を業務レベルで用いるためにまずはじめにとりくむことは下記です。 ・接待モードを切る ・指示の質が

あなたは、プロの【その分野の専門家】です。 以下の制約条件と入力文をもとに、【出力内容】を出力してください。 # 制約条件： 【前提条件や決まりごと】 # 入力文： 【期待する出力結果や大まかな指示】 あなたは、プロのエンジニアです。 以下の制約条件と入力文をもとに、ブログ記事の内容を出力してください。 # 制約条件： ・重要なキーワードを取り残さない。 ・文字数は30000文字程度 # 入力文： Swaggerについて技術ブログに投稿する文章を書いてください。 構成は、Swaggerとは？、Swaggerのユースケース、Swaggerのメリットとデメリット、Swaggerの書き方（YAMLファイル）、Swaggerの実行方法、まとめです。 構成間で重複した説明は省くようにしてください。 読者がブログを読みながらSwaggerを触れるようにハンズオン形式などを取り入れて文章を作ってください

このnoteのターゲットChatGPTを使ってるけど、イマイチ使いこなせていない人 ChatGPTにどんな指示をしていいか迷っている人 このnoteで得られることゴールシークプロンプトの概要を理解できる ゴールシークプロントの使い方が分かる ゴールシークプロンプトとは聞き慣れない単語だと思うので、まずはそれぞれの言葉を説明しますね。 ■ ゴール：AIを使ってユーザーが達成したい目標 ■ シーク：探す, 探し求める ■ プロンプト：AIに指示するために入力する文章 つまり、ゴールシークプロンプトとは「ゴールを自ら探しに行ってくれるプロンプト」のことです。 ゴールシークプロンプトがすごい理由ゴールシークプロンプトがすごい理由は、以下の３点。 1. 曖昧なゴール設定でも、AIが明確なゴールを探してくれる 2. AIと対話しながらゴールを探せる 3. 汎用性のある形に変更もできる ChatGPTに

新DTM時代が爆誕！ AIにテキストで指示して作曲できる音楽アプリ｢WavTool｣が公開2023.04.06 11:0037,621 Jun Fukunaga AIとの新DTM時代の到来かも。 昨年以来、｢Dalle-2｣や｢Midjourney｣、｢Stable Diffusion｣といった画像生成AIやAIチャットボットのChatGPTといったAIツールが注目を集めていますが、今年に入り、いよいよ音楽の分野でもこの手のAIツールが普及して行くことになりそうです。 その可能性を強く感じたのが、最近公開されたブラウザベースで使用できるAI音楽制作アプリ｢WavTool｣です。 音楽制作の分野ではこれまでにもマスタリングやサンプル管理、コード進行/メロディ生成、音源分離、音声合成などでAIを搭載したツールはありました。しかし、ChatGPTにも搭載されているOpenAIの大規模言語モデル｢

各種方針等 arrow_forward_ios生成系AIについて 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について 2023年4月3日 東京大学理事・副学長（教育・情報担当） 太田　邦史 この半年ほどの期間で、生成系人工知能(Generative AI)が複数発表され、社会的に大きな注目を集めています。基本的には、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習し、これに強化学習を組み合わせなどして、一定レベルの品質の文章や画像を生成するシステムです。とくに、2022年11月に公開され、話題になった大規模言語モデルChatGPTはバージョンが更新され、最新のGPT-4では生成される文章などの質や正確性が著しく向上しています1。 これらの生成系AIは、平和的かつ上手に制御して利用すれば、人類の

日々便利なプロンプトが生み出されたり、 ChatGPT pluginsの発表など話題が絶えないChatGPTですが、 今回はインストールだけでChatGPTがインターネットから得た最新の情報をもとに回答してくれたり、自分の質問履歴を検索できたり、世界中の人が作ったプロンプトを検索したり、自動同期をしてくれたりと、とても便利なChrome拡張機能をいくつかご紹介いたします。 拡張機能をインストールするだけなので、手間が全くかからずにすぐに使うことができます。 こちらの記事は随時更新追加していきます WebChatGPT 概要 この拡張機能により、ChatGPTがインターネットを利用して回答を提供できるようになります。 ChatGPTは2021年までの情報をもとに学んでいるので、最新の情報に関しては十分に回答できないことがあります。この拡張機能を使うことで、ChatGPTがインターネットから得

3/24にアップした資料が含まれますが、 ベーシックなとこから全部入りにした資料です。 ・今までのAIとGPT ・GPT関連ニュースリリース ・OpenAIとMicrosoftの関係 ・Azure OpenAI Serviceの位置づけ ・ChatGPTなど言語生成モデルの挙動イメージ ・プロンプト(入力)を基点に生まれたML学習の新しいパラダイム ・Prompt Processing ・Few-shot Learning ・Chain of Thought ・ReAct ・Prompt EngineeringとFine tuningの位置づけイメージ ・プロンプトインジェクションについて ・その他の開発観点

東京大学の研究室内で，今井がChatGPTの知見を共有するために使用したスライド資料です． 特に以下のような話題，技術について解説しています． ・ChatGPTの凄さ ・ChatGPTの技術 ・言語モデル ・プロンプト ・GPTとは ・InstructGPT ・言語モデルと強化学習 ・RLFH

2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/

2023年3月2日ChatGPT APIが発表されました。 このニュースを見て、 「このAPIを使って何か面白いサービスを作れるのでは…？」 と思った方も多いのではないでしょうか？ 筆者もそんなふうに思った個人開発者の一人です。 そこで試しに作ってみました。 AIがおすすめの本を選んでくれる 「AI本屋さん」 です。 (ぜひご来店ください) 本記事では、ChatGPTを使って何か作ってみたいなと考えている方に向けて、 サービス開発の流れ Tips AI 個人開発のススメ についてご紹介します。 サービス開発の流れ 「AI本屋さん」を例にサービス開発の流れを紹介します。 1. 設計 まずはざっくり設計を行いました。 流れは以下のようになります。シンプルですね。 【フロント】質問を投げる 【バックエンド】質問からプロンプトを生成し、ChatGPT APIにリクエスト 【ChatGPT API】