ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される
さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して
生成AIでシステム開発はどう変わるか
https://layerx.connpass.com/event/301629/ での発表資料
つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用
つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用 この本では、LangChain と Streamlit を用いて、ChatGPT APIを活用するAIアプリを開発していきます。つくりながら学ぶことを重視し、簡単なチャットアプリ開発から始めて、Embeddingを活用するアプリ開発まで、ステップバイステップで学べます。 AIアプリをローカル環境で開発した後は、WEB上にデプロイする方法も学びます。クラウドの知識もほぼ必要なく、ランニングコストも掛からない方法で行うため、ぜひ作ったアプリを公開することにチャレンジしてみましょう。 500円と設定していますが投げ銭用です。本文は全て無料で読めます。
「面倒なことはChatGPTにやらせよう」の全プロンプトを実行した配信のリンクを整理しました｜カレーちゃん
Youtubeで配信しながら全プロンプトを実行しましたので、各節へのリンクを整理しました。時間のところにYoutubeへのリンクになっています。 もしずれていたら、その時間まで移動して視聴ください。 はじめに (4:00) 1章 ChatGPTの基礎知識 (5:50) 2章 ChatGPTの基本的な使い方 (6:28) 3章 ChatGPT Plusのセットアップ (7:32) 4章 ファイルのアップロードとダウンロード (12:40)4.1 アップロード・ダウンロード (13:03) 4.2 扱うことができるファイル (16:02) 5章 繰り返し作業を一瞬で (16:55)5.1 文字列操作 (17:20) 5.2 正規表現でのパターンマッチ (25:36) →54ページの正規表現でできることの例の説明 (29:09) 5.3 ファイルの一括操作 (46:20) 5.4 QRコード作成
[上級編]LLMへ至る道~Transformerは何をするのか~[15日目] | DevelopersIO
みなさんこんにちは！クルトンです。 前日のブログは、Seq2Seqモデルについてでした。 エンコーダとデコーダと呼ばれる異なる使い方をするLSTMモデルを組み合わせたモデルでしたね。 本日からは、本日を含めて4つのブログでTransformerについてご紹介していきます。 Transformerについて発表された論文が "Attention Is All You Need" というタイトルで、こちらの内容をもとにお話をしていこうかと考えています。 本日含めて4日間の最終到達目標 以下のTransformerの全体図の内容を理解する事を本日含めて4日間の最終到達目標といたします。 EncoderやDecoderという単語についてはSeq2Seqでも聞いた事がありますが、色々と細かい情報が書かれていて、全てを理解するのは大変そうですので一つずつ分割して見ていきましょう！ まず本日は、Trans
![[上級編]LLMへ至る道~Transformerは何をするのか~[15日目] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/da0d583cbae46248013ea018c5ab61be764ad94d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feye-catching-half-e1701275973271.png)
ChatGPTのアプリ版すごくね！？
モバイルアプリ版に実装されてる音声入出力機能が無課金ユーザーにも開放されたってニュースを見て貧乏人の俺は早速ダウンロードしたわけね。 英会話の練習に使えるみたいなニュースを見てたから興味津々でトライしたわけよ。 そしたらまあ俺の英語力では話すのも聞き取るのもままならず、到底使いこなせる”域”に達してねえなこりゃ、と早々に自分に失望したよ。 はあ、アンインスコするか・・・と思いながら設定ちょろちょろ弄ってたら「Speach」の欄にMain Languageって項目があって、そこがAuto-Detect（自動検出）になってたんよね。 あっこれのせいか！俺の英語力が悪いからじゃなかったんだと思って、Englishに切り替えてもう一回やってみたわけ。 そしたら案の定結果は変わらずさらに落ち込んだ。 で、もうどうでもいいやと思いながら日本語で適当に話しかけたんだよ。 そしたら！ なぜか俺が日本語で話
ChatGPT for Developer - Promptのチカラ
ChatGPT がアプリケーションに最初に組み込まれたのは GitHub Copilot かもしれません。ここでは、ChatGPT そのものと、GitHub Copilot の双方を使って、アプリケーション開発を爆速させ、品質を少しでも向上させ。そして、Developer の皆さんのスキルを上げていくための入り口として、機能の概要を取り上げます。 内容: - Promptだけで出来るコト: 業務で使うために抑えておくべきポイント。データ・変換・抽出 - PromptのEngineeringへの適用: 企画から要件定義、設計、実装、デプロイも。 - 開発の生産性と品質をあげるための戦略: Prompt自身の現在の能力、チーム開発に向けて サンプルのPrompt: https://github.com/dahatake/ChatGPT-Prompt-Sample-Japanese/tree/m
AIにニュースの収集を任せている方法（GPT-4からSlack投稿） - toyoshiの日記
キーワードベースで情報収集をしているという下記の記事を読みました。私も似たようなことをしているのですがキーワードは使わない方法でニュースの収集をしていて、そのほうがLLMを活用できていると思うのでその方法を紹介します。 forest.watch.impress.co.jp キーワードではなく自分の目的や関心を伝える 以前私が手動でやっていたのはRSSリーダーにサイトを登録して、記事のタイトルと概要を読んで気になる記事を開いて読むということでした。こういうときに人間はキーワード検索をしていません。何をしているかというと自分の目的や関心があって、それに関連する記事をピックアップするということです。それと同じようなことをさせようというのが今回紹介する方法です。 ポイントは今回の場合は私の所属する会社について情報をプロンプトで与え、それに関連するニュースが何かをLLMに考えさせることです。 今回の
ChatGPTで本を出した27歳、たった2カ月半で「11万字」を執筆・編集した秘密とは？
やなぎや・とものり/1972年12月生まれ。1998年からITライターとして活動しており、ガジェットからエンタープライズ向けのプロダクトまで幅広い領域で執筆する。2018年から、NPO法人デジタルリテラシー向上機構（DLIS）を設立し、ネット詐欺の被害をなくすために活動している。 https://prof.yanagiya.biz/ https://peraichi.com/landing_pages/view/dlis/ ChatGPT、あの会社はどう使ってる？ ChatGPTに代表される生成AIは、誰にでも使える技術としてすっかり身近になりました。日々の仕事に活用したいと考えている人も多いのではないでしょうか。本連載では、ChatGPTなど生成AIを実際の業務に活用している企業に取材を行い、どのように導入・利用しているかをくわしく聞いていきます。 バックナンバー一覧 ChatGPTを筆
【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
キーワードを選ぶと自動で記事が書けちゃうAIライター
至極真っ当で常識的な文章が上がってきます。 OpenAI のチャットボットAI｢ChatGPT｣が大流行しており、今やさまざまなアプリやサービスにも組み込まれるようになっています。 もちろん公式サイトで使うこともできますが…いざとなると何を質問してどう活かせば良いのか？ 使い道がハッキリしていないと猫に小判ですよね。 AIに原稿を書いてもらおう株式会社ユーザーローカルが開発したのは、ChatGPTのGPT-4と連携した記事作成サービス｢ユーザーローカルAIライター｣。 使い方は非常に簡単で、テーマを決めたらまず関連がある単語を2～5個ほど入力するだけ。どんな流れで原稿ができるのか、調査がてらレッツ・トライです。 Image: 株式会社ユーザーローカル試しに｢夏休み 子供 熱中症対策｣と入力すると、｢関連キーワードを選択｣画面に進みます。そこでまた3～10のキーワードを選択すると？ Imag
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
知らなきゃ損損！SNSでバズったChatGPTの意外な活用事例10選 | WEEL
今回のコラムでは、2023年7月3日現在、Noteで「もっと注目されるべき価値がある！」と私が感じた記事を紹介させていただきます。 読者の皆様のお役に立ち、ChatGPTをさらに活用できる内容になっているので、ぜひ最後までご覧くださいっ！ なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。 →無料相談で話を聞いてみる 【革新！】ChatGPT APIで最新のお天気情報を取得！ ChatGPTの機能を拡張する新たなツール Function API. これを活用すればさまざまな機能をChatGPTに実装できます。 記事では、Open-MeteoのAPIと組み合わせて、あなたの質問に対する天気情報を即座に提供するプログラムが紹介されています。 これから、どんどんChatGPTと連携した便利なサービスが登場しそうです！
機械学習エンジニアのためのTransformers
「Hugging Face Transformers」を使った自然言語処理の解説書。2017年の登場以来、Transformerと呼ばれるアーキテクチャを使った大規模なモデルが急速に普及しています。本書では、Hugging Faceの開発者らが、「Hugging Face Transformers」を使って、これらの大規模モデルを学習しスケールする方法をわかりやすく紹介します。テキスト分類、固有表現認識、テキスト生成、要約、質問応答といったタスクだけでなく、蒸留、量子化、枝刈り、ONNX Runtimeといったモデルの高速化技術、ラベル付きデータが少ないときに使えるゼロショット学習や少数事例学習、その他、多言語転移やドメイン適応といった類書では扱っていない技術についても解説しています。 賞賛の声 序文 訳者まえがき まえがき 1章 入門Transformers 1.1 エンコーダ・デコーダ
今井むつみ 言語習得に見る知性の本質｜社会｜中央公論.jp
ユーザーが問いかけた質問に対してほぼ的確な答えを生成できる対話型AI、ChatGPTが話題だ。人間の使うことばとは何が違うのか。どう使いこなせばいいのか。オノマトペや「記号接地」をキーワードに、今井むつみ慶應義塾大学教授が語る。 （『中央公論』2023年7月号より抜粋） 赤ちゃんに易しく外国人に難しいことば ──子どもはことばをいかに覚えるのかを研究する今井さんですが、今回はAIの言語学習との比較などを通して、両者の違いについて伺います。まず、最新刊『言語の本質』では、日本語を話す人はオノマトペを言語習得の足場とするとのことでしたが、どういうことなのでしょうか。 英語は日本語のようにオノマトペが体系化されていませんが、だからといって英語が音と意味のつながりが薄い言語というわけではありません。英語には音の感触が織り込まれた動詞が多いんです。例えばtickle（くすぐる）。語感に日本語でいう「
ChatGPT（とその周辺）の技術
はじめに こんにちは。ZENKIGENデータサイエンスチームの栗原です。現在は主に『harutaka EF（エントリーファインダー）』の自然言語処理周りの研究開発に携わっています。 ChatGPTがOpenAIから公開され約半年が経ちましたが、この半年の大規模言語モデル、生成AI周りの発展スピードは凄まじいものです。 日本でも大きな盛り上がりを見せており、個人から企業、研究機関においてさまざまな活用、日本語モデルの開発等が活発に行われている印象です。 ZENKIGENにおいてもChatGPTを含め大規模言語モデル、生成AIをプロダクトに活用する上での様々な検討が進んでおり、その一環として社内勉強会で『ChatGPT（とその周辺）の技術』というお話をしました。 本記事は、これを外部向けに公開するものです。 内容は、OpenAIがChatGPTに至るまでの変遷として GPT（GPT-1）から
【速報 : OpenAI APIがアップデートされました！！】GPT-4, GPT-3.5の0613版がリリース / GPT-3.5のコンテキスト長が4倍に / 新機能Function callingも追加 | DevelopersIO
Function callingは開発者向けとしては目玉の機能追加だと思います。 自身で定義した処理を組み込んだチャットが実現できる機能となっています。 文字での説明はちょっと難しいので、詳細は以降の試してみるでご説明致します。 試してみる それでは実際に動かしてみます。 環境 Google Colaboratoryを使います。 !python --version Python 3.10.12 openaiライブラリを入れておきます。 !pip install openai !pip freeze | grep -e "openai" openai==0.27.8 インポートおよびAPIキーを設定します。 import openai import os openai.api_key = "{sk-で始まるAPIキーを指定してください。}" とりあえず新しいやつを動かす 以下のコードで動かし
GPTのモデル構造を可視化した｜shi3z
GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from transformers import pipeline, set_seed generator = pipeline('text-generation', model='gpt2') m= generator.model x= m.generate() y= m.forward(x) image = make_dot(y.logits, params=dict(
ChatGPTプラグイン「Notable」だけでデータ分析コンペに挑戦してみた話 - Qiita
ChatGPTプラグインの「Notable」を使って、データ分析コンペに挑戦してみたところ、想像以上の結果を出してくれたので共有します。 今回は人間は簡単な指示を出すだけで、ほとんど全てをChatGPTに任せる方針で行なっています。 こちらの記事のように上位6.5％に入りました！という華やかな結果にはなりませんでしたが、予想以上の結果にはなったのでぜひ最後まで読んでみてください！！ データサイエンティストがChatGPTを活用するための記事をまとめているので、こちらもぜひ参考にしてみてください。 ChatGPTプラグインとは ChatGPTプラグインは、ChatGPTをサードパーティのアプリケーションと連携させるツールです。 これは、GoogleスプレッドシートのアドオンやGoogle Chromeの拡張機能と同様に、公式だけでなく第三者の開発者が作成した機能をChatGPTに追加すること
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
