日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える
要点 日本語能力に優れビジネスにも安心して活用できる大規模言語モデルを公開 継続事前学習により大規模言語モデルの日本語能力を改善 高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進 概要 東京工業大学（以下、東工大） 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所（以下、産総研）は、日本語能力に優れた生成AIの基盤である大規模言語モデル[用語1]「Swallow」を公開した[参考リンク1]。本モデルは現在公開されている日本語に対応した大規模言語モデルとしては最大規模であり、オープンで商用利用が可能であるため、ビジネスに安心して用いることができる。 東工大と産総研の研究チームは、英語の言語理解や対話で高い能力を持つ大規模言語モデル（米Meta社 Llama 2）の日本語能力を拡張することで「Swallow」を構築した
「社内のアレ分からん、教えてAI」実現 Microsoftの“自社版ChatGPT作成サービス”にデータ取り込み機能
「社内のアレ分からん、教えてAI」実現 Microsoftの“自社版ChatGPT作成サービス”にデータ取り込み機能 米Microsoftは6月19日（現地時間）、大規模言語モデル「GPT-3.5」などのAPIをクラウドサービス「Microsoft Azure」上で使える「Azure OpenAI Service」に、新機能「On Your Data」を追加した。ローカルやAzure上のストレージに保管するテキストファイルやPDF、PowerPointファイルを、GUIの操作でチャットAIに参照させられるという。まずはパブリックプレビュー版を提供する。 これにより、社内で分からないことがあったときに何でも質問できるAIチャットbotなどを作成しやすくなるという。 Microsoftが提案する活用例では、ユーザーの「サポートチケットはどうやって作る？」（How do I create a s
大学の授業でチャットGPTをどう扱うかについての覚え書き
１ はじめに 前回このブログを使ったのは3年前のちょうどこの時期のようです。コロナ禍で少し遅れてオンラインで授業が始まって、授業準備をしているときにコロナ関連の情報をまとめておこうと思って書いた記事でした。で、その後3年がたち、コロナ禍は一応区切りを迎えているわけですが、新学期の授業を始めるにあたっていろいろ考えなければならないという意味ではそのときと同じような状況が（もちろんいろんな意味で位置づけは違うのですが）再び…。 ということで、チャットGPTの話です。すでによく知られているようにこのアプリが登場したのは昨年11月、時期的には2022年度後期にすでに広まっていた可能性はあったし、実際アメリカの大学では一足早くレポートでの利用なんかが問題になったりしましたが、実質的にはこの4月から始まる2023年度が、日本の大学にとってチャットGPT元年ということになるのだと思います。 具体的な話に
大規模言語モデルの驚異と脅威
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/
ChatGPT で何が変わったか
2023 年 3 月時点で、自分の開発スタイルがどう変わったかを雑に書いておく。 どんなタイミングで何を聞いているか主に Go と TypeScript や W3C や IETF の仕様について聞く場合はほぼ ChatGPT Plus を利用している。間違いとかはどうせ公式ドキュメントを読めばいいので、正しさは求めておらず、きっかけを求めている。 最近では Cloudflare Workers 上で動く WebAuthn サーバーを実装しているが W3C の WebAuthn を開きつつも、ほぼ ChatGPT に相談しながら実装している。 TypeScript で Uint8Array から ArrayBuffer に変換する方法を聞いたり、証明書について聞いたりと色々。参考までにどんなことを聞いているかを紹介しておきたい。 WebAuthn で送られてくる署名の r と s がたまに
GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
ChatGPT と結城浩の対話（矛盾や反復を含んだ対話によってAIと人間の識別は行えるか）
chat.md 結城浩 こんにちは。今後、GPT-4を使ったアプリケーションやサービスがたくさん登場してくると思います。その中には、たとえばSNSを利用したbotもたくさん出てくるでしょう（現在でもすでにありますけれど）。そこで質問なんですが、SNSでおしゃべりしている相手が、人間なのか、GPT-4などの技術を使ったAIなのかを識別するにはどのような会話をしてみればいいでしょうか。一般的なAIでは難しいかもしれないので、GPT-4に限ってもいいです。あなたの考えを聞かせてください。 ChatGPT Model: GPT-4 GPT-4のような高度なAIと人間を識別するのは、時に難しいことがあります。しかし、いくつかの方法を試してみることで、相手が人間かAIかを見極めることができるかもしれません。 複雑な感情やニュアンスについて尋ねる: AIは感情やニュアンスを理解するのが苦手です。複雑な感
ワードやエクセルでGPT-4体験。Microsoft 365 Copilotはこんなことができる
ワードやエクセルでGPT-4体験。Microsoft 365 Copilotはこんなことができる2023.03.17 03:0078,929 amito 本日0時にマイクロソフトから｢Microsoft 365 Copilot｣が発表されました。 何が起こったのか簡単に言うと、ワードやエクセル、パワポなど、おなじみのお仕事アプリのほぼすべてにChatGPTのような対話型のAIが埋め込まれました。 ブラウザでChatGPTとお話するより格段に実用的だと思いますこれ。 マイクロソフトはこのAIを｢Copilot（コーパイロット：副操縦士）｣と呼んでいます。お仕事の助手のような存在ってことです。その助手が何をやってくれるのか、マイクロソフトが挙げている例をいくつか紹介します。 Outlookでメールの自動生成送りたいメールのざっくりした内容をCopilotに指示します。例では娘の高校卒業のお祝い
自民党AIの進化と実装に関するプロジェクトチーム｜衆議院議員 塩崎彰久（あきひさ）
GPTシリーズやお絵描きAIなど、ファウンデーションモデルの進化により再び大きな注目を集めるAI。自民党では2023年1月に「AIの進化と実装に関するプロジェクトチーム」（座長：平将明衆議院議員）を立ち上げ、日本のAI戦略のあり方や政策提言について検討を進めて参ります。こちらのページには、各回のテーマや公開可能な資料を順次アップロードしています。 2024年2月16日（金）8時〜9時 (＊25日英語版追加） テーマ：責任あるAI推進基本法（仮）について 昨年4月のAIホワイトペーパー発表以降、半年以上にわたり生成AIの法的ガバナンスのあり方について国内外のローメーカー、学者、実務家の方などと議論を重ねてきました。こうした検討を踏まえ、「フロンティアAIモデル」と呼ばれる特に強力な生成AIに対する我が国の新たな法的ガバナンスの一つの私案として、「責任あるAI推進基本法（仮）」を本日公表しま
自分のはてなブログをChat GPTにつないだ - hitode909の日記
id:nishiohirokazuさん作のScrapboxの情報をChat GPTに流し込んで対話するスクリプトがおもしろそうだったので動かして遊んでみていた。 自分のScrapboxをChatGPTにつないだ - 西尾泰和のScrapbox 自分のScrapboxからおすすめサウナを案内してもらえた。おもしろい。自分のはてなブログとも対話したい。 https://t.co/7L51YPVURe pic.twitter.com/ijVXEFDXGl— 趣味はマリンスポーツです (@hitode909) 2023年3月10日 自分はScrapboxよりはてなブログのほうをよく書いてるので、当然はてなブログと対話してみたい。 はてなブログのMT形式のエクスポート結果をScrapboxのエクスポート結果のJSONっぽく乱暴に書き換えるスクリプトを用意して、はてなブログのデータを使ってチャットでき
実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？
こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ
GPT-3 API を使って AI WAF を作る - まったり技術ブログ
※ネタ記事です はじめに 検証する脆弱性 Tips. GPT-3 とは？ WAFの実装 環境・必要なもの ソースコード 検証 正常リクエスト XSS GETパラメータ POSTデータ POSTデータ & ヘッダ無し SQL インジェクション GETパラメータ GETパラメータ & ヘッダ無し XXE POSTパラメータ① POSTパラメータ② POSTパラメータ & ヘッダ無し パストラバーサル GETパラメータ GETパラメータ & ヘッダ無し OS コマンドインジェクション GETパラメータ & ヘッダー無し GETパラメータ Log4Shell POSTパラメータ POSTパラメータ & ヘッダ無し POSTパラメータ & ヘッダ無し WordPress のユーザ列挙 ShellShock まとめ はじめに 最先端(?)であるGPT-3を使って 次世代WAF を作っていきます。 以下
PublickeyのIT業界予想2023。クラウドのコスト上昇懸念、Passkeyの普及、AIによる開発支援の進化、WebAssembly環境の充実など
PublickeyのIT業界予想2023。クラウドのコスト上昇懸念、Passkeyの普及、AIによる開発支援の進化、WebAssembly環境の充実など 新年明けましておめでとうございます。今年もPublickeyをどうぞよろしくおねがいいたします。 さて今年最初の記事では2023年のIT業界、特にPublickeyが主な守備範囲としているエンタープライズ系のIT業界はどうなるのか、Publickeyなりに期待を込めた予想をしてみたいと思います。 エネルギー価格の上昇、セキュリティへの注目など まずは予想の前提として、IT業界に影響を与えそうな現状についての認識を明らかにしておきたいと思います。 グローバルな視点で見たときに、IT業界だけでなく世界経済に大きな影響を与えているのは石油や天然ガスを始めとするエネルギー価格の上昇とインフレでしょう。 エネルギー価格の上昇はロシアによるウクライナ
ChatGPT にコードをレビューして貰う
はじめに 2022年、個人的には「AI 元年」と言って良い程、これまでは精通者しか扱えなかった AI による画像生成や対話などが、われわれ一般ユーザレイヤからも簡単に利用できるまでに AI が浸透してきた年だったと思っています。 特に ChatGPT の登場は革新的で、質問に対する回答の信用度はそれほど高くはないが、そこいらにいるいい加減な回答しか出来ない人達から比べれば、絶対的に有効な回答を自然な日本語で得られる様になりました。 もっと身近に ChatGPT の良さは品質の高さは勿論あるのですが、前提としてリーチするまでの身近さもあると思っています。GitHub からソースコードを clone して、どこかに置いてある英語しかサポートしていない言語モデルをダウンロード、または時間と電気代をふんだんに使って学習させたモデルを使い、さらにはコマンドラインからモデルへのパスを指定して起動、とい
Stable Diffusion のプロンプトで意味の足し算・引き算をする
TL;DR Stable Diffusion でプロンプトに重みをつけたり、意味の世界で足したり引いたりするよ 例: ピラミッド - エジプト + 日本 = ? 画風をシームレスに変換できるよ seed 変更だと大きく変わってしまうけど、小さい重みで補正かければ構図を維持したまま絵に微調整を加えられるよ 意味の足し算・引き算 Stable Diffusion では、内部的に以下の 2 ステップの処理を行うことでテキストを画像に変換している テキストをベクトル(数の組)に変換する ベクトルを画像に変換する ところで、以下の動画を見てほしい テキストをベクトルにすることで、意味の世界で足し算や引き算が実現できている。 これを Stable Diffusion に応用したらどうなるだろうか[1]。 以下では、プロンプトの計算ができるように機能追加したStable Diffusionを用いる。 機
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
令和5年度著作権セミナー「AIと著作権」の講演映像及び講演資料を公開しました。 | 文化庁
[Developers Summit 2023] ソフトウェアテスト新時代の幕開け: 機械学習とデータサイエンスで実現するテスト運用の高度化![[Developers Summit 2023] ソフトウェアテスト新時代の幕開け: 機械学習とデータサイエンスで実現するテスト運用の高度化](https://cdn-ak-scissors.b.st-hatena.com/image/square/0efe72a56b9d43a41e40530a646876ce37b6a9d5/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F2037a09e17cf4398ab0006d4fcfea1f9%2Fslide_0.jpg%3F24408296)
グーグル、高クオリティかつ高速なテキスト画像生成モデル「Muse」を発表
AIと呪文で、もう逢えない妻の新しい写真を捏造した（CloseBox） | テクノエッジ TechnoEdge
Imagicを理解する
