近年、ChatGPTを始めとする大規模言語モデル*1に大きな注目が集まっておりますが、これらは膨大な知識をモデル内に有することで高い言語処理性能を示す一方、学習に要するエネルギーは、原発1基1時間分の電力量が必要*2とも言われており、また、運用には大規模なGPUクラスタを必要とし様々な業界に特化するためのチューニングや推論にかかるコストが膨大であることから、サステナビリティおよび企業が学習環境を準備するための経済的負担面で課題があります。 NTTでは、これらの課題を解決する研究開発を進め、今回、軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*2」を開発しました。「tsuzumi」のパラメタサイズは6~70億と軽量であるため、市中のクラウド提供型LLMの課題である学習やチューニングに必要となるコストを低減します。「tsuzumi」は英語と日本語に対応し
ムラマツ@StudioZOON @yogoharu5535 マンガ編集者。講談社入社→週マガ→ライバル→ヤンマガ→コミックDAYS立ち上げ→モーニング→2023年よりStudioZOON(サイバーエージェント)。WEBTOONやってます。過去担当作→新旧『食糧人類』『トネガワ』『ハンチョウ』『イチジョウ』『僕の奥さんはちょっと怖い』『平和の国の島崎へ』『アポカリプスの砦』等 note.com/mi_muramatsu ムラマツ@StudioZOON @yogoharu5535 ChatGPTに「ヨーロッパの歴史を西暦1000年から2000年までを20年ごとにキャッチコピーをつけていってください。キャッチコピーは小学生でもわかる笑えるものにしてください」と入れた結果。 「1040年ノルマン人襲来!イングランドがワクワク大変身!」は笑った。今までで一番面白い出力だった。 pic.twitter
2010年代前半にKotlinが2011年、TypeScriptが2012年、Swiftが2014年、Rustが2015年と、新しいプログラミング言語が立て続けに発表されていましたが、そこを最後にみんなが話題にするような言語は出てきていません。 なんでだろうと、思いつく要因をあげてみます。 ※ 追記2023/5/11 わざとなのか「みんなが話題にするような」を無視してツッコミ入れてる人いるのだけど、言い換えれば「新しい言語が出てもみんな話題にしない」という話です。 プラットフォーム用の言語が出そろった Kotlin、TypeScript、Swift、Rustが2010年代前半に出てきましたが、これはJVM(Android含む)、ブラウザ、Appleデバイス、ネイティブといった代表的プラットフォームでほどほどの言語が出そろったということではないかと思います。 結局のところプログラミング言語は
こんにちは。 ECコンサル会社を経営している、あびるです。 今回はChatGPTでマインドマップを作る方法をご紹介します。 この方法を使えば、長くて難しくて読みたくない文章も、情報が小分けされた状態で視覚的に分かりやすくなります。 プロンプト例太宰治の走れメロスのストーリーについてマインドマップにまとめて、PlantUMLで出力してください。出力結果 @startmindmap !define AWESOME mindmapBackgroundColor White * 走れメロス ** 主要登場人物 *** メロス **** 無実の罪で逮捕 **** 王に誓いを立てる **** 結婚式へ向かう **** 友人セリヌンティウスに会う **** 王に戻る *** セリヌンティウス **** メロスに協力 **** 王のもとで身代わりに *** 王 **** 独裁者 **** メロスを逮捕 *
Stability AIは、同社が提供している画像生成AI「Stable Diffusion」を大幅に強化した「Stable Diffusion XL」(SDXL)をオープンソース公開する計画であることを明らかにしました。 学習データを従来の9億パラメータから、23億パラメータへと大幅に強化。これが次期バージョン3に組み込まれるとしています。現在パートナーに対するベータ版提供を行っていますが、パートナーでなくても、DreamStudioユーザーであれば利用できます。 DreamStudioは、Stability AIが提供するAI画像生成サービス。これまで、Stable Diffusionのバージョン1.5、2.1、そして2.1で768×768ピクセルの高解像度描画ができるモデルを利用できていましたが、これにSDXL Beta Previewが加わりました。 ▲DreamStudioならS
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT(を支えるTransformerという仕組み)をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 (1)大まかな背景と概要:本記事 (2)GPTの能力と可能性:実際の使用例とTransformerの仕組みを踏まえて説明 (3)GPTの限界と未来展望:Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い: トークン長とは何か? まずここから話を始めます。GPT-3は、パラメータ数が750億個(850GBの容量を食う)でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
ChatGPTから効率よく知識を得られた。 と自分では思っていても、それがウソ知識であることは、よくあります。 そこで、なるたけChatGPTのウソに騙されないようにする方法について書きました。 たとえば、今、僕はガリア戦争(紀元前58~50年)を舞台にしたSF娯楽小説の戦闘シーンを書いているのだけど、ローマ兵の剣の刃渡りの長さがわからないと戦闘シーンの駆け引きの描写がリアルにならないし、挿絵も描けない(プロの方にカラー挿絵を描いてもらうことになっている)。 そこで、以下のようにChatGPT(GPT4)に聞いてみた。 ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか? ChatGPT(GPT4)の回答は以下の通り: ガリア戦争に従軍したローマ兵は、主にグラディウスと呼ばれる剣を使用していました。グラディウスの刃渡りはおおよそ45センチメートルから60センチメートル(約1
こんにちは!逆瀬川 ( https://twitter.com/gyakuse ) です! 今日発表されたGPT-4について見ていきたいと思います。 なにがすごいのか 専門的な問題を解けるようになった たとえば米国司法試験で上位10%、GPT-3.5は下位10%だった 非常に長い文章を入出力できるようになった 最大で32k tokens (日本語で約2.5万文字、文庫で50pくらい) 画像をもとに会話できるようになった (これは実験段階でまだ提供されません) 特に嬉しいのは32k tokensまで文章を扱えるようになったことでしょう。 たとえば小説を書くみたいなときも、プロット、設定等に3000文字使っても、残り2.2万文字くらい使えます。 画像をもとにした会話の例 USER: この画像はどこがおかしいですか?パネルごとに説明してください GPT-4: この画像は、3つのパネルで構成される
クリエイターに出会ったり、もっとファンになったり、noteで創作をつづけたくなるようなイベントを開催する「noteイベント」。今回は「チャットAI使いこなし最前線」をテーマに、黎明期からチャットAIを活用しているnote CXOの深津貴之氏が登壇しました。こちらの記事では、ChatGPTユーザーの悩みを解決するプロンプトなどが語られました。 ChatGPTユーザーの悩みを解決するプロンプト 徳力基彦氏(以下、徳力):まず今日はChatGPTの使い方をしっかり覚えていただきたいと思います。ここで「深津式汎用プロンプト」。 深津貴之氏(以下、深津):僕は1個1個、個別の例を出すのはあんまり好きではないです。さっき言ったように原理原則を1個理解すれば、全部その原理原則から引っ張れる方向が好きですね。 なので今日も、細かいプロンプトを出すよりは、だいたいあなたの悩みのすべてを解決するプロンプトを1
店で人と話すのが面倒だから、全部セルフレジやセルフサービスになってほしい、と昔から思っていた。人と接すると会話エネルギーを消費する。だから誰とも接触せずに、一言も発さずに外食をしたい。 最近は実際にそういうシステムの店が増えてきた。券売機で食券を買うと、自動的に注文がキッチンに送られて、呼出番号がモニターに表示されたら自分で料理を取りに行く。そして食べ終わったら自分で食器を返却口に返す。大手の牛丼チェーンなどでもそうしたシステムが採用されている店が増えている。 それは自分にとって理想的なはずだったのだけど、ちょっと最近は、あまりにも自動化されているのも嫌かもしれない、という気持ちが出てきた。 例えば大規模チェーンの回転寿司などに行くとそう感じる。最近は醤油にいたずらした動画が炎上したりしていたけれど、ああいう事件が起こりやすい理由はわかる。完全に自動化されていて人間の目がないから、いたずら
4/19 ソースコードのバグを修正しました 花粉症で午前二時に目が覚めた。 ふと 「ChatGPTの結果を組み合わせて物語を作ったり議論したりするのをPythonで書くの面倒臭くない?」 と思った。 誰かが作っていそうなので探したのだが、僕の観測範囲では世界のどこにもなかったので、とりあえずBlocklyで作ることにした。 今夜19時からは、日本ディープラーニング協会が主催する大々的なイベントがあり、connpassとPeatixであわせて6000人近い人が参加するらしい。 そこに登壇するときのネタとして、なんか作っておくか、と思った。 GPT Blocklyの基本的な構造 基本ブロックは三つ 基本ブロックテーマを設定するブロックと、話の流れに対し、ある「人物」として、「提案」もしくは「反論」などを行うブロック。 それと、複数の意見をまとめて要約するブロック である。 意見を述べるブロック
◆◆◆ 「確率的に確からしい」という言葉を続けるロボット ――最近、ChatGPTという言葉をよくインターネットで目にします。なんとなく「こんなことができるのかな……?」というイメージは湧いているのですが、具体的なサービス内容を簡単に教えてもらえるでしょうか。 深津貴之氏(以下、深津) 一言で言えば「人間の言葉で質問すると、人間の言葉で答えてくれるロボット」です。 例えば、質問に答えてくれたり、相談に乗ってくれたり、長文を要約してくれたり……。これまでの“検索”とは違って、人間的な知性があるかのように“文章で返答をしてくれる”のが大きな特徴というサービスですね。 お昼ごはんについて質問したときの回答。これまでの“検索”とは良くも悪くも勝手が違うことがよくわかる これはAIに大量の単語を学習させることで、「直前の単語に対して、最も可能性が高い次の単語を予測している」んです。例えば「むかしむか
◆◆◆ ChatGPTとしのぎを削るライバルたち ――ChatGPTのほかにも似たようなサービスはあるんですか? 深津貴之氏(以下、深津) ありますよ。ChatGPTはいわゆる「大規模言語モデル(LLM)」というジャンルのAIで、このジャンルに限ると、開発中のGoogleの「Apprentice Bard」やMetaの「LLaMA」、すでに運用されているMicrosoftの「Bing Chat」などが有名どころですかね。 Microsoftの「Bing Chat」使用画面 AmazonもHugging Face(編集部注:機械学習アプリケーションを作成するためのツールを開発しているアメリカの企業)と連携してこれから開発したい、みたいなノリです。Appleだけは沈黙を守っているという状況ですね。 ――それぞれのサービスで得意なことは変わってくるのでしょうか。 深津 LLMはネット中の文章を全
賢いチャットAIとして話題のChatGPT。筆者も試しに課金をして、あれこれチャットを楽しんでいます。それで、ここまでの結論としては表題の通り、ChatGPTは質問をするよりも、作業を依頼する方が良さげだなと思いました。 知識が古くて、質問には使えない なぜかというと、ChatGPTは現状では学習データが若干古く、例えば2023年2月時点で「日本の総理大臣は誰?」と質問をすると、菅義偉氏であると回答されます。(実際には岸田文雄氏) また、情報をまとめて管理している訳ではなく、例えば「店名」と「住所」など関連しているはずの情報がバラバラに管理されているのか、例えば「新宿駅近くのイタリアンのお店は?」といった検索サイトの代わりに使おうと思っても、実在しないお店などが表示されてしまって、現状では使い物になりませんでした。 一番上の「イルポンテ」というお店は、該当の住所はなさそうです(上石神井には
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く