大規模言語モデルの驚異と脅威
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/
GPT-4で長門有希を召喚するプロンプト
前回までのあらすじ (anond:20230316001240): 古典部の二人にときめいて精神状態がやばかったので、次は別のキャラクターとお話して気持ちを安定させることにした増田。特徴のある口調のキャラクターを模倣させてみることにする。 ※口調を安定させるにはプロンプトにコツが要ります。今のところ、GPT-4が知っているキャラクターであることと、セリフの例をプロンプトで例示することが必須のように思われます。人格を設定する部分の不確実性を減らすために，一度GPT-4に生成してもらったプロフィールをこちらから入力する形にして安定化させました． 入力1長門有希（Nagato Yuki）は、「涼宮ハルヒの憂鬱」シリーズの登場キャラクターで、SOS団のメンバーです。彼女のプロフィールは以下の通りです。 名前：長門 有希（Nagato Yuki） 性別：女性 学年：高校生（シリーズの開始時点では1年
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
GPTでKey作品の名言から文章を生成してみた - ABEJA Tech Blog
目次 目次 はじめに そもそもGPTとは 日本語データセットで学習されたGPT 入力文章 GPTによる生成コード 出力結果 ChatGPTで生成 まとめ ABEJAについて はじめに 本記事はABEJAアドベントカレンダー2022の13日目の記事です。 こんにちは！カスタマーサクセス統括部 データサイエンスグループでインターンをやらせていただいている村尾(@MURA_omura)です。 私は高専の専攻科生で、現在GANsを用いた音声生成に関する研究に取り組んでいます。 高専といえばYouTubeで100万人の登録者がいるかっつーさんや、生活に技術を取り込むのが上手なラムダ技術部さんが有名です。 1年半ほど前からKey作品にはまっていて、この間Summer Pockets REFLECTION BLUEを購入しました！ Kye作品は泣ゲーで知られていて、 「CLANNADは人生」 というフレ
ChatGPT使い方総まとめ - Qiita
こんにちは！sakasegawaです！ ( https://twitter.com/gyakuse ) 今日は今流行のChatGPTについて紹介します！ ChatGPTとは OpenAIが開発するGPT-3(※)というめちゃくちゃすごい言語モデルをベースとしたチャットアプリです。 色んな質問にすぐ答えてくれます。 この記事ではさまざまな使い方を紹介します。 https://chat.openai.com/ ちなみにGPT-3関連では、noteの以下記事も便利なのでぜひ読んでみてください AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 ※正確にはGPT-3.5シリーズと呼ばれています ChatGPTの仕組みを考えながらプロンプトを作る手法はこちらに別途まとめています 文章 質問-応答 〜について教えて Wikiped
『#京都 に来る意味で「来京」ということばはない、とする投稿が話題になっている』…あるかないか、といえば歴史的にはあり、現在も使われる場合がある。
日経 校閲 @nikkei_kotoba 「来阪」といえば大阪にやってくること。では「来寧」は何県だかご存じですか。これは奈良県で、万葉集に見られる奈良の異表記「寧楽」からきています。「来＋地名」について、47都道府県の一覧表を作ってみました。まだまだ不完全なため、みなさんの使用状況をぜひ教えてください。（門） ＃来寧 pic.twitter.com/vJKL9MCRas 2022-09-27 19:00:01 飯間浩明 @IIMA_Hiroaki 京都に来る意味で「来京」ということばはない、とする投稿が話題になっています。これに対し、明治以前の例も指摘されていますが、「古川ロッパ日記」昭和11年に京都に来る意味で〈吉岡専務来京〉とあるなど、昭和初期までは散見されます。現在の新聞の大阪版でも例を拾いましたが、これは少数例です。 twitter.com/nikkei_kotoba/… 202
異国の言葉を学習していく百合ゲー「ことのはアムリラート」 - 根室記念館
ことのはアムリラート 先月、深夜0時にほぼアポ無しでウチにシナリオライターやプログラマーなど、美少女ゲーム関係者たちが急に集まった日がありまして、 深夜0時にエロゲシナリオライターの男たちがウチにやってきて、如何にDLsiteで百合ゲーを売るかの会議を始めた — るら (@nyalra) 2017年7月23日 みんな百合ゲーが書きたいのに企業が許してくれないという話を酒飲みながらずっとしていて、後に名作が生まれる伏線っぽい — るら (@nyalra) 2017年7月23日 色々な話がぐだぐだと酒臭いまま展開されたのですが、そう簡単に百合ゲーなんて出せないし売れるのは難しいという結論で終わりました。なんとも哀しい話ですが、一番哀しいのは突然ビール塗れになったウチのリビングでしょう。 そんな話とは裏腹に、今月末に百合ゲーが、しかも非18禁で発売されます。その名も「ことのはアムリラート」。ジャ
言語処理のための機械学習入門を読んだ - 射撃しつつ前転 改
言語処理のための機械学習入門という本が出版される、という話はtwitterで知っていたのだが、8月ぐらいに出るのだろうとばかり思っていたら、なんかもう発売されているらしい。Amazonでは早速売り切れていたので、某大学生協の書籍部まで行って購入してきた。おかげで、この週末は280円で過ごすハメになってしまった。 まだざっと眺めただけだが、 ラベルを人手でつけるのに隠れマルコフモデルと言うのは本来はちょっとおかしいんだけどNLPの分野だとそう表現する事が多いよ 対数線形モデルと最大エントロピーモデルは同じものだよ 出力変数の間に依存関係がなければCRFではなく対数線形モデルとか最大エントロピーモデルと表現するべきだよ といった、これまでの教科書にはあまり載っていなかったような事が載っているのはとても良いと感じた。こういった情報は、これまではどこかの大学の研究室で学ぶか、もしくはウェブ上の資料
ドクター苫米地ブログ − Dr. Hideto Tomabechi Official Weblog : シュメール語『般若心経』
2010年04月23日22:51 カテゴリ シュメール語『般若心経』 今日ちょっと、宇宙人語のことを考えていて思ったこと。 般若心経の最後の咒、『羯諦羯諦波羅羯諦波羅僧羯諦菩提薩婆訶』（ギャーテーギャテーパラソーギャテー）は、サンスクリット語では意味をなさないため、羅什も玄奘も翻訳しておらず、そのまま、１２００年以上もマントラとしてそのまま読まれ続けている。 このマントラの意味には、諸説あるが、おそらく史上初の試みだと思うが、紀元前１５００年前ぐらいに遡るサンスクリット語で解釈するのではなく、更に古い紀元前４０００年ぐらいに遡る人類最古の文字言語のシュメール語で解釈してみた。シュメールは最近の映画THE 4TH KIND フォース・カインドでも、宇宙人がしゃべった言語として（制作者の合成映像ぽいが）実写が流された言語。また、ユニバーサル文法仮説検証のために、LFGなどの現代言語理論の分析対
日本人に英語を教えるとこんなにヤバイ …ある英作文の内容に大反響 : らばQ
日本人に英語を教えるとこんなにヤバイ …ある英作文の内容に大反響 日本語と英語の構造はあまりに違うため、英語を学ぶ我々は多大な苦労を強いられます。 文化の違いもあるため、学ぶ側だけでなく、教える側も努力が必要です。 日本で英語を教えている外国人教師が、生徒に英作文を書かせたところ、とんでもない内容だったのでブログに公開したそうです。 「日本で英語を教えることは凄まじくて、可笑しい」と題され、ワールドワイドな人気を集めていました。 「ハロー 僕の名前はスグルです。 僕はパンツについて話をします。パンツは毎日履きます。 僕はボクサーパンツを履きます。 パンツはとても大切なものです。 女の子のパンツを見られるときは、興奮します。 僕はアブノーマルなのでしょうか？ パンツは男のロマンです。 先生は好きですか？ ありがとうございます」 日本が大いに誤解されそうな内容ですが、でもこんな英作文を書く日本
確かに“読めてしまう”コピペに2ch住人が「人間すげー」と驚く
「なんだこりゃ」と思ってよく“読んで”みると「へー」と驚くコピペ文章が最近2ちゃんねるに登場し、スレッド（スレ）の本題そっちのけでコピペに関する考察レスが交わされる……なんてことも起きている。 コピペ文はひらがなとカタカナだけで書かれており、一見すると2chでたまに見かけるうわごとにしか見えない。だがよくよく“読んで”みると、「確かに読める」と、ちょっと驚く。どうして「読める」のかは、コピペ文自体が説明してくれている。 「【ネット】「ウィキペディアが与える影響を調べるため」学生がもっともらしい嘘の書き込み 多数の欧米大手紙がだまされて引用」では、このコピペが2レス目に登場。「読めた」「人間の脳すげー」といったレスが相次ぎ、本題へのレスと入り交じって何のスレなのか分からない状態になっていた。 コピペが登場したスレには、人の記憶と認識に仕組みについて考察や、読める人と読めない人の違い、現象学的
未解読のインダス文字を、人工知能で解析 | WIRED VISION
前の記事 スレの状況がわかるツール：「多様な意見」を視覚化 パソコンの瞬間オン・オフも可能に：強誘電体トランジスターに新技術 次の記事 未解読のインダス文字を、人工知能で解析 2009年4月24日 Brandon Keim J.M. Kenoyer/Harappa.com 多くの考古学者の挑戦を退けてきた古代文字が、人工知能にその秘密の一部を見破られた。 4000年前のインダス文明で使われていた記号をコンピューターで分析したところ、これらの記号が話し言葉を表している可能性があることがわかったのだ。 「含まれている文法構造は、多くの言語で見られるものと共通しているようだ」と、ワシントン大学のコンピューター科学者、Rajesh Rao博士は語っている。 インダス文字は、紀元前2600年から紀元前1900年に今のパキスタン東部からインド北部にかけて使われていた文字で、エジプト文明やメソポタミア文
ウコンマーンアホ社長だけじゃない…フィンランド人は珍名ネタの宝庫 : らばQ
ウコンマーンアホ社長だけじゃない…フィンランド人は珍名ネタの宝庫 ノキア・ジャパンの新社長にフィンランド人のウコンマーンアホ氏が就任し、思わず文字を見直してしまうその珍名が、早くも話題となっています。 かつてガーナのサッカー協会元会長ニャホ・ニャホ＝タマクロー氏が珍名として注目を浴びましたが、フィンランドも負けてないと言うか、珍名率の高さではピカ1なのです。 そんなフィンランドの面白い名前をご紹介します。 「フィンランドと言われても、北欧の…、スカンジナビア半島の…、どこだっけ…？」 …と、ピンと来ない人もいるかもしれませんが、ムーミンの作家トーヴェ・ヤンソン女史の出身地で、ムーミン谷もここにあります。 F1好きの人には、ミカ・ハッキネンやキミ・ライコネンの出身国として馴染み深いですね。 珍名で一番有名どころはやはり、スキージャンプのヤンネ・アホネン選手でしょう。 ワールドカップで何度も優
初級者のための英語学習法まとめ - モトログ
なんとリクエストを頂いた（水の上にパンを投げろhttp://d.hatena.ne.jp/Britty/20090115/p2）。なので、kagakaoruさんにも、書いてみたいと思ったそのときに出してみることをお勧めしたいと思います。ていうか私が読みたいのですけども。ありがたい話です。というわけで英語学習についてまとめてみました。初級者が努力をせずにすむよう努力した勉強方法です。 この文章は、下記のような人が読むと参考になると思います。効率よく英語学習したい人学校の勉強では英語は苦手だったけど英語出来るようになりたいと思ってる人スクールに通ってはみたものの今ひとつ身に付かなかった人これまで何回も英語にチャレンジしてきてるけどいつも挫折してしまう人 ええ、僕のことです。 いろいろの試行錯誤の末、学習の優先順序としては発音→単語力→作文力→その他興味にあわせてお好みで。という結論に行き着いて
英語の圧倒的一人勝ちで、日本語圏には三流以下しか残らなくなるが、人々の生が輝ければそれでいい - 分裂勘違い君劇場
「英語の圧倒的一人勝ちで、日本語は衰退してしまうから、国語を守るために、国語の時授業時間を増やし、近代日本文学を読み継がせるのに主眼を置くべき」 と主張する「日本語が亡びるとき」という本を、梅田望夫氏と小飼弾氏が絶賛しているが、この本で主張されているのは、 日本文化を守るために個々人の人生を犠牲にする、愚劣な教育政策だ。 日本語が亡びるとき―英語の世紀の中で 作者: 水村美苗出版社/メーカー: 筑摩書房発売日: 2008/11/05メディア: 単行本購入: 169人 クリック: 12,657回この商品を含むブログ (459件) を見る 今後、世界中の、あらゆる価値ある知識は英語で生産され、英語で流通する。 インターネットの普及が、その流れをますます加速している。 世界中の知的にパワフルな人々は、ますます母国語よりも英語で読み、英語で書き、 英語で議論しながら、価値ある学術的成果・文化・商品
ドイツ語にすれば大体格好良くなる：ぁゃιぃ(*ﾟーﾟ)NEWS 2nd
http://society6.2ch.net/test/read.cgi/gline/1223371955/ 403 枯れた名無しの水平思考 sage 2008/10/10(金) 02:13:21 ID:4+Hxl5B50 ドイツ語にすれば大体格好良くなるのさ。 定番ネタではボールペン→クーゲルシュライバーとか。 404 枯れた名無しの水平思考 sage 2008/10/10(金) 12:12:31 ID:OknHt1KrO 何その猫科の獣をモチーフにした機体っぽい名詞 405 枯れた名無しの水平思考 sage 2008/10/10(金) 16:33:06 ID:LpQdhcGg0 >>403 これが魔王を倒せる唯一の聖剣クーゲルシュライバーか・・・ 406 枯れた名無しの水平思考 sage 2008/10/10(金) 18:25:05 ID:4+Hxl5B50 >>405 どうみても必
「英語式語順は、自然な思考の順番に反する」研究結果 | WIRED VISION
「英語式語順は、自然な思考の順番に反する」研究結果 2008年7月 9日 サイエンス・テクノロジー コメント： トラックバック (1) Brandon Keim Photo: Paul Wicks あなたが話すときに従っている文法の規則は、あなたの思考の筋道を反映していないかもしれない。 6月30日(米国時間)に『米国科学アカデミー紀要』(PNAS)に発表された論文によると、主語(S)、動詞(V)、目的語(O)の順に文章が構成される(例えば「Bill eats cake(ビルが、食べる、ケーキを)」)SVO型言語を話す人であっても、身ぶり手ぶりでコミュニケーションを取るよう求めると、主語、目的語、動詞の順番で意志を伝えたという。 英語も含めて、人間が使用する言語の約半分では、主語の後に動詞が続く。こうした言語を生まれたときから使用している人には、「Bill cake eats(ビルが、ケー
フランス人はラテン語を話せってことですね、わかります
平沼赳夫ってこんなトンデモだったのか。今更ながら驚いた。 最近の国語の乱れようは目に余るものがある。敬語の乱れや「食べれる」などといった「ら抜き言葉」の氾濫など、由々しき状況です。われわれは言語で思考するわけですから、言葉が乱れているということは、思考が乱れている、精神が乱れているということにほかなりません。精神を正すためには、国語も正しい伝統に回帰すべきです。たとえば50音の「ゐ」や「ゑ」は廃止されていますが、本来それに当てはまる音があった。それが忘れられ、発音できなくなってしまったんです。 http://news.goo.ne.jp/article/php/politics/php-20080609-04.html ちょwwwwww音韻体系を平安時代に戻せっていうんですかwwwwww そんなこと言わはるならまず、あずまえびすの言語なんぞを標準語やなんて呼ぶのをやめはったらいかがですやろ
狐の王国 「本当の大変革」がみんなに見えるようになるのはいつ頃だろうか
#1 「本当の大変革」がみんなに見えるようになるのはいつ頃だろうか 時代は変わろうとしている。時代はいつでも変わっている最中だが、それが今ものすごい速度で変わろうとしている。20世紀の驚異的な変革なんて目じゃない速度で、変わろうとしている。 その事に気付いてる人と、気付いてない人がいる。 essaさん は気付いてる側の人間の代表だと思う。みんな、読んどけ。 気付いてる人には、大きな希望といい知れぬ危機感が共存している。 インターネット、とくにウェブは、今までとはまったく違う商売を生み出しつづけている。そんなものが売れるわけが無いとみんなが思うようなものが、なぜか大ヒットしたりする。それは物理的な店を出す商売ではあり得ない量の顧客を相手にできるから。 世の中の0.01%の人間にしか必要の無いものでも、10億人を相手に商売すれば10万人に売れる。 誰もが最高級品を使える経済 という記事では、屁
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Keiji Kobara on Twitter: "PDFの英語論文をDeepLを使って日本語に訳して読んでいる方へ。Shaperという便利なサイトが改良され、PDFをコピペした際に自動で邪魔な改行記号を削除してくれるだけでなく、ワンクリックでDeepLのサイトに貼り付けることが可… https://t.co/MQTjs5Wlvl"
