タグ

言語と研究に関するkenzy_nのブックマーク (4)

  • ChatGPTが実現した夢 | NEWS & BLOG | 株式会社Sigfoss

    どんな論文かと言うと、大量のドキュメントから自ら学習し、文章の意味するところを定式化された表現に変換する言語モデルを獲得する、つまり自然言語のエンコーダーモデルの学習についての研究の論文です。これ実は私の博士論文のタイトル。 たいした成果も出せずに手仕舞いしてしまった研究ですが、私の博士課程時代の夢は、この数年間で達成されたと言って過言でありません。正直生きているうちにこんなことが実現されるとは思っていなかったので、驚くばかりです。何の話をしているとかと言うと、巷で話題のChatGPTのことであり、もっと正確に言うとその基盤となっているTransformerのことです。(以後、わかりやすくChatGPTとしてしまいます) 少し話を戻しますが、私の研究の出発点は、子どもの母国語の習得課程にありました。子どもは特殊な教育をしなくても周囲からのインプットだけで、数年のうちに母国語を習得することが

    kenzy_n
    kenzy_n 2023/04/10
    着実に成長している。
  • 小鳥の鳴き声は言語だった 文法まで突き止めた日本人研究者:朝日新聞デジタル

    ","naka5":"<!-- BFF501 PC記事下(中⑤企画)パーツ=1541 -->","naka6":"<!-- BFF486 PC記事下(中⑥デジ編)パーツ=8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下(中⑥デジ編)パーツ=8826 -->","adcreative72":"<!-- BFF920 広告枠)ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag PC誘導枠5行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"

    小鳥の鳴き声は言語だった 文法まで突き止めた日本人研究者:朝日新聞デジタル
    kenzy_n
    kenzy_n 2021/09/14
    鳥の詩を聴く日も近い
  • AIが偽の国連演説文を生成、わずか13時間と1000円弱で--研究者が警鐘

    先ごろ公開された調査研究報告によると、人工知能AI)モデルはわずか半日で偽の国連演説文の書き方を覚えてしまうという。 このオープンソースの言語モデルは、Wikipediaのテキストと国連総会で行われた7000件を超える演説の台を使って訓練されたもので、政治指導者らと同じ論調の演説を簡単に模倣できたと、国連研究員のJoseph Bullock氏とMiguel Luengo-Oroz氏は述べている。 同研究員らによると、このモデルにいくつかの単語をインプットするだけで、理路整然とした「質の高い」テキストを生成できたという。たとえば、モデルに「The Secretary-General strongly condemns the deadly terrorist attacks that took place in Mogadishu」(国連事務総長は、モガディシュで死者を出したテロリスト攻

    AIが偽の国連演説文を生成、わずか13時間と1000円弱で--研究者が警鐘
  • 型システム 〜プログラムの安全性を支える数学〜 - Laborify

    京都大学大学院 情報学研究科 通信情報システム専攻 修士2回生の五十嵐雄です.大学では,プログラミング言語理論,その中でも特に型システムの研究をしています. この記事では,私が特に力を入れて研究している漸進的型付けという種類の型システムについて紹介します.プログラムや型システムといった基的な概念から解説していくので,プログラミング経験のない人も安心して読み始めてもらえたらと思います. はじめに プログラムとはコンピュータへの命令を記述したものです.2018年現在,私たちの生活は数多くのプログラムに支えられています. あなたがこの記事を Windows が入ったパソコンで見ているなら,まずその Windows がプログラムです.お家にテレビや冷蔵庫があれば,それらの中にもプログラムが内蔵されているでしょう.空いた時間にスマートフォンでゲームをするなら,遊んでいるゲームも全てプログラムです.

    型システム 〜プログラムの安全性を支える数学〜 - Laborify
  • 1