GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
一般的に若い女性が良い匂いがするというのは何故ですか？
回答 (22件中の1件目) ohhh…No読んでて悲しくなりました。 それは「一般的」ではありません、「男性的に」なのです。 私(女)は若い女性から良い匂いを全く感じません、どちらかといえばその香は不快です。 自分以外の女性の匂いは苦手です。 他の女性はわかりませんが、私にとって良い匂いとは30〜40代の男性の首筋やおでこあたりから出ている匂いです。 風呂上がりのソープまじりの体臭や、Tシャツに染み込んだ匂いなどは私をくつろがせ安心させます。大人の男の匂いは実はフローラル系です。 一方で男性からしたらこの匂いはおそらく快ではないと思われます。 単に性フェロモンの指向性の話か...
メモ - 社会学内部からの社会学批判
twitterでは社会学批判が喧しいが、当然ながら社会学内部からも同様の批判はある。それをメモ代わりにまとめておく。 太郎丸博：査読文化の欠如 「社会学者からの社会学批判」として昨今のインターネットSNSで最も引用されているのは、2009年の太郎丸博氏のブログ記事「阪大を去るにあたって: 社会学の危機と希望」であろう。彼の主張を端的に表す部分を抜き書きすると下のあたりだろう。 「最後に日本の社会学に対する危惧を一つ述べておきます。日本の社会学の特徴は、アカデミズムの軽視だと思います。すなわち、学会報告や学会誌を軽視しているということです。学会発表もせず、学会誌に論文を投稿もせず、それでも社会学者づらして本を出版したり、さまざまなメディアで発言することができるのが、日本社会学の実情です。」 「アカデミズムを軽視し、本に好き勝手なことを書くことを理想とするようになります。研究そのものから降りて
ビッグサンダーマウンテンに腎臓結石を排出させる効果があるという研究 - ナゾロジー
ジェットコースターが腎臓結石の治療法になるかもしれません。 ミシガン州立大学の研究者たちが2016年に『American Osteopathic Association』で発表した論文によれば、腎臓結石を忠実に再現したシリコンモデルをディズニーランドのビッグ・サンダーマウンテンに60回乗せたところ、効果的な結石の排出が確認されたとのことです。 さらにこの研究は2018年にイグノーベル医学賞を受賞しています。 いったいアトラクションのうえで何が起こっているのでしょうか？ Validation of a Functional Pyelocalyceal Renal Model for the Evaluation of Renal Calculi Passage While Riding a Roller Coaster https://www.degruyter.com/document/d
研究の話 | 医療法人豊隆会 ちくさ病院
私はもともと腎臓内科医でしたが名古屋大学大学院に入学したころ、 大学院生の規則で最低1年は基礎の研究室で研究しなければならないという規則ができました。 適当に籍だけおいてお茶を濁す医局もあったとは思うのですが、 私は実際に基礎の医局（微生物学教室）に派遣され研究に専念することになりました。 1年が経ちましたが天邪鬼な性格のせいでそのまま放置され、大学院修了後に至っては帰局しろとも言われなかったので、 そのまま基礎の教室の助手として居座ってしまいました。 就職して2年たったころ、教授から呼ばれ「米国の研究室に留学するように」命令を受けました。 「どこに留学するのですか？」と聞いたのですが、「どこでもよい」とのことで、とりあえず気候のよいカリフォルニアで研究室を探していただくことにしました。もちろん私のような実績もない研究者に給料をだして雇ってくれる研究室などあるわけもなく、サンディエゴの某研
暴力的なゲームと攻撃性を結びつける研究に不正が見つかり撤回される - 井出草平の研究ノート
山根信二さんのTwitter経由で知った情報(https://twitter.com/shinjiyamane/status/1362068833641504776)。 www.sciencemag.org 今回、問題になっているのは重慶南西大学の心理学者である张谦Qian Zhang氏。张氏は暴力的ゲームをすると暴力性が増加するといった研究や、暴力的な映画を観ると暴力性が増すといった論文を次々に発表しているが、データが捏造されたものだと指摘され、张氏の論文のうち2本は撤回されている。 どうやら、調査をせずに架空のデータで、分析も捏造し、論文を書いたようである。 ただ、撤回されたのは2本だけで、今年に入ってからも张氏は精力的に論文を発表している。 ざっくりと翻訳してみた。 张氏は不正行為を否定しているが、2つの論文は撤回された。他の論文は雑誌にはまだ残っており、そのデータはメタアナリシスに
9割の人が知らない再現性の危機 - 本しゃぶり
本で読んだ知識をドヤ顔で紹介したら、その実験には再現性がありませんでした。 そんな恥ずかしい記事を書いたブロガーは誰でしょう？ そう、私です。 ステレオタイプ脅威はありますん ちょっと前に「ステレオタイプ脅威」の記事が話題になっていた*1。 世の中には「女性は数学に弱い」というような負のステレオタイプがある。自分のアイデンティティがそれに該当していると意識してしまうと、実際にパフォーマンスが落ちるというものだ。これは様々な実験の結果によって示されている。というのが記事で紹介されていた話だった。 ところが現在、その「実験結果」は再現性が無いと言われている。ステレオタイプ脅威の根拠は実験結果にあるというのに、その土台は不確かなものであるのだ。 とくに、最近の研究ではほとんど再現性がないとされている「ステレオタイプ脅威」について、リベラルバイアスにも言及しながら議論しているのが印象的。 日本では
奴隷貿易の暗い歴史、DNA研究で明らかに
1515～1865年にアフリカ大陸から奴隷として南北米大陸へ連れて行かれた人数と目的地を示した図。(c)AFP 【7月27日 AFP】遺伝学的に残されたレイプの爪痕から、致命的な条件下で労働を強いられた人々が病気で滅びていった可能性まで、奴隷貿易の暗い歴史を明らかにする新たなDNA研究の結果が23日、米科学誌「アメリカン・ジャーナル・オブ・ヒューマン・ジェネティクス（American Journal of Human Genetics）」に発表された。 この研究では大西洋を隔てたアフリカ大陸と米大陸の両方で、同意を得た5万人の遺伝子データを収集。それらと、1515～1865年の間に1250万人の男女と子どもたちを運んだ奴隷船の詳細な記録を相互参照した。この間、奴隷船に乗った人々のうち約200万人は途上で死亡している。 その結果、アフリカの人々が遺伝的に大きく関与している点は、歴史記録に基づ
世界の出生率、驚異的な低下 23カ国で今世紀末までに人口半減＝米大学予測 - BBCニュース
個人情報とクッキーの方針を更新しました本サイトの個人情報とクッキーに関する方針に重要な変更を加えました。これがあなたとあなたの情報にどう関わるか、こちらで説明します。 OK変更点を見る AMPのデータ取得に同意するか教えてください。本サイトおよび提携サイトは クッキー などの技術を使用し、あなたに最高のオンライン体験をご提供するためネット閲覧データを集め、あなたにあつらえてパーソナライズしたコンテンツや広告を表示します。これに同意するかお知らせください。 データ取得に同意して続ける設定を管理する AMPの同意設定を管理するこちらの設定はAMPのページにのみ使われます。AMPではないBBC.com上のページを開いた際には再度、環境設定を要求される場合があります。 閲覧いただいた軽量化モバイルページはGoogle AMP技術を使って構築されています。 必要不可欠なデータ取得サイト上ページの機能
「モザイク画像の解像度を64倍にする研究」が人種差別の議論に発展、非難を集めた研究者はアカウントを停止
計算機科学の分野において功績を収めた人物に贈られるチューリング賞を2018年に受賞した、Facebookの人工知能部門におけるチーフ研究者、ヤン・ルカン氏は、人工知能および機械学習における人種差別の議論で多くの非難を受け、Twitterアカウントを停止することを発表しました。 Yann LeCun Quits Twitter Amid Acrimonious Exchanges on AI Bias | Synced https://syncedreview.com/2020/06/30/yann-lecun-quits-twitter-amid-acrimonious-exchanges-on-ai-bias/ きっかけは2020年6月20日に、デューク大学が人工知能アルゴリズムを用いた高品質の画像生成に関する研究結果をTwitter上で公表したことから始まりました。 Face Depi
あるデータサイエンティストが解雇された話 - ikeの日記
George Floydさんの死がきっかけとなり、最近のアメリカでは人種問題に関連した議論や抗議活動が盛んに行われている。 そんな中、あるデータサイエンティストが解雇される事件が起きた。 事の経緯はこんな感じだ。 彼はデータコンサルティング会社に勤務するデータサイエンティストで、民主党系の選挙キャンペーンへのかかわりで知られる人物である。 彼は最近政治学のトップジャーナルに発表された論文の内容を紹介するツイートをした。 大雑把にまとめると、この論文はマイノリティによる抗議活動がメディアの報道を通じて政治家や有権者に正の影響を与えられる (抗議活動の目的達成につながる) こと、しかし抗議活動が暴徒化した場合には逆効果になりうることを、1960～70年代の公民権運動をケースに丁寧に実証したものである。 ところが彼のツイートは人種差別的であるという批判を浴びてしまい、結果として彼は勤務していた会
あつ森、花の交配はどれくらい正しいの？ 「青いバラ世代」のかはく研究員に聞いてみた - エキサイトニュース
ニンテンドースイッチ史上最大のヒットと言われる「あつまれ どうぶつの森（以下、あつ森）」。気ままな無人島暮らしが楽しめることが魅力のゲームだが、博物館や島の生態系などがかなり作り込まれており、これまでもネットを中心に大きな話題を呼んできた。 あつ森の博物館に関しては、国立科学博物館（以下、かはく）の化石研究員にインタビューしているのでそちらも確認してほしい（※関連記事参照）。 なかでも最近話題のひとつとなっているのが「青いバラ」だ。あつ森には「交配」と呼ばれる花どうしをかけ合わせて新しい花を生み出す方法があり、「青いバラ」はその交配で得られる花のなかで最も難易度が高い花とされている。 では、この「青いバラ」の交配の仕組みは実際どれほど作り込まれているのだろうか？ 今回はかはくの研究員で、実際に青い花を専門に研究されている水野貴行さんに「青いバラ」についてのお話を聞いてみた。 青いバラって本
「あつ森」博物館は恐竜の最新学説に則った展示をしている？ かはくの研究員に聞いてみた - エキサイトニュース
「あつまれ どうぶつの森」、通称・あつ森がニンテンドースイッチ向けソフトの売り上げで歴代トップになるなど、空前のヒットとなっている。あつ森は釣りをしたり化石を掘ったり、自分のペースで「無人島」での生活が楽しめることが魅力のゲームだが、見どころのひとつはなんといっても「博物館」だ。 博物館は、ゲーム上でつかまえたムシやサカナ、化石などを展示できるスポットだが、前作からかなりバージョンアップされ、建物の雰囲気から展示まで驚くほど本物の博物館そっくりに作られている。 なかでも「化石」の展示ゾーンは、東京・上野にある国立科学博物館を思わせるところが多く、ファンの間でも大きく話題となっている。というわけで今回は、あつ森の博物館を、実際に国立科学博物館、通称・かはくに勤める研究者と職員の方々に解説してもらい、その様子を前編・後編に分けてお届けする。
ネット上で社会学者の評判はなぜ悪いのか - 擬似環境の向こう側
こんなタイトルのエントリを書くというのは、正直、悩ましい。 というのも、ぼくは社会学の正規教育は受けておらず、自分が社会学者だとはちょっと名乗れないからだ（制度的な理由で学位は「法学」だ）。 とはいえ、社会学部に勤務しているのは確かだし、社会学的なものに親しみもある。以下の文章は、あくまでそういう中途半端な立ち位置から書かれた「個人の感想」だということをまずは述べておきたい。 ネット上での社会学の評判はよくない。大変によくない。 実のところ、ネット上で積極的に発言をしている社会学者の数はさほど多くないと思うのだが、通常は社会学者だとはカテゴライズされない人も、「政治社会に関する発言をしており、かつ多くの人びとから反発を買っている人文社会系の学者」は「社会学者」とみなされてしまうことが結構ある。 それではなぜ、ネット上で社会学者はこんなにも嫌われるのだろうか。 社会学者が嫌いな人からは当然、
『続・人類と感染症の歴史』の第9章「SARSとMERS」を公開します。 - 丸善出版 理工・医学・人文社会科学の専門書出版社
トップ > ニュース一覧 > 『続・人類と感染症の歴史』の第9章「SARSとMERS」を公開します。 『続・人類と感染症の歴史』の第9章「SARSとMERS」を公開します。 2019年末より中国湖北省武漢市でコロナウイルスによる新型肺炎の感染が確認されました。2020年には日本国内でも感染が確認され、現在もその影響の拡大が報道されています。それを受けて小社では同じコロナウイルスが原因とされる感染症である、SARSとMERSに関する知見をより多くの方に提供することが、恐れ過ぎず、冷静な対応ができる一助になると考え、著者である加藤茂孝先生のご厚意により、2018年に刊行した『続・人類と感染症の歴史－新たな恐怖に備える』より「第9章 SARSとMERS－コロナウイルスによる重症呼吸器疾患」を公開いたします。 権利の関係で一部の画像を非公開にしております。2020年7月までの公開を予定していますが
「２００年後、ネコが地球の支配者に」スパコン予測 千葉電波大
２００年後にはネコが人間を淘汰し、地球を支配する――。千葉電波大学工学部のスーパーコンピューターが、こんなシミュレーション結果をはじき出した。研究結果は英科学誌「フェノメノン」バレンタイン直前号に掲載される。 千葉電波大の研究グループは昨年８月から、スパコンを使った実験を開始。生態系シミュレーションは、気象データから将来を予測するのが一般的だが、今回はこれらのデータに加えて、各国の人口動態や経済成長率など、人間の社会生活に関するデータも合わせて入力することで、生態系にどのような変化が生じるかを複合的に計算した。 同大が保有するスパコン「ディープ・ホワイトＸ（テン）」による計算の結果、現在懸念されている人口爆発は起こらず、西暦２１００年には５０億人に減少、２１５０年には２０億人、２２００年には１億人程度にまで減少する将来を予測した。 人口が減少する最大の要因として、ディープ・ホワイトＸは「ネ
ニューラルネットの逆襲から５年後 | Preferred Research
私が2012年にニューラルネットの逆襲（当時のコメント）というのをブログに書いてからちょうど5年が経ちました。当時はまだDeep Learningという言葉が広まっておらず、AIという言葉を使うのが憚られるような時代でした。私達が、Preferred Networks（PFN）を立ち上げIoT、AIにフォーカスするのはそれから1年半後のことです。 この5年を振り返る良いタイミングだと思うので考えてみたいと思います。 1. Deep Learning Tsunami 多くの分野がこの5年間でDeep Learningの大きな影響を受け、分野特化の手法がDeep Learningベースの手法に置き換わることになりました。NLP（自然言語処理）の重鎮であるChris Manning教授もNLPで起きた現象を「Deep Learning Tsunami」[link] とよびその衝撃の大きさを表して
6年勤めたNTTを退職した人の同期だけど私も6年勤めたNTTを退職しました - hichihara note
6年間通った職場 11月末付で6年勤めたNTTを退職しました。色々と話題のkumagiとは同期入社で同じ研究所、同じ部署、ブースは2個くらい離れたところでソフトウェアエンジニアをしていました。 kumagi.hatenablog.com 長いようで短かった日々ですが、本当に満ち足りた思いでいっぱいです、関係者の方々には大変お世話になりました。 振り返り 2012年に入社したときに配属になった先はクラウド基盤開発を行っている部署でした。てっきり研究ができるものだと思っていたので、どうしたものかと最初は戸惑っていましたが、気づけば開発の沼へとどっぷりと浸かり、なんやかんやあってOSS活動に目覚め、OpenStack Neutronのコミッタ（コアレビューア）になって、最近はコンテナ周りのネットワークなどを中心に活動しています。 研究所について NTTの持株と呼ばれる組織は研究所を持っています。
年俸が800万に届かない - 武蔵野日記
午前中はいろいろメールを片付けたり学会の仕事をしたり。学会の仕事がいま最もプライオリティが低いのだが、自分が参加しているぶんは一応貢献したいとは考えている（逆にいうと、投稿したことない和文論文誌からの査読依頼は、基本的に断っている）。 午後は ACL（自然言語処理分野のトップカンファレンス）の原稿のコメント。8本同時にコメントを入れるのは大変だが、〆切まで1週間と少しとなり、そろそろ自分が見る部分は収束してきた（収束しないと英文校正に出せないので、1週間前には収束しているのが正しい）。 正直なところ、時短勤務で全ての仕事を十分にこなすのは無理で、何かを諦めるしかない（程度問題もある）わけだが、研究の時間も十分に取れていないので、いろいろと思うところがある。とはいえ、夫婦共働きでも（つまり男性側も女性側と同じくらい家事・育児をやり）ちゃんとパフォーマンスを挙げる、というのを我々の世代がやらな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
中国で「ゲノム編集女児」誕生か 大学側は「倫理違反」 :日本経済新聞
