GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
『HENTAI』愛好家を真面目に心理分析した論文が登場！ ～人間のポルノと影響を同列に考えるべきではない～ - ナゾロジー
海外ではエロアニメやエロマンガは『HENTAI（変態）』コンテンツと呼ばれています。 オーストラリアのマッコーリー大学（MU）で行われた研究によれば、このHENTAIコンテンツを好んで見る人々の心理を分析したところ、他のポルノを好む人々といくつかの点において異なる、との結果が得られました。 一見して不真面目な研究に思えますが、『HENTAI』の研究は人間の認知の奥深さと強く関連しています。 人間ではありえない巨大な目や、あり得ない等身・スタイルを持つ不定形の存在は、通常ならば恐怖や不気味さを感じさせる対象となりますが、『HENTAI』を好む人々はむしろ性的欲求の対象として積極的にかかわろうとしているからです。 しかも『HENTAI』の人気は現在も拡大しており、文化圏にかかわらずポルノにおける主要なジャンルになりつつあります。 なぜ人類はこんなにも、非人類的な存在に対して性的欲求を感じるので
統計の入門講座が無料に、京大メソッドでデータサイエンス関連教員が担当 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
庵野秀明（2000）
庵野秀明 プロフィール 庵野 秀明（映画監督、アニメーター） 1960年生まれ。大阪芸術大学芸術学部映像計画学科出身。 2006年よりスタジオカラー代表。 監督作『トップをねらえ！』『新世紀エヴァンゲリオン』『シン・ゴジラ』など Twitter：株式会社カラー@khara_inc ホームページ：庵野秀明公式ウェブ （以下、会見録） ２０００．１２．５ 人研 お忙しい中本当にありがとうございます。それでは早速会見の方に入らせていただきます。今回庵野さんにお会いしたいと思ったのは、縁がありまして、DAICONフィルムを高校時代に見る機会があったんですよ。これを撮ったのが大学生だと聞かされてものすごい驚愕したんですね。そこから庵野さんに注目し始めたんですけれど。エヴァンゲリオンにしてもラブ＆ポップにしても、DAICONフィルムの頃の自主制作の手法を僕は感じたんですね。そういうところのこだわりに
今、Webでの検索力ってどうやって高めればいいんだ？
ネットミームではなく、代替肉のような、あるテーマに沿って検索し、まとめたいとする。 検索ワードを探す。代替肉以外に、培養肉、クリーンミートなど類似ワードを揃え、検索式を作る。ノイズになっているキーワードもまとめる。日本語と英語で検索するとする。日本語、英語のWikipediaで概要をつかむOneNoteなどWebクリップ機能を使って、閲覧したサイトを保存しておく。企業名、関係者名、将来ロードマップ、市場規模、問題点などをまとめる。食には宗教が関係するため企業を調べるときは国籍にも注意する。投資家、投資額を調べる。Amazon、Googleブックスで書籍が出ていないか調べる。著者名、参考文献をたどる。オープンアクセスの論文を探す。Google Scholar、Microsoft Academic Search、Dimensions.aiなどで論文を探す。研究を積極的にしている大学を探す。論文
100年以上謎だった「全身麻酔で意識がなくなる原因」が特定される - ナゾロジー
当たり前のように手術に利用されている全身麻酔だが、その原理は謎に包まれていた新たな研究は、超解像度光学顕微鏡を使い脳神経の細胞膜内の変化を観察結果、細胞膜内の脂質ラフトの無秩序化がニューロンの発火を止めてしまうことを確認した 全身麻酔は大きな手術で使われる重要な医療技術です。 全身麻酔なしで手術を受けるというのは、考えられない話です。 しかし、この「全身麻酔がなぜ人の意識を奪うのか」という詳しい原理については、医学はこれまで説明することができませんでした。 麻酔の原理がよくわかっていないという話は、ちょくちょく耳にしている人もいるかもしれません。 けれど、こうした医学ミステリーの古株も、とうとう最新技術を用いた研究を前に陥落したようです。 新しい研究によると、細胞膜内にある本来なら秩序だった脂質クラスターが、クロロホルムにさらされると短時間で無秩序になるということが原因とのこと。 最新の超
新型コロナ 感染防ぐ抗体を人工的に作製 北里大学など | NHKニュース
新型コロナウイルスが細胞に結び付くのを阻害し、感染を防ぐ抗体を人工的に作りだしたと北里大学などの研究グループが発表しました。新しい治療薬の開発に応用できる可能性があるとしています。 ウイルスなどに感染すると、体内で複数の種類の「抗体」と呼ばれるたんぱく質がつくられ、このうち、「中和抗体」はウイルスに結び付くことで、ヒトの細胞の表面にウイルスが結び付くのを阻害し、感染を防ぐとされています。 北里大学の片山和彦教授らの研究グループは、新型コロナウイルスの表面にあるたんぱく質を分析し、ウイルスに結び付くのに必要な遺伝子の情報を解析しました。 そして、この情報をもとに、ウイルスに結合する中和抗体を人工的に作り出したということです。 研究グループで、人工的につくった中和抗体に感染を防ぐ効果があるか調べたところ、中和抗体を加えなかった場合は、ほとんどの細胞がウイルスに感染して死滅したのに対し、中和抗体
京大ｉＰＳ細胞備蓄事業、国支援打ち切りか 年１０億円：朝日新聞デジタル
拒絶反応が起きにくい再生医療をめざす京都大のｉＰＳ細胞の備蓄事業について、政府が、年約１０億円を投じてきた予算を打ち切る可能性を京大側に伝えたことがわかった。ノーベル賞受賞から７年たって基礎研究から事業化の段階になってきたことや、企業ニーズとの違いが浮き彫りになったことが背景にある。 ｉＰＳ細胞は、体のどんな細胞にもなることができる万能細胞。京大の山中伸弥教授が２００６年に初めて作製し、１２年にノーベル医学生理学賞を受けた。患者自身の皮膚や血液からｉＰＳ細胞をつくり、網膜や心筋などにして移植すれば、他人から臓器提供を受けた際のような拒絶反応が起きにくい。夢の再生医療につながると期待された。 しかし、患者自身からｉＰＳ細胞をつくって移植すると、数千万円の費用と数カ月の時間がかかる。重篤な患者では間に合わない可能性もある。そこで京大ｉＰＳ細胞研究所が打ち出したのが、献血のようにあらかじめ複数の
人工血液、動物実験に成功 １年以上の常温保存も可能：朝日新聞デジタル
\n<div id=\"TsunamiInfoArea\">\n<div id=\"InsideTsunami\" class=\"Tsunami TsunamiLevel-1\">\n<a class=\"SlideBtn\" href=\"javascript:void(0)\"> <span><b class=\"Click\">閉じる</b></span></a>\n<a class=\"linklayer\" href=\"https://www.asahi.com/special/saigai/tsunami.html\"></a> <!-- ←リンク先 -->\n<div class=\"TsunamiNewsInner\">\n<div class=\"TsunamiTitle\">津波注意報</div>\n<em class=\"TsunamiNav\"><strong>
『ゼルダの伝説 ブレス オブ ザ ワイルド』は、凄腕プレイヤーならば「30分」でクリアできるゲームに。超人たちの挑戦は続く - AUTOMATON
ホーム 全記事 ニュース 『ゼルダの伝説 ブレス オブ ザ ワイルド』は、凄腕プレイヤーならば「30分」でクリアできるゲームに。超人たちの挑戦は続く 『ゼルダの伝説 ブレス オブ ザ ワイルド』のスピードラン挑戦者達の間で、30分という記録の壁が崩れ落ちようとしている。日本人プレイヤーsketodara氏が先日、any%のAmiiboなしルールにて、30分10秒170という記録を叩き出し、世界1位に躍り出た（日本Wii U使用）。Amiiboありルールでは1か月前に米国プレイヤーrasenurns氏が29分46秒を記録していた。どちらのルールでも、いよいよ30分という壁が攻略されつつある。 『ゼルダの伝説 ブレス オブ ザ ワイルド』は、2017年3月に発売されたアクションアドベンチャーゲームだ。オープンエアーと称された本作は、過去作とは大きく路線が変更され、決められたレールは存在せず、広
独りで学ぶ 論文検索｜学ぶ素人｜note
皆さんは「学術論文」を読んだことがあるでしょうか。 大学生や大学院生なら、自分の分野の論文は読んでいることでしょう。 情報が広く共有される現代でも、 「学術論文は専門家や研究者が読むもの」 「普通の市民は論文など読めない」 というイメージは今でもかなり強いように感じます。 私はこれを非常に「もったいない」と思っています。 実際には、「素人が専門の論文にアクセスする」ためのハードルは年々下がっているからです。 今や、素人でも「専門家が読んでいるのと同じ文献」をその気になれば読める時代になりました。 にもかかわらず「科学論文を読む素人」や「分野外の論文を読む学徒」が増えないのは、「論文の読み方」を大学以外でなかなか習えない、というのが一つの障壁になっているのかもしれません。 「論文の調べ方」「論文の読み方」に王道などありませんが、今回はあくまで私の例として、論文を探して読むためのハウツーを簡単
政府 ムーンショット型の研究を支援へ | NHKニュース
科学の分野での日本の国際競争力を高めるため、政府は、実現すれば社会に与える影響が大きいプロジェクトを、ことしから集中的に支援する方針です。 テーマとしては、研究が長期間にわたり、少子高齢化や地球温暖化、それに、大規模災害など社会問題の解決につながるものが想定されています。 そして、文部科学省が所管する科学技術振興機構と、経済産業省が所管するＮＥＤＯ＝新エネルギー・産業技術総合開発機構に基金を創設し、２つの機構が、大学や民間企業などからプロジェクトを公募する方針です。 今年度の第２次補正予算案と新年度予算案には、必要な経費として、合わせて1000億円余りが計上されています。 政府は、ことし秋には制度を始めたい考えで、今後、有識者会議を設けて具体的なテーマを決める方針です。
日本の科学技術「力が急激に弱まった」 白書を閣議決定：朝日新聞デジタル
政府は１２日、科学技術について日本の基盤的な力が急激に弱まってきているとする、２０１８年版の科学技術白書を閣議決定した。引用数が多く影響力の大きい学術論文数の減少などを指摘している。 白書によると、日本の研究者による論文数は、０４年の６万８千本をピークに減り、１５年は６万２千本になった。主要国で減少しているのは日本だけだという。同期間に中国は約５倍に増えて２４万７千本に、米国も２３％増の２７万２千本になった。 また、研究の影響力を示す論文の引用回数で見ると、上位１割に入る論文数で、日本は０３～０５年の５・５％（世界４位）から、１３～１５年は３・１％（９位）に下がった。 海外の研究者と共同で書いた論文ほど注目を集めやすいが、日本の研究者は海外との交流が減っている。００年度に海外に派遣された研究者の数は７６７４人だったが、１５年度は４４１５人に。海外から受け入れた研究者の数も、００年度以降は１
子どもの自制心が将来を左右するという「マシュマロ実験」が再現に失敗、自制心よりも大きな影響を与えるのは「経済的・社会的環境」
by Blaque X 子ども頃の自制心がその後の人生における長期的な成功と関連するという「マシュマロ実験」を懐疑的にみた研究者が、より大きな規模で実験の再現を行いました。子どもの人種・親の学歴・家庭の年収などを考慮した結果、子どもの長期的な成功にとって重要なのは自制心よりも「社会的・経済的環境」であることが示されています。 Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes - Tyler W. Watts, Greg J. Duncan, Haonan Quan, 2018 http://journals.sagepub.com/doi/abs/10.1177/095679
もうちよっと研究者の皆様へ
2016.11.17 まだ時差ボケですが、文科省、内閣府と打ち合わせしました。 まず、学会出席などの時に、託児費用を研究費から「出せます」。 研究に必要な経費として、明示されていないけれども出せるというのが文科省の見解です。 競争的資金の様々な書類に関しては、来年度からを目指して、内閣府で統一を図ります。 さて、文科省調査の附属病院を除いた教員、職員数です。 年度 1６年度 １７年度 ２６年度 ２７年度 教員 常勤 51, 328 50,547 50,208 50,400 (除付属学校・附属病院) 非常勤 - 31,296 42,000 42,644 職員 常勤 27,025 27,175 23,494 24,376 非常勤 – 33,620 57,651 59,984 非常勤職員数の伸びが大きいことがわかります。「研究者の皆様へ」でお示しした教員数は常勤数から付属学校を除
研究者の皆様へ
2016.11.10 研究者の皆様から、様々なご意見をいただきました。 それに基づき、データを集めました。 それに関して、皆様からのご意見等をいただきたいと思います。 その一、近年、基礎研究への研究費が削られているというご指摘。 総務省統計局の科学技術研究調査を基に、開発研究、応用研究、基礎研究の金額を調べてみると(それぞれの区分は、総務省から各大学の事務局経由で研究者に区分していただいていると思います) 国公私立大学 基礎研究 応用研究 開発研究 合計(億円) 平成１３年度 10,787 7,554 1,808 20,148 (基礎研究の割合 53.5%) 平成１４年度 11,062 7,471 1,965 20,497 平成１５年度 11,213 7,446 1,736 20,395 平成１６年度 11,019 7,487 1,770 20,276 平成１７年度 11,677 7,59
【凄すぎ】京都大学、炭酸ガスと水で石油の合成に成功 ／ 3円の電気で100円の石油 : 暇人＼(^o^)／速報
【凄すぎ】京都大学、炭酸ガスと水で石油の合成に成功 ／ 3円の電気で100円の石油 Tweet 1： メンマ(芋)＠＼(^o^)／：2015/10/03(土) 08:42:20.59 ID:D9MZuoIw0.net 京都大学名誉教授の研究グループが、炭酸ガスと水を使い効率的に石油を合成することに成功したと発表しました。 合成に成功したのは、今中忠行・京都大学名誉教授の研究グループです。 今中教授によりますと、水と石油を混ぜ合せた物質に炭酸ガスを含ませる手法により、水分が減少し、石油の分量が増えたということです。 今回、開発された手法により、炭酸ガスと水と石油から化学合成でき、低コストでエネルギーを生み出せるようになります。 合成油は精製する必要がなく、硫黄や窒素成分を含まないので燃焼時に地球温暖化ガスも出ないということです。 今中教授は今後、石油の量産システムの開発を行い、実用化を進めた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/Yoichi_Yamazaki/status/1477918421501284354
「朝型」「夜型」の原因は遺伝子にある？：8万9,000人以上の調査結果
Engadget | Technology News & Reviews
