GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク

面白いなと思った使い方、大事だなと思ったコツの個人的な備忘録です。 はじめに 前提 ChatGPTのTipsまとめ 基本編 鵜呑みにしない 途中で文章が途切れた時は "続けて" 汎用Tips 文脈を伝える 条件/制約や質問を明示する 相手の立場を指定する 回答の特性を指定する 英語で入力する 無茶振りする レビュアーや反論者を用意する おわりに はじめに ChatGPT、面白いですね。 難しく考えず素朴にChatGPTと会話するのも十分面白いですが、コミュニケーションを工夫することでより良い体験が得られたりします。 (対人コミュニケーションと同じですね) 今回は、個人的にChatGPTを使ってる中での好みのコツをまとめます。 ChatGPTのコツを書いているはずが、いつの間にか対人コミュニケーションの話みたいになってしまった ChatGPTの使い方のコツをまとめる - BioErrorLo

レポート 【ウマすぎ注意報】料理研究家・リュウジさん考案「無限冷やしそうめん」がガチでラーメンより美味かった! 雨が続き、少し気温が落ち着いてきたかと思ったらまた暑くなってきた。このままだと、今年の夏は暑くなりそうだ。今からこんな状態では、きっと夏バテすることは確実。まもなく食欲も落ちてくる頃合いだろう。 しかし、今年は食欲減退に悩むことはなさそうだ。というのも、あの料理研究家・リュウジさんが、自身のYouTubeチャンネル「正直、ラーメン以上です。旨すぎてこの夏はこればかりになるでしょう【無限冷やしそうめん】」と題した動画をアップしてくださったのだ。 6月らしからぬ夏日に見舞われた某日、さっそく作ってみると……これがまたまた激ウマ! 食欲が減退するどころか、増進し過ぎて困ってしまうレベルである。ということで、実際に作ってみた過程と結果をレポートしよう! ラーメンより美味い!? 無限冷やし

21世紀の格差は、他者からの共感の格差をめぐるものになるだろう。 この記事で言いたいこと （社会的）共感は政治的・社会的リソースである。 物理的資産がリソースであるのと同様だ。 共感はアイデンティティごとに分配される(女性黒人LGBT,労働者階級,白人子供etc)。 共感は物理的資産と同じく分配に差がある。 共感の分配は主にマスメディアによってなされる。 トランプ大統領が当選する以前、労働者階級に関するメディアのツイートは60件、同性愛 LGBTに関するツイートは、9664件であった。 ツイートの比率は、労働者階級 60　対 LGBT 9664 で 161倍だ。 ツイートの差を共感の差だとみなせば、労働者階級とLGBTで大きな格差がある。 共感の格差を放置すれば、そこはポピュリストにつけこまれる。 もしあなたがポピュリストになりたければ、次のターゲットを狙うと良い。 ある程度人口ボリューム

はじめに 今回は英語を話す方法の完全英語学習ロードマップを丁寧に解説していきます。私の第二言語習得研究の知見と行動科学（私自身の語学学習の経験を観察して得られた実証結果・多言語話者に取材をして気づいた彼らに共通した行動の特徴）に基づく学習マップを始めから丁寧に解説していきます。英会話の完全独学ができますので、今回のブログをしっかり理解して英語を話せるようになりましょう。 「ポリィの英語講義」というYoutubeチャンネルも開設致しましたので、ぜひこちらもチェックしみてください。こちらのチャンネルでは、今後英語学習ロードマップの実践動画をアップしていきたいと思います。 www.youtube.com 英語学習ロードマップ Phase1 学習方略に基づく学習計画（公開済み） Phase2 発音と単語で気づきを促す（公開済み） Phase3 浅い理解を深い理解に転換（公開済み） Phase4 英

ちゃんと洗濯をしているのに衣類やタオルが臭うことはありませんか。これは菌によるものです。なので定期的にお湯で除菌すると嫌な臭いを防ぐことができます。 はじめに 清潔な生活を送るため、洗濯は欠かせない家事のひとつです。しかし、衣類やタオルはしっかり洗っていても生乾きの悪臭がしてきたりします。着た後に洗っているのになぜ？自分の体臭？と思われている方もいるくらいで、詳細は不明のままでした。 2011年に花王が洗濯物やタオルの悪臭の原因の一つを明らかにしました。それは、生乾きの悪臭の原因がモラクセラ属細菌の増殖というものです。また、2016には汗臭さの原因がマイクロコッカス属細菌が分解した皮脂成分によるものと発表しました。 これらに共通しているのは菌によるものです。ちゃんと洗っているのにと思われますが、洗剤のような界面活性剤には除菌はなく、繊維からすべて除去することもできません。そして細菌は紫外線

東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門　東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip

米ハーバード大が無償公開しているプログラミング入門講座を日本語に訳したWebサイト「CS50.jp」が公開された。プログラミング教育ベンチャーのLABOTが、「コロナ禍などで大学のキャンパスの環境が不安定になる中、多くの学ぶ意欲がある学生に、良質な教材に母語でアクセスしてほしい」と翻訳作業を進めてきたという。 公開したのは、ハーバード大コンピューターサイエンス学部のデビッド・J・マラン教授が、無料オンライン教育サービス「edX」で公開している人気講座「CS50」のうち、コンピュータサイエンス入門と、Python・JavaScriptを使ったプログラミング講座を日本語訳したもの。YouTubeの英語教材とあわせ、日本語のテキストで学べる。 CS50は、非営利で再配布・改変可能なクリエイティブ・コモンズライセンス（CC BY-NC-SA 4.0）で公開されており、非営利なら改編や再配布が可能だ

「恩師」の意味を「人生全体に渡って、大きく影響を及ぼす程の薫陶を受けた人」と定義した場合、私には恩師と言って良さそうな人が二人います。 一人は、小学校の3年から4年の時に担任をもってもらったH先生。 もう一人は大学の専門課程、国語学研究室でお世話になったS先生。 H先生については、人生の選択に関わる重要な示唆を色々と頂いたなーと思っていて、例えば昔この記事で書いたんですが、 忍者ハットリくんが、私の人生を大きく変えた、という話。 「ファミコンの忍者ハットリくんに巻物が出てきてかっこいいから、本物の巻物にも触ってみたい」 と素っ頓狂なことを言い出した私に、 「巻物は大学行かないと触れないよ」と答えて、さり気なく「大学=巻物」という刷り込みを行ったのがH先生です。 多分私、この教えがなかったら大学行ってませんでした。 上記の記事でも書いた通り、私は大学での専攻として、「巻物に触りたいから」とい

本書は、Amazon総合1位(無料)となった科学的学習法の本のWeb版です。 １２万部のベストセラーとなった前著と同様、図とイラストを使って分かりやすく解説しています。 英語学習者・教師・受験生・小学生～高校生の親御さんに読んでいただきたいです。 全５巻(派生巻も含めると全８巻)構成で、これは第１巻です。 それでは、さっそく、サイエンス誌に掲載された論文を解説します。 (サイエンス誌は、ネイチャー誌と双璧をなす、世界最高峰の学術誌です) この論文からは、学習効率に関する重要ポイントをいくつも学べます。 本書は、基本的には中学生でも読めるように書いてあります。 実際、本書をある中学３年生の女の子に読んでいただいたところ、たいへん好評でした。 実際に期末試験の成績も上がり、志望校にも合格し、ご両親も喜んでおられました。 では、以下、論文の解説をどうぞ。 ■カーピキー2008実験 たとえば、英語

孤独な人間は努力してでも友達を作った方がいいのか。 研究結果は無慈悲にも「そうだ」と答える。 成功するための方法を『ひとりぼっちの〇〇生活』から学ぼう。 『ひとりぼっちの〇〇生活』6話 クラス全員と友達に 「中学卒業までにクラス全員と友達にならなくてはいけない」 これは今期アニメ『ひとりぼっちの〇〇生活』の主人公、一里ぼっちに課せられた試練である。 『ひとりぼっちの〇〇生活』1話 TVアニメ「ひとりぼっちの〇〇生活」公式サイト ぼっちは孤独な少女である。友達と呼べる存在は幼馴染の八原かいのみだ。 『ひとりぼっちの〇〇生活』1話 しかし小学校卒業を期に、その唯一の友達とも離れてしまう。 「このままでは、ぼっちはダメになってしまう」 そう考えた八原かいは、ぼっちに一つ約束をさせた。それが冒頭に書いた「中学卒業までにクラス全員と友達になる」というものである。もしこの約束が守れなければ絶交すると付

こんにちは！ライターの社領です。 みなさん。 先日、こちらの超インパクト大な新聞広告が話題になったことをご存知でしょうか？ 今朝の日刊スポーツにご注目を！（審査の通らなかった地域もあるようですが、素晴らしいデザインだと思う） pic.twitter.com/4dujbblRxU — 俵万智 (@tawara_machi) 2019年6月25日 ▲歌人の俵万智さんも絶賛……だけど、何だこの広告〜！？ すんごい広告……！ お、お◯んこ！？ お◯んこって、あの「お◯んこ」！？ 衝撃的すぎるでしょ！ 一体、何の広告なの〜！？ じつはこの広告、書籍の広告なんです。 その名も『全国マン・チン分布考』。 みなさんご存知『探偵！ナイトスクープ』を放映当初から手がけるテレビプロデューサー・松本修さんが苦節24年にわたる研究の末に出版した本でして、なんと中身は超・本格的な研究本！ 阿川佐和子さんや、歌人の俵万

多くの学会や公的機関が、患者さん向けに役立つ医療情報ページを作成し、インターネットで無料公開しています。 しかし、その多くはGoogle検索しても容易にたどり着くことができず、困っている方も多いのではないかと思います。 そこで私は今回、こうした役立つページをまとめる作業を行うことにしました。 Twitterを通して多くの医療従事者のご協力をいただいたおかげで素晴らしい情報を多数得ましたので、ここにまとめておきます。 随時更新していきますので、他にも役立つページがあれば、ぜひTwitter等からコメントいただけますと幸いです。 なお、中にはPDFも多くあり、ページ内で目的の情報に行き着くのが難しいものもあります。 その場合は、 Windowsなら「Control+F」 Macなら「Command+F」 でページ内検索が可能です。 iPhoneであれば、いつものように検索窓に検索したいワードを

三体 (ハヤカワ文庫SF) 作者:劉 慈欣早川書房Amazon『三体』とは！　中国の作家劉慈欣によって書かれたＳＦ三部作の第一部目にして、中国国内だけで三部作累計2100万部を刊行し、さらに日本でも人気のケン・リュウによる翻訳によってアメリカの歴史あるヒューゴー賞を受賞した傑作である。ヒューゴー賞受賞の何が凄いかと言うと、翻訳書としてははじめてのの受賞になるのだ。 それぐらい作品の内容が圧倒していたともいえる。で、あまりＳＦとは縁のなさそうなオバマやザッカーバーグも絶賛していたりとか、アニメ化が決定したりとか話題は尽きないんだけれども、とにもかくにもこれだけは覚えて帰ってもらいたいのは、この『三体』は、話題先行の内容はまあおもしろいね、いうほどじゃないけど的な軟弱な態度で読み終わる作品ではなく、その肥大化しきっているともいえる話題性に劣らない、圧倒的なおもしろさのある、純粋におもしろいＳＦ

私は「ネットロア」という語をかなり広義に捉えていて、噂や風説といったもの、そこまではっきりしなくても、「なんとなくぼやっと信じられてそうなこと」までも含んでおります。最近は世の流れで時事ネタを多めに取り扱いますが、私自身は「なんとなくぼやっと」のネタの方が、いつもワクワクしながら取り組めています。 というわけで、今回はその「ぼやっと」ネタの、「現代のむかしばなし、昔よりマイルドになってる説」です。 バアちゃん殺されないとか歴史修正主義者の暗躍がひどい pic.twitter.com/EfpqAPpY5Z — 新米先達mayan (@mayan1969) May 8, 2018 ずいぶん前のツイートですが、最近TLに回ってきたので、へえ、と思った内容です。最近の「かちかち山」は、おばあさんは殺されず、しかも改心したっぽいタヌキと和気あいあいと打ち上げパーティーのように終わるんだとか、そういう

こんにちは。フロクロです。 今日、無料で漫画が読めるサイト「漫画村」が閉鎖し、「サイトが見れない！」と話題になりました。 今まで漫画村で暇をつぶしてたのに……という人も多いと思います。 そこで、今回は漫画村終了後も使える無料で様々なコンテンツが読めるサイトを4つ紹介したいと思います！ ※注意：海外のサイトを含みます。 1.OpenStax openstax.org 米ライス大学が設立した、主に大学レベルの教科書を無料で提供しているサービス。物理学、経済学、心理学など様々な科目の教科書が用意されており、そして全てピア・レビュー(※査読。研究者同士で内容を検討すること。)済みなので内容も保証されています。それが全て無料！ ウェブ上での閲覧の他、PDFやkindle版もあり、印刷されたものもAmazonで格安で手に入ります。紙派にもうれしいですね。 英語で書かれた教科書は、日本語のものと比べて解

最終退社時の自分の机 2012年に修士卒からの新卒でNTT研究所に入り、6年間お世話になりました。 研究所では同期や先輩や後輩や上司に恵まれ、存分に書籍や論文を読んで勉強して力を蓄えたり、対外的な発表の場にも恵まれ外ではできないような体験をすることができました。 ありがとうございました。 入社当時に作られたtogetterを見返すと togetter.com togetter.com まるで昨日のように感じられる。 NTT社内で僕が何をやっていたかについては言える物は軒並みアウトプットされているのでわざわざここでは触れない。 NTT研究所について NTT研究所を客観的に見た時にどうかを書いていく とにかく人に恵まれている。採用の倍率が高いのもあって潤沢な学生エントリーからよりすぐりのエリートが謎の力でポテンシャルを見極められて採用されている。同期を見てひと目ですごい奴も居れば、一見してわか

ぼくはストレス解消のために運動をするのが好きじゃなかった。 確かに、みんなでワイワイとサッカーやテニスをして、それが楽しかったら良いストレス解消になると思う。 でも、スポーツのために多くの人を集めるというのは結構大変で、日常的にそれをやるのは難しい。 だから、現実的に運動をストレス解消法にしようと思ったら、1人で走ったり、トレーニングをすることになる。 でもそれも「どうなんだろう」と思っていた。 大会に出るなどの目的もないのに（一応、ストレス解消という意味では目的はあるけど）、1人で黙々と走るのはなんかつまらなそうだ。 走ることの疲労で、逆にストレスが溜まりそうな感じもする。 「ストレス解消 = 楽しいことをする」なんだから、 だったら「ゲームしたり」「漫画読んだり」すればそれでいいじゃん。 そう思っていた。 そう思っていた時期がぼくにもありました。 そんなぼくが、今では毎日走ったり、エア

すぐ隣で仕事をしている人が、こんなことを言っていた。 「なんで自分にはこんなに集中力がないんだろう？仕事をはじめても３０分で耐えられなくなってしまう。昨日の夜は溜まっていた仕事になかなか手がつけられず、つい朝まで寝てしまった。」 私は答えた。 「科学的には、「とりあえず、5分でも10分でもやってみる」とやる気が出るらしいですよ。」 参考：どうにもやる気がおこらない時、やる気を出せる技術。 「やる気」は脳の研究分野の1つでもあり、科学的なアプローチも進められてきた。 脳科学者の池谷裕二氏は著書の中で、「やる気」について言及しており、「何かを始める」と、側坐核という脳の部位が活性化し、やる気が出るとしている。 これはつまり「気分」「マインド」が先ではなく、「行動することでやる気が出る」という、従来のイメージと逆の主張だ。 確かに個人的にこれは思い当たるフシが数多くあり、「やる気がでない」と言う