GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク

西新井駅切符売り場でアルミ缶が爆発して女性が怪我をしたという事故。やらかした中国人が逮捕されたが、実はこの事故は度々起こっている。 https://www3.nhk.or.jp/shutoken-news/20230509/1000092245.html 有名なのは数年前に地下鉄日本橋駅で乗客の荷物が破裂してガスが発生、機動隊や消防が出動して駅ごと閉鎖、電車は不通になった事件があった。 今次の事故でも爆発なので警察は念の為にG事案（広域ゲリラ事件）として捜査を行うが、コーヒー缶爆発と来たら業務用洗剤ちょろまかしによる爆発に決まっている。 やってる事は馬鹿であり、よくわかってない馬鹿が扱えないような仕組みになってるのだが、ルーズな会社が多くてこの手の事件が起きてしまう。しかも時限爆弾みたいに当初は大丈夫なのに時間が経ってから事故になるという仕組みがあるのだ。 だからその辺をちょっと解説するよ

人の話が処理出来ない奴へのアドバイス一時期、人の指示を全然処理できない40代を複数名、相手にしてた事がある。 その時の経験から、ちょっと気づいた事をアドバイスしてみるよ。 まず、自分の解釈を傍に置いて、最後まで読んでくれ。 いいか、読み終わるまで、自分の解釈は傍に置くんだぞ。 結論結論から言うと ・相手の話を出来る限り一字一句聞き取る練習をしろ ・その際、相手の言っていない事は絶対に書き取らない ・聞き取れなかった部分は、相手に質問する、録音を再生する、などして欠けた情報を埋める事 これを仕事の中で出来る限り愚直にやれ。最適なのは議事録を書くこと。 ※半年経っても伸びないなら小学・中学の国語ドリルを小学三年生分から全部やって、スキルアップをブーストさせる事。 判断した根拠そう判断した根拠は、次の文章にある。 今日も仕事で自分の提案資料に対して上司に指摘をうけたが、よくわからなくて途中から思

プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ

ここでの「ゆっくり解説」の定義：ゆっくりボイス又はボイロを使って解説をしている、まんじゅうが居なくても良い 「ちょっと調べた」とかコタツ記事のレベルを超えてるゆっくり解説をまとめる 難しすぎるとかマニアックすぎるタイプは除いてる 他にあったら教えて （なんかYoutubeへのリンクが貼れなくなってる？量多いからかも） 奇書の人三崎律日/Alt F4　著書持ち　ニコ動からやってて有名なので今更かとは思う @altf4854 しくじり企業の人カカチャンネル　こちらもニコ動からやってた古参、最近は起業家の話とか調査報告書の解説もやってる @cakachannel 地理の人地理の雑学ゆっくり解説 この人の動画は雑学というレベルではない、地理ｘ人類史が非常に面白い、参考にした本もたまに教えてくれる @GeoYukkuri 生き物系へんないきものチャンネル 著書持ち、ざんねんないきものブームの火付け役

結論から家は宗教みたいなもんで、各メーカーで訴求ポイントが違うのだから、自分たちにあったメーカーを選べば良い。 オシャレさ全振りメーカーで断熱気密ガバガバでも、自分たちが満足しているならそれでいいと思う。 住友林業とかめっちゃ憧れる。自分は家を建てる前に色々な情報を知ることができて、ラッキーだったと思う。 ので、みんな満足する家を建てられるよう、気密断熱の話題が上がったこのタイミングで記録を残しておく。メーカー選定編いきなり展示場に行くのは良くないらしいので（暇な営業が飛びついてくる）、まずスーモカウンターに行った。そこで4つぐらい紹介されたので2ヶ月かけて回った。最初は大開口の窓とか吹き抜けとか、そういうおしゃれな家に憧れた。が、やはりコストオーバーなのと、末尾に書いたyoutuberたちの動画を見たことで高気密高断熱という概念を知り、それがなるべく達成できそうなメーカーで建てることにし

ゲームさんぽが終わってしまった。いや正確にはまだ終わったわけじゃないけど、自分がYouTubeに齧り付くきっかけとなったチャンネルなので、どこか名残惜しい。 ゲームさんぽを知って、こんな「教養のお裾分け」をしてくれるものが転がっているという事に驚き、それからYouTubeで似たようなチャンネルを探し回っていた。しかし素直に「教育」とか「教養」のジャンルを検索しても、出てくるのは中田のあっちゃんかDaiGoか、あるいはアフィリエイトのにおいのするチャンネルで、ちょっと違うなぁという感じ。とりあえず興味のあるものを片っ端から再生して、関連動画にサジェストされるものを集めて回った。 良い機会だと思って、その中から特に気に入ったものをリストアップしてみた。選出の目安は次のとおり。 ・その道の専門家またはマニアが関わっていること ・参考文献が明示されていること ・どちらかというと、素人でも取っ付きや

俺はさっきまで知らなかった。これはやばすぎるので増田に書いて広めようと思う。（追記にも書いたが、公式の英語字幕があるので聞き取れなくても心配しないでほしい。） 以下のリンクから飛べる。 https://nptel.ac.in/courses リンク先を見ればすぐ分かると思うが、驚くべきは、カバーしている分野の広さだ。アメリカのMOOC(Udacityだの、Udemyだの)は、表層的な、「すぐ使える技術」の講座ばかりで、オペレーティングシステムやコンピュータネットワーク、あるいは偏微分方程式や代数学といった、コンピュータサイエンスや数学等の基礎学問のような分野はあまりカバーされていない。（主観だが、恐らく正しいはずだ。Udacityのジョージア工科大のコンピュータサイエンスの授業は別だが、数は少ないし、それにしても数学はカバーしていない。） しかし、この「NPTEL」では、自分に関わりのある

いつもホッテントリを賑わせている増田だが、増田が始まってからこれまでの１５年間について、年代別にブクマ数ベスト５を調査して、振り返っていきたい。 2006年1位：プログラミング用のフォントを探してたら一日が終わってた(366users) この時代は「技術のはてな」みたいに言われていたので、こういう記事に需要があって、よくホッテントリ入りしていた。 なんで増田に書いたのかよくわからんが。 2位：anond:20061214085342(155users) 有名なオーケン事件の2chコピペ。 2chコピペだとわかるように書いてある。 3位：手っ取り早くGIGAZINEになる方法(140users) gigazineはこの時代のホッテントリ常連だった。 deliciousとかdiggとか今はもうなくなってるよな。 4位：『はてな』がイノベーターに成り得ない５つの理由(132users) 頭のおか

いつものようにヘロヘロと仕事をしていると、突如担当編集の松尾氏からMessengerで「これに対するちゃんとした回答を書けるのは大原さんだなということで、また歴史物をお願いしたく」という依頼が飛び込んできた。 いやちゃんとした回答も何も、上のTreeで出題されたSEライダー氏が正解を出されているわけですが、歴史的経緯というか、ここに至るまでの話というのが長い訳で、その辺りを少し説明してみたいと思う。 ちなみに出題に少しだけ違和感がある（なぜ10bitがキリがいいと思うのか？）のは、筆者もこっち側の人間だからかもしれない。 回答の前に、その根底にある2進数採用の経緯 そもそも非コンピュータ業界の方からすれば、2進数がベースという辺りから違和感を覚えるのではないかと思う。実際、世界最初の計算機（≠電子計算機）とされる「バベッジの階差機関」（写真1）にしても、世界最初の電子計算機（※1）であるE

要約 「英語で意見を言おうとすると5歳児のようになってしまう」という課題を解決するEnglisterというサービスを開発した。 自分で使ってみたところ、10問程度の問題を解くだけでスラスラと英語で意見を言えるようになった。 実装はDeepL APIとNext.jsのAPI routeを使って爆速開発をした。 追加(2021/01/18) 記事を公開してから毎日機能追加をしています。２週間前からどれだけ変わったか是非見ていただきたいです。 背景にあった課題 「英語で意見を言おうとすると5歳児のようになってしまう」 英語にすごい苦手意識があるわけではない。TOEICは840点で、すごく簡単な日常会話なら問題なくできるので、海外旅行で困るということはなかった。しかし、仕事でたまに海外の人とやりとりをするときや外資系企業の英語面接で**「ちょっと難しい質問」**をされると、途端に5歳児になってしま

はじめに 今回は英語を話す方法の完全英語学習ロードマップを丁寧に解説していきます。私の第二言語習得研究の知見と行動科学（私自身の語学学習の経験を観察して得られた実証結果・多言語話者に取材をして気づいた彼らに共通した行動の特徴）に基づく学習マップを始めから丁寧に解説していきます。英会話の完全独学ができますので、今回のブログをしっかり理解して英語を話せるようになりましょう。 「ポリィの英語講義」というYoutubeチャンネルも開設致しましたので、ぜひこちらもチェックしみてください。こちらのチャンネルでは、今後英語学習ロードマップの実践動画をアップしていきたいと思います。 www.youtube.com 英語学習ロードマップ Phase1 学習方略に基づく学習計画（公開済み） Phase2 発音と単語で気づきを促す（公開済み） Phase3 浅い理解を深い理解に転換（公開済み） Phase4 英

ホーム ブログ 人工知能（ＡＩ）、ビッグデータ法務 Midjourney、Stable Diffusion、mimicなどの画像自動生成AIと著作権｜知… はじめに Midjourney、Stable Diffusion、mimicなど、コンテンツ（画像）自動生成AIに関する話題で持ちきりですね。それぞれのサービスの内容については今更言うまでもないのですがMidjourney、Stable Diffusionは「文章（呪文）を入力するとAIが自動で画像を生成してくれる画像自動生成AI」、mimicは「特定の描き手のイラストを学習させることで、描き手の個性が反映されたイラストを自動生成できるAIを作成できるサービス」です（サービスリリース後すぐ盛大に炎上してサービス停止しちゃいましたが）。 で、この手の画像自動生成AIのようなコンテンツ自動生成AIですが、著作権法的に問題になる論点は大体決ま

前置き はじめまして, コンポーザー, DJなどをやっているArakurです. 昔は打ち込みジャズを専門で作っていたのですが, ここ最近は殆ど作る機会がなく, 知識やTipsを持て余すくらいなら同志や後進に託そうと思ったので少しずつ記事にしてみることにしました. 第1回は, 古典和声またはポピュラー和声についてある程度知っている方向けにジャズのコード進行の理論の原理的な部分について解説します(第2回が今後書かれるかはまだ分かりません). とりあえずこれを読み切ればそこいらのスタンダードの進行は最低限アナライズできるようになる, という感じの内容を目指しています. 本記事は他ジャンルの制作にあたってジャズの知識を取り入れたいというような層を主に想定しています. 僕自身体系的なジャズ・音楽理論の教育を受けたわけではなく, 知識の大半はネットや古い教則本, およびセッションなどによる実践的経験を

『無料コーディング練習所』では、完全無料のコーディング教材を提供しています。 入門編から上級編まで６サイトをコーディングすることで、 HTML・CSS・jQueryの基礎スキルがしっかり身につくカリキュラムになっています。 デザインカンプと完成版コーディングデータ付きです。 この教材は制作会社の新人コーダーの教育にも使用されています。 さぁ、楽しみながら一緒に勉強していきましょう♪

英語学習ノウハウの記事が定期的に話題に上がるが、自分も含め多くの方は「とりあえずブクマ」してそれっきりにしていると思う。 役に立ちそうなツールや教材をあれもこれもと紹介しているので「とりあえず後で読みそう」とブクマされる。しかし、そういった記事はとにかく情報量が多い。リーディングには○○、リスニングにはXXと、ライティングには□□、発音には△△…と網羅的でとてもやり遂げられる気がしない。いくら素晴らしいウェアやギアやサプリを紹介してもらっても「では今からフルマラソンをやるぞ！」とはなかなかならないのと同じだ。結果、「役に立ちそう」と「でも大変そう」との葛藤を、私たちはブクマという形で折衷させている。 そこでここでは、2000時間の英語学習経験からたどり着いた、「1日30分、この練習だけ続けてもらえれば英語力が着実に伸びるはず」というシンプルな方法を述べてみる。僕は海外在住や留学経験ゼロのド

ここでいう“Bクラス”っていうのはスコアが730~860のスコアレンジの事（860以上がAクラス）。とりあえずまずは、簡略化した４ヶ月の流れを早見チャートとしてまとめときます。中学生レベルがどうとか、各ステップの詳細や背景的な話はそれ以降に。 その他TOEIC関連書籍 各ステップの早見チャート（詳細は「各ステップの詳細」を参照） １：基礎文法力をつける 基礎中の基礎を以下の本で一気にやる。これをやらないと次の単語帳の例文が理解できない。 使用書籍： TOEIC TEST文法完全攻略 / 石井 辰哉 期間：１週間 ２：基礎単語力をつける 本気でキツいんだけど、どうにかして１ヶ月でDUO3.0の例文を完全にマスターし、音声も完全に聞き取れるようにする。 使用書籍：DUO3.0 期間：１〜1.5ヶ月（１日６時間くらいやればいける） ３−Ａ：Part5対策 これは3-Bと平行してスタート。澄子本を

恒例の100冊リスト。 ただし、これまでの趣向を外した。「ベスト100ランキング」は楽しいが、変わりばえしない。毎年似たような「ベスト100」をヒネり出すのも飽きた。ホントのところ、「大学新入生」と銘打っているものの、わたしのためのブックリストなのだ。読んできたやつ、未読のやつ、読みたいやつを抽出したりふり返るためのきっかけなのだから。 だから、今回はランキングをしない。母体のリストは、「大学教師が新入生にオススメする本」なんだけれど、そこからの選出はわたしの手になるもの。今までのリスト作成の過程で知り合えたものや、「読まねばリスト」に追加したもの。積読山に刺さったまま、課題と化しているものを中心に100挙げた。 もちろんこの100冊を参考にしてもいいし、母体リストから自分専用の一覧を作ってもいい。母体のリストは三千弱になるが、元となったのは、以下のリスト。ブックガイドは多々あるが、「大学