やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる

2022年11月にOpenAIがリリースしたChatGPTはユーザー（人間）と対話を行う形式でテキストを生成する「大規模言語モデル（LLM：Large Language Model）」と呼ばれるものです。ユーザーとの間で文脈に沿ったテキストを生成するのが大きな特徴ですが、適切な返答があることもあれば、どう見ても間違った返答をすることもあります。それでも、これまでのテキスト生成AIよりも格段に品質の高い出力を行う大規模言語モデルだといえます。その品質の高さから、ChatGPTをどう活用すべきかとか、ChatGPTは使うべきではないといった議論も各所で行われるほどです。 本eBookでは、ChatGPTとは何かに始まり、ChatGPTがなぜユーザーの意図に沿った返答を返せるのか、ChatGPTの技術を取り込んだマイクロソフトのBingの概要、ChatGPTからの返答をよりよいものにするためのテ

QUICはこの10年で世界的な規模で使用されるようになった新しいプロトコルのひとつであり、ネットワークにもこれまでになかったインパクトをもたらしています。本セッションではQUICがネットワークに与える影響をご紹介しますが、これがQUICの導入を検討する開発者やネットワーク運用者のお役に立てれば幸いです。 本記事は、TechFeed Experts Night#13 〜 HTTP3/QUIC…Webプロトコル最前線のセッション書き起こし記事になります。 イベントページのタイムテーブルから、その他のセッションに関する記事もお読み頂けますので、一度アクセスしてみてください。 本セッションの登壇者 セッション動画 @yuyarinと申します。前職では@kensaku_komatsuさんと同じ会社でクラウドを作っていました。現職はモバイルキャリアでエッジコンピューティングの基盤を作っているので、ぜひ

「これから何が起こるのか」を知るための教養　SF超入門 作者:冬木 糸一ダイヤモンド社Amazonこのブログ「基本読書」を書いている冬木糸一です。3月1日に、『「これから何が起こるのか」を知るための教養　SF超入門』という本をダイヤモンド社から刊行することになったので、その告知文を下記につらつらと書いていきます。このブログの読者にはまず楽しんでもらえる内容なので、ぜひ告知分だけでも読んでいってください。 本の外観。440ページ超えなのでけっこう分厚い SF超入門とは何なのか 「SF超入門」と銘打っているわけなので、当然SFに入門するための本になる。歴史や作家など入門といっても無数の入り口があるわけだけれども、今回はいわゆるSF小説のガイド的な内容になっている。ただ、「SF初心者はこれを読め！」といって初心者向けを語る、ガイド記事を拡張した内容とは異なるアプローチで本を選んでいる。 たとえば

【LINE登録で無料限定特典🔊】 ✅アメリカ英語発音入門 完全ガイド 　全スライド「90枚」 (発音記号比較表付き） ✅アメリカ英語発音学習ロードマップ　 (0%から20%へ） ⬇︎こちらをクリック！(「アプリで開く」を押してください） https://liff-gateway.lineml.jp/landing?follow=%40919nayxx&lp=1KtFkn&liff_id=1657698848-GKEwA6Oj 【目次】 00:00 導入 01:30 1. リズムとアクセント 10:34 2. 英語の音 全体像 11:31 2. 母音挿入に気をつけよう 15:12 3. 英語の母音 15:16 3. /ɪ/ 16:51 3. /iː/ 18:26 3. /æ/ 20:10 3. /ɑ/ 21:27 3. /ɔː/ 23:01 3. /e/ 24:01 3.

スピーキングで使える頻出パーツフレーズ。覚えておくだけで使えるものばかり100個集めました。留学経験、海外在住経験ゼロでもTOEICスピーキング満点、IELTSスピーキング8.0取ることができました。スピーキングはこういったフレー… https://t.co/xyGOc0MY1p

TLS（Transport Layer Security）が難しすぎると、お嘆きのセキュリティファースト世代の皆様、RustでLinuxカーネルを実装しながら学んでみましょう！ カーネルモジュールの実装は難しい？それは誤解です。TLSをアプリケーションとして実装しようとすると、各種のライブラリを検索していたつもりが、SNSを眺めていて、一日が終わっていることありますよね。カーネルモジュールを実装するために使えるのはカーネルの機能だけです。検索する必要はなく、雑念が生じる余地はありません。その集中力があれば、カーネル開発は難しくありません。 TLSとLinuxカーネル皆様の中には、LinuxカーネルはTLSをサポートしているのでは？と思っている方がいるかもしれません。TLSは実際のデータの送受信の前に、ハンドシェイクと呼ばれる、暗号鍵の合意や相手の認証を実施します。ハンドシェイク後、Linu

仕事柄論文を読む機会は多くあって、自分なりの読み方、まとめ方、深堀の仕方などはある程度ルーティンがあります。しかしそれが本当に最適解なのかどうかは分かりません。もっと自分に合ったやり方があるかもしれないし、今の方法がベストなのかもしれない。 "How to read a paper" という、論文、というか論文形式のメモがあり、これは当時カナダのWaterloo大学にいたSrinivasan Keshav先生が長年の経験からどのように論文を読めばよいのかというのをまとめたものになっています。これを読んでみて、なるほどなと思ったのでメモとして残しておきます。 ちなみに検索するとこの先生は現在はケンブリッジ大学の先生のようです。よく見てみると日本語に訳されている方もいるようで、原文と日本語訳は一読の価値があります。 http://svr-sk818-web.cl.cam.ac.uk/kesha

はじめに 今回の記事では、個人の独断と偏見で2022年～2023年で必ず確認するべきGitHubのリポジトリを紹介する。私のTwitterでこれまで紹介したものもあれば、そうではないものもある。 GitHubはプログラマーにとって、普段の学習・開発を進めるうえでもっとも重要な情報源の１つである。本記事では、分野ごとに確認するべきGitHubリポジトリを紹介する。 なお、今回の記事で紹介するGitHubリポジトリの分野は以下の通り。内容はWeb開発に特化している。 確認必須 Web Python JavaScript TypeScript ちなみに、「確認必須」は分野を問わずすべてのプログラマーに役立つGitHubリポジトリを紹介している。 今回の記事を通して、年末年始の学習・開発に大いに役立ててもらえたら幸いだ。 確認必須 freeCodeCamp 世界最大規模のプログラミングメディア「f

そして、よみがえる世界。 作者:西式 豊早川書房Amazonこの『そして、よみがえる世界。』は第１２回アガサ・クリスティー賞の大賞受賞作である。前回のアガサ・クリスティー賞の受賞作は話題沸騰の逢坂冬馬『同志少女よ、敵を撃て』だったのでその次の選考にはさすがにプレッシャが（大賞決定後には著者にも）かかったと思うが、本作も『同志少女〜』とは別方向で新たな書き手の可能性を切り開いてくれるような作品だ。ジャンル的にはＳＦ要素がガッツリ謎の発生とその解決に関わってくるタイプのミステリで、ＳＦ読者的にも満足度が高い。 あらすじ・世界観など。 物語の主な舞台になっているのは2036年。仮想空間であるVバースや介助用ロボット技術が発展し、身体障がい者にとっても（2022年と比べると）比較的過ごしやすい環境が整っている時代。物語の主人公である牧野は、事故で脊髄を損傷して首から下の運動と知覚を完全に失ってしま

人気の「スプラトゥーン3」を通して、最新の通信技術の基本を学んでしまおうというこの特集。今回は実際にスプラトゥーン3のパケットをWiresharkでキャプチャーして、UDPの通信やNAT越えの仕組みを見ていきます。 なお記載内容については、実際の通信をキャプチャーした結果に基づいた筆者の考察や推測によるものであり、任天堂の公式見解ではないことを記しておきます。 任天堂が開発した汎用ゲームプラットフォーム「NPLN」 スプラトゥーン3では、「NPLN」という、任天堂がスクラッチから開発をした任天堂プラットフォーム向け汎用ゲームサーバーが使われ始めました。従来のプラットフォームである「NEX」はニンテンドー3DS／Wii Uからの世代で使われてきて、NPLNはそこでのノウハウを基に2021年から「Google Cloud Platform（GCP）」で稼働しているようです。オンライン対戦のマッ

はじめに 自分は2021年に新卒でWeb系の開発会社にフロントエンジニアとして入社し2022年で2年目になります。 実務ではReact×TypeScriptを利用したフロント周りとNode.js(Nest)やRailsを用いたバックエンド(API)の開発をしています。 その中で使っていたAPI設計について改めて学び直したのでまとめて行きます。 この記事の対象者 エンジニア初心者から中級者 APIについて学びを深めたい人 この記事の目標 APIについて学ぶ 我流ではなく正しいAPI設計について学ぶ この記事でやらないこと 具体的にコードを用いたAPI設計の書き方の説明に関しては下記の記事で解説をしています。 APIについて APIとは APIは"Application Programming Interface"の略で、直訳すると「アプリケーションを使プログラミングを使ってつなぐ」という意味

TLDR AWSで2022年の1月から9月までのアップデートが多数ありました。私（と、何人かのサポーター）が考えた、この期間内の打破されたアンチパターンを紹介します。32項目ありました！ アンチパターンって何よ？ 「AWSでこうしたい」という思いからAWSを使っていく方は多いはずです。 そのなかで、数多くのAWS使いこなしの工夫が生まれ、成功例が生まれていきました。AWSのサービスとして提供されていないことを工夫でなんとかした、そんな成功例たち。それが「秘伝のタレ」となり、「さわってはいけないもの」、あるいは「ロストテクノロジー」として、封をしたパターンとなっていないでしょうか？ 動作やプロセス、構造について、当初は妥当であったのに、最終的に悪い結果が繰り返されるパターンであり、リファクタリングするための方法が存在するパターンこそがアンチパターンです。サービスアップデートされれば、いままで

HTTP/3の今と将来 第71回 HTML5とか勉強会 @flano_yuki マスコット: https://github.com/quicwg/wg-materials/blob/main/ietf103/http.pdf

概要 OSを座学・書籍で学ぶだけでなく実際に作ってみたくて、またRustでなにかを作りたくて、 ゼロからのOS自作入門(以下みかん本)で作るMikanOSをRustで実装しました[1]。 先駆者はいくつか見かけましたが、最後まで実装されている方は見つけられず、 もしRustで実装しようとしてハマっている人や途中で諦めてしまった方がいれば参考になるかと思い、記事を書きました。 実装者のレベル 一応、私のレベル感を書いておきます。 OSの開発経験はなく、低レイヤーっぽい開発経験もひとつだけ Nand2tetris Rustは以下のように多少の経験はあるが業務で利用したことはなし the book はほぼ読んで写経した Rustで始めるTCP自作入門 はやった Programming Rust, 2nd Edition は気になるところを読んだ というような感じで、OS開発もRustも経験が浅い