大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
ローマ字表記、ルール改定へ 実態そぐわず、約70年ぶり ｜ 共同通信
ローマ字のつづり方について国が定めたルールが、約70年ぶりに改められる見通しとなった。小学校で習うローマ字もこのルールを踏まえているが、駅名や案内表示など一般社会では、英語の発音により近い別の表記が浸透しているのが実情だ。文化審議会の小委員会は、統一的な考え方を示すことも視野に検討を進めている。 ローマ字のつづりは主に、母音と子音を規則的に組み合わせる「訓令式」と、「ヘボン式」がある。例えば「し」は訓令式では「si」、ヘボン式では「shi」と表記される。「愛知」は「aiti」（訓令式）、「aichi」（ヘボン式）になる。 国は1954年、内閣告示で「一般に国語を書き表す場合」は訓令式を用いると定めた。ヘボン式は「にわかに改めがたい事情がある場合に限り」使うとした。 学習指導要領も、小学3年の国語で、ローマ字について内閣告示を踏まえた学習をするよう求めている。だが、実際には訓令式は定着せず、
認知負荷は「ワーキングメモリに対する負荷」のこと 認知科学の観点から課題を整理すると“つらい”の輪郭が見えてくる
「Developers Meetup 急成長ベンチャーが向き合う『開発生産性』」は、開発組織や事業フェーズの異なる株式会社Another works・株式会社SmartHR・株式会社スタメンの3社が、開発生産性について語り尽くすイベントです。ここで株式会社SmartHRのすがわらまさのり氏が登壇。チーム増加に伴い起きた「認知負荷が高い」状況をどのように解決したかについて紹介します。 チームの増加に伴いできるようになったこと、やりにくくなったこと すがわらまさのり氏：ここから本題ですね。「開発生産性について、上から見るか、下から見るか」ということで、よろしくお願いします。過去に私が登壇したもので似たテーマがいくつかあるので、軽く紹介しておきます。もし気になる方がいれば後で見てください。 前提の共有というところで、先ほどもお話ししたように、私が担当したのは「SmartHR」の基本機能というプロ
LLMの根幹「Transformer」とは？並列処理に最適なワケ
2017年にGoogleの研究者が提唱した深層学習モデルで、チャットAI「Chat GPT」などに使われる。「どこに注目するか」を重視したことで、自然言語処理での精度や処理速度を大幅に高めた。 米OpenAIの「ChatGPT」は2022年に公開されるやいなや、その精度の高さに世界が衝撃を受けた。このChatGPTは、同社の大規模言語モデル（LLM）「GPT（Chat Generative Pre-trained Transformer）」をベースにしている。Transformerこそ、LLMの根幹である。 Transformerはエンコーダー（符号器）とデコーダー（復号器）で構成し、「どこに注目するか」を重視するアテンション機構を中心としている。大規模並列処理に向いたモデルで、GPUでの処理を想定して設計した。 Transformerは米Google Brain（現在の米Google D
大人気になるプログラマーやエンジニア職「10選」はこれだ
関連キーワード アプリケーション開発 | プログラマー | プログラミング 世界的な不況の中でも、プログラマーやエンジニアなど技術職の雇用市場は安定する傾向にある。同じ技術職でもさまざまな職種が存在する。特にこれから需要が高まるのはどの職種なのか。“引く手あまた”になる見通しの、プログラマーやエンジニア関連の職種「10選」と、それぞれどのような仕事なのかを紹介する。 これから人気のプログラマーやエンジニア職「10選」 その仕事とは？ 併せて読みたいお薦め記事 連載：プログラミングのこれまでとこれから 第1回：不況でも稼げるプログラマーが知っている「プログラミング」の基本はこれだ 第2回：今と昔の「プログラミング」は何が全然違うのか？ 新時代をもたらす劇的変化 第3回：人気のプログラミング言語「7種」の特徴とそれぞれの違い AIで開発現場はどう変わる？ “生成AIが仕事を奪う”なんて話より大
Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表
LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama
初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
AWSによるクラウド入門
真野 智之 (Tomoyuki Mano) <tomoyukimano@gmail.com> version 1.0, 2020-06-19
ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
実用アルゴリズムの基礎「動的計画法」と機械学習の基礎「類似度」を知る
実用的なソフトウエアを開発するにはアルゴリズムの知識は欠かせない。基礎から機械学習まで、厳選した10個のアルゴリズムをPythonによる実装とともに解説する。 ［7 動的計画法］ レーベンシュタイン距離 多くの人にとって、アルゴリズムの学習の最初の壁となるのが、「動的計画法」ではないでしょうか。動的計画法は、「問題の部分的な結果を記録・利用しながら、最終的な結果を求める」手法の総称です。クイックソートや深さ優先探索のような手法よりも、1 段か2段、抽象的な概念である点と、アルゴリズムを可視化しにくい点が、難しく感じる原因なのだと思われます。また、“動的計画法”という名称が内容に合っていないことも、動的計画法をわかりにくくしていると言えるでしょう。 しかし、多くの有用なアルゴリズムは動的計画法の手法を使っているので、避けて通ることはできません。 ここでは、動的計画法で「レーベンシュタイン距離
「デジタルスキル標準」をとりまとめました！ （METI/経済産業省）
経済産業省と独立行政法人情報処理推進機構（IPA）は、企業・組織のDX推進を人材のスキル面から支援するため、DXを推進する人材の役割や習得すべきスキルを定義した「DX推進スキル標準（DSS-P）」を今回新たに策定し、今年３月に公開した「DXリテラシー標準（DSS-L）」と合せて、個人の学習や企業の人材育成・採用の指針である「デジタルスキル標準（DSS）」ver.1.0として、取りまとめました。 1．背景・目的 データ活用やデジタル技術の進化により、我が国や諸外国において、データ・デジタル技術を活用した産業構造の変化が起きつつあります。このような変化の中で企業が競争上の優位性を確立するためには、常に変化する社会や顧客の課題を捉え、デジタルトランスフォーメーション（DX）を実現することが重要です。 一方で、多くの日本企業は、DXの取組みに遅れをとっていると考えられます。その大きな要因のひとつと
IT資格の取得状況（2022年）／後編
ビジネスの変化と資格トレンドは密接な関係にあると言える。ビジネス環境やITトレンドが変われば、当然求められる能力やスキルも変化する。2022年の傾向を踏まえて、2023年はどのような能力、スキルが重視されるのだろうか。回答者が答えた「注目IT資格」10選を紹介する。 前編では、キーマンズネットが実施したアンケート調査（期間：2022年11月18日～12月2日、有効回答件数：443件）を基に、IT資格の保有状況や取りたい資格などを紹介した。後編では受験までに要する学習期間や受験に至るまでの学習方法、勤務先の支援制度の有無と内容、そして2023年に注目されるであろう資格について、アンケート回答者に尋ねた結果を紹介する。グラフで使用している合計値と合計欄の値が丸め誤差により一致しない場合があるので、あらかじめご了承いただきたい。 勉強時間は「6カ月以下」が8割、クラウド資格は「e-ラーニング」
AI最大の課題「フレーム問題」解決の糸口をグリッドが開発！強化学習とアンサンブル学習を連携 米国物理学協会発刊学術誌が掲載 - ロボスタ ロボスタ - ロボット情報WEBマガジン
株式会社グリッドは、エネルギー分野における「不確実な環境における深層強化学習による最適化」の開発に成功した。これは現在のAIにとって最大の課題のひとつとされている「フレーム問題」を解決する糸口になる、と言う。そして、その成果を、米国物理学協会が発刊する「Journal of Renewable and Sustainable Energy」に評価され、論文が掲載されたことを発表した。 この発見・開発をもとに、このAI技術を将来の電力需要や天候を予測しながら、365日分の効率的な電力の需給計画を算出することへの実用化を進める。同社はそれに合わせて、報道関係者向け説明会を開催した。 「不確実な環境」でも機能するAIの開発に成功 AIは過去のデータやパターンを学習し、画像を識別したり、将来を予測したりと、識別や認識技術を進化させた。今では将来の状況を踏まえて最善な選択をおこなう人間の意識決定に寄
情報教育の教員向けの資料をまとめてみた
はじめに この４月から新学習指導要領でのカリキュラムが始まり、改定された教科書も公になりました。 TwitterなどのSNSでの教科書に対する反響を見て、割とIT産業界の方々も学校における情報分野の扱いに関心を持っていることを知りました。 そこで、数年間はそこそこ学校教育に近いところ（？）にいたので自分の中で知っている資料を雑多にまとめておこうと思い、この記事を書くことにしました。 まとめている情報はほとんど教員向けのものなので、教員という職業に興味がない人から見るとわかりにくいものも多いかもしれません。その点はご容赦ください。 一般企業で技術者として働いている方でも、これらの資料を見ることで、教える立場のことを考える良い機会になるかもしれません。 資料まとめ 高等学校共通科目「情報I」と「情報II」について無料でアクセスできる資料をまとめました。 資料名 概要 リンク
「強いエンジニアは結局休日に勉強してるじゃん」って思うけど - spice picks
これまで何人も強いエンジニアと出会って、 「なんで自分はあの人と比べて何もできないんだ・・・。」と何度落ち込んだことか。 ただ、最近強いエンジニアの仕組みを理解してから落ち込むことは無くなった。 それについて書いていく。 （強いエンジニア達本人に聞いたわけではなく、観察してえられた個人の見解です） 気づき：強いエンジニアを見て落ち込む要因は2つありそう 1つは今の知識や技術力の差。 書くコードの違いだったり、成果物ができるまでの時間に差がありすぎたり、PRレビューで自分が思いもしなかったウルトラ解決策を何度も提示されて、自分の実力の無さを感じて落ち込む。 もう1つは新しいことを学ぶときの時間の差。 お互い知らない技術だったはずが、いつの間にか強いエンジニアはその技術に習熟(しているように見える)して、自分は理解不足で取り残されているという状況が発生しがち。 この時、自分には才能がないのかと
手書きの訓練が足りないと文章作成能力が低下？ 「読字」「意味理解」より影響 京大グループが研究|漢字学習 どこまで必要？|朝日新聞EduA
おおつか・さだお／博士（人間健康科学）。公認心理師、臨床心理士。京都府臨床心理士会理事（医療保健部局担当）、公認心理師の会医療部会専門委員。精神科病院・総合病院などの勤務を経て2017年から現職。日本漢字能力検定協会の協力を受けて、読み書き能力の発達に関する研究をおこなっている。著書に「精神科臨床とリカバリー支援のための認知リハビリテーション：統合失調症を中心に」など。 文章作成能力に影響するのは書字だけ ――ICT化が進むなかで、漢字を何度も手書きで練習させることを疑問視する声があります。 私たちの研究では、漢字を手書きで十分に練習することが、文章作成の能力に影響を及ぼすかもしれないことが分かりました。小学校から高校までの間に手書きで漢字を覚えることは、高度な言語能力の発達にとても重要なことなのです。 ――研究の概要を教えていただけますか。 京都と大阪の複数の大学から募集した大学生・大学
現状では、量子コンピュータを使っても特に高速に組合せ最適化問題や量子化学計算、機械学習は解けない件 by Yuichiro Minato | blueqat
こんにちは。最近米国でも量子コンピュータにまつわる誇大広告が問題になっています。米国ではすでに量子アニーリングを行っている企業はほとんどおらず、量子ゲート方式しかやっていないのにもかかわらず、誇大広告とはどういうことでしょうか？また、量子コンピュータに参入してしまった企業はどのように対策をしているのでしょうか。 特に誇大広告として語られてしまっているのが、 １，組合せ最適...
深層学習の父が出した、 「次のAI」の最新の答え
Geoffrey Hinton has a hunch about what's next for AI 深層学習の父が出した、 「次のAI」の最新の答え 人工知能（AI）の分野にブレークスルーをもたらした「深層学習」のパイオニアであるジェフリー・ヒントンが、深層学習の課題を克服することを狙った、新たな手法である「GLOM」を発表した。現在の段階では仮説にすぎないが、グーグルの研究施設で初期調査が始められている。 by Siobhan Roberts2021.05.10 121 14 47 2020年11月、コンピューター科学者であり認知心理学者でもあるジェフリー・ヒントンは、ある予感を抱いていた。半世紀以上もの間、試行錯誤を繰り返し、大成功も収めたヒントンは、脳の仕組みと回路をコンピューターで再現する方法について、有望な洞察を新たに見い出したのだ。 「これが、現在私の組み上げた最善の答え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンサルに「社員が『他責思考』なせいで売上が伸びない、どうにか『自責思考』に考え方をかえさせたい」と質問した回答がこちら
表紙 - 本物のC