東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 （最速・最短ルート用） まずは動かしてみよう。強くてニューゲームが体験出来るぞ！ 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入
この記事はTech KAYAC Advent Calendar 2019の4日目の記事です。 こんにちは。技術部平山です。 この記事では、人の行動を操る、つまり、人の行動を予測したり、望みの行動を取らせるために役立つ科学について 軽く紹介いたします。プログラミングの話はございませんが、 プログラマに読みやすい味付けにはしておきました。 なお、「人を操る」とか言っていますが、実際それで思うように操れるのであれば、 私はもっと裕福だったでしょうし、高い地位を得ていたことでしょう。 理屈と実践は異なるということです。 ただ、これを知って気が楽になる方もいらっしゃるかもしれませんし、 もしかしたら、実際に何かを改善させられるかもしれません。 基本的には与太話ですので、お暇な方のみお付き合いください。 予測に使える理論は、制御にも使えるかもしれない 何かしらの理論によって現象が予測できるのであれば、
イントロ「Amazonのこの商品をチェックした人はこの商品もチェックしています」や「YouTubeのあなたへのおすすめ」、「Twitterのおすすめユーザー」などのレコメンド機能は多くのWebサービスに組み込まれております。そのレコメンドによって、ついつい商品をたくさん買ってしまったり、夜遅くまで動画を見てしまった経験はないでしょうか。 この記事では、レコメンドシステムの裏側はどのような仕組みになっているのか、そもそもレコメンドとはどういうものなのかを具体例を交えながら俯瞰できればと思います。レコメンドシステムのアルゴリズムの詳細には触れず、ビジネスにおいてどのような形で実装されているかにフォーカスしています。ネット上に公開されているレコメンドに関するスライドや記事、論文のリンクをまとめましたので、アルゴリズムの詳細などはリンク先の記事でご確認ください。 対象の読者は、自社のサービスにレコ
前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。 こんにちは。サービスグループの武田です。 このエントリは、2018年、2019年に公開した AWS全サービスまとめの2020年版 です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。どちらがいいのか正直わからないので、フィードバックなどあれば参考にさせていただきます。 2020-01-08 リクエストがあったためAmazon Mechanical Turkを追加。 2018年まとめ 【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベー
ABEJA Advent Calendarの10日目です。 はじめにのはじめに 以下は、あくまでテストデータで上手く行ってるよという話で、本当にこれをやったら儲かるかというと、まだまだわかりませんのであしからず！あとネタがネタだけに、今回のはあくまで個人のやってみた記録であり、組織の取り組みとは関係ありません。 はじめに お金が欲しい！無限に寿司が食いたい！株で儲けたい！ 研究やエンジニアリングをしながら生きてく上で、将来のキャリアや技術スタックについて日々考えてるんですが、よくよく原点に立ち返るとそもそも技術スタックとかどうでもよくて、好きなものを作って漫画読んで生きていきたいんです。つまり結局、世の中は金なんですよね金。なので、何とかして寝てても圧倒的に儲かる仕組みを作りたい！そんな気持ちで私利私欲のために機械学習を使ったという記録です。 以下は、今回紹介する方法で実験したテストデータ
先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
1月末から全社員を対象に原則テレワークを開始 皆さんこんにちはー！ 現在クラスメソッドでは、世界5カ国（日本、カナダ、ドイツ、韓国、インド）、国内18フロアに勤務する約500名の社員の99%が毎日テレワークをしています。そうです、いきなり非日常が来てしまい、そしてそれが日常として定着してしまいました。これは、クラウドの世界の均衡を保つ為に暗躍する超人秘密結社「クラメソ」の知られざる活動の記録である。（ここでUNION SQUARE GARDENの曲が流れる） 社長業とはすなわち意志（WILL）の発信である 私はしがない零細企業の工場長として16年目の社長をしておりますが、創業時から大事にしていることは、「お前は何を考えて何をして何を成すんだ」という意志を言葉にして周囲に伝えることでした。もともとシャイなエンジニアでしたので、カフェとか居酒屋とか休憩室とかでの対面のコミュニケーションや、3ヶ
大規模言語モデルの驚異と脅威
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/
今や毎日耳にするChatGPTだけれど、そもそもどんな風に話題になってきたのかをこのGWを利用して振り返りたいって人もいるはず。そんな人のためにChatGPT関連ニュースをまとめておきましたので、ぜひご利用ください！ 良い振り返りで、良い人生を。 このタイトルだけでもChatGPTに食わせて、話題の流れをまとめてもらうのが一番かも？ 週刊東洋経済 2023/4/22号（ChatGPT 仕事術革命） 作者:週刊東洋経済編集部東洋経済新報社Amazon 2020/06/01 あまりに高精度のテキストを作り出してしまうため「危険すぎる」と問題視された文章生成言語モデルの最新版「GPT-3」が公開 - GIGAZINE 2020/07/21 GPT-3の衝撃 - ディープラーニングブログ 2020/07/22 「GPT-3」は思ってたより「やばい」ものだった。話し言葉でプログラミングまでこなすAI
「ChatGPTって何？」と聞かれたら、取りあえずこの資料を渡せば良い──2022年11月末に登場してすぐに世間を驚かせたAI「ChatGPT」。自民党もAIには注目しており、「AIの進化と実装に関するプロジェクトチーム」を開催しているのだが、そこで東京大学の松尾豊教授が提出した資料が「分かりやすい」と話題だ。 資料が提出されたのは2月17日開催の第2回会議。「AIの進化と日本の戦略」というタイトルで、大規模言語モデルの仕組みやChatGPT、今後の日本の戦略について説明するものだ。同資料は塩崎彰久衆議院議員が投稿したnote記事からダウンロードできる。 ChatGPTについては、その学習方法から、高度な会話を実現できた理由、ChatGPTでできること、利用場面や受け取られ方まで網羅的にまとめられている。 例えば、高度な会話後実現できた理由のパートでは、従来のモデルには「生成分が人間の好み
AIにかくれんぼをさせたら徐々に高度な戦略を編み出し、人間には思いつかないような作戦を取るようになった「腹抱えて笑った」
小猫遊りょう（たかにゃし・りょう） @jaguring1 AIにかくれんぼをさせたら、徐々に高度な戦略を編み出していって、あるとき、隠れる側が鬼を隠すゲームになってるの、何度見ても笑う twitter.com/OpenAI/status/… 2019-09-20 15:01:16 OpenAI @OpenAI Wondering why the hiders did not cage in the seekers instead of building their own fort? In one environment variant where hiders have to protect glowing orbs, that's exactly what they learned to do! pic.twitter.com/yifS7rI4eR 2019-09-20 07:39:0
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について
各種方針等 arrow_forward_ios生成系AIについて 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について 2023年4月3日 東京大学理事・副学長（教育・情報担当） 太田 邦史 この半年ほどの期間で、生成系人工知能(Generative AI)が複数発表され、社会的に大きな注目を集めています。基本的には、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習し、これに強化学習を組み合わせなどして、一定レベルの品質の文章や画像を生成するシステムです。とくに、2022年11月に公開され、話題になった大規模言語モデルChatGPTはバージョンが更新され、最新のGPT-4では生成される文章などの質や正確性が著しく向上しています1。 これらの生成系AIは、平和的かつ上手に制御して利用すれば、人類の
イントロ「実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得」というニュースが話題になっています。 脳細胞をトレーの中で人工培養させて、その細胞に卓球ゲームの「Pong」をプレイさせたところ、たった５分で学習し、ラリーが続くようになったと報告されています。まるで、マトリックスの映画のようで、この技術を使った未来がワクワクすると同時にちょっと怖くもあります。一体、どんな技術を使って、脳細胞に卓球ゲームを学習させたのでしょうか。このニュースを取り上げている記事は多かったのですが、中身の仕組みについて解説している記事は多くありませんでした。そこで、このブログ記事では、ミニ脳にゲームを学習させた仕組みを自分の勉強がてらに、備忘録的にざっくりとまとめたいと思います。（そのため、自分の理解や記述が間違っている箇所があるかもしれません。もしありましたらお知ら
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 ペトリ皿の上で人間の脳細胞を約80万個にまで培養した「DishBrain」に、科学者が原始的なゲーム『Pong』をプレイさせることに成功したと、査読付き科学ジャーナルNeuronに発表しました。 この研究を率いた研究者Brett Kagan博士は、「外部から情報を得て、それを処理し、リアルタイムで反応を返すことができる」と語っています。 話だけを聞いていれば、なんだか皿の上の小さな脳細胞の塊に自我があって、何らかの方法でコントローラーを操作してゲームをプレイしたかのうような話にもきこえます。しかし、いくら人の脳細胞とはいえ、目もなければ耳もない脳細胞のかけらがそのような高度な反応を示せるはずもありません。 で
JP Contents Hub
AWS 日本語ハンズオン Amazon Web Services(AWS) の 日本語ハンズオンやワークショップを、カテゴリごとにまとめています。 右側の目次や、ヘッダー部分の検索ボックスから、各コンテンツにたどり着けます。 また、Ctrl + F や command + F を使ったページ内検索もご活用いただけます。 料金について ハンズオンで作成した AWS リソースは通常の料金が発生します。作成したリソースの削除を忘れずにお願いします。 もし忘れてしまうと、想定外の料金が発生する可能性があります。 画面の差異について ハンズオンで紹介されている手順と、実際の操作方法に差異がある場合があります。 AWS は随時アップデートされており、タイミングによってはハンズオンコンテンツが追いついていない事もあります。 差異がある場合、AWS Document などを活用しながら進めて頂けますと幸い
※ 一部ガイドラインに反する内容がありましたので、該当箇所を修正のうえ再投稿しております。 はじめに Axross は、エンジニアの"教育"と"実務"のギャップに着目し、「学んだが活用できない人を減らしたい」という想いで、ソフトバンク社内起業制度にて立ち上げたサービスです。 現役エンジニアによる実践ノウハウが"レシピ"として教材化されており、実際に動くものを作りながら、具体的な目的・テーマをもってプログラミングを学ぶことができます。 今回は、Axross運営が厳選した『AI・Python活用レシピを100選』をご紹介します。是非、みなさまのAIやPython学習の参考にしてみてください。 Axross：https://axross-recipe.com 公式Twitter：https://twitter.com/Axross_SBiv 基礎 スクレイピング 01 . JUMPの掲載順をスク
2023年版：実務データ分析を手掛けるデータサイエンティスト向け推薦書籍リスト（初級6冊＋中級8冊＋テーマ別15冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出
テレビ局から「スマホ依存症についてドーパミン神経系から説明してくれないか」という話があったけどそれは無理だという理由がこちら
はげひげ（菊仙人） @96hage 今日、テレビ局から電話があった。依存がらみなのか、スマホ依存についてドーパミン神経系から説明してくれないかという話。 「快感でドーパミンが放出されると癖になって依存する」とかいうアホっぽい説明をしてほしいらしい。 「そりゃ、無理だ」と答えた。 そもそもドーパミン神経系は、報酬に対しても活性化するが、報酬が得られそうなトリガーでも活性化する。その程度は実報酬以上になる。だから、人はドーパミンにハマるといわせたいのだろうが、ドーパミン神経は報酬予測誤差を計算する。機械学習の強化学習はこの仕組みの応用だから今や常識。予測より実報酬が少なければ、ドーパミン神経の活動は止まる。これが繰り返されると「飽きる」。 テレビにそって説明すれば、あおった番組がつまらなければ（実報酬が予測を下回れば）、番組中でも視聴率は落ちるし、次回への報酬予測が小さくなり次回の視聴率は落ち
TOP > Article Theme > AI（人工知能）ニュース > 東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も 東京大学 松尾研究室は1月29日から、無料でディープラーニング（深層学習）や自然言語処理について学べる、短期間のオンライン講座の受講者を募集している。対象は学生（大学院、大学、高専、専門学校生、高校、中学など）。募集は2月8日（月）の10時00分まで。選考結果は2月15日（月）までに受講決定者にメールで連絡する。 今回、募集しているオンライン講座は「スプリングセミナー2021：深層強化学習」「プリングセミナー2021：深層生成モデル」「プリングセミナー2021：Deep Learning for NLP講座」の3つ。なお、人工知能（AI）研究の第一人者で、東京大学 松尾研究室を率いる松尾豊氏は企画・監修だけではなく、
世界で74万人以上が受講した海外講座を“日本語で”学ぼう！ Udemyで初夏のビッグセール開催＆大人気講座をチェック - はてなニュース
多くの企業から「人手不足だ」という話が聞こえてきます。なんでも、新しいビジネスを始めようとしたり、新規サービスを立ち上げようとしたり、はたまた事業規模を拡大したり、ということで人材を募集しても、なかなか集まらないんだとか。それも、大企業からスタートアップまで、会社の規模の大小や領域に限らず、ありとあらゆる分野の企業が当てはまっています。 特にIT業界は、ただでさえ業界全体が成長しているうえに、技術の進歩と陳腐化が激しいため、基礎的な技術や知識を持ちながら、新たな情報やトレンドもフォローしているようなエンジニアは、引く手あまた。さらに最近では、エンジニアでなくてもビジネス分野で活躍するためには、データを扱うことができる高度な知識と経験が求められるケースが増えてきていることもあって、人手不足に拍車が掛かっているのだそうです。 そんな社会の中で、自分を成長させ、新たな分野に踏み出していくためには
実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊＆中級8冊＋テーマ別11冊（2020年2月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
ChatGPTはどのように学習を行なっているのか
はじめに ChatGPTのインパクトが個人的にすごかったので、どういった学習が行われているのか、どういう課題があるのか等を理解しようと思い、OpenAIの記事をベースに情報をピックアップしてざっとまとめました。 あくまで私なりの解釈で情報を整理してまとめたものになりますので、いくつか専門性の低い分野に対しては曖昧な記述になっていたり、理解を誤って記載しているかもしれません。 もし間違い等がありましたらご指摘いただけると大変ありがたいです。 ChatGPT: Optimizing Language Models for Dialogue 参考 ChatGPTは、OpenAIによって開発された、対話に特化した言語モデルである。 特徴としては、 前の対話内容に続く質問への回答が可能。 間違いを認めることもできる。 正しくない前提に対する異議を唱えることもできる。 不適切なリクエストには応じない。
LLM chatbotが人類にもたらすのは、絶望なのか希望なのか - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。 既に色々コメントが出ているけど、我々人類が「知的労働」だと思っていることの大半が実は「過去実績をなぞって適当にその場に合わせて組み立てているだけ」なんじゃないかと訝っているので、そういう「自称知的労働」は多分LLMで代替されると思う。新奇なものを生み出す仕事は相変わらず残る https://t.co/GGK41vSDcn— TJO (@TJO_datasci) 2023年3月15日 昨年の年末振り返り記事でも話題にしたChatGPT（そして後続の各種LLM chatbot）ですが、今年に入ってからの話題の広がり方には想像を超えるものがあり、ついに朝の情報番組な
1. 第3次AIブームの到来 米Google DeepMindが開発した人工知能（AI）の囲碁プログラム「AlphaGo」が世界トップレベルの実力を持つ韓国のプロ棋士、李世ドル（イ・セドル）九段に4勝1敗と大きく勝ち越したことが着火剤となり、2015年より第3次AIブームへと突入した。(ちなみにAIが誕生したのは1950～1960年代で第1次AIブームの到来) 1.1 余談になるがAlphaGo(4億円の知能)はなぜすごいのか？ AlphaGoがそれ以前のチェスや将棋のAIと異なるのは、 畳み込みニューラルネットワーク（CNN） を応用している点だ。このCNNはさらに強化学習を行い、自分自身と対局を数千万回も繰り返した。 間違っていたらすみません、、、、 1.2 ChatGPTによる生成AIのブーム ChatGPTに代表されるLLMは以前から開発競争が繰り広げられていた。 GPT1は201
毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語モデルの実装も見た。世界を三次元的に解釈して合理的な質問と答えを行う大規模言語モデルもあれば、4ビット量子化した60モデルは8ビット量子化した30Bモデルよりも高性能という主張がなされたり、Googleは論理回路の設計を強化学習で行なっているという。どれもこれもにわかには信じ難いが、今目の前で起きていることだ。 「シンギュラリティ」の定義には、「AIがAIを設計し、改良し続ける」という部分があるが、今のAIは人間も考えているが、実はAIがAIを設計している部分
普段は「通知が迷惑かなー」と思ってブックマークしていただいている方に通知せず記事を編集しているのですが、この記事をブクマしていただいている方は続きが気になっている方だと思いますので通知させていただきます。 結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです！ 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何
誰でもわかる強化学習
本資料は，東京大学松尾研究室で開催された強化学習セミナーの講義資料をもとに，講演目的でより初学者向けに内容を調整したものです．特に強化学習で最も基本的かつ最重要手法であるQ学習や，それの深層強化学習版のDQN（Deep Q-Network）を中心に解説しています. 昨今，ChatGPT等の大規模言語モデル（LLM）の開発に強化学習が使用（RLHF等）され，さらに強化学習をLLMに本格的に組み込んだAI（ GoogleのGemini，OpenAIのQ*等）の出現が予想されることから，�強化学習の知識の普及のため公開しました.
セガは6月25日、対戦アクションパズルゲーム「ぷよぷよ」のソースコードを使ったプログラミング教材「ぷよぷよプログラミング」を、26日から無料で提供すると発表した。 ぷよぷよプログラミングは、Webシステムの開発を手掛けるアシアル（東京都文京区）のプログラミング学習ツール「Monaca Education」上で使える教材。インターネット環境があればOSの種類に関係なくWebブラウザから操作できる。 利用者は、HTML5やJavaScriptで書かれたソースコードを書き写し、ぷよぷよのプレイ画面を確認しながらコーディングを学ぶ。「ぷよ」を左右に移動させたり、消したりできる他、ぷよの色や数を変更できる。 関連記事 セガ、手のひらに収まる携帯ゲーム機「ゲームギアミクロ」発売決定 「ガセですか？」「セガです」 セガは6月3日、小型携帯ゲーム機「ゲームギアミクロ」を発売すると発表した。セガグループの里
2019年9月5日，日本最大のゲーム開発者会議CEDEC 2019の2日めにバンダイナムコ研究所の森口明彦氏から，「芯（シン）・遅延対策2020 〜ヒトのスペックから導かれる安定性重視とフレームレートのベストプラクティス」と題する講演が行われた。 ゲームの体験で大きな問題になりうる「遅延」については，CEDECでもたびたび取り上げられ，森口氏も何度かCEDECで講演を行っている。遅延はプレイヤーの操作から画面に反映されるまでの時間差のことを指すものだが，今回の講演では，プレイヤー側の事情に踏み込んでどの程度の対策が必要とされているのか，どの程度の対策があれば十分なのかなどについて定量的な分析と考察が披露されたので，そのあたりを中心に紹介してみたい。 ゲームの処理サイクル（左）と人間の処理サイクル（右）。それぞれが一定の周期で処理を進めている 人間に対する視覚や聴覚の処理は小脳の運動中枢の一
つい先日ツイートした通り、奨学金71万円を返納した。 奨学金71万円を返納しました！！！！！ ありがとう夏のインターン！！！ さよなら給料！！！！ pic.twitter.com/90Ygyhy45k— コミさん (@komi_edtr_1230) October 24, 2019 正直なところもう今回の奨学金返納騒動の件については忌々しい感情しかないので文に起こすのも憚られるのだけど、なんとか収束して落ち着いたので便所の落書き程度の気持ちでブログに残しておこうと思う。 発端 そもそも今回の騒動は去年自分がスイスに留学したことから始まる。 去年の8月からスイスに留学することが決まっており、そのための留学資金を調達することが必要で、その際に資金調達先として選んだのが文科省が主宰するトビタテ留学Japan (以下、「トビタテ」と略す) という給付型留学奨学金プロジェクトだった。 このトビタテの
【環境構築不要・スマホ/タブレットOK】東大松尾研のDeep Learningエンジニア育成講座『DL4US』を自習する - Qiita
PR: 以前の記事 のデータサイエンティスト向け講座のColab実行方法などをまとめ、 図解速習DEEP LEARNINGという本ができました。[2019年5月版] 機械学習・深層学習を学び、トレンドを追うためのリンク150選 - Qiitaでも、一部内容をご覧いただけます 参考: Colaboratoryユーザによる非公式の情報交換Slackを試験的に立ち上げました。リンクより、登録・ご参加ください。 TL;DR いつも満員抽選となる東大松尾研Deep Learningエンジニア育成講座『DL4US』の演習資料が公開された Google Colaboratoryを使えば、Python等セットアップ不要ですぐに始められる 全ノートブックを実行し、つまずき所も乗り越え方をまとめました セットアップ後は、スマホやタブレットのブラウザでもok GPUだって無料で使える! Colab概要はこちら:
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人間の行動を操るために覚えておきたい科学 - KAYAC engineers' blog
これから推薦システムを作る方向けの推薦システム入門｜masa_kazama
社内勉強会で生成AIについて発表したので70ページの資料を公開する！ - Qiita
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
【2020年】AWS全サービスまとめ | DevelopersIO
株AIを結構頑張ったら、儲かりそうな雰囲気が出ている - Qiita
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
社長として最低限のテレワーク環境を整えてみた | DevelopersIO
GWにChatGPTについて振り返りたい人向けまとめ - まなめはうす
AIの権威による「ChatGPT」の説明が分かりやすい！ 東大松尾教授の資料が話題
30分で完全理解するTransformerの世界
ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
人工培養された脳細胞によるゲームプレイの仕組み 〜自由エネルギー原理について〜｜masa_kazama
人工培養した人の脳が「Pong」をプレイ。AIよりも早い上達を見せる | テクノエッジ TechnoEdge
AI・Python活用レシピ100選 - Qiita
東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も | Ledge.ai
【2021年】AWS全サービスまとめ | DevelopersIO
pythonは_(アンダースコア)の使い方を理解するだけでプロフェッショナルになれる - Qiita
プレ・シンギュラリティ、もう始まってない?｜shi3z
『Winny』の金子勇さんの失われたED法を求めて - Qiita
「ぷよぷよ」のプログラミング教材、セガが無料提供 “ぷよ”の移動や色指定でゲーム制作体験
［CEDEC］脳の動作クロックは33Hz？ 人間のスペックに適合させたゲームの遅延対策とは
給付型留学奨学金の71万円を返納した - 日常と進捗