先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
AI成果物が急増したことで「AI生成コンテンツをAIが学習するループ」が発生し「モデルの崩壊」が起きつつあると研究者が警告 - GIGAZINE
Adobeが権利的にクリアなトレーニングモデルを用いた画像生成AI「Firefly」を発表したり、Microsoftの検索エンジンであるEdgeで対話型AIのChatGPTが活躍していたり、世界的なコンサル企業が「社員の50％は業務にジェネレーティブAIを活用している」と明らかにしたりと、ジェネレーティブAIは社会に広がり続けています。しかし、AIを使用してコンテンツを作成・公開する人が増えていることで、新たな問題として「AIが生成したコンテンツがインターネット上にあふれ、それをAIが学習することで、重大な欠陥が生まれている」ということが研究者グループから指摘されています。 [2305.17493] The Curse of Recursion: Training on Generated Data Makes Models Forget https://doi.org/10.48550/
新NISAでの個別株投資を考えてみる｜UKI
はじめにUKIです。 いよいよ来年2024年から新NISAが始まります。今回の記事では、新NISAにおける投資戦略、特に個別株投資の戦略について考えてみます。この時期にこのテーマを取り上げることは、一般層にデータ投資を知ってもらう上で避けて通れないと考えました。 この記事を読んでいらっしゃる方は、「NISAで個別株投資なんかいらんやろ、米株インデックス（もしくはオルカン）でいいやん」と思っていることでしょう。本記事は、そのように投資に対して一定以上のリテラシーをお持ちの方を対象としています。そのような方にこそ、是非ご拝読頂きたいと思っています。 本記事では、まず新NISAの概要をざっくり説明し、続いて新NISAで個別株投資を考えるべき理由について説明します。その後、個別銘柄の選定手法について説明を進めます。今回筆者は、各企業の株価データと財務諸表を元に、どのような個別株が購入検討の余地があ
統計検定準1級 合格体験記 - Qiita
はじめに 統計検定準1級は(一財)統計質保証推進協会が実施、(一社)日本統計学会が公式認定する「2級までの基礎知識をもとに、実社会の様々な問題に対して適切な統計学の諸手法を応用できる能力を問う」試験です。現在はCBTでの実施となっています。 主観を込めて言いますと、2級と準1級では難易度に雲泥の差があります。 強調して言っておきます。まったく違います！ 準1級では統計的推定や検定に加えて、多変量解析(重回帰、PCA、主成分分析、数量化)、時系列解析、マルコフ連鎖、確率過程、分散分析、ベイズ統計、MCMC...と範囲が広いのが特徴です。 以下、かなりの長文になりましたが、受験して得た知見をかなり具体的に記述しました。読者の皆様の合格への一助となれば幸いです。 目的 私はとある私立中高で物理と情報を教えています。統計の勉強を始めたのは、教科「情報」を教えるにあたってのスキルアップが目的です。も
前世紀には観測問題を論じる人が多かったのですが、標準的な量子力学にはそのような観測問題はなかったことが現在では分かっております。例えば以下のように理解されています。 （１）波動関数の収縮について: 量子力学は情報理論の一種であり、波動関数は古典力学の粒子のような実在ではなく、情報の集まりに過ぎません。測定によって対象系の知識が増えることで、対象系の物理量の確率分布の集まりである波動関数も更新されるのが波動関数の収縮です。 「系を観測をすると、その波動関数（または状態ベクトル）は収縮し、その変化はシュレディンガー方程式に従わない」と聞いて、前世紀の「観測問題」に目覚めてしまって、「波動関数とは？収縮とは？」と懊悩してしまっている物理学徒は、まず箱の中の古典的なサイコロの目の確率を考察してみて下さい。 各目の出る確率は1/6で、一様分布でしたが、箱をとってサイコロを観測して3の目が出ていれば、
見積りとは何か？
見積りとは何か？2023年12月2日この記事は 10X アドベントカレンダー2023 という企画の2日目（12/2）の記事です。 1日目（12/1）の昨日は岡野さん（@operandoOS）による「CIを高速化する技術⚡️」でした。 はじめに この記事の内容は以下の本の第一章とほぼ同じ内容となります。この記事の読んで見積りについて興味が湧いたらぜひ以下の書籍に目を通してみてください。 出典 ソフトウェア見積り 人月の暗黙知を解き明かす 早速ですが見積りしてますか？おそらくソフトウェアエンジニアの方であれば、こんな感じで会話して見積りした経験が1度はあるんじゃないでしょうか？ プロダクトマネージャー「機能xyzの件だけど、開発期間はどのくらいだと見積もってる?」 ソフトウェアエンジニア「1ヶ月ですね。」 プロダクトマネージャー「長すぎる。1週間で何とかならないか。」 ソフトウェアエンジニア「
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
Udemyで夏のビッグセール開催！ 話題の生成系AIからプロダクトマネジメントまで、新たな得意分野を見つけよう - はてなニュース
※夏のビッグセール、およびキャンペーンは終了しました。ご応募ありがとうございました。なお、Udemyの講座修了者を対象とした「学習応援キャンペーン」は9月30日まで実施中です。 オンライン学習プラットフォーム「Udemy」では、2023年8月22日（火）から夏のビッグセールを開催します。対象の講座が1,200円から購入可能と、なかなかチャレンジできなかった新しい領域を学習するにはとってもお得なチャンス。 今回のセール対象講座から、ChatGPTやMidjourneyといった話題の生成系AI、その基礎となる大規模言語モデル（LLM）の入門や実装を扱う講座といった人気のトピックに加えて、アプリケーション開発やプロジェクトマネジメント、さらには英語学習など、ステップアップを目指すITエンジニアにオススメの中級から上級の講座もピックアップして紹介します。 Udemyで勉強を始めたいけれど、いろいろ
敵対的プロンプト技術まとめ - Qiita
こんにちは@fuyu_quantです。 この記事はLLM Advent Calender 2023 17日目の記事です。 よかったらプライベートで作成したData Science wikiのGPTsも見て下さい！ はじめに 今回は敵対的なプロンプト技術についてまとめました．まとめ方は主に，Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition というLLMに対する敵対的なプロンプト技術に関してまとめた論文を参考にしています．本記事の内容が世の中のLLMを使ったサービスの機能向上の役に立てれば幸いです． ※世の中のLLMサービスが敵対的なプロンプト手法に対応できるように公開をしたものであり，利用を
強化学習におけるLLMの活用パターン調査 はじめに：実世界における強化学習の課題 LLM×強化学習 人間はゼロショット推論によりサンプル効率の良い学習ができる LLMによるゼロショット推論の例 さまざまなLLM活用パターン 1. 報酬モデルとしてのLLM LLMによる代理報酬モデル VLMによる外観ベース代理報酬モデル 外部知識にもとづく報酬モデル設計 2. 計画モデルとしてのLLM LLMによるセマンティック計画 LLMによる構造的な探索計画 3. 方策モデルとしてのLLM LLM as 確率方策 マルチモーダルLLM as 確率方策 参考：GPTアーキテクチャの転用 4. 世界モデルとしてのLLM Language Models Meet World Models (あとで書く) おわりに：VLM as 確率方策に期待 はじめに：実世界における強化学習の課題 レトロゲームで人間並みのパ
PDFを見返すと独習を始めた頃の線形代数のノートはほとんど殴り書きで、単に計算用紙としてノートを使っています。微分積分に入ると少しはましになってきますが、頭に入れたい概念の定義や定理の証明を何度も書き直したりしています。また独習ですから間違った理解を正しいと思い込んだまま証明を書いて、分かったつもりになっている箇所も少なからずありそうです。とまれ上記の表に挙げた各書籍に曲がりなりにも取り組んだことを示す、書証のつもりでノートを晒しました。 余談ですが、使用したノートは、PLUS の品番 NO-204GS (A4 G罫 5mm方眼 40枚) という方眼ノートです。また筆記用具は当初シャープペンシルを使っていましたが、「オイラーの贈物」からは万年筆に替えました。プラチナ#3776センチュリーUEF(超極細字)を使っています。 1.3 私について 本記事の作者であり学び直しをした本人である私は、
データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
増田は婚活に向いていないと思います。
理由：母集団が小さいため （訂正：母数が少ないため）社会実験としては興味深いかもしれませんが、犯罪に利用される可能性も考慮すると、まともな人は連絡しないでしょう。 https://anond.hatelabo.jp/20230811163950 【婚活】 東京30代女、パートナーを探しています マッチングアプリとは別の出会い方も試したく、増田婚活をしてみることにしました。 婚活中の男性からのコンタクトや、そうでない皆さまからのアドバイスをいただけましたら嬉しく思います。 hatena.anonymous.diary(at)gmail.com スペック31歳/ 東京在住/ 153cm/ 38kg(増量予定)/ 年収600万/ 国立大卒(社会学専攻) 在宅で貿易系の仕事(正社員)/ 一人暮らし/ お酒弱い/ タバコ吸わない/ 黒髪ボブ/ 外見とコミュ力は普通だと思いたい(注1) (注1) アプ
拡散モデルで、将棋の方策を学習できないか試してみた。 拡散モデル 拡散モデルは、高品質で多様なサンプルを生成できる生成モデルである。 昨年8月にStable Diffusionが公開されたことで注目を集めている。 拡散モデルは、確率微分方程式によって表される確率分布を近似するモデルで、モード崩壊を起こさず多様な分布を学習できるという特徴がある。 また、プロンプトと呼ばれるテキストにより条件付けを行い、テキストに従った画像を生成できる。 将棋の方策 将棋の方策は、座標と移動方向の組み合わせで表現でき、dlshogiで採用している表現方法では2187次元になる。 つまり、指し手は、局面によって条件づけられた2187次元の確率分布からサンプリングを行っていることになる。 拡散モデルの可能性 条件付けを行い高次元の確率分布からサンプリングを行うという仕組みは、将棋の方策においても適用できると考える
こちらは「ChatGPT の仕組みを理解する」の後編記事になります。 前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている InstructGPT を説明したいところなんですが、InstructGPT では強化学習の手法を使用しているので、後半記事では一旦自然言語から離れて強化学習の基礎から PPO までを説明し、最後にメインコンテンツである InstructGPT → ChatGPT を説明します。 強化学習の基礎事項 強化学習のモデル化 環境のマルコフ性とマルコフ決定過程（MDP） 価値関数 強化学習手法の分類 価値ベースの強化学習手法 方策ベースの強化学習手法と方策勾配法 アクター・クリティック手法 TRPO [Tr
気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のことを確率降水量といいます。気象庁の解説ページでは、確率降水量の推定方法が解説されていますので、これに基づいて「〇〇年に一度の大雨」の値を計算してみたいと思います。 大まかには次のような流れになっています。 年最大日降水量のヒストグラムを作成する 分布関数を当てはめる 分布関数の当てはまり具合を確認する 当てはめた分布関数から確率降水量を算出する 今回は、上記3. をとばして、4.の「当てはめた分布関数から確率降水量を算出する」を実際にやってみましょう！ 再現年と確率降水量 気象庁の解説ページにもあるように、再現年 $T$ は $$ T = \frac{1}{1 – F(x; \theta)} $$ で与えられます。ここで、$F(x; \theta)$ は確
『最適輸送の理論とアルゴリズム』が重版して第 5 刷となりました。皆さまありがとうございます！ 漫画家さんやイラストレーターさんが重版したときに重版感謝の描き下ろしイラストを投稿しているのを見ていいなと思ったので、僕も専門書が重版したときに重版感謝の書き下ろし専門記事を投稿します。 本稿では、最近話題の拡散モデルと最適輸送の関係を直観的に解説します。 拡散モデルは画像の生成によく用いられる生成モデルです。モデルはノイズ入りの画像を受け取り、ノイズを除去することを目指します。生成時には、完全なノイズ画像からはじめて、モデルによりノイズを除去することと、微小なノイズを加えることを繰り返して洗練させていき、自然画像を得ます。 拡散モデルの動作の図示 このように、ノイズ から自然画像 までゆらぎながら変化する過程をブラウン橋 (Brownian bridge) と言います。ブラウン運動 (Brow
ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。ここからはAzure OpenAI Serviceならではの特徴と、Azure OpenAI Serviceのプレイグラウンドについて話します。前回はこちらから。 マイクロソフトとOpenAI 蒲生弘郷氏：こういうことを言うと、「またマイクロソフトの人間が大きなことを言ってポジショントークをしている」みたいになりますが、GPTは正しい使い方と注意点を踏まえていかないといけない部分はやはりあると思うので、今日のこの講演の中でしっかりその内容について把握いただいた上で、活用方
初めてのAIプロダクトで「独自LLMで会話するAI VTuber」を開発。にゃおきゃっと氏に聞く「今10分触ってみる」が持つ力
TOPインタビュー初めてのAIプロダクトで「独自LLMで会話するAI VTuber」を開発。にゃおきゃっと氏に聞く「今10分触ってみる」が持つ力 初めてのAIプロダクトで「独自LLMで会話するAI VTuber」を開発。にゃおきゃっと氏に聞く「今10分触ってみる」が持つ力 2023年11月27日 Realice株式会社 CTO／スペイン語VTuber／AI VTuber「永藍レナ」開発者 にゃおきゃっと（楠田真矢） 新卒から8年間、携帯電話の認証系バックエンド開発に従事。2021年8月より、趣味でVTuberとしてスペイン語圏をメインに活動。2023年2月、自身が開発した独自AIを用いてスペイン語で会話するAI VTuber「永藍レナ」が活動開始。2023年7月末から現職。2023年10月末には、東京大学松尾研究室の2023年大規模言語モデルサマースクールを修了。 視聴者のコメントにAIが
この連載は、データをさまざまな角度から分析し、その背後にある有益な情報を取り出す方法を学ぶ『社会人1年生から学ぶ、やさしいデータ分析』連載（記述統計と回帰分析編）の続編で、確率分布に焦点を当てています。 この確率分布編では、推測統計の基礎となるさまざまな確率分布の特徴や応用例を説明します。身近に使える表計算ソフト（Microsoft ExcelやGoogleスプレッドシート）を使いながら具体的に事例を見ていきます。 必要に応じて、Pythonのプログラムや統計ソフト「R」などでの作成例にも触れることにします。 数学などの前提知識は特に問いません。中学・高校の教科書レベルの数式が登場するかもしれませんが、必要に応じて説明を付け加えるのでご心配なく。肩の力を抜いてぜひとも気楽に読み進めてください。 筆者紹介： IT系ライターの傍ら、非常勤講師として東大で情報・プログラミング関連の授業を、一橋大
ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。まずは、テキスト生成過程におけるGPTの動きと、マイクロソフトの製品におけるGPT機能の組み込みの流れについて話します。 蒲生氏の自己紹介 司会者：本日のセミナーは「ChatGPTによって描かれる未来とAI開発の変遷」として、日本マイクロソフトの蒲生さまに講演いただきたいと思います。蒲生さま、よろしくお願いいたします。 蒲生弘郷氏（以下、蒲生）：日本マイクロソフトの蒲生と申します。よろしくお願いします。本日は非常にたくさんの方に集まっていただいて、なんでこんなに集まったの
はじめに ここ最近、大雨のニュースを見るたびに「〇〇年に一度の大雨」という表現を目にします。これは「千年に一人の美少女」や「百年に一度の逸材」といったレトリックではなく、データに基づいて統計的に算出された根拠のある数字です。 気象庁や自治体では観測結果をもとにこのような量を算出し、発表することで防災に役立てています。このシリーズでは、算出方法を確認し、Pythonを使って、実装・計算してみたいと思います。 なお、ここで紹介する手法は、実際に公的機関が発表しているものとは異なる場合が多分にありますので、十分にご注意ください。 今回は、前回に引き続き、分布関数をヒストグラムに当てはめる方法について紹介したいと思います。 「○○年に一度の大雨」の計算方法とは？ 気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のこ
Amazon Bedrockの基本情報とRuntime APIの実行例まとめ － 参考資料、モデルの特徴、価格、使用方法、トークンと推論パラメータの説明 - NRIネットコムBlog
小西秀和です。 今回は2023-09-28にGeneral Availability(GA)になったAmazon Bedrockの基本情報、Runtime APIの実行例についてまとめました。また、トークンやパラメータのイメージをつかむための必要最小限の用語説明も所々入れています。 最終更新日：2024/03/14 ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する場合は自己責任でお願い致します。また、予告なく修正することもありますのでご了承ください。 今回の記事の内容は次のような構成になっています。 Amazon Bedrockの基本情報 Amazon Bedrockの参考資料・学習リソース Amazon Bedrockとは テキストを扱うGenerative AIにおけるトークン(to
驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する - Qiita
はじめに 最近、3D業界で大きな衝撃を与えた「3D Gaussian Splatting」1について、ご存知でしょうか？数少ない写真から、目を奪われるほど美しい三次元シーンを再構成できるデモを見て私も大感動しました。なぜこんなに美しいのか、どんな技術で実現したのか、興味が湧いています！ "普通の3D物体ではなく、カメラの移動に合わせて、水面に映る景色も正確に表現しています。これはなかなか凄い..." 私も時間をかけて論文や公開されたコード2を勉強しました。本家の実装はCUDA化されており、難解な部分が多く、論文に書かれていないこともあります。そのため、「3D Gaussian Splatting」を勉強したい人にむけ、わかりやすい解説記事を書こうと思いました。単に概念や考え方だけでなく、ゼロから再実装できるように、すべてのロジックを数式として整理し、徹底的に解説しようと思います。 「3D
大規模言語モデル（LLM）とは何か？ その仕組みと実用化まで 登壇したのは、グーグル・クラウド・ジャパン合同会社 ソリューションズアーキテクトの中井悦司氏と、同社のAI/ML 事業開発部長である下田 倫大氏の2人。まず中井氏がセッションのテーマである大規模言語モデル（LLM）の基礎知識を解説した。 グーグル・クラウド・ジャパン合同会社 Solutions Architect 中井悦司氏 ウィキペディアで「言語モデル」を調べると、「単語列に対する確率分布を表わすもの」とある。中井氏は、世の中に存在する大量の自然言語で書かれたテキスト文書に対し、その文書がどれほど「ありそう」なものなのかを確率で表現するものが言語モデルであると説明した。 言語モデルの利用例として、文章の次に来る単語の予測が挙げられる。例えば、"This is a ……"とあると、多くの日本人は"pen"と想像することが多い。そ
ABテストにおける分散削減手法①〜少ないサンプルから小さな改善効果を検出する〜｜あならいずパンダ
マネーフォワード 分析推進部の石田と申します。 社内では、データサイエンティストとして施策効果検証系の案件を中心に担当しています。 本稿から2回に渡って、「ABテストにおける分散削減手法」というテーマで記事を執筆したいと思います。 馴染みのない方もいらっしゃるかもしれませんが、ABテストへ分散削減手法を適用することで、例えば以下に挙げたメリットを享受することができます。 必要サンプルサイズを低減できるため、意思決定サイクルを高速化できる より小さな改善効果を検出できる 魅力的だと感じていただけた方は、ぜひ最後まで本稿をお読みください！ 目次 想定する読者層と書いてある内容本稿のメインターゲットは、以下のような方です。 統計的仮説検定の理論を少し勉強したことがあるけど、分散削減と言われてもあまりピンと来ていない 確率変数、標本平均、分散、正規分布の意味は分かるけど、t検定の検定統計量がパッと
カオスを用いた脳型ベイズ計算モデル
理化学研究所（理研）脳神経科学研究センター 数理脳科学研究チームの寺田 裕 基礎科学特別研究員（研究当時）と豊泉 太郎 チームリーダーの研究チームは、神経ダイナミクスのカオス[1]を用いて、環境状態の推定を行う脳型のベイズ計算[2]機構を提案しました。本研究成果は、脳の情報処理メカニズムの原理の解明、特に神経活動のダイナミクスを用いた推論の理解に貢献すると考えられます。また、脳を模倣したニューロモルフィック計算機[3]など人工知能や機械学習への応用も期待されます。 今回、研究チームは、神経細胞間の情報伝達を担うシナプス結合[4]の効果で生じる神経活動のカオスに着目しました。提案した脳の神経回路[5]のモデルでは、感覚入力がたとえ一定であっても、シナプス結合による神経細胞間の相互作用を使って時間とともに揺らぐ神経活動を積極的に生成します。このように生成された神経活動は微小な変動による誤差が将
LLMの「創発」は幻影か
3つの要点 ✔️ 大規模言語モデルで観察される創発を検証 ✔️ LLMの創発は評価指標が見せる幻影である可能性を示唆 ✔️ LLM以外のモデルにおいて特定の評価指標を用いることで意図的に実際には発生していない創発を再現することに成功 Are Emergent Abilities of Large Language Models a Mirage? written by Rylan Schaeffer, Brando Miranda, Sanmi Koyejo (Submitted on 28 Apr 2023 (v1), last revised 22 May 2023 (this version, v2)) Comments: Published on arxiv. Subjects: Artificial Intelligence (cs.AI); Machine Learning (
モデル予測経路積分制御 (Model Predictive Path Integral Control; MPPI) 入門
モデル予測経路積分制御 (Model Predictive Path Integral Control; MPPI) 入門 本記事は名古屋大学の本田康平（https://kohonda.github.io/ ）による寄稿です． はじめに ロボットの制御や運動計画で人気を博しているモデル予測制御 (MPC) ですが，MPCの中でもサンプルベースMPCは手頃に実装できる上に，性能もそこそこ良いため非常に使い勝手が良いです．サンプルベースMPCとは，有限時間将来までの制御入力のサンプルを複数用意して，それらを制御対象の予測モデルを用いて未来の状態を予測・評価して，制御入力を決定するというものです．これらは予測モデルやコスト関数が微分不可能であったり非線形性が強い場合でも利用できるので，とても使い勝手が良く，モデルベース強化学習などでもしばしば利用されます． 近年，サンプルベースMPCに対して確率
0.はじめに 『現代数理統計学の基礎』(久保川達也 著)の章末問題の答案を作成する．略解は久保川先生がこちらのサイトに掲載して下さっているが，「略解」なだけあって途中式がかなり端折られていたり，エレガントすぎて凡人では思いつきようのない解答だったりするので，多少計算がゴツくなったとしても庶民的な答案を心がける．また必要に応じて答案とは別に必要な知識の確認を行う． 各リンクから問題の方針と答案に飛べる． 1.確率 (易) ベン図書く (易) 和事象，積事象の性質 (易) 条件付き確率と同時確率 (易) 部分集合についての確率 (易) 条件付き確率の典型問題 (易) 条件付き確率の典型問題2 (易) 因果関係と相関関係，独立性 (易) 和事象と確率の和 2.確率分布と期待値 (標準) 分布関数，密度関数の定義 (標準) 分布関数，密度関数の定義2 (標準) 分布関数，密度関数の定義3 (標準)
以下の記事が面白かったので、簡単にまとめました。 ・Text generation strategies 1. generate() の テキスト生成戦略「テキスト生成」は、自由形式のテキスト生成、要約、翻訳など、多くの NLP タスクに不可欠です。また、音声からのテキスト変換やビジョンからのテキスト変換など、テキスト出力を持つマルチモーダルなアプリケーションでも役割を果たします。テキスト生成できるモデルには、「GPT2」「XLNet」「OpenAI GPT」「CTRL」「TransformerXL」「XLM」「Bart」「T5」「GIT」「Whisper」などがあります。 generate() を使用して様々なタスクのテキスト生成を行う例を、以下で確認できます。 ・テキスト要約 ・画像キャプショニング ・音声トランスクリプション generate() への入力はモデルのモダリティに依存し
ゼロから作るDeep Learning ❺
人気シリーズの第5弾。今回のテーマは「生成モデル」です。本書では「正規分布」から「拡散モデル」に至るまでの技術を繋がりのあるストーリーとして展開します。読者は小さな学びを積み重ねながら、ステップバイステップで実装し、最終的には「Stable Diffusion」のような画像生成AIを完成させます。技術の面白さは細部にあります——ゼロから作る、数式に挑む。 まえがき ステップ1 正規分布 1.1 確率の基礎 1.1.1 確率変数と確率分布 1.1.2 確率分布の種類 1.1.3 期待値と分散 1.2 正規分布 1.2.1 正規分布の確率密度関数 1.2.2 正規分布のコード 1.2.3 パラメータの役割 1.3 中心極限定理 1.3.1 中心極限定理とは 1.3.2 中心極限定理の実験 1.4 サンプル和の確率分布 1.4.1 サンプル和の期待値と分散 1.4.2 コードで確かめる 1.4.
先読みを用いたLLMの文章生成の高速化 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAI/機械学習（ML: Machine Learning）システムの検証に取り組んでいます。一方で、兼務1で大規模言語モデル（LLM: Large Language Model）について調査を行なっており、特にLLMの推論や学習の高速化に関心を持っています。 今回は、小さな言語モデルによる先読みを活用してLLMの文章生成を高速化する手法（Assisted Generation2, Speculative Sampling3などと呼ばれています）についてご紹介します。 LLMの推論は計算コストが高く、文章生成の遅さが課題としてよく挙げられています。特に日本語はトークンあたりの文字数が少なく、ChatGPTのようなストリーム出力でもかなり生成が遅く感じるかと思います。 これに対して、いくらか余分にメモリを利用し
統計検定(R)は一般財団法人統計質保証推進協会の登録商標です。 0.はじめに この記事は統計検定1級(R)を受けた著者が自身の実施した勉強の仕方や、有益だった書籍やwebコンテンツをまとめたものです。これから勉強を始める方の見通しになるようにしたつもりです。他の合格者の方も同じように書かれていますから、コレ以外にも良い方法はあるかもしれませんので参考程度に考えて下さい。 なお応用に関しては理工学の受験だったため、それを中心とした解説を行います。 これまでにも過去の合格者で同じような情報を書いている人はいましたが時代の変化と共に教材もアップデートされ傾向も変わりつつあります。こちらは2023年末に執筆しているため、その時点の情報を元に著者がやって良かった教材などを中心に紹介しています。将来陳腐化している可能性は十分にあるので、必要に応じて取捨選択してください。 結論が知りたい人は先に最後の方
バンダイナムコネクサスは、バンダイナムコグループの中でも最大規模のデータ分析チームを抱えている会社で、ゲーム分析を始めとしたバンダイナムコグループのエンタメ領域全般のデータ分析を幅広く手掛けています。ここでは、バンダイナムコネクサスの原拓自氏が、リアル/ネット配信イベントが与えるゲーム売上への影響について「反実仮想機械学習」で分析する方法などを紹介しました。 バンダイナムコネクサスのデータ戦略部 原拓自氏（以下、原）：「リアル／ネット配信イベントが与えるゲーム売上への影響分析」という内容で発表いたします。 これは、具体的には我々、バンダイナムコネクサスのデータサイエンスオフィスという、データ分析のチームのところで行っている分析の具体的な事例になります。 アジェンダは、このようになっております。 まず、簡単な自己紹介からいたします。私の所属は、バンダイナムコネクサスのデータ戦略部のデータサイ
リテンションビジネスやサブスクリプションビジネスで必ず測定する指標がリテンションレート、そしてチャーンレートです。 しかし一向に改善の気配が見えないこれらの指標は、混沌としており、複雑に感じます。 本記事では、一見すると複雑に見えるこれらの指標がある1つの「確率モデル」に支配されていることを解き明かします。また、このモデルの構造を解説し、応用的な活用法を提案します。 リテンションレートやチャーンレートの秘密に迫りましょう。 改善しないリテンションレートRetention Rateライフタイムバリュー（LTV）の重要性はよく論じられます。私たちはLTVを改善するために努力を注ぎますが、その指標となるリテンションレートやチャーンレートは往々にして改善が見られません。 例えばある企業がリテンションレートを改善するためにさまざまな施策を実施します。休眠してしまったユーザーをセグメンテーションしてメ
Rに出会って、早5年（2023年現在）。これまでに出会った、無料で、RやRを使った統計解析を学ぶことができるウェブサイトのメモです。ブックマークしているもの、Xでツイート、リツイートしてきたものを公開します。 随時更新して追加していきます。他にもあればコメント欄にお願いします。 （英語の記事多い！） Rで統計解析 UCLA Statistical Methods and Data Analytics 【英語】コーディング方法など細かい事例が豊富です。 An Introduction to Bayesian Data Analysis for Cognitive Science 【英語】ベイズに特化しています。 New statistics for design researchers A Bayesian workflow in tidy R 【英語】ベイズに関する分析法がまとめてあります
大規模言語モデル - Wikipedia
大規模言語モデル（だいきぼげんごモデル、英: large language model、LLM）は、多数のパラメータ（数千万から数十億）を持つ人工ニューラルネットワークで構成されるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習（英語版）によって訓練が行われる[1]。 LLMは2018年頃に登場し、さまざまなタスク（仕事）で優れた性能を発揮している。これにより、自然言語処理の研究の焦点は、特定のタスクに特化した教師ありモデルを訓練するという以前のパラダイムから転換した[2]。大規模言語モデルの応用は目覚ましい成果を上げているが、大規模言語モデルの開発はまだ始まったばかりであり、多くの研究者が大規模言語モデルの改良に貢献している[3]。 大規模言語モデルという用語の正式な定義はないが、大規模コーパスで事前訓練された、数百万から数十億以上のパラメ
ベイズ統計学と再現性の危機（テンプル大学統計科学部助教授：マクリン謙一郎） #心理統計を探検する｜「こころ」のための専門メディア 金子書房
心理学において、これまでに得られた著名な研究結果が再現されないという再現性の危機が話題となっています。その原因の一端は、統計的仮説検定の使用にあると考えられています。そして、仮説検定のオルタナティブとして、ベイズ統計学に対する注目も高まっています。しかし、仮説検定がもつ問題の一部がどのようにしてベイズ統計学によって解決されうるのか、両者の立場の相違、ベイズ統計学の限界などについて、心理学においてまだ十分な議論がなされていないように見受けられます。そこで今回は、こうした再現性の危機と仮説検定の関係、ベイズ統計学の可能性と限界について、テンプル大学統計科学部助教授のマクリン謙一郎先生にご解説いただきました。 ※今回の記事は、統計的意思決定、仮説検定、ベイズ統計学について基礎的な知識があることを前提としています。あらかじめご承知おきのうえお読みください。 はじめに 再現性の危機が心理学を含む諸分
今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
量子力学に「観測問題」は存在しない｜Masahiro Hotta
ベイズ統計学を勉強する参考書のフロー - Qiita
LLM時代の強化学習 - どこから見てもメンダコ
50代になってから始めた数学の学び直しを振り返り、独習ノートを晒します。
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
拡散モデルで将棋の方策を学習する - TadaoYamaokaの開発日記
ChatGPT の仕組みを理解する（後編） - ABEJA Tech Blog
【気象データ】「〇〇年に一度の大雨」の算出 (確率降水量の算出)【統計解析】 - LabCode
拡散モデルと最適輸送 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
「OpenAI APIの安定稼働版のようなイメージを持ってもらえればいい」 Azure OpenAI Serviceの特徴と、プレイグラウンドのデモ
やさしいデータ分析【確率分布編】 新連載開始！
「Azure OpenAI Service」の一般提供から始まった“ビジーな”進化 マイクロソフト製品におけるGPT機能組み込みの流れ
【気象データ】「〇〇年に一度の大雨」の算出 (分布関数の当てはめ編)【統計解析】 - LabCode
大規模言語モデル（LLM）をアプリケーション開発で活用するには？ グーグル・クラウドが基礎から解説
『現代数理統計学の基礎』章末演習問題解答 (答案) - Qiita
Transformers の generate()のテキスト生成戦略｜npaka
統計検定1級(R)の勉強の仕方【2023年末版】 - Qiita
イベントに参加したユーザーは、本当に熱量が上がったのか 存在しないデータと比較する「反実仮想機械学習」
確率モデルで解き明かすリテンションレートとチャーンレートの本質｜岩田健吾
無料で学ぶRと統計解析：おすすめのウェブサイト - Qiita
はじめての自然言語処理 DeepSpeed-Chat による RLHF の紹介 | オブジェクトの広場