東京海上 Data Science Hill Climb 講師: 岩嵜航 (東北大学生命科学研究科) 日程: 2021年6月30 09:30–17:30 場所: zoom.us 講義資料 リンク先では←→キーで戻る・進む。 2021-06-30 09:30 | 導入 2021-06-30 10:00 | 統計モデルの基本: 確率分布、尤度 2021-06-30 13:00 | 一般化線形モデル、混合モデル 2021-06-30 15:00 | ベイズ推定、階層ベイズモデル

先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twitter.com/nUXb4bGiQ3— GO Inc. AI Tech (@goinc_ai_tech) 2023年9月28日 なるほど、NN全盛というかNN一択の時代にあっては時系列予測もNNでやるのが当たり前になったのだなという感想でした。大昔「沖本本」で古典的な計量時系列分析を一通り学んだ身としては隔世の感がありますが、これもまたNN時代の趨勢なのでしょう。 なお、元論文2点は上記リンクから辿

https://minorun365.connpass.com/event/297923/

本Surveyの目的 近年LLMの学習や推論に関するさまざまな新しい手法が提案されている。本surveyではこれらの手法を外観することで、近年のLLM研究のキャッチアップを容易にすることを目的とする。また、これらの手法で用いられたアイデアの幾つかはLLM以外の言語モデルや、言語以外のドメインにおいても転用できるものもあると信じている。 LLMに関する提案手法の外観 以下の観点でまとめる。 アーキテクチャの改善に関する手法 事前学習の安定性に関わる手法 事前学習の高速化に関わる手法 推論の高速化に関する手法 Decode手法 解釈性に関する手法 注意事項として、今までに自分が読んだ論文を中心にまとめているため網羅的なsurveyとはなっていない。また、fine-tuningに関わる手法については提案された手法の多さと比較して自分の調査した範囲が不足していると考えたためこのsurveyからは除

この記事の目的と対象者 この記事は、統計をほとんど勉強したことがない人が、立派に「ベイズ統計」というナウでヤングな統計学について語れるようになるまでの道標を示します。 ドヤ顔でベイズ統計について正しいことを語れるようになる、統計に詳しい人とがガッツリ議論できるようになるぐらいまでがこの記事のゴールです。 この記事の勉強をしたところでベイズ統計を使いこなせるようになるわけではないことに注意してください。 現場で使いこなせるようになるには、プログラミングがある程度できる必要もありますし、対象となる実データも必要です。 本当に統計的処理をする前には、前処理なんかも必要ですよね…… 統計を使ったデータ分析には、統計学の理論だけではなく、様々な道具を身につける必要があるのです……涙 （よみがえる眠れぬ夜のおもひでたち……） 基本的には書籍を使った勉強法を紹介していきます。 ある程度、統計学のことが分

ソフトウェアエンジニアリングシンポジウム2023 (SES 2023)

はじめにプロンプトは、ChatGPTのような高度なAIを使いこなすためには欠かせない技術となっています。今回は、いま日本で一番 ChatGPT を使い倒している経営者兼プロンプトエンジニアの七里さんが考案した七里式プロンプト「8+1の公式」をご紹介させていただきます（※七里さんの許可を得て紹介しています）。これは、最大限の成果を生み出すためのプロンプト制作に役立つ独自の公式で、ビジネスや個人利用において、効果的な応答を生成するための鍵となります。 本記事では、その概要から具体的な例と一緒に解説していきます。読者の皆様がより効果的にChatGPTを使いこなすためのガイドとなることを願っております。最後に非常に重要なお知らせもあるのでお見逃しなく。 それでは早速、「8+1の公式」を一つずつ見ていきましょう！ 「8＋1の公式」ソース：https://twitter.com/shichiri_11

身近な疑問にお答えする「なんでなん？」のコーナーです。 ひときわ暑いこの夏。 お盆が明けても厳しい暑さが続いています。 先月（７月）、話題になったのが、「大阪・枚方市で日中の最高気温が３９.８度を観測し、ことし全国で最も高くなった」というニュースです。 枚方市があるのは大阪府の北東部、大阪湾からおよそ３０キロ離れた所です。 枚方はこの夏、２回も全国１位の最高気温を記録したほか、先月（７月）から８月２２日までで、３５度以上の猛暑日となったのは２９日。 なんと「２日に１回は猛暑日」という暑さなんです。 「枚方、暑いの、なんでなん？」。 その理由を徹底調査しました。

Qiitaでは、Qiita CLIを使うことで、Qiitaの記事をGitHubリポジトリで管理できます。 また、Qiita CLIを使うと普段お使いのエディタで記事を執筆できます！ Qiita CLIの詳細はQiita CLIのREADMEをご確認ください。 Qiita CLIを使って記事をGitHubリポジトリで管理する方法 1. リポジトリを作成する GitHubでリポジトリを作成します。 リポジトリの各種設定は、お好きな設定でOKです。 詳しいリポジトリの設定方法は、GitHub Docsをご確認ください。 2. QiitaのトークンをGitHub ActionsのSecretsに設定する 2-1. Qiitaの個人用アクセストークンを発行する Qiitaの設定 にあるアプリケーション > 新しくトークンを発行する から個人用アクセストークンを発行します。 すでに発行されているトーク

こんにちは，株式会社Nospareリサーチャー・千葉大学の小林です． 今回はJournal of Royal Statistical Society Series Aにも掲載されたGabry et al. (2017)（arXiv版）の紹介をします．この論文では次の挙げられるベイズ分析のワークフロー 探索的データ分析 分析前のモデルチェック アルゴリズムの動作チェック モデル推定後のモデルチェック において視覚化をどのように使っていくかについて書かれており，実証分析や実務においてベイズ分析を行うにあたってとても有用な内容になっています．本記事で掲載する図などは著者がgithubにポストしてあるコードを使って作成しました． データ分析例の設定 この論文では終始PM2.5に関するデータ分析例を取り扱っており，この例では以下の設定があります． PM2.5は人体に対して影響があると考えられ，本当は

TL;DR 「Qiitaで炎上するタイトルのつけ方」というテーマを書くのに失敗したので、諦めて最近学習している「ベイズ統計モデリング」に関するメモや書籍をまとめた。 記事のタイトル通り、文系エンジニアが数学知識0からベイズ統計モデリングを勉強するときに読んだ方がいい本や資料を網羅したつもりです。 もしオススメ資料とかあったら追記するので教えてもらえると嬉しいんだな〜(｀・ω・´) 前提条件 中学生レベルの数学知識 Pythonが少しでもわかるエンジニア力 （Rがわかるともっと捗る） ポイント 書くこと ざっくりな説明とコメント オススメ資料 書かないこと 正確な説明 細かい説明 そもそも（ベイズ）統計モデリングとは？ すでにあるデータを使って未知の値を推定したりするやつです。ざっくり言うと統計と機械学習を合体して最強なやつです（にこり） 詳しくは StanとRでベイズ統計モデリング (Wo

2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/

大規模言語モデル（Large Language Models：LLMs）の研究が急速に進展する中、未解決の課題や有望な応用分野を特定することが困難になっています。この記事では、大規模言語モデルの現状を理解するための指針を提供する研究を紹介します。 参照論文情報 タイトル：Challenges and Applications of Large Language Models 著者：Jean Kaddour, Joshua Harris, Maximilian Mozes, Herbie Bradley, Roberta Raileanu, Robert McHardy 所属：ケンブリッジ大学、Stability AI、Meta AIなど URL：https://doi.org/10.48550/arXiv.2307.10169 関連研究 Metaが商用利用可能な大規模言語モデル「Llama

ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。続いて、ML開発において、“学習させたかのように振る舞わせる”ためのアイデアを紹介します。前回はこちらから。 これまでのML開発は「学習」部分の工夫が肝だった 蒲生弘郷氏：残り20分になりましたが、ちょっとここからは重い、GPT開発についてです。「ML開発の今まで」。「GPTはすごいしAzureの説明はわかったよ」という話になるんですが、実際にどう作ればいいのか知っていかないとなかなか厳しいところもあるので、ここの説明をしたいと思います。 ここから先はけっこう専門的な内容

前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？

今回は、メルカリのAnalyticsチームの中でも主にビジネス分析やマーケティング分析を行うGrowth Analytics Teamからの記事です。 Analyticsチームは、以下のミッションを通じて事業に貢献するチームです。 Provide actionable insights and help people make better decisions（実行可能なインサイトを提供し、より良い意思決定の支援を行う） Democratize data and empower everyone with analytics（データの民主化を推し進め、皆の分析力を高めていく） そんなAnalyticsチームで、"効果検証 虎の巻"なるものを導入しました。主な狙いは以下の2点です。 Analyticsチーム内の暗黙知を集約して言語化・浸透させることによる、メンバーのアウトプットの質の向上 誰

3つの要点 ✔️ 時系列予測の領域で、最近深層学習モデルによる性能向上が急速に進んでいます。しかし、古典的な機械学習モデルはもう必要ないのかということで、この大規模な調査と比較実験が行われました。 ✔️ 古典的学習モデルの代表としてGBRTが使われています。深層学習モデルが実現した系列間の依存性の表現を入力の特徴量エンジニアリングベースのウィンドウ化で代替しました。 ✔️ 前処理により、改良GBRTは単変量、多変量両方のデータセットに対して、数多くの深層学習モデルと同等あるいは大きく上回る性能を示しました。 Do We Really Need Deep Learning Models for Time Series Forecasting? written by Shereen Elsayed, Daniela Thyssens, Ahmed Rashed, Hadi Samer Joma