【書評】Pythonによる時系列予測 | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 冬休みの個人的課題図書(自習)として「Pythonによる時系列予測」を読み終えましたので、感想と振り返りを書いておこうと思います。 書籍情報 以下の書籍になります。 Pythonによる時系列予測 | マイナビブックス 発売 : 2023年10月 翻訳本であり原著は以下となります Time Series Forecasting in Python 発売 : 2022年08月 概要 概要として本書に記載されていることと、記載されてないことを紹介します。 記載されていること（感想含む） 記載されていることは以下のようになっています。 時系列タスクの説明 トレンド、季節性、残差という3成分に分けられることの説明 ランダムウォークという解けない問題の定義 統計モデル MA、AR、ARMA、SARIMA、SA
「p値とは何か？」を説明できますか - ai_math_runningのブログ
この記事の概要 p値を理解するには統計学の基礎知識が必要 統計学は「自然界の現象にはばらつきがあり」「測定値には誤差がある」から必要 知りたい事・言いたい事に対し「逆の事」を考える その「逆の事」が正しい確率がp値 p値が十分に小さければ「逆の事」は滅多に起こらないので「言いたい事」が言える この記事の概要 この記事のお題 p値の説明に必要な事 統計学はなぜ必要なのか？ 言いたい事を言うために逆の事*1を考える 「p値」とは「逆の事」が正しい確率 この記事のお題 今日のお題は、こちらの記事についてです。 diamond.jp まず、その前に、この記事の前の記事が素晴らしかったんです。 【「0.05」の謎】統計学好きでも意外と知らない「統計的に有意」の本当の正体 | Science Fictions あなたが知らない科学の真実 | ダイヤモンド・オンライン なので、その記事のブクマに次のよう
政治資金の不正を公開情報から解き明かしてみませんか？あなたもできる調査報道マニュアル｜NHK取材ノート
ウォーターゲート事件の内幕を描いた映画「大統領の陰謀」(1976)の一場面に、ワシントン・ポストの記者と、「ディープ・スロート」と呼ばれる情報提供者との印象的なやりとりがあります。 互いの表情もはっきりしない薄暗い駐車場で、事件の核心に早くたどり着きたいと焦る記者に、ディープ・スロートは短くこう告げます。 “Follow the money.”（カネの流れを追え） 「大統領の陰謀」「カネ」が政治権力の重要な資源であり、その流れを追うことが政治的現象の理解に資することは、昔も今も変わりません。 現在、政治資金パーティを巡る不透明な「カネ」のやりとりが問題になっていますが、私が政治にまつわる「カネ」を調べるきっかけになったのは、島根県議会の「政務活動費」の取材でした。 県議会のベテラン議員が不正な工作によって140万円を受け取っていたことを明らかにし、報道の翌日に議員が辞職という事態になりまし
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話
先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて
量的な概念をちゃんと認識しようぜ（参考文献追記）
anond:20230321094940 量的な概念をちゃんと認識しようぜ。 合計特殊出生率は、20年で30%以上低下してるが、夫婦の完結出生児数は、1割程度しか低下してないんだよ。 下がっていると行っても全然程度が違う。 では、合計特殊出生率と連動するように下がっている統計というと、婚姻率になる。これが概ね20ポイント以上低下している。 これと夫婦の完結出生次数が掛け算すると、ほぼ合計特殊出生率になる訳だ。 問題の解決に必要なコストは、100%に近づければ近づけるほど、指数関数的に増大する事が知られている。なので、パレート図というものを用いて、特に理想から乖離している差が大きいところ、影響が大きいところから重点的に対応する事が、よりよい問題解決に繋がるとされる。 今のところ、分析として影響が大きいのは 非婚化による婚姻率の低下（経済的理由が主）結婚年齢の高齢化による出産人数の低下経済的理
PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
統計学の講義資料(2022年度) | Logics of Blue
帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 目次 本資料について 統計学の講義資料 1．本資料について 帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 もとの講義資料とは異なる点もあるのでご注意ください。 万が一何か問題があれば、当ブログにコメントをいただけますと幸いです。 スライドにも記載の通り、以下の利用を想定しています。 想定①：講義の受講者が復習に利用する 想定②：未受講者が統計学入門資料として利用する 基本的には想定①ですが、文系の学生をメインターゲットとした統計学の本格的入門資料は少ない印象です。 未受講者の方にも役に立つかもしれないと思いWeb上で公開することにしました。 本資料は1年間にわたる講義資料となっています。数回
無料で地図データを分析できるソフトウェア「QGIS」とは？ダウンロード方法や基本の使い方を解説
データのじかんトップ > 新着記事一覧 > データ活用 > 無料で地図データを分析できるソフトウェア「QGIS」とは？ダウンロード方法や基本の使い方を解説 ビジュアライズされた地図からマーケティング計画を練る、災害発生時のBCPを俯瞰的な視点から練り上げる……。 メタバースの世界が拡大しているとはいえ、まだまだ職場や自宅の存在する“土地”に根差して生活している我々にとって、地図データはときに非常に有用なデータとなります。 そこでこの記事で、有用な無料ツールとしてご紹介したいのが「QGIS」。その取得方法やメリット、簡単な利用法についてデモとともに解説いたします！ QGISとは？ ダウンロードする方法は？QGISとは、無料で使えるオープンソースのGISソフトです。 Windows、Mac、Linux、Unix、Androidなど、iOSを除く主要なOSのほとんどに対応しており、機能は有償ソフ
総務省、きょうから「社会人のためのデータサイエンス入門」を無料開講 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
ノア・スミス「日本の生活水準，低すぎ」（2022年5月24日）
[Noah Smith, “Japan’s living standards are too low,” Noahpinion, May 24, 2022] 働きづめでも報われない国 日本からこんにちはこんにちは！ 2週間の旅行でこっちにきてて，せっかくだから日本について何本か記事を書こうと思う．まずは，経済の話からはじめよう． たいていの人たちが日本について最初に気づくのは，各地の都市がいかにすばらしいかってことだ．とりわけ東京は，現代の驚異だ．キレイに刈り込まれた木々に取り囲まれて，設計のしっかりしたぴかぴかのビル群がそびえたっている．レストランやお店や各種の娯楽は目眩がするほど数知れず，どれもこれもすばらしい．どこも混み合ってるけれど，それでいていつもなぜか静謐を感じさせる．そして，ほんの数分歩けば電車の駅にたどり着いて，そこからどこでも必要な場所に向かえる．他のどんな国もおよばない
産まない高学歴と貧困の子沢山...そんな時代はもう終わっていた 日本の少子化を分析した論文が浮き彫りにした現代の格差とは
Haruka Sakamoto @harukask1231 医師 / 修士（公衆衛生学）/ 博士（国際保健学） 東京女子医科大学 グローバルヘルス部門 准教授 日本医療政策機構 シニアマネージャー 東京財団政策研究所 主任研究員 専門は国際保健・医療政策です。 国際保健や医療関係の話題、また以前住んでいたイラン・中東の話題が中心です。 Haruka Sakamoto @harukask1231 日本の少子化の要因を分析した論文を発表しました（共著） 結論は、「高収入・高学歴の人ほど子供を産んでいるし、子供の数も多い」でした（ざっくりした説明ですが） 詳細は以下に続きます。 journals.plos.org/plosone/articl… 2022-04-28 17:24:07 リンク journals.plos.org Salaries, degrees, and babies: Tre
NYSOL – 超高速な大規模データ解析を実現するソフトウェアツール
超高速な大規模データ解析を 実現するソフトウェアツール NYSOL makes it easier and faster to analyze big data. NYSOLver2.4.2 SOFTWARE LIST GitHub NYSOL Manual ※NYSOLは日本発のオープンソース（無料）です。 *NYSOL is open source software in Japan LICENSE 最新情報NEWS 2019.06.05 SOFTWARE NYSOLのDockerイメージ公開 2019.05.23 SOFTWARE nysol_pympiのインストールメモ 2018.09.20 INFORMATION WebbleバージョンのKIZUNAを公開しました。 Back Number NYSOLとはABOUT NYSOL 大規模データの解析に関する様々な大学やプロジェクトで
ガラケーしか使えないデジタル音痴だった私が「GISでデータ分析」できるようになるまでの話｜NHK取材ノート
東京の多摩川沿いの浸水リスクがある地域で、「なぜか人口が増えている」ことをデータ分析ソフトを使って明らかにして、その背景を探りました。 次にこんな記事も書きました。 南海トラフ巨大地震によって津波の浸水が想定されている区域で、高齢者の施設がすごく増えていることを示した記事です。 どちらの記事も、誰もが入手できる「オープンデータ」と、後述する「GIS」という分析システムを使って隠れた事実を浮き彫りにした、データジャーナリズムのお手本などと紹介されたこともあります。 そしてつい最近手がけたのがNHKスペシャル「〝津波浸水域〟の高齢者施設」。蓄積してきた分析のノウハウを注ぎ込んだ番組です。 「データ分析」というと専門的で、すごく難しく思う方もいるかもしれません。しかし最初に述べたように私は数年前までは、パソコンを満足に使えない、データ分析とは無縁の「ガラケー記者」だったのです。本当に。 そんな私
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列予測にTransformerを使うのは有効か？
kenkenさんはTwitterを使っています: 「完全初心者の状態で、Pythonの独学を始めて約2年🤔 約60冊の書籍を写経・消化してきたので、結構、実力がついたのかな🤔 2年間の棚卸として、僕が、写経・独学してきた書籍とKaggleの取り組みを紹介したいと思います☺️ 全て真剣に取り組んできたので、気になる書籍があれば、気軽に質問ください☺️ https://t.co/QL57lAy2pH」 / Twitter
もやし（@w_coast_0330）さん / X
Yuta Kashino on Twitter: "昨日，衝撃を受けたのですが，日本の生産年齢人口 - 総人口の過去データと2065年までの推計値 (総務省統計局の日本の統計 https://t.co/gnP7RYzQRZ の人口の推移と将来人口) をプロットしたら，1995年から2020年はつるべ落としのように働く世代が居なくなり，2025年からは日本市場が激縮するという… https://t.co/dqxdaGHujM"
韓国、「日本超え」は本物か 統計上の逆転と舞台裏 編集委員 峯岸博 - 日本経済新聞
じゅじゅ on Twitter: "年末年始、なにか勉強したいな～と思っている方向けに完全無料で高品質の内容が学べるコンテンツをまとめました🎄 英語、統計・データ分析、IT・プログラミング、ロジカルシンキング、会計・ファイナンスなど。 こんなに最高なコンテンツが完… https://t.co/aM91f9DpHk"
