Python 株価を予想する。時系列予測ライブラリ「Prophet」 - PythonとVBAで世の中を便利にする
Prophetは、Facebookが開発した時系列予測ライブラリです。この予測手法は、時系列データy(t)をトレンド(t)+季節性(t)+イベント(t)+誤差(t)の合成として分析して予測モデルを構築します。つまり、それらをハイパーパラメータとして予測モデルを調整できます。これがニューラルネットワーク（RNN）と比較して扱い易いところです。論文は次のリンク先のREAD THE PAPERから飛ぶことが出来ます。https://facebook.github.io/prophet/ インストールは、Anaconda環境下で次のようにcondaで出来ます。 conda install -c conda-forge fbprophet 本記事では、日経平均株価225の2017年12月から2020年12月までの3年間のデータを元に、下図のように2021年3月までの株価を予測する雛形コードを載せまし
一般的な時系列のモデリング＆予測に、機械学習系の手法よりも古典的な計量時系列分析の方が向いている理由を考えてみた（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は、以下の@icoxfog417さんによる問題提起に合わせたちょっとした実験をまとめたものです。 時系列予測の問題において、機械学習のモデルより既存の統計モデル(ARMAモデルなど)の方が予測精度において優良な結果が出るという研究。データへの適合=予測精度の向上ではないことも実験で示している。機械学習の研究では統計モデルとの比較も入れるべきという提言をしている。 https://t.co/jboGhYSX6E— piqcy (@icoxfog417) September 16, 2019 この点について僕はこんなコメントをしたのですが。 だいぶ以前から「一般的な時系列データ予測の問題は単位根過程や季節調整など非定常過程との戦いなので、本質的に定常過程を想定する機械学習手法での予測は計量時系列分析など非定常過程も考慮した古典的なモデルによる予測には及ばない」と言い続けてきたけど、やっ
ベイズ構造時系列モデルを推定する{bsts}パッケージを試してみた - 渋谷駅前で働くデータサイエンティストのブログ
Rパッケージ紹介ばかりが続いていて恐縮ですが。。。最近になってこんなものがFacebookからリリースされていたのを知りました。 これはこれで使いやすそうだなと思ったんですが、実はGoogleからも同様のMCMCサンプリングベースの時系列分析向けCRANパッケージ{bsts}がしばらく前から出ていたりします。見た感じ日本ではほとんど知られていないように見受けられるのですが、どんなものなんでしょうか？ ということで、一応他社フレームワークの紹介をするよりはこちらのフレームワークの紹介を先にする方が筋かな*1と思ったもので（笑）、ここでは遅ればせながら{bsts}パッケージの紹介をすることといたします。 そもそも{bsts}とは 名前が示す通り、Bayesian Structural Time Series（ベイズ構造時系列）の時系列分析を行うパッケージです。愚かにもVignetteがないので
異常検知（変化点検出）をPythonで書いてみた | Kitchen Garden Blog
データマイニングについて勉強する機会があり、Python言語の練習がてら「変化点検出」と呼ばれる手法について、近似的ではありますが、試作してみました。 変化点検出とは 変化点検出とは、入力データの時系列的な振る舞いの変わり目（変化点）を検出する方法です（山西健司著『データマイニングによる異常検知』）。 データマイニングによる異常検知 山西 健司 Rank / Rating: 302282 / - ASIN: 4320018826 Price: ￥ 3,990 A unifying framework for detecting outliers and change points from time series (Google Scholar) DoS攻撃や新種のワームの発生による、急激な値の変わり目（トラフィック量の急増等）を検知するのに有効とされる手法です。 id:yokkun
ARIMAについての感覚的な理解(1/2) - PolyPeaceLight
最近ずっと時系列解析について調べています。 その基礎の中に「ARIMA」というモデルがあります。 ARIMAは「Autoregressive Integrated Moving Average」、日本語で言うと「自己回帰和分移動平均」というモデルです。 はあ？なにそれ？ ARIMAモデルは次の3つのモデルを合わせたモデルであるために、よくわからない名前になっています。 Autoregressive model 自己回帰モデル Moving Average model 移動平均モデル Integrated model 和分モデル それぞれはAR、MA、I、という略称で呼ばれ、また、それぞれは1つのパラメタを取ります。 ARはp、MAはq、Iはd これらを合わせたARIMAモデルは、3つのパラメタを取ることになり、ARIMA(p, d, q)と記述されます。 私は、ARIMAの理解に手こずった
ソフトとハードの交差点:【Python】時系列データをスプライン曲線でイイカンジに補完する【pandas】 - livedoor Blog（ブログ）
パンダが好きです！パンダぱんだ． Pythonには時系列データを扱うのが得意なpandasというライブラリがあるらしいので，ぐへへ，これでアンナことやコンナことが簡単にできるんだろうナ！とか勝手に想像してテンション上げてました． 特に気になったのが，resample関数．これを使えば，30[Hz]のデータ群を簡単に20[Hz]にダウンサンプリングしたり，50[Hz]にアップサンプリングしたりできるんだろうナ！と，もうワクワクです！！ from math import * from pylab import show import numpy as np import scipy as sp import pandas as pd このあたりは，いつも通り． pandasで時系列データを作ります．これは72個のサンプリング周期300[ms]のサイン関数です． rng = pd.date_ra
風の回廊 状態空間表現とARモデルの関係
「風草」が日々感じたことやぼやきをメインに書く日記です。また、工学の技術の説明やプログラムが分からない人でも分かるようにプログラムの解説をしようかと…。 これまで授業などで状態空間表現を使って可制御、可観測などについてはやってたんですが、ABCDの各行列が何を意味するか分からなかったんで調べてたんですが一般状態空間モデルと計算アルゴリズムを読んでたら… ARモデルでも状態空間表現にする意味はあるとのことで、読んだ結果 ARモデルは『y(t) = a1*y(t-1) + a2*y(t-2) + a3*y(t-3) … + an*y(t-n) + u(t)』といった表現をするんですが 状態空間表現では x(t)=(y(t) ; y(t-1)) , x(t-1)=(y(t-1) ; y(t-2)) … , x(1)=(y(1) ; y(0)) になるので(ちゃんと書くと要素が増えるんで行がもっと
モデル型季節調整法
目次 PPT Slide モデル型季節調整法 季節調整のモデル 加法型と乗法型の関係 モデルがなぜ必要か モデルがなぜ必要か（２） 構造変化のモデル 構造変化のモデル（２） トレンドモデル 季節成分モデル 季節調整モデル（基本型） 状態空間モデル 状態空間表現 状態推定の問題 カルマンフィルタ PPT Slide 固定区間平滑化 パラメータの推定 モデル選択 加法型と乗法型の比較 循環変動の抽出 曜日効果 曜日調整 季節調整モデル（一般形） 状態空間表現 平方根フィルタ PPT Slide トレンドモデル
季節調整 - Wikipedia
傾向変動 一方向的な方向を持続する変化であり、周期が15年以上の長期的な波動（波状の上下変動）を含む。 循環変動 周期が通常3～15年であって周期の確定していない波動だが、もっと短期間の景気の好・不況も含む。傾向変動と循環変動とがひとまとめにされることもしばしばある。キチンの波やジュグラーの波などが有名。詳細は景気循環を参照。 季節変動 1年を周期とする定期的な波動。季節調整において取り除く対象となる波動である。 不規則変動 上記三つの変動の残差と考えられ、不規則、攪乱要素で起きる変動。典型例として、消費税率の更新前の駆け込み需要が挙げられる。 変動要因の合成[編集] 4つの変動要素を組み合わせて元の時系列データ（原系列）の動きを説明する。このとき、組み合わせる方式として、加法モデルと乗法モデルとが考えられている。 モデル名 概要 計算式 経済統計データの季節調整には、乗法モデルの方が適し
朱鷺の杜(IBIS)ブログ 「予測にいかす統計モデリングの基本」
今日は今年の4月に講談社から発刊された「予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで」の感想です． 実は発刊されてすぐに，著者の樋口先生から献本頂いたのですが，なかなか通して読む時間がなく今頃になってやっと読み終わったという次第です． 一言で言うと，ベイズに基づく時系列解析についての本です． 中でも，樋口先生が造詣の深いパーティクルフィルタ（粒子フィルタ）とデータ同化を軸に，入門的な事項から実際にデータを扱う際のノウハウまで幅広く書かれています． 実はこの朱鷺の杜ブログで一時期アクセス解析をしていたことがあるのですが，そのときの検索ワードのトップは「パーティクルフィルタ」や「粒子フィルタ」で，それは以前に私が紹介した樋口先生の解説記事を紹介したものが検索に引っかかっているものと思われます． まあそれだけパーティクルフィルタについて知りたいと思っている人が世の中には多いと言う
Rによる時系列解析入門を読んで勉強【その１】 - 放浪の身よ気侭なれ
シーエーピー出版さんから出ている『Rによる時系列解析入門』を読んで自分なりにまとめていこうと思います。 簡単に言うと、自分用復習メモ。 今回は第1章をまとめます。 第1章は時系列解析についてはなく、Rについてでした。 Rっていうのはフリーウェアのプログラミング言語と統合開発環境です。 主に統計や解析で使われている言語ですね。 Rについては調べれば多くの情報が出てくるのでココでは練習問題に必要なことだけ書きます。 ベクトル 複数の要素をまとめたデータをベクトルといいます。 Rではベクトルを次のように定義します。 data <- c(1, 2, 3, 4, 5) こうして複数の要素をまとめることで、統計とか解析とかが効率的に出来るんですね。 データフレーム 要素の数が同じベクトルがいくつかあって、それらを1つにまとめたものをデータフレームといいます。 下の図のようなイメージです。 データフレー
Python：時系列分析（その６） : 分析技術とビジネスインテリジェンス
前回の記事で機械的に選択されたモデルは、非定常なデータに当ててしまったものなので瑕疵があると思われる。その確認として２つの調査を実施した。ひとつは前回作成のモデルに対して、基本的なモデル診断を実施すること、もうひとつはデータを学習用データと検証用データに分けて評価してみることだ。前者の確認は過去の記事で一度実施していることだが、復習も兼ねて前者の調査からまとめたい。 ■ライブラリ >>> import numpy as np >>> from pandas import * >>> import statsmodels.tsa.stattools as stattools >>> from statsmodels.tsa import arima_model >>> import matplotlib.pyplot as plt >>> from pylab import * ■データ >
異常検知（変化点検出）のパッケージを作ってみた - yokkunsの日記
時系列的な振る舞いの変化点を検出するためのパッケージを作ってみました。 CRAN: http://cran.r-project.org/web/packages/ChangeAnomalyDetection/ github: https://github.com/yokkuns/r-AnomalyDetection Usage changeAnomalyDetection(x, term = 30, smooth.n = 7, order = c(1, 0, 0), ...) x 時系列の数値ベクトル term 学習期間 smooth.n 移動平均の期間 order arima関数に渡すorder ... arima関数に渡すその他パラメータ 実行例 パッケージ読み込み library(ChangeAnomalyDetection) library(RFinanceYJ) library(
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
状態空間モデル - 歴史に探る数学・物理法則
飯島の雑記帳 - 研究紹介/シカ2
http://tswww.ism.ac.jp/kawasaki/kouza02yk/index.htm
http://tswww.ism.ac.jp/kawasaki/kouza02yk/sld001.htm
Rによる時系列解析入門を読んで勉強【その３】 - 放浪の身よ気侭なれ
Rによる時系列解析入門を読んで勉強【その２】 - 放浪の身よ気侭なれ
GitHub - yokkuns/r-AnomalyDetection