Stanで統計モデリングを学ぶ(7): 時系列の「トレンド」を目視ではなくきちんと統計的に推定する - 渋谷駅前で働くデータサイエンティストのブログ
何かこのシリーズめちゃくちゃ久しぶりなんですが（汗）、ちょっと最近問題意識を抱いている話題があるのでそれに関連した形でStanでやってみようと思います。 それは時系列の「トレンド」の扱い。ビジネスの現場では、時系列を意識しなくても良い*1クロスセクションデータでは普通に線形*2モデルを組んだりしますが、ことパネルなど時系列データとなると途端にモデルを組んだりせずに「手なり」で適当に近似曲線を引いてしまったり、みたいなことが少なくない印象があります。特に見た目にそれっぽい「トレンド」がある場合は尚更。 ところがどっこい、最近このブログでも取り上げている動的線形モデルのように、時系列データであってもある程度はモデリングできるわけで、ならばいつまでも「見た目」でトレンドを憶測し「手なり」に近似曲線を引く、なんてことはせずにモデリングでズバリ推定するべきだと僕は思うわけです。 とは言え、内容として
ビットコイン価格を計量分析して各種価格データとの相関関係を考察してみた - ビットコインの情報サイトの運営者ブログ
最近の話題といえばやはりビットコインの価格でしょう。価格予想でも書ければ面白いのですが、トレーダーでも投資家でもない私としては皆目見当がつかないので、中々探しても見つからないビットコインの価格データの計量分析を自分でやってみることにしました。 なお、どうしても専門用語を多く使ってしまっていますが、すべて説明していると1記事では収まらないのでかなり省略しています。またあくまで素人が趣味・独学の範囲で行っているものですので分析の誤り等にはご容赦ください。 使用するデータ 今回使用するデータとして、BTCJPY、BTCUSD、BTCCNY、USDJPY、EURUSD、USDCNY、TOPIX（日本株）、S&P 500（アメリカ株）、SSEC（中国株）、金、原油の11種を選びました。 為替、株、商品市場のそれぞれ代表的なものです。日経平均やNYダウでもいいのですが、より市場全体を代表する指標という
R で 変数の名前と値をまとめて表示する Print 関数を作った - hiratake55 の作業メモ
変数の名前と値をペアで表示するだけのデバッグ用関数。変数だけでなく、ベクトルや配列、文字列、関数、データフレームにも対応しています。 引数の数は可変長なので、いくつでも大丈夫です。 Print <- function(...){ key <- as.list(substitute(list(...)))[-1L] val <- list(...) mapply( function(k, v){ cat(k, "= ") if(!is.matrix(v) && (is.logical(v) || is.numeric(v) || is.complex(v) || is.character(v))){ cat(v, "\n") } else{ cat("\n"); print(v); cat("\n") } }, key, val) cat("\n") } 使い方 その 1 基本的な使い方は、
Kaggleのコンペティションで公開されている手法・ソースコードのリンクをまとめてみた Part2 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日は前回の以下のページからだいぶ更新が立ち、Kaggleのコンペ的にも多くの開催がありました。 そこで、新しいページでリンクを纏めてみました。 中にはインタビューやフォーラム、githubなど様々なものが混合しているのはお許し下さい。 nonbiri-tereka.hatenablog.com Prudential Life Insurance Assessment 1st - 1st place solution - Prudential Life Insurance Assessment | Kaggle 2nd - Solution -- 2nd place - Prudential Life Insurance Assessment | Kaggle Homesite Quote Conversion 3rd- Homesite Q
Rのコーディングルールについて
概要 前書き - 本ドキュメントでは、Rのコーディング規約について明記しております。 - 基本的には、Hadley WickhamによるStyle guideとgoogle社で提案された規約をベースにします。 表記について - パッケージ名は{}で表記 - 関数名は’’で表記 参照サイト Advanced R, Google’s R Style Guide, R packages Lint_tool_with_R Rでコーディングスタイルを適用させる方法 gepuro流☆変数名の付け方 ご意見やご指摘など - よりよいものにしてきたいと思います。こうした方がいいのではというご指摘があれば、コメントをよろしくお願いいたします。 - 下記のいずれかでご連絡・ご報告いただけますと励みになります。 Twitter, GitHub 環境 開発環境としてRStudioを使う 分析ごとにRStudioの
Rメモ: サイズの大きいcsvファイルを読み込むときはdata.tableを使う - StatsBeginner: 初学者の統計学習ノート
私はcsvをRに読み込むときはread.csv()でやってたわけですが、↓のような解説を読むと、どうやら大きなデータを読み込むときにread.csv()とかやってる奴は論外らしい。 data.tableパッケージで大規模データをサクッと処理する Rで高速に大量データを読み込んでデータフレームに格納する方法 (1) - About connecting the dots. Rで高速に大量データを読み込んでデータフレームに格納する方法 (2) - About connecting the dots. data.tableというパッケージを使うのが良いようです。data.tableパッケージの基本的な使い方は、奥村先生のホームページにも書いてありました。 data.frame の読み込みは read.csv() などのいくつかの関数で行いましたが，data.table の読み込みは fread(
Rで因子分析: KMOとBartlett | myscratchpad
spssでは標準で出力される (らしい) Kaiser-Meyer-Olkinの標本妥当性と、Bartlettの球面性検定の関数を見つけたのでメモしておく # Kaiser-Meyer-Olkinの標本妥当性 青木先生のページから。感謝。 kmo(dat) # datは数値のみのデータフレームか行列 全く同じものがこのページにもあった kmo.test <- function(df) { cor.sq = cor(df)^2 cor.sumsq = (sum(cor.sq)-dim(cor.sq)[1])/2 library(corpcor) pcor.sq = cor2pcor(cor(df))^2 pcor.sumsq = (sum(pcor.sq)-dim(pcor.sq)[1])/2 kmo = cor.sumsq/(cor.sumsq+pcor.sumsq) return(kmo
Jupyterがすごい勢いでやってくるからお前ら備えとけ（IPython Notebook + R） - Qiita
今までIPython Notebook上でRを動かそうとするとrpy2やらをごにょごにょやるとかいう方法がありましたが、いちいち%%を打ったりといろいろ不便でした。 が、先月末（2015/02/27）のIPython 3.0のリリースでIPython Notebookが大きく変わり、（まだ開発版ですが）Rとの連携もかなり楽になりました！というか今後はRだけでなく、Juliaや他の言語もカバーする方向に進むそうで、特定の言語に依存しない部分をJupyterという別プロジェクトでやっていくそうです。 代表的な言語のJupyterカーネルとしては以下のようなものが存在する模様。 Python (https://github.com/ipython/ipython) Julia (https://github.com/JuliaLang/IJulia.jl) R (https://github.c
8.9 Seasonal ARIMA models | Forecasting: Principles and Practice (2nd ed)
where \(m =\) number of observations per year. We use uppercase notation for the seasonal parts of the model, and lowercase notation for the non-seasonal parts of the model. The seasonal part of the model consists of terms that are similar to the non-seasonal components of the model, but involve backshifts of the seasonal period. For example, an ARIMA(1,1,1)(1,1,1)\(_{4}\) model (without a constan
Rで機械学習【 精度比較シナリオ ② 】SVM vs ランダムフォレストモデル（日経平均 値動き幅 過去日連動性検証） - Qiita
Rで機械学習(PRML)：SVM vs ランダムフォレストモデル （株価シナリオ②）日経平均値動き幅 過去日連動性検証 【 検証事項 】 日経平均株価の各日の（取引時間内）の値動き幅（ボラティリティ： ((当日終値-当日始値)/当日始値)100) )は、X日前の値動きボラティリティ ( ((X日前の終値-X日前の始値)/X日前の始値)100) ) と、どのような関連性があるか。※X = 1 ～ 7 【 事前仮説 】 当日の値動きボラティリティ( ((当日終値-当日始値)/当日始値)100) )は、Xの値がより小さい X日前の値動きボラティリティ ( ((X日前の終値-X日前の始値)/X日前の始値)100) ) から、強い影響を受けている 【 背景にある知見 】 （ GARCHモデル ） ある日の株価ボラティリティは、近い過去日のボラティリティに引っ張られる」（上げ（下げ）相場が続いている期
Rで季節変動のある時系列データを扱ってみる - 渋谷駅前で働くデータサイエンティストのブログ
Rで計量時系列分析シリーズでだいぶ時系列データの話をしてきたわけですが、最近個人的に季節変動のあるデータを扱うケースが増えてきたので、備忘録的にまとめてみようかなと。 一般に、webデータサイエンスの領域で季節変動というと業種や領域にもよるものの、おおむね 週次*1 月次*2 四半期ごと*3 年次or12ヶ月ごと*4 辺りが多いと理解してます（もちろん必ずしもこればかりではないので念のため）。ちなみにこの辺の大ざっぱなまとめが「季節調整」のWikipedia項目に書かれているので、そちらもどぞー。 この辺の処理はRだとかなりお手軽にできるんですが、結構Rならではの約束ごとが多くていきなりやろうとすると「何じゃこりゃ？？？」みたいなことになりがちです。ということで、その辺のポイントをざっくりまとめておきました。 必要なRパッケージ 今回は{forecast}だけインストールして展開しておけば
Ｒと時系列(1)
時間とともに変動する現象に対して時間の順序で測定・観測した結果の記録を時系列データと言い、略して時系列(time series)と言う。時系列データは多くの分野で様々な目的で取り扱われる。日常の社会生活の中でよく見受けられるものには、心電図や脳波のような医療データ、気温や気圧のような気象データ、株価および為替レートのような金融・経済データなどがある。 時系列データは、常に変動を伴うものである。その振る舞いを統計的に分析し、データ変動の特徴を捉え、現象の解明と将来の変動を予測・制御しようとするのが時系列データ分析の主要な目的である。 ちなみに、2003年ノーベル経済学賞の受賞の対象となった内容は、経済時系列分析に関するものである。
カルマンフィルタのアドテクへの応用（実践編） - アドファイブ日記（ミラー版）
前回のつづきです。いくつか理論の補正*1 実験はR言語で行いました。ソース及びデータの一式はChiral's Gistに置いてあります。 具体的な問題設定 ある市場において、商品カテゴリ１，２があり、A社とB社が競合してるとします。A社は１，２両方のカテゴリの商品を扱っているいっぽうで、B社はカテゴリ２の商品のみを扱っています。 ユーザの興味ベクトルは、商品カテゴリ１，２それぞれの選好度、A社とB社それぞれのブランド選好度という４つの要素と、それらの4要素の変化の速度成分を加えて計8次元のベクトルとします。ここでいうユーザは何らかのひとかたまりのオーディエンスという想定です。 そしてA,Bの2社が、ユーザに向けてそれぞれ広告を打ちました。時間の単位は1週間とし、両社の広告の応酬が繰り広げられた3か月(13週)間を分析対象とします。 広告の種類は3種類、すなわち広告１がA社の商品カテゴリ１、
データマイニング 共分散構造分析の実例 : 研究開発
SEM(Structual Equation Modeling) 社会学・心理学系で頻繁に用いられる、要因を構造的に数字で可視化する技法です。 Rで実際に計算するためには、semパッケージが必要です。 パッケージのインストールは install.packages("sem") こうやってインストールには結構時間がかかります。 library(sem) こうしてパッケージを呼び出さないと使えません。 data00<-read.table("data.txt" , header=T) model2<- specifyModel("model2.txt")モデルをファイルから読み込みます。 モデルファイルはこういう内容 x1 -> F1, p01, NA x2 -> F1, p02, NA x3 -> F1, p03, NA F1 <-> F1, f01 ,NA struct <- sem(mo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/ksomemo/items/2c399a35b8edf087237c
https://google.github.io/styleguide/Rguide.xml
Ultimate Source for App and Software Insight - SysMagazine
Time Series Decomposition function in Python
Python-wrapper for R's STL
auto.arima() equivalent for python