季節調整済みARIMAモデルで電力使用状況を推定してみる
北海道電力の電力使用状況を季節調整済みARIMAモデル（Seasonal ARIMA）で推定してみました。そのメモです。 このサイトを参考にしました。ほぼそのままやりました。 ■Seasonal ARIMA with Python http://www.seanabu.com/2016/03/22/time-series-seasonal-ARIMA-model-in-python/ このブログでも紹介されていますが、statsmodelsのdevelopment versionが必要です。 https://github.com/statsmodels/statsmodels これをインストールするにはvisual c++のなんかのバージョンが必要で色々と面倒でした。あと、pipでインストールすると失敗するのでeasy_installでうまくいく場合もありました。 %pylab impor
時系列分析Ｉ ――ARMAモデルと時系列分析
連載バックナンバー はじめに 今回は時系列分析について紹介します。ビジネスで生成されるデータの多くが“時間“の項目を含む時系列データで、1週間の傾向や季節変動などを分析する際など、さまざまな場面で時系列の分析が必要となります。 時系列分析（Time Series Analysis）とは？ 時系列分析（Time Series Analysis）は、株価や為替レートなど金融関連の時間とともに変化するデータを分析し予測するために発達してきました。「時系列計量経済学（Time Series Econometrics）」などの学問の中で論じられているデータ分析の中では、比較的歴史のあるテーマです。それだけに、定式化するためのさまざまなモデルが提案されていて、1つの変量を分析するためのモデルだけでも、表1のように多くのモデルがあります。 略称 説明 AR
時系列分析_実践編 | Logics of Blue
最終更新:2016年1月24日 Rを用いた時系列解析の実践例を載せます。 Rを使えばARIMAもSARIMAもサクッと一瞬で計算できますよ。 時系列解析って何？ という方は ・時系列解析_理論編 ・時系列解析_ホワイトノイズとランダムウォーク も参照してください。 スポンサードリンク 目次 １．使用データ ２．モデリングと予測 その1、和分過程でないデータ ３．モデリングと予測 その２、和分過程 ４．モデリングと予測 その３、季節変動データ １．使用データ シミュレーションデータと、Rにもともと入っているサンプルデータを用います。 シミュレーションデータはこちら set.seed(1) d <- arima.sim( n=400, model=list(order=c(2,0,2), ar=c(0.5,0.4), ma=c(-0.5,0.3)), sd=sqrt(1) ) order=c(
時系列解析_理論編 | Logics of Blue
最終更新:2017年6月1日 時系列分析という名前はご存知でしょうか？ 残念ながらExcelで実行するのがやや困難であるためこの名前もあまり浸透していないのではないかと思います。 時系列解析は、回帰分析とは違ってあまり知らない人も多いと思うので、ざっと解説を載せておきます。これだけ読めば、時系列分析の雰囲気はつかめるのではないでしょうか。 時系列分析の基礎の基礎からSARIMAモデルまでを一気に解説します。 それと、便利なパッケージ forecast の紹介も。 Rを使えば簡単に計算できますよ。 Pythonを使いたい方は「Pythonによる時系列分析の基礎」の実装例も併せて参照してください。 スポンサードリンク 目次 １．時系列解析って何？ ２．時系列データの扱い方 ３．知ると便利な用語集 ３－１．自己相関係数・偏自己相関係数 ３－２．ARモデル（自己相関モデル） ３－３．MAモデル（移
ARIMAモデルによる株価の予測 | Logics of Blue
最終更新：2017年7月14日 標準的な時系列解析手法であるARIMAモデルを用いた、株価の予測とその評価の方法について説明します。 ARIMAモデルは、R言語を使うととても簡単に推定することができます。 簡単である割には、予測精度は高く、時系列予測における標準的な手法となっています。 この記事では、株価のデータに対して、ARIMAモデルを推定し、株価を予測することを試みます。 株価を予測することはとても難しいので、この手法を使えばすぐに利益が出るということはあり得ません。 しかし、時系列データの取り扱いとARIMAモデルの推定、そして予測の評価という一連の流れを学ぶことで、ほかのデータなどに対して応用する能力が身につくかと思います。 コードはまとめてこちらに置いてあります。 スポンサードリンク 目次 時系列解析とARIMAモデル 株価の取得 ARIMAモデルの推定と予測の評価 一期先の予
未来を予測するビッグデータの解析手法と「SARIMAモデル」
ビッグデータと未来予測 ロングテールとは ロングテールとビッグデータの関連 未来予測のためのビッグデータ解析 重回帰分析 回帰分析の基礎、単回帰分析 最小二乗法 相関係数 重回帰分析 変数の影響度 多重共線性 ビッグデータで重回帰分析を用いるリスク SARIMAモデル ARモデルとMAモデル ARモデル（自己回帰モデル） MAモデル（移動平均モデル） ARMAモデル（自己回帰移動平均モデル） 定常過程と非定常過程 ARIMAモデル（自己回帰和分移動平均モデル） SARIMAモデル（季節自己回帰和分移動平均モデル） まとめ 様々な分野でビッグデータの応用が進んでいます。 その中でも企業が競争力を持つための、トレンド予測や需要予測が注目されています。 膨大なデータを解析することで、トレンドの変化や周期的な法則を導き将来を予測することができます。 今回は未来予測を目的としたデータの解析手法につい
【機械学習初心者向け】scikit-learn「アルゴリズム・チートシート」の全手法を実装・解説してみた - Qiita
scikit-learnのアルゴリズム・チートシートで紹介されている手法を全て実装し、解説してみました。 注釈 本記事シリーズの内容は、さらに丁寧に記載を加え、書籍「AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ」 として、出版いたしました。 概要 scikit-learn アルゴリズム・チートシート 【対象者】機械学習を使用したい方、初心者向けの機械学習本を読んで少し実装してみた方 scikit-learnの説明は英語で分かりにくいし、実装例もシンプルでなくて、よく分からんという方 【得られるもの】模擬データを用いて、各手法を使用したミニマム・シンプルなプログラムが実装できるようになります。 アルゴリズムの詳細な数式は理解できませんが、だいたい何をやりたいのか、意図と心、エッセンスが分かります。 アルゴリズムマップの手法をひとつずつ実装・解説します。
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012で行われた「ビジネスで生きる機械学習技術」セッションの招待講演資料です。 http://www.ipsj.or.jp/event/fit/fit2012/program/data/html/event/event_A-7.html 【講演概要】 世の中で得られる知見の多くは、何らかの観測対象の時間変化や、観測対象グループにおける珍しい個体の出現を捉えたものと考えることができます。特に急速な変化や異常な個体の検出するための異常検知技術は、ビジネスにおけるデータ収集・蓄積インフラの浸透とともに応用が広がっています。従来は、蓄積されたデータを目で見て確認する、閾値を設けてアラートを出す、あるいは経験に基づいて異常パターンをルール化する、などのアプローチが主流でした。しかしながら、収集できるデータの変数と量が飛躍的に増大する中で、比較的単純かつ過去に起きた異常のみ扱えるルールベース手
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
音割れ音源、機械学習で復元したくない？その1 〜短時間フーリエ変換と近接勾配法〜 - cocuh's note
このまえHな講義*1を受けてたあとに、@polamjag 氏とダベってたら 「音割れ音源復元できないか」 みたいな話がでて面白そうだったので趣味研究してみた成果だったりします。 信号解析初経験な上に片手間でやった研究なので、かなり穴だらけだと思うのでお気づきのことがありましたら、ご指摘お願いします。 背景 話によると、そこらへんで買った音源って音割れしてるらしい。 audacityで[view]->[show clipping]をオンにすると音割れ箇所を可視化してくれる。 ノーポイッを見てみた図。 (amazon mp3で購入、買ってない方ぜひ買いましょう。 http://www.amazon.co.jp/dp/B017BAK632 ) あかい。。。 ということで、ｻｰﾍﾞｲするこくたんであった。 目的 音割れしている音源(5分ぐらいの)をいい感じに補完して 人間の耳にやさしく 補完する。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習の理論と実践