[B! qiita][statsmodels] nabinnoのブックマーク

社会人が片手間で取る統計検定2級 - Qiita

概要通勤時間の本読みと公式過去問3周とWebでなんとか合格までは到達できる。主に使用した教材は下記まずはこの一冊から意味がわかる統計学 (BERET SCIENCE) 日本統計学会公式認定統計検定 2級公式問題集[2015〜2017年] 改訂版日本統計学会公式認定統計検定2級対応統計学基礎統計検定2級　模擬問題集1 統計学の時間使用電卓電卓はルート計算できるものは必須。僕はこれを使いました。前提条件理系私立大学卒・数学が嫌い・統計は勉強したことがない社会人です。統計の知識がないままstatsmodelsを使ってシステムを組んでいましたが、根拠をもった説明を行いたくなったため統計検定をうけることを決意頑張れば割となんとかなる。勉強方法通勤時間(往復1時間弱)は、統計学の時間をひたすら閲覧。「なぜこの式を使うのか。なぜこうなるのか。」を意識することが大切

nabinno 2018/10/23

リンク

Python での回帰分析 --「子供にはすぐ解けて大人にはなかなか解けない問題」を例として - Qiita

8809=6 3333=0 7111=0 5555=0 2172=0 8193=3 6666=4 8096=5 1111=0 7777=0 3213=0 9999=4 7662=2 7756=1 9312=1 6855=3 0000=4 9881=5 2222=0 5531=0 を pandas の線形回帰ライブラリを用いて解いてみた．方針それぞれの数字 $n$ には何かの特徴（まあ答えを言ってしまうと穴の数．ただしそれは今は判らないとしておく）があるものと仮定します．それをパラメータ $\phi_n$ であらわします．例えば 0000=4 の場合，

nabinno 2018/08/26

リンク

【統計学】[時系列解析] ARMAモデルをひたすらプロットして傾向をつかむ。 - Qiita

ARMAモデルをひたすらプロットしてみる記事です。 ${\rm ARMA}(p,q)$のパラメータによってどのようにグラフが変化するかを視覚的に理解するためにグラフを描きまくります。計49本ありますw ずっと眺めていたら、グラフを見てパラメーターが見分けられるようにならないかなー、という淡い期待から書いてみた記事ですグラフを並べて眺めた後、これらを生成したPythonコードを記載します。自己回帰移動平均(ARMA)モデル ARMAモデルの式は下記になります。本記事では $p=0,1,2,\ q=0,1,2$のパターンで、かつ各パラメータの符号のバリエーションの数だけグラフを描いていきます。 y_t = \varepsilon_t + \sum_{i=1}^p \phi_i y_{t-i} + \sum_{i=1}^q \theta_i \varepsilon_{t-i} \\ \var

nabinno 2018/08/26

リンク

回帰モデルの比較 - ARMA vs. Random Forest Regression - Qiita

各モデルの詳細はWikipedia等を参照していただくとして，基本的にARMAは，AR , MAを含有するモデルであり， ARIMA は，ARMA を含むモデルなので，ライブラリとしては ARIMA がサポートされていれば，上記４つのモデルはすべて対応可能となる．但し，StatsModelsではAPIとしてAR, ARMA, ARIMA が用意されている．今回，分析を行うデータとして，"Nile" を取り上げた． Nile River flows at Ashwan 1871-1970 This dataset contains measurements on the annual flow of the Nile as measured at Ashwan for 100 years from 1871-1970. There is an apparent changepoint ne

nabinno 2018/08/26

リンク

ランダムフォレスト系ツールで特徴量の重要度を測る - Qiita

はじめに複数の特徴量を含むデータセットを分析する際，ランダムフォレストに代表される決定木ベースのアンサンブル分析器では，特徴量の重要度を算出することができます．これまで，私はブラックボックスとしてこの機能を使ってきましたが，使うツールが増えてきたので，少し使い方を整理したいと思います．まず重要度算出のアルゴリズムですが，"はじめてのパターン認識"（11章）から引用させていただきます． Out-Of-Bag(OOB) 誤り率は次のように計算する．ランダムフォレストは，一つの木を作るときにブートストラップにより使用する学習データを選んでいる．その結果，約1/3のデータは学習に使われない．ある学習について，その学習データが使われなかった決定木のみを集めて部分森を構成し，その学習データをテストデータにして誤りを評価することができる．決定木ベースのアンサンブルを行う際，上記の方法でOOB誤り率

nabinno 2018/08/26

リンク

PythonのStatsmodelsで重回帰分析を行う際に、定数項(y切片)を追加する - Qiita

はじめに重回帰分析を行っていたところ、エクセルで算出した傾きやp値と、PythonのStatsmodelで算出した数値が異なり悩んでましたが、Statsmodelに定数項を追加してなかったことに気付きました・・・。追加するにはStatsmodelのadd_constと用いればよいようです。 statsmodels.tools.tools.add_constant コード from statsmodels import api as sm X = df[["height","width"]] X = sm.add_constant(X) y = df["weight"] model = sm.OLS(y,X) result = model.fit() result.summary()

nabinno 2018/08/26

リンク

Applying StatsModels on Trading Strategies in SmartTrade - Qiita

In the previous 2 articles, we detailed the steps on how to build a trading strategy on SmartTrade from scratch, and one using ta-lib and one using our own custom functions. If you have not read it yet, please click here. Below assumes you already know the basics on how to build and run a strategy on SmartTrade. Today, we would like to show an example implementing a strategy using the statsmodel l

nabinno 2018/08/26

リンク

時系列データ分析(s)ARIMAモデル【Statsmodels】 - Qiita

データ平日では下記のような傾向が見られる。 1日のデータ推移季節によって上下にシフト夜間少なく昼間に多いデータ 6時に急激に増え、18時に急激に減る 11時、14時頃に急激に少なくなる検証このあたりで作成した、力業でp,d,qの準最適なパラメータを求める。予測期間2day(1hour更新)の場合特殊条件 30分ごとに学習期間を30分シフトさせモデル構築ハイパーパラメータの更新の有無で分岐 30分毎に学習時間をシフトさせて、モデルを更新する関数下記の関数で、ぐるぐる回して最新の値だけDataframeにする。本当に意味があるのだろうか？ def TrainSarima(df,Start,End,Order,SOrder,ShiftM = 0): TrainResultsSARIMA = sm.tsa.statespace.SARIMAX(df.loc[pd.to_date

nabinno 2018/08/26

リンク

Tips_01:時系列データ分析SARIMAモデル「seasonal_orderの長さについて」【statsmodels】 - Qiita

Tips_01:時系列データ分析SARIMAモデル「seasonal_orderの長さについて」【statsmodels】Python初心者statsmodels 概要 SARIMAモデルを用いた、時系列データ分析におけるプログラミング中に起きたエラープログラム初心者の私に起きたので、同じ初心者の方の解決になれば… SARIMAモデルには、(p,d,q)(P,D,Q,S)といったハイパーパラメータを入れてあげなければならない。総当り法でp,d,q,P,D,Q(Sは24で固定）を求め、最もaicが低いパラメータを採用するプログラムを作った。問題 len()使えないからだめだよ。長さないよ。って怒られました。 --------------------------------------------------------------------------- TypeError Trac

nabinno 2018/08/26

リンク

Tips_02:時系列データ分析SARIMAモデル「学習データのinputについて」【statsmodels】 - Qiita

import pandas as pd import glob,os def CombineFiletoDF(folderpath): csvs = glob.glob(folderpath + '\*.csv') for csv in csvs: if csv == csvs[0]: df = pd.read_csv(csvs[0],dtype=np.float64,encoding='SHIFT-JIS',index_col=[0],parse_dates=[0]) else: df = df.append(pd.read_csv(csv,encoding='SHIFT-JIS',index_col=[0],parse_dates=[0],skiprows=0)) df = df.resample('H').asfreq() return df mod = sm.tsa.statesp

nabinno 2018/08/26

リンク

statsmodelsのapiをsklearn likeなwrapper経由で呼び出す - Qiita

はじめに GLM（一般化線形モデル）などstatsmodelsにしかない機能を使いたいことがありますが、scikit-learnのapiと切り替えて呼び出そうとすると、呼び出しの順序や引数を渡すタイミングが異なっていて不便です。そこでstatsmodelsのapiをscikit learn風に呼び出せるwapperクラスを作りました。 wapperの定義 class SMWrapper(): def __init__(self, base_cls, fit_intercept=True, **params): self.base_cls = base_cls self.fit_intercept = fit_intercept self.params = params def fit(self, x, y, sample_weights=None): _x = sm.add_consta

nabinno 2018/08/26

リンク

時系列解析ライブラリーの比較 statsmodel,fbprophet,tensorflow　その１ - Qiita

はじめに時系列分析は、regression・classification・clusteringに同じくらいに使用頻度が高いものであるが、結構扱いが難しく敷居が高い。私も触りを学んだ程度で避けていたところがあった。しかしながら、今般、いろいろあって時系列分析に向き合う必要が出てきた。そこで知識のおさらいも兼ねて時系列解析を扱うライブラリーを使ってみたので、結果を報告したい。実際に使ったモジュールは以下の通りである。１．statsmodels python・時系列解析で検索するとかなりの確率でヒットするほど有名なモジュールである。まさに王道といってもいいようにさえ思える。このstatsmodelsであるが、使ってみてRを意識した設計になっていると感じた。実装されている関数はおおよそRのものをカバーしている。また関数のパラメータの仕様・出力結果ともにRに類似している。今回、教本として「時

nabinno 2018/08/26

リンク

Pythonによるデータ処理のテキスト - Qiita

Pythonでデータ処理をするために必要となる方法についてのテキストを作成しています．－－－－－－－－－－－－－－－－－－－－－ ● テキストの試作品（PDF形式148ページ:1.32MB）　2022/03/31更新（→ミラーサイトからDL）使用しているモジュール： JupyterLab, pandas, NumPy, SciPy, matplotlib, SQLAlchemy →テキスト中の実行例（Jupyter Notebook）－－－－－－－－－－－－－－－－－－－－－ Python自体のテキストはこちらで公開しています． (2018/05/12) 学校でプログラミング教えています．学生にデータ処理を教えるためのテキストを作っています． Pythonをベースにしていますが，色んなシステムやパッケージを混在して使うことになりますので，初心者が見ると「何がどれだけあって，何をし

nabinno 2018/08/26

リンク

statsmodels で線形回帰 - Qiita

Python の線形回帰として以前まで scipy.stats.linregress を使っていたが、機能が少なくて使いづらいので statsmodels というのを導入してみた。まだ実質2時間しか使ってないので根本的に何か勘違いしているかもしれない。実質2時間しか使ってないからつれーわー以下 statsmodels の OLS (ordinary least square; 普通の最小二乗法) の使い方について述べる。公式の資料はこちら http://statsmodels.sourceforge.net/stable/regression.html インストール pip でふつうに。

nabinno 2017/05/21

リンク

はてなブックマーク

タグ

関連タグで絞り込む (5)

qiitaとstatsmodelsに関するnabinnoのブックマーク (14)

お知らせ

今週のはてなブックマーク数ランキング（2024年5月第3週）

今週のはてなブックマーク数ランキング（2024年5月第2週）

今週のはてなブックマーク数ランキング（2024年5月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス