この記事の狙い・目的 機械学習を取り入れたAIシステムの構築は、 ①データセット作成(前処理)→ ②モデルの構築 → ③モデルの適用 というプロセスで行っていきます。 その際「データセット作成(前処理)」の段階では、正しくモデル構築できるよう、事前にデータを整備しておくことが求めらます。 このブログでは、時系列を含むデータに対しての解析方法、および前処理段階で用いられる「時系列データ分析」の手法について解説していきます。 プログラムの実行環境 Python3 MacBook pro(端末) PyCharm(IDE) Jupyter Notebook(Chrome) Google スライド(Chrome) 時系列データとは 時系列データとは、時間の順序にしたがって並べられたデータのことをいいます。 例えば、株価の値動き、気温や降水量などの気象情報、交通量の推移などがこれにあたります。 時系列
初めに こんにちは。機械学習を学び始めて約1ヶ月、出来ること出来ないことがやっと少しずつ見え始めてきて自身のイメージとの違いに日々驚かされています、研修生の浅井寛之です。大学では経営学や金融などを勉強しています。 早速本題に入りますが、これから仮想通貨の価格変動予測をしていきたいと思います。特に今回は ”実際にどれくらい正解しているのか” というのをわかりやすく伝えるために、”up” “down” “stay” の3種分類問題を扱います。スコアを我々のイメージしやすい正解率という形で出力できるので比較しやすいから、というのがメインの理由ですが、ネットにあまり価格変動の分類問題が上がっていなかったからというのも理由の一つです。 また、実際本気で収入源にしてる方はさておき、小金儲けしようとして仮想通貨を買っている人たちの多くは1ヶ月後までの価格の推移よりも明日価格が上がっているかどうかの方に興
tl;dr 目的:なぜ簡単な問題においてパーセプトロンよりもSVMのほうが性能が良いことが多いのか、それは本当なのかを考察する。 特に、ラベルあたりのデータ数に偏りがある場合。 SVM、単層パーセプトロン、SVMと同じ損失関数の単層パーセプトロンで振る舞いを比較した。 定性的な評価だが、SVMがもっともよかった。少なくとも損失関数の違いだけではないことがわかった。 最適化法の違い、パラメータの選び方が効いているのかもしれない。 はじめに 線形SVM1は歴史ある分類器ながら、その強力さから現代でも広く使われています。分類器としては近年ニューラルネットワーク、特にニューラルネットワークを多層にかさねた深層学習が話題になっています。しかし、これはあくまでも感覚なのですが、がんばって訓練したニューラルネットワークよりも素朴な線形分類器であるSVMのほうが性能が高いことが多々あります。 線形SVMと
本記事の動機 製造業において見込み生産を行う場合適切な生産数を算出することが重要になります。適切な生産数でない場合、例えば、見込みの生産量が実際の数量を上回った場合だと在庫が多くなり廃棄コストなどの保有リスクが増加していきます。見込みの生産量が実際の需要量を下回った場合は、製品の生産が遅れ納期遵守率の低下等のリスクが発生する可能性があります。このようなリスクを減少させるために、内示等の情報を利用して可能な限り実際の需要量を予測して生産活動を行うことになります。 他方、顧客ニーズの多様化や製品ライフサイクルの短縮化により多品種少量生産が求められています。多品種少量生産下では各製品に対する管理項目も増え、需要予測に対する工数が増加します。また、管理項目の増加に伴う見落としも考えられ、結果として需要予測の精度が落ちることも考えられます。そこで、pythonで予め需要予測モデルを作成しておき、後は
はじめに PyTorchにて, “RuntimeError: CUDA error: device-side assert triggered"というエラーに出くわすことがある ネットに転がってるモデルで発生すると特に厄介である (自分が作った沼ではないので…) またMAEでのマスク処理のような, テクニカルな処理を行う場合などにも頻発 再現性が取れず, 出力されるエラー内容も二転三転. 一定確率で上記のエラーが発生する. 今まではうまく行ってたのに急にエラーが頻発することなども多々あり ということで, 金輪際このエラーに立ち往生しないよう, “CUDA error: device-side assert triggered"に終止符を打とう! ネットに転がってる議論は入力のshapeが云々・loss関数が云々と具体的で狙い撃ち的すぎる なので, より実践的な解決の手引きをメモ程度にまとめ
目次。 目次。 はじめに。 これまでのあらすじ。 一から完全自作で株式自動売買プログラム開発がしたいと思うようになる。 株式売買に必要な処理(ログイン、売買注文の発注など)の全自動化。 短期・長期移動平均線を使った売買アルゴリズムの開発を始める。 ディープラーニングを使った売買アルゴリズムの開発を始める。 開発したプログラムを実際の株式売買に導入。 あれ?どんどんと損失が…。 原因部分:正規化処理(min-max normalization)を行うコード。 『【株式自動売買×ディープラーニング】LSTMで日経平均株価予測を行うプログラムを書いてみた話。』の再考。 『【株式自動売買×ディープラーニング】LSTMで上場企業、約4000社の株価予測をしてみた話。』の考察。 原因究明への道のり。 検証用のソースコードと実践用のソースコードがなんか違うのでは? 予測データを解析し、モデルの性能を評価
自動発注システムを開発されているお客様やそのツールをご利用されているお客様、ご自身で開発されたツールを利用して発注されているお客様向けのサービスです。 これまではWeb画面のエミュレーションで接続し発注等を行っていましたが、直接APIを呼出し高速に処理できるようになります。 更にe支店のAPIサービスでは、約定等の情報をプッシュ通知します。これまでに無いより使い易い発注システムの開発に役立つものと考えます。 2023-12-13 APIデモ環境、新NISA対応版(v4r5)の変更について 2023-10-03 API最新バージョン(v4r5)のリリースおよび旧バージョンの廃止について 2023-07-18 ニュース取得版(v4r4)リリースについて 2023-03-01 API 旧バージョン「v4r2」の廃止について 2022-12-26 契約締結前交付書面等の改訂のお知らせ 2022-1
はじめに PyTorchはテンソルに対してhoge.to(device)などで簡単にcpuとgpuモードを切り替えられますが,よくこのデータセットやモデルがcpuかgpuなのかわからなくなったので,確認する方法を書き残しときます. 確認方法 前提としてデータセットとモデルの準備は IMAGE_SIZE=224 BATCH_SIZE=20 TRAIN = 'train' DATA_DIR = 'dataset/predata/' DEVICE = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") data_transforms = { TRAIN: transforms.Compose([ transforms.Resize(IMAGE_SIZE), transforms.ToTensor(), ]) } # データ
本記事では、NVIDIAから発表されているPyTorchでのディープラーニングを高速化するコツ集を紹介します。 【※NEW】22年6月新記事:スクラム関連の研修・資格のまとめ & おすすめの研修受講方法 本記事について 本記事は、NVIDIAのArun Mallyaさんの発表、 「PyTorch Performance Tuning Guide - Szymon Migacz, NVIDIA」 に、説明やプログラムを追加して、解説します。 本記事のポイントは、Andrej KarpathyがTwitterで呟いている通りとなります。 good quick tutorial on optimizing your PyTorch code ⏲️: https://t.co/7CIDWfrI0J quick summary: pic.twitter.com/6J1SJcWJsl — Andrej
SNSを利用している方であれば、おそらくほとんどの方が「もふもふ動画」や「最多情報局」といったアカウントを一度は見たことがあるでしょう。 面白動画やかわいいペットの写真などの投稿で、多くのフォロワーを集めていますが、実はその大半が無断転載によるもの。転載を知らされていない元の投稿主らから、問題視されています。 ■ 「削除依頼はDMまで」とあるものの、要請に応じず 投稿を見てみると、完全に無断転載しているものと、Xの動画引用方法(URLの末尾に「video/1」を付ける方法)を使用した、“仕様の範囲内”で引用しているものの2パターンがあります。 しかしながら後者の“仕様”を使った場合でも、投稿者(動画や写真の権利者)が嫌だといえばそれまで。投稿者には著作権および著作者人格権があり、Xにポストしたからといって権利を手放したわけではありません。 これは利用規約の概要にも「ユーザーは、ポストまたは
これまでのあらすじいい感じの新居に引っ越した 引っ越しただけでは終わりではない引っ越しに伴い家具を新調する場合、引っ越し後に購入して新居に運びこむのがセオリーです。なので生活に必要な順に買い揃えていきました。 まずはソファー。机といすなら机のほうが代替がききます。おまけにソファーは業者の有償サービスで運び込み&組立をやってもらうことにしたので(頼まないとマンションの1Fでばかでかい箱を受け取ることになり一人暮らしでは詰む)引っ越し翌日に最優先で入れました。 そしてソファーの使い心地を確認し、本当にテーブルはこの高さでいいんだろうかと検討し、同じ商品でもどこで買うのが安いだろうと通販サイトをうろついてようやくテーブルも購入。その間1週間くらいソファーの前に段ボール箱置いて飯食べてました。いいんだよ一人暮らしなんだからこれくらい適当で。 それからフィットボクシングとyoutubeのためだけに買
引き続きお仕事でPyTorchを使った開発を行っているのですが、これまでKerasで高度にラッピングされた学習フレームワークしか経験が無かったので、お作法的なところで躓くこと・疑問に思うことがよくありました。 loss.backward()で計算グラフを伝って誤差逆伝播されるのはなんとなくわかる だけど、その計算方法や計算結果は誰が持ってて、入力側へどうやって渡してるのだろうか... optimizer.zero_grad()とoptimizer.step()は何をしているの? 今回はPyTorchの誤差逆伝播やパラメータ更新について調べて整理しました。 この投稿ではPyTorch 1.1.0を使ってます。 import torch import torch.optim as optim import numpy as np import matplotlib.pyplot as plt
目次。 目次。 先にこちらを読んでください。 はじめに。 再帰的ニューラルネットワーク (RNN)の改良版:Long Short-Term Memory (LSTM)って? 株価チャートと再帰的ニューラルネットワーク (RNN)。 再帰的ニューラルネットワーク(RNN)からLong Short-Term Memory (LSTM)へ。 損失関数の勾配消失・爆発問題。 入力データ長が長くなるほど(RNNの層が深くなるほど)、最初のデータを忘れてしまう。 入力重み衝突・出力重み衝突。 ソースコード(プログラムコード)。 結果。 損失関数の値の変化。 日経平均株価予測の結果。 予測値平均絶対誤差と株価平均絶対変化率。 最後に。 この文章を読んで、面白い!役に立った!...と思った分だけ、投げ銭していただけると嬉しいです。 ofuse.me 【宣伝】ギターも歌も下手だけど、弾き語りをやっているので
こんにちは!私はファンヨンテと申します!JX通信社で機械学習エンジニアを行っております! 私はPyTorch Lightningを初めて使ったときの便利さに感動した以来、PyTorch Lightningのヘビーユーザーです! この解説記事ベビーユーザーの私が皆様にPyTorch Lightningを知っていただき、利用のきっかけになってほしいと思って公開しています! 今回の解説記事のサンプルコードはこちらにあります。ぜひ、実際のコードを手にとって体験しPyTorch Lightningの素晴らしさに触れてみてください! この記事内容は13回のMLOps勉強会で発表しました! speakerdeck.com 読者の対象 PyTorch Vs PyTorch Lightning PyTorch について PyTorch Lightningについて JX通信社でPyTorch Lightnin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く