「Amazon Forecast」が正式リリース。過去の時系列データを与えるだけで機械学習による予測をしてくれる、専門知識不要のサービス
「Amazon Forecast」が正式リリース。過去の時系列データを与えるだけで機械学習による予測をしてくれる、専門知識不要のサービス Amazon Forecastは、なんらかの時系列データおよびその時系列データに影響を与えたであろう周辺情報、例えばある店舗の売り上げの時系列データおよび、その店舗の場所の天候、気温、交通量、曜日や祝祭日など売り上げに影響すると思われる周辺情報を与えると、予測に必要な機械学習モデルの構築、アルゴリズムの選定、モデルの正確性の検証や改善などを全て自動で実行し、売り上げに関する予測のデータを出力してくれるというサービスです。 一般に、機械学習を活用するには、学習用のデータと検証用のデータを用意し、学習用のデータから求められた予測結果を検証用データで検証して正確性を評価し、より適切なモデルやアルゴリズムを選択する、といった作業が発生します。 Amazon Fo
時系列データ分析コンテンツ「ごちきか」を公開します - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近ではテクニック向上のためバニーホップの練習に励んでいます（なかなか上達しません…）。 今日はクリスマスイブということで、時系列データ分析コンテンツ「ごちきか」 をプレゼント（？）します！年末休みのお供にぜひご照覧ください。 サマリー 時系列データ分析コンテンツ「ごちきか」を公開しました （余談として）基盤やデプロイ方法を紹介します What is 「ごちきか」？ 私たちのチームでは、
MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表
MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表 NoSQLデータベースには、MongoDBに代表されるドキュメントデータベース、InterSystems IRISに代表されるオブジェクトデータベース、Neo4jに代表されるグラフデータベース、Redisに代表されるキーバリューストアなど、さまざまな製品があります。 ガートナーが発表したNoSQL専業ベンダに関する調査結果によると、NoSQL市場の中で過去5年において圧倒的に高い成長率を見せ、市場のリーダーとなっているのがMongoDBです。 ガートナーは2016年に発表したクラウドサービス「MongoDB Atlas」がこの成長を支えてきた大きな要因だと分析しています。 そのMongoDBはMongoDBは、6月7日から9日にかけて米ニューヨークで開催されたイベント「MongoD
各本の立ち位置について どんな軸で立ち位置を説明しようか悩みますが、今回は「対象読者レベル」と「時系列との関係」についての二軸で「独断と偏見」で位置づけしてみました。 はじめに 仕事でデータ分析に関して種々のデータに色々な手法を使ったりするのですが、分析していると時系列のデータが意外と多い。 数値予測や異常検知などは時刻と共に記録されていることが多いです。 この時系列データに関する知識を付けるために網羅的に本を読んで、知識を付けようと思いました。 今回はその中で、「どの本にどんな事が書いてあって、他の本との関係性は？」を書評にすることで、皆さんの本の購入の手助けになればと思っています。 「この本の立ち位置も調べて」 「時系列本ならこの本入れなアカン」 などあれば教えてください。 時系列分析のためのブックガイドと同じようなコンセプトの記事です。 時系列データに対する「python,Rどっちが
時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | DevelopersIO
計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ ある時点のデータを高速に抽出するようなクエリに最適化されている マグネティックストア データを長期間保存するためのストレージ 分析クエリをサポートするように最適化されている 各ストレージにはデータの保持期間が設定でき、設定したデータ保持期間とレコードのタイムスタンプに応じてレコードの保存先がメモリストア → マグネティックストアと遷移し、マグネティックストアのデータ保持期間を超過したレコードは削除されます。 現在はメモリストアとマグネティックストアの2種類でストレージが構成されてい
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
最近噂のノーコードAIモデル開発ツール Node-AIで時系列データの因果分析・重要度可視化・要因分析をしてみた - NTT Communications Engineers' Blog
はじめに こんにちは。イノベーションセンター、テクノロジー部門、データ分析コンサルティングPJの更科です。 この記事では、2022年12月08日にβ版フリートライアルキャンペーンが始まったNode-AIで時系列データの因果分析・重要度可視化・要因分析などをしてみようと思います。 Node-AIは時系列データの分析をするNTT Communicationsの内製開発サービスで、製造業を中心に様々な領域で活用されています。Node-AIについて詳しくは「ノーコードAIモデル開発ツール Node-AI」や「ノーコードAI開発ツールNode-AIの紹介」をご覧ください。 読んでほしい人 ノーコード(ローコード)AI開発ツールに興味がある人 時系列データの可視化に興味がある人 因果分析、特徴量重要度、要因分析に興味がある人 伝えたいこと Node-AIを使ってデータの様々な情報を可視化できる！ No
はじめに データ分析を行う際、それらのデータの特徴を知るために頻繁に平均や分散（データのばらつき）を計算します。 それらは、n個のデータをx_1,x_2,\ldots,x_nと表すと、それぞれ次のような式で計算できました。 平均 m_n = \frac{1}{n}\sum_{i=1}^{n}x_i 分散 \sigma_{n}^2 = \frac{1}{n}\sum_{i=1}^{n} (x_i - m_n)^2 この計算式を愚直にコード(rust)に落とし込むと次のように記述できます。（もしrustを書いたことない方でもプログラミングに馴染みのある方であればなんとなくわかると思います。） // 平均 fn mean(data: &Vec<f64>) -> f64 { let mut sum: f64 = 0.0; for i in 0..data.len() { sum += data[i
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
IoT と時系列データと Elasticsearch | Data Pipeline Casual Talk Vol.4
IoT と時系列データと Elasticsearch Data Pipeline Casual Talk Vol.4 株式会社ソラコム ソリューションアーキテクト 今井 雄太
「Amazon Forecast」が正式リリース 過去の時系列データを与えるだけで機械学習による予測をしてくれる、専門知識不要のサービス
「Amazon Forecast」が正式リリース 過去の時系列データを与えるだけで機械学習による予測をしてくれる、専門知識不要のサービス AWSが「Amazon Forecast」を正式リリースした。履歴データなどをもとに時系列予測を行ってくれるサービス。売上、利益、経費などのビジネス指標などさまざまな分野に対応可能だとしている。 Amazon Forecastは、なんらかの時系列データおよびその時系列データに影響を与えたであろう周辺情報、例えばある店舗の売り上げの時系列データおよび、その店舗の場所の天候、気温、交通量、曜日や祝日など売り上げに影響すると思われる周辺情報を与えると、予測に必要な機械学習モデルの構築、アルゴリズムの選定、モデルの正確性の検証や改善などを全て自動で実行し、売り上げに関する予測のデータを出力してくれるというサービスです。 一般に、機械学習を活用するには、学習用のデ
Python: 時系列データの交差検証と TimeSeriesSplit の改良について - CUBE SUGAR CONTAINER
一般的に、時系列データを扱うタスクでは過去のデータを使って未来のデータを予測することになる。 そのため、交差検証するときも過去のデータを使ってモデルを学習させた上で未来のデータを使って検証しなければいけない。 もし、未来のデータがモデルの学習データに混入すると、本来は利用できないデータにもとづいた楽観的な予測が得られてしまう。 今回は、そんな時系列データの交差検証と scikit-learn の TimeSeriesSplit の改良について書いてみる。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G3020 $ python -V Python 3.8.1 下準備 あらかじめ、必要なパッケージをインストールしておく。 $ pip install scikit-le
Pandas で時系列データをグループ化して集計できる「Grouper」 - kakakakakku blog
Pandas で groupby() 関数を使うと，データセットをグループ化して集計できる．さらに Grouper オブジェクトと組み合わせると，より高機能なグループ化を実現できる．今回は groupby() 関数と Grouper オブジェクトを組み合わせて「時系列データの集計」を試す．最後に関連する resample() 関数も試す． pandas.DataFrame.groupby — pandas 1.2.4 documentation pandas.Grouper — pandas 1.2.4 documentation データセット 🪢 今回使うサンプルデータセットを準備する．まず，Pandas の date_range() 関数を使って 2020/1/1 ~ 2020/12/31 の範囲で1年間の DatetimeIndex を作る．そして DatetimeIndex をイ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列データ関連の本10冊読んだので書評書く。+4冊更新 2021年11月 - Qiita
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
インクリメンタルに複数の時系列データに対する平均・標準偏差を計算する