DeepARで複数系列の予測をする - ぱぐみの部屋
業務で時系列データの予測モデルを作る時、私は基本的にProphetを最初に選択します。なかなかの精度のモデルが、手早く簡単に作れるからです。 しかし、時系列データが数百系列あるような場合、いかにProphetといえどもモデルを数百個作成することになり、計算に時間がかかりますし、保守とか管理もめんどくさくなります。 (パラメータチューニングも考えるとなおさら) VARや状態空間モデルのような、多変量時系列の予測に使える手法もありはするんですが、さすがに数百系列のデータの適応するのには無理があります。 そこで、今回はDeepARという深層学習を使った時系列予測アプローチを使い、モデル1つで複数系列データを予測する方法をご紹介します。 DeepARとは？ DeepARは、Amazonが開発した時系列予測フレームワークです。論文はこちら。 ざっくり説明すると、目的値$z_{i,t}$そのものを予測
Faster WhisperとAWS SageMakerを活用してGPUでの高速文字起こしエンドポイントを構築する
概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの
【AWS SageMaker】SageMaker Ground Truthで手持ちの画像をラベリングしてみた - Qiita
背景 AWS SageMakerについて勉強していたところ、SageMaker Ground Truthは画像にラベリングを行うものとあったので、実際に触ってみました。 試した事(概要) 漫画家の矢吹健太郎先生の作品である「ToLoveる-ダークネス-」のヒロインキャラクター画像に対して、キャラクター名をラベリングしてみました。 例えば、 これは「ヤミ」のラベルを付けて、 これは「モモ」のラベルを付けてみる形です。 試した事(詳細) 1. S3にラベリングを行いたい画像をアップロード 今回は12枚の画像(pngファイル)をアップロードしました。 2. SageMaker Ground Truthにて、ラベリングジョブを作成 どこに保存されている画像に、どのようなラベリングを行うのか、作業者は誰か、等の設定をしたジョブを作成します。 まずは、マネジメントコンソールのSageMaker画面の左
Human-in-the-Loop 機械学習 / Human-in-the-Loop Machine Learning
Statistical Quality Control for Human Computation and Crowdsourcing
Amazon SageMaker Data Wrangler に画像の前処理が追加 - Qiita
はじめに AWS UpdateでAmazon SageMaker Data Wranglerに画像の前処理機能が追加されました。 Data WranglerはAmazon SageMaker Studioの機能の一つで、データの前処理が行えるサービスです。 従来はファイルタイプとしてcsv, parquet, json, jsonl, orcに対応していたようですが、「image」が追加されました。 利用イメージは以下のようになります。 やってみる 「S3からインポート → 重複削除 → ノイズ付与 → S3にエクスポート」という流れを試してみます。 インポートするS3バケット内に同じ画像データを2枚用意しました。 この画像に処理を行い、エクスポートするまでを試してみます。 データインポート データソースをS3としてインポートします。File typeは「image」を選択しました。 イン
Deep Learning で音楽を作成するにはどうしたらいいの ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、AWS で機械学習ソリューションアーキテクトをしている卜部 (うらべ) です。皆さま、突然ですが良い音楽ライフを送っていますか !? 私は音楽を聴くのも演奏するのも大好きです ! ちなみに今はラモーンズ※ を聞きながらこの記事を書いています。最近は在宅ワークも多いですが、打ち合わせの合間に好きな音楽をかけて一人ヘッドバンギング※ をすると力が湧いて「全部私にまかせとけ !!!」という強い気持ちになれます。あくまで気持ちだけですが。。 近頃はいわゆる「巣ごもり需要」で楽器や DTM※ 関連の売り上げが増えたという話を聞きます。スマホやタブレットのアプリも充実しており、家で手軽に楽器演奏や作曲の機会が増えたのは非常に喜ばしいですよね。一方で、仲間と音を合わせたりライブや発表会で演奏したりする機会が減ってしまい寂しく感じています。仕方がないので、カラオケ音源やルーパー※ に合わせて一
AzureとAWSの自動機械学習 - ecbeing labs（イーシービーイング・ラボ）
はじめに 初めまして。おとです。 ecbeingに入社して1年ちょっと、日々データサイエンスや機械学習について学びつつ業務に勤しんでおります。 機械学習について学び始めてから半年ほど経ちます。その中で、 ・Microsoftが提供するAzure Machine Learning ・AWSが提供するAmazon SageMaker 2つの機械学習サービスのチュートリアルを何度か行いました。 その中でも自動機械学習機能が機械学習初心者である私にとってとても便利だと感じたのでご紹介したいと思います。 はじめに 自動機械学習 Azure Machine Learning の自動機械学習 データの選択 ジョブの構成 タスクと設定の選択 検証とテスト 実験 モデルデプロイ エンドポイント Amazon SageMaker の自動機械学習 実験 モデル エンドポイント おわりに 自動機械学習 通常、機械
Amazon Lookout for Visionで青森認証やってみた - Qiita
不良品検出のAIサービス「Amazon Lookout for Vision」が先週25日(木)に東京リージョンでの提供開始が発表されましたが、27日(土)には早くも「AWSの基礎を学ぼう」コミュニティのハンズオンが開催され、実際に体験してみることができました。 AI、機械学習系のハンズオンということで待ち時間なんかもあるわけですが、そこにソラコムの @ma2shita さんの「Amazon Lookout for Vision 向いてるコト、使いどころと注意点」とかJAWS-UG名古屋の @nori2takanori さんの「画像ベース異常検知Amazon Lookout for Visionを使ってみよう」とかLTが入って、退屈する暇のない2時間でした。その中で出てきたスライドの一枚がこちら。 Lookout for Visionは不良品検知にしか使えないサービスじゃないぞ、と。アイデ
Amazon Rekognition Custom Labels で動きを認識できるか~猫パンチで試してみた - Qiita
はじめに AWS の AI サービスの中に Amazon Rekognition という画像認識サービスがありますが、さらにその中に Amazon Rekognition Custom Labels という機能があります。これを使うと、画像を用意するだけで、自分独自のシーン認識や物体検知モデルを作ることができます。以前 こちらの記事 で猫を見分けるモデルを作りましたが、今回はちょっとした動作なら Rekognition Custom Labels で認識できることをご紹介するために、猫パンチ動画のなかの猫パンチを認識するモデルを作ってみようと思います。また、Amazon SageMaker Ground Truth の動画ラベリング機能が非常に便利なので、そちらもご紹介します。 ゴールはこの動画を作ることです。元となる動画は こちらのサイト (mixkit) からお借りしました。 大まかな
Amazon SageMaker Lineage ってなんだ？ - Qiita
はじめに 2021年の AWS re:Invent で Amazon SageMaker のリネージ機能 が進化したようなのですが、そもそもリネージ機能ってそんなのあったの！？と思ったのでサンプルノートブックを見ながら理解していこうと思います。ちなみに、このリネージ機能は クロスアカウントにも対応 しています。 サンプルノートブックは Amazon SageMaker Studio で実行しました。SageMaker Studio のセットアップ方法は こちらの記事 で紹介しています。 Amazon SageMaker Lineage とは Amazon SageMaker Lineage は、データの準備からモデルのデプロイまでの機械学習ワークフローの各フェーズに関する情報を保存する機能です。この情報を使用して、ワークフローステップを再現し、モデルとデータセットの関係を特定して、モデルの
Amazon SageMaker Operators for Kubernetes のご紹介 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker Operators for Kubernetes のご紹介 AWS より、Amazon SageMaker Operators for Kubernetes をご紹介いたします。この新機能を使用すると、開発者およびデータサイエンティストは、Amazon SageMaker における 機械学習 (ML) モデルのトレーニング、チューニング、デプロイを、Kubernetes を介して簡単に行うことができます。Kubernetes クラスターに Amazon SageMaker Operators をインストールすると、Kubernetes API や “kubectl” といったコマンドラインの Kubernetes ツールをネイティブに使用して Amazon SageMaker ジョブを作成することが可能です。
Amazon Sagemaker 推論モデルを構築、テストし、AWS Lambda にデプロイする | Amazon Web Services
Amazon Web Services ブログ Amazon Sagemaker 推論モデルを構築、テストし、AWS Lambda にデプロイする Amazon SageMaker は、開発者やデータサイエンティストがあらゆる規模の機械学習 (ML) モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにする完全マネージド型プラットフォームです。ML モデルをデプロイすると、Amazon SageMaker は ML ホスティングインスタンスを活用してモデルをホストし、推論を提供する API エンドポイントを提供します。AWS IoT Greengrass も使用できます。 ただし、異なるターゲットへのデプロイを可能にする Amazon SageMaker の柔軟性のおかげで、AWS Lambda でモデルをホストするといくつかの利点が得られる場合があります。たとえば、GPU が必
SageMaker Neoの可能性について�- 第3回 Amazon SageMaker 事例祭り＋体験ハンズオン
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Prepare data for model-training and invoke machine learning models with Amazon Athena | Amazon Web Services
AWS Big Data Blog Prepare data for model-training and invoke machine learning models with Amazon Athena Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Athena is serverless, so there is no infrastructure to manage, and you pay only for the queries that you run. Amazon Athena has announced a public preview of a new feature that provi
AWS Machine Learning Research Awards が提案書を募集 | Amazon Web Services
Amazon Web Services ブログ AWS Machine Learning Research Awards が提案書を募集 学術研究とオープンソースソフトウェア開発は、機械学習 (ML) 技術開発の最前線にあります。2017 年以降、 AWS Machine Learning Research Awards (MLRA) は機械学習の進化を目指し、革新的な研究への資金提供や、学生へのトレーニング、さらに研究者への最新技術の提供を行ってきました。MLRA は、MLアルゴリズム、コンピュータービジョン、自然言語処理、医学研究、神経科学、社会科学、物理学、ロボット工学などの分野において、100 件を超える最先端の ML プロジェクトをサポートしてきました。MLRA が支援するプロジェクトの多くが、メディアで取り上げられています。たとえば、「Researchers are Usi
Amazon Textractを試してみた - Qiita
これまで承認制だったAmazon textractがついに一般公開となりました。 現段階では日本リージョンには来ておらず、また、日本語にも未対応ですが、今後各種言語に対応していくとのこと。 Textractとは、伝票などの画像ファイルを渡すと、そこに書かれているテキストを読み取った結果を返してくれるサービスです。 通常のOCRのように、読み取った文字列をただ返してくれるだけでなく、顧客名、住所、合計金額などの意味までを読み取ってくれるのが特徴です。 この処理には、機械学習の技術を使っているとのこと。 今回はブラウザ上からデータを渡して結果を参照しましたが、REST形式でデータを渡して結果をCSVで受け取ることなどもできます。 どの程度の精度を誇るのか以前から気になっていたので、実際に試してみました。 実験１ 帳票データ まず最初に渡したのが以下のデータ。 これはインターネット上から探してき
Amazon SageMaker Object2Vec adds new features that support automatic negative sampling and speed up training | Amazon Web Services
AWS Machine Learning Blog Amazon SageMaker Object2Vec adds new features that support automatic negative sampling and speed up training Today, we introduce four new features of Amazon SageMaker Object2Vec: negative sampling, sparse gradient update, weight-sharing, and comparator operator customization. Amazon SageMaker Object2Vec is a general-purpose neural embedding algorithm. If you’re unfamiliar
Amazon SageMaker でモデルトレーニング中にメトリクスを簡単にモニタリングして視覚化する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker でモデルトレーニング中にメトリクスを簡単にモニタリングして視覚化する データサイエンティストおよび開発者は、Amazon SageMaker で機械学習モデルをトレーニングしながら計算されたメトリクスにすばやく簡単にアクセスし、モニタリングし、可視化することができるようになりました。追跡するメトリクスは、Amazon SageMaker の AWS マネジメントコンソールを使用するか、Amazon SageMaker Python SDK API を使用して指定できます。モデルのトレーニングが開始されると、Amazon SageMaker は指定されたメトリクスを自動的にモニタリングして、リアルタイムで Amazon CloudWatch コンソールにストリームし、損失曲線や精度曲線などの時系列曲線を可視化し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Batchを用いた機械学習の分散推論 #AWSDevDay
RedshiftML in Cookpad
