はじめに 当エントリはDevelopers.IOで弊社AWSチームによる『AWS サービス別 再入門アドベントカレンダー 2015』の20日目のエントリです。 昨日19日目のエントリはあべいかの『CloudWatch』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日20日目のテーマは『Amazon Machine Learning』です。 目次 Amazon Machine Learningとは 予測の種類 Amazon MLの使い方 データソースの作成 モデル構築 モデルの評価 予測結果の作成 あわせて読みたい 公式情報 Developers.IO関連エントリ その他関連エントリ さいごに
こんにちは。データサイエンスチームのhongsです。 この記事は、DataScience Advent Calendarの17日目の記事です。 この記事では、AWS GlueとAmazon Machine Learningを活用した 予測モデル作成について紹介したいと思います。 以前の記事(AWS S3 + Athena + QuickSightで始めるデータ分析入門)で 基本給とボーナスの関係を散布図で見てみました。 (基本給は年間の基本年収、ボーナスは年間ボーナスを意味します。) その結果、基本給とボーナスは比例していて強い関係性を持っているように見えました。 つまり、基本給が分かれば何となくボーナスがいくら出るか予測が出来そうです。 この何となくの部分をAWSのMachine Learningを使って予測モデル化してみたいと思います。 相関係数と異常値の確認 予測モデルを作成する前に
機械学習やディープラーニングというと、研究者や高度なエンジニアでなければ活用できないというイメージがあった。 しかし現在では、エクセルを使えるレベルのスキルがあれば、ディープラーニング(深層学習)によるデータマイニングを利用できる。 そこで今回は、『顧客ごとの成約率を機械学習で予測する』という例題を使って、Amazon ML(Machine Learning)による機械学習とデータ解析の方法を説明したい。 目次 目次 更新履歴 2016.12.18 手順4 はじめに Amazon ML(Machine Learning)について 機械学習について Amazon MLの仕組み Amazon MLによる簡単ディープラーニング実践 今回の例題 1.AWSに登録する 2.S3にデータを設置する 3.Machine Learningを起動する 4.機械学習モデル(MLモデル)を作る 5.特定データに
この記事は、SORACOMのSoftware Design誌巻頭特集記念リレーブログ 5/11分の記事です。 先日、AWS IoTがAmazon Machine Learningと連携できるようになりました。 それを受けて、Mobile BlogでAWS IoTとAmazon Machine Learningを使った予防保守という記事が公開されましたが、今回はこの記事を元にして、Raspberry Piで取得したセンサーデータをSORACOM Beamを使ってAWS IoTにデータを送信し、Amazon Machine Learningでリアルタイムに故障を予測するまでの一連の流れを追ってみたいと思います。 概要 Raspberry PiからセンサーデータをSORACOM経由でAWS IoTにデータを送信します。 Amazon Machine Learningでは、あらかじめセンサーのデー
Amazon Machine Learning (Amazon ML)で日本語のテキストデータを使うと精度が上がらないという記事を見かけたので、本当かどうか検証してみました。 ※筆者は機械学習に明るいわけではなので、詳しい方が読んで誤りに気づかれた場合は是非ご指摘ください。 はじめに結論 Amazon MLに日本語のテキストをそのまま入れると確かに精度が上がりにくいと思われます。 これは、Amazon MLが日本語テキストを分かち書きせず一塊のままインプットデータとして扱ってしまうためです。 Amazon MLはTEXTフィールドに対して空白区切りの単語uni-gramで変換を行い、モデルのインプットデータに使用します。 日本語のテキストを使用する場合は、事前に分かち書きをした上でデータソースとしてアップロードすると、精度が出やすいと考えられます。 検証内容 テストデータ テストには以下の
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
Amazon SageMaker フルマネージドインフラストラクチャ、ツール、ワークフローを使用して、あらゆるユースケース向けの機械学習 (ML) モデルを構築、トレーニング、デプロイします。 Amazon SageMaker は、あらゆるユースケースで高性能で低コストの機械学習 (ML) を実現する幅広いツールを統合した完全マネージド型サービスです。SageMaker では、ノートブック、デバッガー、プロファイラー、パイプライン、MLOps などのツールを使用して、ML モデルを大規模に構築、トレーニング、デプロイできます。しかも、すべてを 1 つの統合開発環境 (IDE) で行えます。SageMaker は、アクセス制御の簡素化と ML プロジェクトの透明性により、ガバナンス要件をサポートします。さらに、FM の微調整、実験、再トレーニング、デプロイを行うための専用ツールを使用して、独
※1: Amazon MLサービスがS3にアクセスするためのBucket Policyが必要になります。なお、マネジメントコンソールから操作する際は操作手順の中で自動的に追加することが可能です。 ※2: IAM PolicyでS3へのアクセス権限を付与するため不要になります。Amazon MLサービスがS3にアクセスすることは変わらないため、IAM PoilcyもしくはBucket Policyのどちらかでアクセス可能にしておく必要があります。 ※3: DatasourceとなるCSVファイルのスキーマ情報です。マネジメントコンソールから作成する際は画面上で設定できますが、AWS CLI(API)経由の場合はスキーマ情報の指定が必須になります。 ※4: 公式ドキュメントではMySQLのみ記述されているため、Auroraについては動作はするようですが保証はされていないようです。 詳細な手順に
We are no longer updating the Amazon Machine Learning service or accepting new users for it. This documentation is available for existing users, but we are no longer updating it. For more information, see What is Amazon Machine Learning. Tutorial: Using Amazon ML to Predict Responses to a Marketing Offer With Amazon Machine Learning (Amazon ML), you can build and train predictive models and host y
Amazon Machine Learning + AWS Lambda + API Gateway でリアルタイム予測APIを構築する Amazon MLはリアルタイム予測APIを機能として提供しており、モデルを構築した後は簡単に予測結果を都度問い合わせることができます。 ですがAmazon MLの予測APIを直接叩くためには、モデルのIDやIAM Roleの認証情報が必要なため、クライアントにAccess Keyを渡すことや、モデルを更新するごとにIDを書き換えることを考えると、そのままでは使いづらい面もあります。 そこで、今回はAmazon ML + AWS Lambda + API Gatewayを組み合わせて公開用の予測APIを構築してみました。 構成図 構成は、このような形になります。 API GatewayはAPIの提供と鍵認証の管理をし、Lambdaを通してAmazon M
Amazon Machine Learning(Amazon ML)のリアルタイム予測をマネジメントコンソール上で試せるようになりました。 Try Real-time Predictions from the Amazon Machine Learning Console ということで試してみました。なお、この機能を使ってリアルタイム予測を行う場合は無料なので、お財布的にも安心です(モデルの作成には費用がかかります。念のため)。 リアルタイム予測を試す まずはモデルを作成します。手元にモデルがない方はチュートリアル(日本語の場合は弊社エントリーをご参照下さい)に沿って作成して下さい。このブログでもbanking.csvから作成したモデルを利用しています。 では作成したモデルの画面を表示して下にスクロールしてください。[Predictions]というエリアがあります。ここの[Try real
株式会社良品計画様とクラスメソッド株式会社はAmazon Machine Learning(以下、Amazon ML)のPoC(概念実証)を行い、Amazon MLを用いることで従来の統計分析と同じような分析結果を簡易に取得できることを確認しました。 検証内容 MUJI passport上で行った販売キャンペーンの結果についてAmazon MLに学習させ、キャンペーンが商品の購入に影響があるかどうかをAmazon MLが判定可能か検証しました。学習時の説明変数として年代、性別を追加し、検証用に年代と性別を組み合わせたダミーデータを作成して購入確率について予測させた所、統計分析と同じような結果を得られることを確認しました。 構成 Redshift上に存在するMUJI passportのユーザー情報や行動ログ、購入情報を元にCSVを作成し、Amazon MLに学習させました。 Amazon M
Amazon API Gateway + Lambda + Amazon Machine Learning で会員の購買予測が出来るWordPressプラグインを作るWordPressAWSMachineLearninglambdaAPIGateway 概要 Amazon API Gateway + Lambda + Amazon Machine Learningでユーザの購買(契約)予測が出来るWordPressプラグインを作ってみました。 Amazon Machine Learningでデータを機械学習させ、結果をAPI GatewayからWordPressへ返却、ユーザの購買(契約)予測を管理画面のユーザ一覧に表示させるまでを実施します。 この人のデータからは購入(契約)できそうだなとか、そうではなさそうだなというのを管理画面から可視化する仕組みです。 Amazon Machine
2015年4月に開催されたイベント「AWS Summit 2015 San Francisco」で発表されたアマゾン ウェブ サービス(以下、AWS)の機械学習に関する新サービス「Amazon Machine Learning」。発表当日から利用可能となっており、ビッグデータ系のサービスを使用していたユーザーなどには特に注目を浴びています。 『機械学習』というテーマが注目を浴びている一方で、いざ実践してみるとなるとどうすれば良いのだろうか、またこのテーマについては統計や分析に関する知識も求められる部分がありますので、気軽に触ってみる……というのもAWSの他のサービスと比べると少しハードルが高い印象があるかと思います。 そこで当連載では、機械学習について興味を持ってはいるものの、これまでそういった実戦経験がない(かくいう私もそんなステータスです)、そんな立ち位置の人が読み進め・実践し・理解で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く