y_uukiのブックマーク - はてなブックマーク

機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャのお話 - ZOZO TECH BLOG
はじめにこんにちは、CTOの今村です。先日弊社のiQONが3年連続でGoogle Play「2016年ベストアプリ」に選ばれました。また、今回ベストイノベーティブ部門の大賞を受賞しました。イノベーティブ部門ということなので、Androidアプリの品質だけでなく、アプリの中にある様々な機能の技術的な取り組みも評価してもらった背景があるのかなと個人的には感じています。さて、ちょうど先日Minami Aoyama Night #1にて、弊社のデータまわりのアーキテクチャについてお話させていただく機会がありました。今回は2016年12月時点での、機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャについて紹介したいと思います。最近のデータまわりの取り組み今年になってからVASILYは過去のテックブログでも紹介したように、データまわりの取り組みを一層強化して
y_uuki 2016/12/20
machinelearning

bigquery

AWS

GCP
リンク
DynamoDBの並列処理によるデータの欠損とProvisioning超過の対策 - ZOZO TECH BLOG
こんにちは。iQONのバックエンドエンジニアを担当しているjoeと申します。最近、iQONのお知らせ機能のDBをMySQLからDynamoDBへ移行しました。移行する際に発生した問題点である並列処理によるデータ欠損とProvisioning超過の対策を書きます。間違っているところや改善点があればご指摘ください。よろしくお願い致します。お知らせ機能とはお知らせ機能とは、facebookで言うところの「◯◯さんがあなたの投稿に「いいね!」といっています」のような、ユーザーに対するアクションがあったことを通知したり、アイテムが値引きされた、アイテムの在庫が少なくなった等のlikeしたアイテム情報をユーザーに通知する機能です。既存のお知らせ機能の問題点既存の構成における問題点は以下の二点です。データの肥大化レスポンスが遅いお知らせのデータ構造は、下記のようになっています。 My
y_uuki 2016/08/28
dynamodb
リンク
DynamoDBの導入とDynamic DynamoDBを用いたプロビジョニング量自動調整 - ZOZO TECH BLOG
こんにちはVASILYエンジニアの松本です。VASILYではクローラーの仕組みを大幅に見直した際にDynamoDBの導入を行いました。今回はその導入方法とDynamic DynamoDBを用いた運用方法について話したいと思います。 DynamoDBを導入した理由 iQONではクローラーで取得したデータをDynamoDBに保存しています。DynamoDBを導入した理由は以下の通りです。・ ECサイトごと、さらには商品ごとにクロールするデータの形式が異なるためスキーマレスである必要があったこと。・ DynamoDBはデータベース容量が増大した際も自動でスケールしてくれるのでメンテナンスコストがかからないこと。・平均レイテンシーは1桁台のミリ秒単位であること。 iQONでは1日約80万点のアイテムをクロールしているので、メンテナンスコストがかからず、ある程度のパフォーマンスが担保できるこ
y_uuki 2016/08/28
dynamodb
リンク
1