レガシー化したData Pipelineの廃止 ― メルカリのData Architectのお仕事例｜Mercari Analytics Blog
Analytics Infra チームの@hizaです。 この記事ではメルカリの分析環境を改善した事例を紹介します。 今回は「運用に課題があってリプレースしたいが、業務への影響が大きすぎてリプレースできない」そんな板挟みな状況を解決した事例です。 また、その紹介を通じてメルカリのData Architectがどんな仕事をしているのかその一部を感じてもらえる記事をめざしました。 メルカリのデータ活用の現状 メルカリには様々な職種でデータを活用する文化があります。 AnalystやML Engineerの他にも、PdMやCustomer Supportなども業務にデータを活用しています。結果として社内のBigQueryユーザー数は月間800名を超えるほどになりました。 こういった環境ではデータが良く整備されている事が事業の成果に大きく影響しえます。例えば、使いやすいDWHがあれば多数の社員の業
データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
HadoopとS3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
Stream今昔物語 - from scratch
この記事は Node.js Advent Calendar 2014 の 1日目の記事です。 こんにちは、代表です。 Stream大好きなみんなのためにStreamの過去と現在、そして未来についてお話するよ！！ Streamを何故使うのかっていう話と歴史的な話をします！！ Streamとは データの流れを扱うための抽象化されたモジュールです。もうみんな耳にタコかもしれませんが、Streamを使うとデータの流れを綺麗に書くことができます。ちなみに今に始まった概念ではなくて、C++にもC#にもStreamがありますし、Java8の新機能にもStreamがあります。「データを扱うときの抽象化された流れ」を指す広義のStreamという意味では今日の言語ではだいたい実装されています。 Node.jsでは、以下のリンクが参考になるでしょう。 Node.js の Stream API で「データの流れ」
パイプとフィルタ ~ソフトウェア工学における有用なアーキテクチャ~ | POSTD
パイプライン は、最近のソフトウェアエンジニアリングにおいて、非常に便利な（そして驚くほど活用されていない）アーキテクチャパターンです。ソフトウェアでデータの流れを制御するためにパイプとフィルタを用いる考え方は、最初のUNIXシェルが作られた1970年代からあります。もしターミナルエミュレータでパイプ” | ”を使ったことがあるなら、”パイプとフィルタ”を活用できていることになります。以下の例を見てみましょう。 cat /usr/share/dict/words | # Read in the system's dictionary. grep purple | # Find words containing 'purple' awk '{print length($1), $1}' | # Count the letters in each word sort -n | # Sort l
シンプルなビルドパイプラインツールwalterをリリースしました - Advanced Technology Lab
APソリューショングループの相野谷(@ainoya)です．このたびATLと共同で，CIやCDにおけるビルドパイプラインの実行を手助けする小さなツールwalterを開発しました． 開発の動機: Jenkinsプラグインに強く依存するビルドパイプライン設定 Jenkinsを使ってCIを実現する場合，複数のジョブを繋げて一連の処理フロー(ビルドパイプライン)を作るのが一般的かと思います．Jenkinsには，ビルドパイプラインを構成するための便利なプラグインがあり，これを使って失敗時の実行制御や，ジョブの並列実行制御を簡単に設定できます． ところが，こうしたプラグインで実際にCIを運用してみると，ちょっと惜しい点がいくつか出てきました． パイプラインの全体実行フローをJenkins上でしか確認できない Jenkinsジョブを実際にキックするまで動作が確認できない 設定の移行がしづらい．GUI中心で
Google Launches Cloud Dataflow, A Managed Data Processing Service | TechCrunch
Google Launches Cloud Dataflow, A Managed Data Processing Service Google expanded its Cloud Platform today with a new managed service called Cloud Dataflow that allows developer to create data pipelines to help them ingest, transform and — most importantly — analyze data.Developers can use the service to work with streaming real-time data and by uploading batches of data to the system. For now, th
［速報］Amazonクラウド、データ統合サービスの「AWS Data Pipeline」を発表。データのバッチ処理、スケジューリングなどの自動化を実現。AWS re:Invent基調講演（Day2）
［速報］Amazonクラウド、データ統合サービスの「AWS Data Pipeline」を発表。データのバッチ処理、スケジューリングなどの自動化を実現。AWS re:Invent基調講演（Day2） ラスベガスでイベント「re:Invent」を開催中のAmazon Web Services。2日目の基調講演ではハイメモリインスタンス、ハイストレージインスタンスの発表に続き、データ統合や処理のスケジューリングなどデータ分析作業の自動化が行える「AWS Data Pipeline」が発表されました。 AWS Data Pipelineは、Amazonクラウド内のさまざまなデータソースやオンプレミスのデータソースの複製や統合を行い、分析処理へと流しこみ、レポートを作成するという一連の処理を自動化。スケジュールによってルーチンワークに落とし込めるツールです。 より速くビジネスを改善するために、迅速
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - gaia-pipeline/gaia: Build powerful pipelines in any programming language.
MillWheel: Fault-Tolerant Stream Processing at Internet Scale