Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataEngineeringStudy / 20200715
Data Engineering Study #1 の発表資料です。 https://forkwell.connpass.com/event/179786/ 当日の動画はYoutubeで閲覧可能です。 https://www.youtube.com/watch?v=hFYNuuAaiTg 参考文献 『Software Design (ソフトウェアデザイン) 2020年7月号』 https://amzn.to/30YueL7 『データマネジメントが30分でわかる本』 https://amzn.to/3fmz8Gw
Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」https://forkwell.connpass.com/event/182769/ 作成者 ：しんゆう＠データ分析とインテリジェンス Twitter：https://twitter.com/data_analyst_
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
GCPで行動ログ基盤 を開発している話
Google Cloud Next '24 Recap in ZOZO Datastreamを使用したリアルタイムデータストリーミングの紹介 / realtime datastreaming with Datastream
ぼくのかんがえる最高のレポーティング基盤 @AWSで実践！Analytics modernization
VOYAGE GROUP Zucks DSPレポーティング基盤をどのようにして作ったかの話。 https://pages.awscloud.com/JAPAN-event-OE-20210624-AnalyticsModernization-reg-event.html ディメンションモデリング https://zenn.dev/pei0804/articles/dimensional-modeling スタースキーマ（基礎） https://zenn.dev/pei0804/articles/star-schema-design 複数スタースキーマ https://zenn.dev/pei0804/articles/multiple-star-schema ファン・トラップ https://zenn.dev/pei0804/articles/datawarehouse-fan-trap
第16回日本統計学会春季集会での発表資料です。 https://confit.atlas.jp/guide/event/tjss2022spring/top https://ies.keio.ac.jp/events/17173/ 講義や共同研究のご相談はブログのお問い合わせ欄にご連絡ください。 https://yuzutas0.hatenablog.com/
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビットキー 株式会社エブリー 株式会社Luup Sansan株式会社 株式会社ZOZO 株式会社10X 事業内容 10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫で
DataWareHouse,DataMartを整備して分析がやりやすくなった話 - ANDPAD Tech Blog
こんにちは、データ基盤チームの大洞です。 2021年4月にANDPADにジョインしてから、データ基盤やデータ分析にかかわってきました。 今回は、データ分析を効率的にするために、DataWareHouse、DataMartを整備した話を紹介したいと思います。 データ基盤の全体像 まずは、簡単にデータ基盤の全体像を紹介します。 左から順に説明していきます。 ① SaaS Data 実際に稼働しているANDPADのDBやSalesforceなどの業務で利用しているサービスです。ここからデータを出力し、S3に保存します。 ②ETL Stack 分析はBigQueryで行っているので、ここからGCSに移動させます。 ③Analytics Stack GCSに移動されたファイルをBigqueryにロードします。 ④Anatytics 用途に応じて、Jupyter、Metabase、スプレッドシートなど
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
はじめまして、Newspicksでエンジニアしています、Hoàngです。 新卒で入社し、現在はNewspicksを支えるデータ分析基盤を作っています。そのノウハウをシェアできればと思い、この記事を書きました。 なぜData lakeが必要なのか？ (AWSより引用) サービスに機械学習、AIを導入したい思ったことがありますでしょうか。あるいは、ユーザーがどのようにサービスを利用しているかを分析したいと思ったことがありますか。 ユーザ分析や機械学習をするために本番のデータベースにアクセスしたり、クエリを投げたりしてはいけません。分析、機械学習の用途で本番サービスに負荷を与えると、最悪の場合本番サービスを停止させてしまうこともあります。本番データと完全に同期されたデータ基盤があれば、このような問題にも対処できます。 また、データ分析はSQLを使うのですが、SQLではDynamoDB, Mong
こんにちは！エンタメ領域のDXを推進するブロックチェーンスタートアップ、Gaudiyでアナリティクスエンジニア兼データアナリストをしている星野（@mochigenmai）です。 年初に公開したブログでお伝えさせていただきましたが、Gaudiyは今年から「プロダクト主導型の組織づくり」を進めています。 techblog.gaudiy.com プロダクト主導型の組織には、データドリブンな意思決定が欠かせません。そこでGaudiyでは、データを元にしたプロダクト改善を行い、ユーザへの適切な価値提供をしていくために、1月にデータ分析チームを立ち上げました。 今回のブログでは、データ分析チームを立ち上げた背景や、立ち上げ時の課題や取り組み、データアナリストの役割などについてお伝えします！ スタートアップで同じようにデータ分析チームの立ち上げを担っている方や、データ分析チームの役割に興味のある方にご参
この記事は Eureka Advent Calendar 2019 11日目の記事です。 10日目は スーパーCompSREエンジニア恩田による「AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話」でした。 こんにちは。BIチームのデータアナリストの栗村(@t-kurimura)です。主にPairsの機能に関する分析を行っていますが、最近は分析を行うまでのデータを整えるデータアーキテクト的お仕事の比率も増えてきています。 さて、この記事では弊社のDataPlatform運用において、試行錯誤してきた中での運用の学びをケース・スタディ的にご紹介します。 エウレカのDataPlatformの現状前提として、弊社では3つの層にわけて、アプリケーションログやマーケティングに関連するデータをより分析しやすいデータへと加工しています。 Dataをほぼそのまま保存しているDataLa
対象読者 データ分析基盤を作ってみたいけど、分析基盤の作り方がわからない BigQueryって聞いたことあるけど、実際に使ったことがない。興味ある。 BigQueryって使おうと思ってググってみたけどあんまりまとまった情報がない そのような気持ちを持つ方が読者想定です。 自身もこの本に出会う前には、同じようなBigQuery童貞でした。 (結論)イイタイコト BigQuery初心者や、これから導入考えてる人が、読むべき本を見つけました！！ Google Cloud Platform実践ビッグデータ分析基盤開発 ストーリーで学ぶGoogle BigQuery です。 あまりBigQueryの本がなく、半信半疑で読みましたがBigQueryの全体像が捉えられる良書でした。 この本のイイところ この本のイイところは3つあります。 BigQueryの概要が難しすぎず、ちょうどかゆいところに手が届く
Farmacia europea viagra jelly URL == http://url-qr.tk/Farmacia - Entrega rápida garantizada en todo el mundo. - Varios métodos de pago: MasterCard / Visa / AMEX / PayPal / BitCoin - completo anonimato - Calidad farmacéutica y dosificación. - Le reembolsaremos si el artículo no es adecuado para usted. precio de en gotas A viagra then up pingback: oral and jelly safely. Arousal eating 100mg ah buy i
dbt Tokyo Meeup #3の発表内容です 発表のアーカイブはこちらから https://youtu.be/SYsiRFR2LGw #dbt_tokyo
Redshift Federated Query for RDS/Aurora MySQL をつかったType-2 Slowly Changing Dimensionの実装 - KAYAC engineers' blog
こんにちは。技術部の自称データエンジニアの池田です。 Redshift Federated Query for RDS/Aurora MySQL(Federated Query for MySQL)がめでたくGAになりました。 Federated Query for MySQLを使うと、RedshiftからAurora MySQLにクエリを発行し、その結果をRedshift上で利用することができます。 今回は、この機能を使ったType-2 Slowly Changing Dimension(SCD2) の実装の話をします。 aws.amazon.com TL;DR Change Data Capture（CDC）を実装・運用するほどじゃないけど、State Sourcingなテーブルの変更履歴を追跡したいときには、SCD2を使うと嬉しいです。 Federated Query for MyS
本日開催された「Data Platform Meetup#1」に参加しました。 - 安定と刺激の間で生きたい。
data-platform-meetup.connpass.com 全体を通した所感 挨拶 趣旨説明 所感 竹野 峻輔さん：「カルチャーとエンジニアリングを繋ぐデータプラットフォーム」 内容 質問 所感 yuzutas0さん：「データレイク構築後の四方山話」 内容 質問 所感 鉄本 環さん：「DataPlatform構築プロジェクト推進の事例と学び」 内容 質問 所感 石田 祥英さん：「大規模サービス開発における分析用データの必要要件」 内容 質問 所感 全体を通した所感 データ基盤ではなく、データプラットフォーム(Data Platform = DP)という表現かっこいいので、使っていこう。 DPアーキテクトの基本構成は、Google BigQueryと、Cloud Composer(Airflow)。 DPテーブルの基本構成は、Data Lake(DL), Data WareHouse
DBの負荷分散の手法について世の中にある手法についてかなり忘れてしまってきているので、最勉強を兼ねてざっくりと調べてみました。 設計の見直しとチューニング 負荷分散では無いですが、分散設計を考える前に、設計の見直しや、チューニングで救えるケースの方が多いと思うので少しだけ。 設計の見直しやチューニングをしないと、無限にリソースが必用になるので、ここはある程度きちんとやった方が良いと思う。（オンプレでは新規 HWを調達するのは難しいので、通常これをやるしかなくなる） DBの設計を見直す 正規化（データの冗長製の排除）だけだとデータ結合が必用になる事がありパフォーマンスに問題が出ることがある。非正規化（データを冗長に持つ）事も考える。 「スケールアウト」の所で後述するが、既存の DB でデータのリレーションが薄いものは、別 DBとして分割する事で負荷分散される事もできる。 DBのチューニング
GitHub - awslabs/aws-athena-query-federation: The Amazon Athena Query Federation SDK allows you to customize Amazon Athena with your own data sources and code.
Imagine a hypothetical e-commerce company who's architecture uses: Payment processing in a secure VPC with transaction records stored in HBase on EMR Redis is used to store active orders so that the processing engine can get fast access to them. DocumentDB (e.g. a mongodb compatible store) for Customer account data like email address, shipping addresses, etc.. Their e-commerce site using auto-scal
GitHub - EvgSkv/logica: Logica is a logic programming language that compiles to SQL. It runs on Google BigQuery, PostgreSQL and SQLite.
Logica is for engineers, data scientists and other specialists who want to use logic programming syntax when writing queries and pipelines for databases and datawarehouses. Logica programs run on BigQuery, Postgres and SQLite. Logica compiles to SQL and gives you access to the power of SQL ecosystem with the convenience of logic programming syntax. This is useful because SQL enginers are magnitude
奈良県でリモートワーク中の玉井です。 Snowflake社の下記のウェビナーを受講したので、レポートします。 ウェビナー情報 公式情報 概要 Data warehouses are designed for quick and performant access to data pulled from a lot of different systems. Unfortunately, this can quickly become a complex environment that slows down speed to insight for the business user. Join this master class to learn about the relationship between modern Data Warehouses and Data Lakes. L
![[レポート]Data Lake vs Data Warehouse? | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/049e0cb3fd75c4238c328b0ab80dbacbbad7becb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F09%2Fsnowflake-logo-1200x630.png){kind=logo}
SAP Datasphereとは？ DataWarehouse Cloudとの違いと「ビジネスデータファブリック」の意義
SAP Datasphereとは？ DataWarehouse Cloudとの違いと「ビジネスデータファブリック」の意義 データ活用のトレンドに対応してSAPが自社SaaSプラットフォームで提供するデータ管理サービスのポートフォリオを刷新した。マルチクラウドに散在するデータをビジネス視点で分析しやすくする。
Last modification on 2022-12-05 Author: Ed Huang (h@pingcap.com), Cofounder, CTO, PingCAP/TiDB It's been a long time since I wrote anything, so I'll share what I've been thinking about more recently. Just consider it a record of work. Let's start with an important question: If we were to redesign a new database today from the ground up, what would the architecture look like? Before I get into the
Consumer protection groups around the European Union have filed coordinated complaints against Temu, accusing the Chinese-owned ultra low-cost e-commerce platform of a raft of breaches related to the bloc’s Digital…
Oracle CloudのAlways FreeのAPEX環境を使って、我が家の体重管理アプリを作ってみた - Qiita
Oracle CloudのAlways FreeのAPEX環境を使って、我が家の体重管理アプリを作ってみたApexocioraclecloudautonomous_data_warehouseautonomous_database 背景 体重の増加が気になる日々なので、我が家で体重計を買うことになりました。Wi-Fi対応の体重計でアプリを使って健康管理、、と思ったのですが、結構なお値段がするので断念。だったら自分で作ってみようと思い、我が家の体重管理をするアプリを自分で作ってみることにしました。 何で作ろうかなと思ったのですが、コストをかけずに手っ取り早く作りたかったので、Oracle Cloudの無期限で無料のAlways Freeに含まれる、Auonomous DBのAPEX機能を使って、我が家の体重管理アプリを作ってみました。 参考文献 実施に参考になるリンク Qiita記事： Or
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2
データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
民間企業におけるデータ整備の課題と工夫 / 20220305
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
(翻訳) データエンジニアリングの未来 - satoshihirose.log
Data lakeとは？データ分析基盤をゼロから作るプロセス - Qiita
Gaudiy、データ分析チームを立ち上げました。 - Gaudiy Tech Blog
BigQueryとAirflowを活用したDataPlatform運用の10のケース・スタディ
BigQueryってなんだっけ? そんな君たちに教えたい本見つけた�のでまとめてみる。 - Qiita
https://services.google.com/fh/files/blogs/esg_economic_validation_google_bigquery_vs_cloud-based-edws-september_2019.pdf
viagra jelly : precio de en gotas -
dbtとBigQueryで始めるData Vault入門
DBの負荷分散手法 | エンジニアの何でもメモ帳
[レポート]Data Lake vs Data Warehouse? | DevelopersIO
Building a database in the 2020s - me.0xffff.me
TechCrunch | Startup and Technology News