ぼくのかんがえる最高のレポーティング基盤 @AWSで実践！Analytics modernization
VOYAGE GROUP Zucks DSPレポーティング基盤をどのようにして作ったかの話。 https://pages.awscloud.com/JAPAN-event-OE-20210624-AnalyticsModernization-reg-event.html ディメンションモデリング https://zenn.dev/pei0804/articles/dimensional-modeling スタースキーマ（基礎） https://zenn.dev/pei0804/articles/star-schema-design 複数スタースキーマ https://zenn.dev/pei0804/articles/multiple-star-schema ファン・トラップ https://zenn.dev/pei0804/articles/datawarehouse-fan-trap
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビットキー 株式会社エブリー 株式会社Luup Sansan株式会社 株式会社ZOZO 株式会社10X 事業内容 10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫で
DataWareHouse,DataMartを整備して分析がやりやすくなった話 - ANDPAD Tech Blog
こんにちは、データ基盤チームの大洞です。 2021年4月にANDPADにジョインしてから、データ基盤やデータ分析にかかわってきました。 今回は、データ分析を効率的にするために、DataWareHouse、DataMartを整備した話を紹介したいと思います。 データ基盤の全体像 まずは、簡単にデータ基盤の全体像を紹介します。 左から順に説明していきます。 ① SaaS Data 実際に稼働しているANDPADのDBやSalesforceなどの業務で利用しているサービスです。ここからデータを出力し、S3に保存します。 ②ETL Stack 分析はBigQueryで行っているので、ここからGCSに移動させます。 ③Analytics Stack GCSに移動されたファイルをBigqueryにロードします。 ④Anatytics 用途に応じて、Jupyter、Metabase、スプレッドシートなど
はじめまして、Newspicksでエンジニアしています、Hoàngです。 新卒で入社し、現在はNewspicksを支えるデータ分析基盤を作っています。そのノウハウをシェアできればと思い、この記事を書きました。 なぜData lakeが必要なのか？ (AWSより引用) サービスに機械学習、AIを導入したい思ったことがありますでしょうか。あるいは、ユーザーがどのようにサービスを利用しているかを分析したいと思ったことがありますか。 ユーザ分析や機械学習をするために本番のデータベースにアクセスしたり、クエリを投げたりしてはいけません。分析、機械学習の用途で本番サービスに負荷を与えると、最悪の場合本番サービスを停止させてしまうこともあります。本番データと完全に同期されたデータ基盤があれば、このような問題にも対処できます。 また、データ分析はSQLを使うのですが、SQLではDynamoDB, Mong
こんにちは！エンタメ領域のDXを推進するブロックチェーンスタートアップ、Gaudiyでアナリティクスエンジニア兼データアナリストをしている星野（@mochigenmai）です。 年初に公開したブログでお伝えさせていただきましたが、Gaudiyは今年から「プロダクト主導型の組織づくり」を進めています。 techblog.gaudiy.com プロダクト主導型の組織には、データドリブンな意思決定が欠かせません。そこでGaudiyでは、データを元にしたプロダクト改善を行い、ユーザへの適切な価値提供をしていくために、1月にデータ分析チームを立ち上げました。 今回のブログでは、データ分析チームを立ち上げた背景や、立ち上げ時の課題や取り組み、データアナリストの役割などについてお伝えします！ スタートアップで同じようにデータ分析チームの立ち上げを担っている方や、データ分析チームの役割に興味のある方にご参
この記事は Eureka Advent Calendar 2019 11日目の記事です。 10日目は スーパーCompSREエンジニア恩田による「AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話」でした。 こんにちは。BIチームのデータアナリストの栗村(@t-kurimura)です。主にPairsの機能に関する分析を行っていますが、最近は分析を行うまでのデータを整えるデータアーキテクト的お仕事の比率も増えてきています。 さて、この記事では弊社のDataPlatform運用において、試行錯誤してきた中での運用の学びをケース・スタディ的にご紹介します。 エウレカのDataPlatformの現状前提として、弊社では3つの層にわけて、アプリケーションログやマーケティングに関連するデータをより分析しやすいデータへと加工しています。 Dataをほぼそのまま保存しているDataLa
対象読者 データ分析基盤を作ってみたいけど、分析基盤の作り方がわからない BigQueryって聞いたことあるけど、実際に使ったことがない。興味ある。 BigQueryって使おうと思ってググってみたけどあんまりまとまった情報がない そのような気持ちを持つ方が読者想定です。 自身もこの本に出会う前には、同じようなBigQuery童貞でした。 (結論)イイタイコト BigQuery初心者や、これから導入考えてる人が、読むべき本を見つけました！！ Google Cloud Platform実践ビッグデータ分析基盤開発 ストーリーで学ぶGoogle BigQuery です。 あまりBigQueryの本がなく、半信半疑で読みましたがBigQueryの全体像が捉えられる良書でした。 この本のイイところ この本のイイところは3つあります。 BigQueryの概要が難しすぎず、ちょうどかゆいところに手が届く
Farmacia europea viagra jelly URL == http://url-qr.tk/Farmacia - Entrega rápida garantizada en todo el mundo. - Varios métodos de pago: MasterCard / Visa / AMEX / PayPal / BitCoin - completo anonimato - Calidad farmacéutica y dosificación. - Le reembolsaremos si el artículo no es adecuado para usted. precio de en gotas A viagra then up pingback: oral and jelly safely. Arousal eating 100mg ah buy i
本日開催された「Data Platform Meetup#1」に参加しました。 - 安定と刺激の間で生きたい。
data-platform-meetup.connpass.com 全体を通した所感 挨拶 趣旨説明 所感 竹野 峻輔さん：「カルチャーとエンジニアリングを繋ぐデータプラットフォーム」 内容 質問 所感 yuzutas0さん：「データレイク構築後の四方山話」 内容 質問 所感 鉄本 環さん：「DataPlatform構築プロジェクト推進の事例と学び」 内容 質問 所感 石田 祥英さん：「大規模サービス開発における分析用データの必要要件」 内容 質問 所感 全体を通した所感 データ基盤ではなく、データプラットフォーム(Data Platform = DP)という表現かっこいいので、使っていこう。 DPアーキテクトの基本構成は、Google BigQueryと、Cloud Composer(Airflow)。 DPテーブルの基本構成は、Data Lake(DL), Data WareHouse
DBの負荷分散の手法について世の中にある手法についてかなり忘れてしまってきているので、最勉強を兼ねてざっくりと調べてみました。 設計の見直しとチューニング 負荷分散では無いですが、分散設計を考える前に、設計の見直しや、チューニングで救えるケースの方が多いと思うので少しだけ。 設計の見直しやチューニングをしないと、無限にリソースが必用になるので、ここはある程度きちんとやった方が良いと思う。（オンプレでは新規 HWを調達するのは難しいので、通常これをやるしかなくなる） DBの設計を見直す 正規化（データの冗長製の排除）だけだとデータ結合が必用になる事がありパフォーマンスに問題が出ることがある。非正規化（データを冗長に持つ）事も考える。 「スケールアウト」の所で後述するが、既存の DB でデータのリレーションが薄いものは、別 DBとして分割する事で負荷分散される事もできる。 DBのチューニング
GitHub - awslabs/aws-athena-query-federation: The Amazon Athena Query Federation SDK allows you to customize Amazon Athena with your own data sources and code.
Imagine a hypothetical e-commerce company who's architecture uses: Payment processing in a secure VPC with transaction records stored in HBase on EMR Redis is used to store active orders so that the processing engine can get fast access to them. DocumentDB (e.g. a mongodb compatible store) for Customer account data like email address, shipping addresses, etc.. Their e-commerce site using auto-scal
GitHub - EvgSkv/logica: Logica is a logic programming language that compiles to SQL. It runs on Google BigQuery, PostgreSQL and SQLite.
Logica is for engineers, data scientists and other specialists who want to use logic programming syntax when writing queries and pipelines for databases and datawarehouses. Logica programs run on BigQuery, Postgres and SQLite. Logica compiles to SQL and gives you access to the power of SQL ecosystem with the convenience of logic programming syntax. This is useful because SQL enginers are magnitude
奈良県でリモートワーク中の玉井です。 Snowflake社の下記のウェビナーを受講したので、レポートします。 ウェビナー情報 公式情報 概要 Data warehouses are designed for quick and performant access to data pulled from a lot of different systems. Unfortunately, this can quickly become a complex environment that slows down speed to insight for the business user. Join this master class to learn about the relationship between modern Data Warehouses and Data Lakes. L
![[レポート]Data Lake vs Data Warehouse? | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/049e0cb3fd75c4238c328b0ab80dbacbbad7becb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F09%2Fsnowflake-logo-1200x630.png){kind=logo}
SAP Datasphereとは？ DataWarehouse Cloudとの違いと「ビジネスデータファブリック」の意義
SAP Datasphereとは？ DataWarehouse Cloudとの違いと「ビジネスデータファブリック」の意義 データ活用のトレンドに対応してSAPが自社SaaSプラットフォームで提供するデータ管理サービスのポートフォリオを刷新した。マルチクラウドに散在するデータをビジネス視点で分析しやすくする。
Last modification on 2022-12-05 Author: Ed Huang (h@pingcap.com), Cofounder, CTO, PingCAP/TiDB It's been a long time since I wrote anything, so I'll share what I've been thinking about more recently. Just consider it a record of work. Let's start with an important question: If we were to redesign a new database today from the ground up, what would the architecture look like? Before I get into the
Oracle CloudのAlways FreeのAPEX環境を使って、我が家の体重管理アプリを作ってみた - Qiita
Oracle CloudのAlways FreeのAPEX環境を使って、我が家の体重管理アプリを作ってみたApexocioraclecloudautonomous_data_warehouseautonomous_database 背景 体重の増加が気になる日々なので、我が家で体重計を買うことになりました。Wi-Fi対応の体重計でアプリを使って健康管理、、と思ったのですが、結構なお値段がするので断念。だったら自分で作ってみようと思い、我が家の体重管理をするアプリを自分で作ってみることにしました。 何で作ろうかなと思ったのですが、コストをかけずに手っ取り早く作りたかったので、Oracle Cloudの無期限で無料のAlways Freeに含まれる、Auonomous DBのAPEX機能を使って、我が家の体重管理アプリを作ってみました。 参考文献 実施に参考になるリンク Qiita記事： Or
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
Data lakeとは？データ分析基盤をゼロから作るプロセス - Qiita
Gaudiy、データ分析チームを立ち上げました。 - Gaudiy Tech Blog
BigQueryとAirflowを活用したDataPlatform運用の10のケース・スタディ
BigQueryってなんだっけ? そんな君たちに教えたい本見つけた�のでまとめてみる。 - Qiita
viagra jelly : precio de en gotas -
DBの負荷分散手法 | エンジニアの何でもメモ帳
[レポート]Data Lake vs Data Warehouse? | DevelopersIO
Building a database in the 2020s - me.0xffff.me