並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 53件

新着順 人気順

分析基盤の検索結果1 - 40 件 / 53件

分析基盤に関するエントリは53件あります。 データデータ基盤データ分析 などが関連タグです。 人気エントリには 『ゼロから始める、データ分析と可視化 - Kyash Product Blog』などがあります。
  • ゼロから始める、データ分析と可視化 - Kyash Product Blog

    はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入

      ゼロから始める、データ分析と可視化 - Kyash Product Blog
    • Appleの移動データを加工したらわかった東京の厳しい現実 - Qiita

      こんにちは、Exploratoryの白戸です。 Appleは新型コロナウイルスの対策支援として、Appleマップでの経路検索をもとにした移動傾向のデータを公開しています。ところが、残念ながらこのデータはそのままでは簡単に可視化できるようなフォーマットになっておらず、ちょっとした加工を行う必要があります。 しかし逆に、加工の仕方さえわかってしまえばそれぞれの都市や地域の移動データを可視化することで、恐怖を煽るばかりのマスコミからは見えてこない現状を理解することができるようになります。 今回はこのAppleの移動傾向データを簡単に可視化できるようにするための基本的な加工方法を、みなさんと共有させていただければと思います。 データはこちらからダウンロードすることができます。 以下は「モダンでシンプルなUIを使ってデータサイエンスができる」Exploratoryを使って、「日本で最も自粛している都

        Appleの移動データを加工したらわかった東京の厳しい現実 - Qiita
      • DXを妨げる要因と実現へのアプローチ by @yuzutas0 / 20211022

        株式会社商船三井様の社内セミナーで用いた資料です。 関係者の許諾を得て公開しています。 関連記事「DXに関する私的な殴り書き」 https://yuzutas0.hatenablog.com/entry/2020/06/02/110000 関連スライド「民間企業におけるDXの事例と課題」 https://speakerdeck.com/yuzutas0/20210623 合同会社風音屋 https://kazaneya.com/

          DXを妨げる要因と実現へのアプローチ by @yuzutas0 / 20211022
        • なぜ使われないダッシュボードが作られるかという話 - satoshihirose.log

          はじめに 最近、ビジネスダッシュボードの設計・実装ガイドブックという書籍が出版された。今まであまりなかった視点から書かれたデータに関する本で面白く読んだ。 ビジネスダッシュボード 設計・実装ガイドブック 成果を生み出すデータと分析のデザイン 作者:トレジャーデータ,池田 俊介,藤井 温子,櫻井 将允,花岡 明翔泳社Amazon 作ったダッシュボードの利用が進まず、虚しさを覚えた経験がある人は多いと思う。どうしてそうなってしまうのか、自分の経験を元にまとめたいなと思ったのでまとめる。 なぜ使われないダッシュボードが作られるか なぜ作られたダッシュボードが使われないかと言うと、基本的にはそのダッシュボードがそんなに必要なものではないからだ(社内周知がうまくない、ツールの使い方がわからない人が多いなどの理由もあったりするがここでは無視する)。 必要のないダッシュボードが作られてしまう状況に関して

            なぜ使われないダッシュボードが作られるかという話 - satoshihirose.log
          • データ基盤による利益最大化と初期構築プロセス / 20220209

            「Data Cross Conference」の登壇資料です。 https://dcc2022.datafluct.com/ データ活用によって億単位の利益を創出してきた登壇者が、データ基盤をこれから構築する方に向けて、費用対効果を最大化するための初期構築プロセスを紹介します。 ----------------------------------------------------------- 【PR】一緒に働きましょう! https://kazaneya.com/kdec -----------------------------------------------------------

              データ基盤による利益最大化と初期構築プロセス / 20220209
            • データ基盤チーム0人で運用は回るのか?! 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ

              技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0

                データ基盤チーム0人で運用は回るのか?! 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ
              • データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0

                この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者(@yuzutas0)は風音屋(@Kazaneya_PR)という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。

                  データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
                • データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419

                  データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why(なぜ必要か) What(どんな活動なのか) How(どうやるのか)について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。

                    データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419
                  • BigQueryのセキュリティ対策手順

                    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーの山田雄(@nii_yan)です。 データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。 風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。 この記事の全体像 この記事は2つのパートに分かれています。 最初に、BigQuery導入プロジェクトを始めるにあたって、セキュリティ観点でどのようなコミュニケーションが必要になるかを説明します。 次に、一般的な情報セキュリティ対策である「抑止」「予防」「検知」「回復」の4つの観点にもと

                      BigQueryのセキュリティ対策手順
                    • データ分析基盤における個人情報の扱いについて - NRIネットコムBlog

                      こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報&パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog データレイクはRAWデータレイク・中間データレイク・構造化データレイクの3層構造にすると良い - NRIネットコムBlog 個人情報&パーソナルデータと匿名加工について まず最初に個人情報&パーソナルデータの定義と匿名加工について、サラッと確認しておきましょう。 個人情報&パーソナルデータ 個人情報とは、任意の一個人に関する情報であり、かつその情報をもとに個人を特定できるものを指します。代表的な個人情報としては、名前・住所・電話番号・E-ma

                        データ分析基盤における個人情報の扱いについて - NRIネットコムBlog
                      • Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210

                        ---------------------------------------------------------------------------------------- 【PR】一緒に働きましょう! https://kazaneya.com/kdec ---------------------------------------------------------------------------------------- 「Tech × Marketing Conference 2021 #データマネジメント」基調講演の登壇資料です。 https://techxmarketing.connpass.com/event/229173/ データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高

                          Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
                        • AWSで作るデータ分析基盤サービスの選定と設計のポイント

                          2021年3月18日に実施したデータ活用ウェビナーの登壇資料 データ分析基盤を作る上での設計のポイントと、AWSのサービス選定について

                            AWSで作るデータ分析基盤サービスの選定と設計のポイント
                          • セルフサービスBIを支えるBIシステムについて - techtekt

                            データ共通BITA部の玉井 孝平です。 2021年2月のtechtektのインタビュー記事、法人顧客に向き合うすべての社員をサポート!―BIツールの導入・普及のウラガワにて、パーソルキャリアにおけるPower BI活用事例についてご紹介いただきました。 我々データ共通BITAでは、分析、可視化業務担当者に合ったツールを提供すべくTableau、Power BIを中心とした環境を提供しています。今年度、Power BIの実行環境のリニューアルを行ってきました。呼び難いため以降、BI(ビーアイ)システムとします。今回はそのアーキテクチャに着目して紹介します。 BIシステムとは BIシステムをリリースしたのは2017年下期に遡ります。現在のBIシステムと区別するため、旧世代BIシステムとでもしておきます。 世の中に目を向けると、当時のBI界隈はセルフサービスBIって話題がどこに行っても飽きるくら

                              セルフサービスBIを支えるBIシステムについて - techtekt
                            • データレイク構築後の四方山話 #DPM / 20190905

                              Data Platform Meetup の登壇資料です。 https://data-platform-meetup.connpass.com/event/142822/

                                データレイク構築後の四方山話 #DPM / 20190905
                              • 『データマネジメントが30分でわかる本』を出版しました - 下町柚子黄昏記 by @yuzutas0

                                『データマネジメントが30分でわかる本』をKindleで販売開始しました!データ活用に関わる方々はぜひお買い求めいただければと思います!https://t.co/aRRYIsJeqR— ゆずたそ (@yuzutas0) March 13, 2020 (自称)企画屋・コンセプトデザイナーの @yuzutas0 です。 共著者・寄稿者を初めとして、スポンサーやレビュアーの皆様、各所で書籍を紹介してくださった皆様、 その他何らかの形でご協力いただいた皆様、本当にありがとうございました。 発売から間が空きましたが、スポンサー報告が完了したので、このブログに制作秘話をまとめます。 自費出版に関心がある人のヒントになれば幸いです。 もくじ もくじ 1. 書籍について 1-1. 書籍概要 1-2. 購入方法 1-3. 本書への反響 1-4. 関係者の皆様 2. 裏話 2-1. きっかけ 2-2. 企画

                                  『データマネジメントが30分でわかる本』を出版しました - 下町柚子黄昏記 by @yuzutas0
                                • 民間企業におけるデータ整備の課題と工夫 / 20220305

                                  第16回日本統計学会春季集会での発表資料です。 https://confit.atlas.jp/guide/event/tjss2022spring/top https://ies.keio.ac.jp/events/17173/ 講義や共同研究のご相談はブログのお問い合わせ欄にご連絡ください。 https://yuzutas0.hatenablog.com/

                                    民間企業におけるデータ整備の課題と工夫 / 20220305
                                  • データウェアハウスのバージョン管理をどうやるか - yasuhisa's blog

                                    というのをチームで議論する機会があったので、書いてみます。「うちではこうしている」とか「ここはこっちのほうがいいんじゃない?」とかあったらコメントで教えてください。 背景 / 前提 データウェアハウスのテーブルを社内に広く提供したい 初期の提供時期が過ぎてしばらくすると、要望を元にスキーマの変更や集計ロジックの変更が入る (事前にレビューはもちろんするが)SQLのミスなどで以前のバージョンに戻したいといったことがありえる 他の部門では新しいバージョンをすでに使っていて、気軽に戻せないこともある データウェアハウスのバージョンを場面に応じて複数提供できると都合がよい 一方で、大多数のデータウェアハウスのユーザーは最新バージョンの利用だけでよいはず SSOT(Single Source of Truth)になっていて欲しいわけなので... 複数バージョン見えていると「どのバージョンを使えばいい

                                      データウェアハウスのバージョン管理をどうやるか - yasuhisa's blog
                                    • Overview of The Modern Data Stack / モダンデータスタック概論

                                      顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~

                                        Overview of The Modern Data Stack / モダンデータスタック概論
                                      • 累計参加者8,500名! #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224

                                        primeNumber主催イベント「01(zeroONE)」兼「DataEngineeringStudy番外編」の登壇資料です。掲載内容は収録時点の情報にもとづきます。 https://01.primenumber.co.jp/ https://forkwell.connpass.com/event/237704/

                                          累計参加者8,500名! #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224
                                        • BigQueryでSaaSのjsonデータを処理するSQLサンプル集 - 下町柚子黄昏記 by @yuzutas0

                                          この記事の概要 SaaSのデータをBigQueryに統合することで業務改善を促進できる。 しかし、SaaSのデータの中身を見ると、BigQueryの関数では対応しにくい形式になっていることがある。 そこで、本稿では「こういうデータ形式だったらこういうSQLを書く」というサンプル集を掲載する。 目次 この記事の概要 目次 宣伝 実現したいこと SaaSデータの処理方法 SQLサンプル1: 純粋な配列だけのケース SQLサンプル2: 配列内にハッシュマップがあるケース SQLサンプル3: 配列宣言ナシでカンマ区切りのハッシュマップが突如始まるケース SQLサンプル4: 配列とハッシュが入り乱れるケース SQLサンプル5: JSONの中に親子構造があるケース SQLサンプル6: Objectを定義したくなるケース 最強のJSONパースの関数は作れるか jsonデータの処理をどこで行うか 最後に

                                            BigQueryでSaaSのjsonデータを処理するSQLサンプル集 - 下町柚子黄昏記 by @yuzutas0
                                          • カルチャーとエンジニアリングをつなぐ データプラットフォーム - Speaker Deck

                                            All slide content and descriptions are owned by their creators.

                                              カルチャーとエンジニアリングをつなぐ データプラットフォーム - Speaker Deck
                                            • データ分析基盤におけるオブザーバビリティの取り組み

                                              GMOペパボ株式会社では主にGoogle Cloud Platformのサービスを利用してデータ分析基盤を構築し運用しています。その中心となるのがデータウェアハウスのBigQueryとワークフローエンジンのCloud Composerです。また、社内向けのデータ可視化(ダッシュボード)システムではCloud Runを利用しています。 データ分析基盤から得られる情報を重要な意思決定に用いるためには、ユーザーに提供しているインフラと同様に、可用性を明らかにし、継続的に可用性を高める Realiability エンジニアリングが必要となります。本講演ではGCPで構築されているデータ分析基盤を題材として、データ分析基盤に求められる可用性や、小規模なチームにおけるオブザーバビリティへの取り組みについてご紹介します。

                                                データ分析基盤におけるオブザーバビリティの取り組み
                                              • 【Quollio】メタデータ・マネジメント入門

                                                風音屋TechTalk #1 メタデータ入門 の発表資料です。 https://kazaneya.connpass.com/event/265752/ 会社や製品に関する問い合わせは、以下にご連絡ください。 株式会社Quollio Technologies お問い合わせフォーム https://quollio.com/contact

                                                  【Quollio】メタデータ・マネジメント入門
                                                • データエンジニアリングにおける人事評価基準 - 下町柚子黄昏記 by @yuzutas0

                                                  じゆうちょう Advent Calendar 2019 18日目の記事です。 概要 データエンジニアリングという業務を扱うにあたって、どのように人事評価を実施するか。 本稿では実践可能なレベルで「評価基準」の例を提示します。 もくじ 概要 もくじ 背景 注意点 本題: 人事評価の設定例 1. マイルストーン(計画) 2. QCDS(構築) 3. サービスレベル(運用) 4. 利益目標(企画) まとめ Appendix 前提1: 本稿のスコープ = 査定でボーナスが上下するような状況 前提2: 被評価者がコントロールできない事象に対してはフォローする 応用編1: 「データ基盤」という固有トピックにおける技術や案件の評価について 応用編2: 「データの民主化」の目標設定をどうするか おわりに 背景 データエンジニアリング業務に伴う「人事」(採用・アサイン・育成・評価)について質問を受けることが

                                                    データエンジニアリングにおける人事評価基準 - 下町柚子黄昏記 by @yuzutas0
                                                  • データ分析基盤Crois

                                                    Machine Learning Casual Talks #10 での発表資料です。 リクルートの横断組織であるリクルートコミュニケーションズで開発しているデータ分析基盤のCroisについて紹介させていただきました。

                                                      データ分析基盤Crois
                                                    • Data Platform構築プロジェクト推進の事例と学び

                                                      Data Platform Meetup #1(https://data-platform-meetup.connpass.com/event/142822/)の発表資料です。 エウレカのData Platformとそれを支える組織構成の概要の紹介と 実際にData Platform構築プロジェクトの立ち上げ〜推進をどのように計画実行し、しくじりカバーしてきたかを実例と共に載せています。

                                                        Data Platform構築プロジェクト推進の事例と学び
                                                      • 『Software Design 2020年7月号』特集「一から学ぶログ分析」に寄稿しました - 下町柚子黄昏記 by @yuzutas0

                                                        『Software Design 2020年7月号』の第1特集「一から学ぶログ分析 - 事業を成長させる分析基盤を作るには」 第2章「ログ分析基盤の構築で考えるべきこと - 多様なログを安心して使えるようにするために」を寄稿しました。 本日発売の『Software Design (ソフトウェアデザイン) 2020年7月号』【第1特集】「一から学ぶログ分析 - 事業を成長させる分析基盤を作るには」に寄稿しました。初学者向けにまとまった内容ですので、ぜひ手に取っていただけると幸いです。https://t.co/IXp40MoPJc pic.twitter.com/XydqlWDjth— ゆずたそ (@yuzutas0) 2020年6月17日 執筆内容 初学者向けに、以下の内容を10ページでまとめました。 なぜログ分析基盤を作るのか 「使われるログ分析基盤」には何が必要か 分析者が手軽にログを参

                                                          『Software Design 2020年7月号』特集「一から学ぶログ分析」に寄稿しました - 下町柚子黄昏記 by @yuzutas0
                                                        • 逆ジオコーディングな地図ダッシュボードを10分で作る - 下町柚子黄昏記 by @yuzutas0

                                                          この記事はデータ活用 Advent Calendar 2018 - 16日目の記事です。 ダッシュボードに関する登壇をしたところ「自社でも地図データを活用したい」と相談いただいたのでTipsを共有します。 もくじ もくじ はじめに この記事のゴール 解決したい課題 実行方針 完成イメージ 注意点 作業手順 1: リーガルチェック 2: データの準備(独自データ:アクセスログ) 3: データの準備(公開データ:ジオコーディング用の変換テーブル) 4: データの準備(公開データ:都道府県マスタ) 5: SQLを書く 6: DataStudioでデータを読み込む 7: DataStudioで地図を描く おわりに はじめに この記事のゴール WEBメディア訪問者のIPアドレスを元に、エリア別のPV数を可視化します。 (データが整備されていたら&リーガルチェックがOKなら&情シス部門に権限を縛られて

                                                            逆ジオコーディングな地図ダッシュボードを10分で作る - 下町柚子黄昏記 by @yuzutas0
                                                          • 0から作るメルカリShopsのCSオペレーション基盤 | メルカリエンジニアリング

                                                            こんにちは。ソウゾウのSoftware Engineerの @naopr です。 連載:「メルカリShops」プレオープンまでの開発の裏側 の5日目を担当します。 はじめに このエントリでは、メルカリShopsを構成するシステムの中でもお客さまの目に直接触れることのないCS(Customer Service/Success)オペレーション用のシステムについてご紹介します。 CSオペレーション用のシステムをメルカリグループでは CSツール と呼んでいるため、このエントリでもその呼称を使うこととします。 はじめにメルカリShopsのCSオペレーションの概要についてご説明したあと、システムのアーキテクチャと技術スタックについてご紹介します。そして、CSツールの基盤機能と各オペレーション用の機能について、実際の画面をご覧いただきながらご説明します。 ※画面は開発環境のものでありテストデータを表示し

                                                              0から作るメルカリShopsのCSオペレーション基盤 | メルカリエンジニアリング
                                                            • チーム開発のためのデータウェアハウスアーキテクチャ - Retty Tech Blog

                                                              昨日は、西村さんよりAurora移行大全#2 でした。ドキドキの移行が無事成功して嬉しいですね。 engineer.retty.me Retty Advent Calendar も終わりが近づいてきました。 24日目の本日はデータ基盤について紹介します data-platform-meetup.connpass.com 今回の記事は、先日登壇した以下のイベントで発表を行いました。 コミュニティの盛り上がりを感じる良いミートアップだったと思います。 この記事では発表ではお話しできなかったことの補足も含め、 我々のデータ基盤を取り巻く構成と その背景となる考え方について紹介したいと思います。 誰のためのデザイン? データの民主化と基盤開発 Rettyにおけるデータウェアハウジング データ基盤開発の標準化 効果的なプラクティスの導入 データウェアハウシングのための実践的なレイヤ構成 データ置き場

                                                                チーム開発のためのデータウェアハウスアーキテクチャ - Retty Tech Blog
                                                              • ペパボのログ活用基盤「Bigfoot」を Google Cloud Platform に移設しました - ペパボ研究所ブログ

                                                                研究員の @zaimy です。ペパボ研究所では、自社が運営するウェブサービスのユーザーの行動ログや属性情報を収集・分析・活用するための全社基盤「Bigfoot」を技術基盤チームと協力して開発・運用しています。 Treasure Data をバックエンドとして2016年に運用を開始したこのシステムを、今年 Google Cloud Platform(以下 GCP)を中心とした構成に移設しました。この記事では移設に至った理由、移設時の工夫、移設後の構成などについてお話します。 目次 Bigfoot とは 移設前の構成と移設に至った経緯 GCP の選定理由 BigQuery の存在 AI Platform の存在 コスト 移設時の工夫 データウェアハウスの並行運用 ワークフローの二段階移行 行動ログのスキーマ設計 移設後の構成 bigfoot/platform bigfoot/cloud-com

                                                                  ペパボのログ活用基盤「Bigfoot」を Google Cloud Platform に移設しました - ペパボ研究所ブログ
                                                                • データサイエンティストが力を発揮できるアジャイルデータ活用基盤

                                                                  2019年4月16日(火)開催「PyData.Tokyo Meetup #19 SysML」の発表資料。 データ活用施策を実サービスに組み込むには、データサイエンス・機械学習のスキルだけでなく、エンジニアリングスキルも必要です。そのため、毎回データサイエンティスト・エンジニアの工数が発生して施策がスローダウンしたり、そもそも実施を諦めることてしまうことも少なくありません。私たちリクルートライフスタイルの CET チームは、この問題を解消するため、データ活用のための統一基盤を開発・運用しデータサイエンティストだけで施策を実施できる環境を整えています。本セッションでは、その基盤がどのように構築されているのか、また実際にどのような施策が実施されているのかを具体的にご紹介します。 https://pydatatokyo.connpass.com/event/123479/

                                                                    データサイエンティストが力を発揮できるアジャイルデータ活用基盤
                                                                  • Data Meshとは何か?

                                                                    Aboutこの記事は、「Data Mesh」について書かれたものです。参考文献に記載された内容をベースとして、個人的な感想や意見を加えたものです。 事例ではありません。 TL;DRData Mesh はデータ基盤の新しいアーキテクチャ原則であり、現在主流である中央集中型のデータ基盤と、そこから起こる問題への解決策です。Data Mesh はマイクロサービスと DDD から着想を得ており、データの生成・管理・提供を中央ではなくドメインごとに管理します。管理が分散することでスケーラビリティ・自律性を確保しつつ、統一的なガバナンスを保持できるアイデアです。主な想定読者Data Mesh が気になる方データ基盤を開発・保守するデータエンジニアデータマネジメントをより洗練させたいと感じている方Data Mesh の登場した背景 (WHY)詳細に入る前に、Data Mesh が前提に置く現代のデータ基

                                                                      Data Meshとは何か?
                                                                    • プロダクト中心のデータ駆動を推進していくために必要なこと

                                                                      プロダクト開発メンバー主導の民主的なデータ活用を目指すとどの企業でも直面することになるであろういくつかの課題と、それらに対するピクシブ株式会社データ駆動推進室の取り組みをご紹介します。 Data Platform Meetup 【vol.2】の発表資料です。 https://data-platform-meetup.connpass.com/event/155073/ ピクシブ株式会社について: https://www.pixiv.co.jp/

                                                                        プロダクト中心のデータ駆動を推進していくために必要なこと
                                                                      • Eurekaの DataPlatform開発状況と再現性の実現

                                                                        Vault Secrets Operator と Dynamic Secrets で安全にシークレットを使おう / Vault Secrets Operator and Dynamic Secrets

                                                                          Eurekaの DataPlatform開発状況と再現性の実現
                                                                        • Tonamelのデータ基盤 ~データモデリング編~

                                                                          #nakanoshima_dev 9/22 18:30~ https://nakanoshima-dev.connpass.com/event/221243/ nakanoshima.dev #21 LED!! (Let's enjoy データ分析!!)の発表資料です。

                                                                            Tonamelのデータ基盤 ~データモデリング編~
                                                                          • 新しいアンケートシステムをつくった(Digdag・Embulk・BigQueryデータ同期編) - エムスリーテックブログ

                                                                            「作れないものがない」アンケート作成システムを作成した、エムスリーエンジニアリンググループの岩本です。 今回は「新しいアンケートシステムをつくった(Goとシステム概要編)」のバッチ部分について説明します。 概要 アンケートシステムのIbisの内部表現として設問があります。例えば下記のように設問が定義されているとき 設問ID設問タイトルカラム名 1年齢age 2好きな食べ物favorite_food 分析時にTableauから参照するBigQueryでは、回答テーブルとして以下のように見えると処理しやすくなります。 回答番号agefavorite_food 137カレー 232スパゲッティ つまり、前回、滝安(@juntaki)が説明したとおりIbisで「設問の作成」を行うと、分析する際のカラムが1つ増えることになります。 縦持ちとなっている「設問」の情報を横持ちに変換し、BigQueryの

                                                                              新しいアンケートシステムをつくった(Digdag・Embulk・BigQueryデータ同期編) - エムスリーテックブログ
                                                                            • Real Time Data Engineering Pipeline for Machine Learning -

                                                                              Our focus in this post is to leverage Google Cloud Platform’s Big Data Services to build an end to end Data Engineering pipeline for streaming processes. So what is Data Engineering? Data Engineering is associated with data specifically around data delivery, storage and processing. The main goal is to provide a reliable infrastructure for data which includes operations such as collect, move, store

                                                                                Real Time Data Engineering Pipeline for Machine Learning -
                                                                              • Amazon.co.jp: データマネジメントが30分でわかる本: ゆずたそ (著), はせりょ (著), 株式会社風音屋 (著), ゆずたそ (編集): Digital Ebook Purchas

                                                                                  Amazon.co.jp: データマネジメントが30分でわかる本: ゆずたそ (著), はせりょ (著), 株式会社風音屋 (著), ゆずたそ (編集): Digital Ebook Purchas
                                                                                • 【TROCCO®︎体験記 第1回】TROCCO®︎を使ってみた by yuzutas0(ゆずたそ)

                                                                                  以前 DLG Cross というイベントで「データマネジメントなき経営は、破綻する」という講演を行ったところ、とある企業様から「法人営業部のDX(デジタルトランスフォーメーション)を手伝ってほしい」と相談を受け、業務フローの見直しやデータ整備を支援しています。 営業データはこれまで十分に使えていなかったため、新規のデータ連携になります。同社のソフトウェアエンジニア(A氏)に社内調整を進めていただきました。本番データにいきなりアクセスするのは怖いので、トライアル的に行いましょうという会話になりました。 なお、今回の作業を進めるに当たって、primeNumberのCPOである小林さん(@hiro_koba_jp)とembulk-input-kintone開発者である@giwaさんにサポートいただきました。 kintoneの準備 TROCCOの画面を開く前に、kintoneでダミーAppを作成し

                                                                                    【TROCCO®︎体験記 第1回】TROCCO®︎を使ってみた by yuzutas0(ゆずたそ)

                                                                                  新着記事