「実践的データ基盤への処方箋」輪読会のレポートは、以下の記事に分けて掲載しています。 データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート 〜データ整備編〜（第1回） データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート ～データ基盤システム編～（第2回） データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート 〜データ組織編〜（今回） 2022年1月から2月にかけて、データエンジニアリング、データ活用の知見の共有を目的としたコミュニティdatatech-jp、株式会社風音屋の協力のもと「実践的データ基盤への処方箋」の輪読会がオンライン形式で開催されました。輪読会は3回に分けて開催され、合計9名の発表者と、多くの参加者が集まり、さまざまな議論が交わされました。本稿では輪読会の第3回の様子をダイジェストで紹介します。 データウェアハウス、ワークフ
AuthorsTwitter@__Attsun__Published onMonday, March 20, 2023 この記事について私が現在所属する Ubie Discovery（以下 UD）で働く Data Engineer の視点で、他データ職種との関わりや違いについて書きました。 カジュアル面談など社外の方とお話する中で、以下のような質問が頻出するため記事としてまとめてみようと思った次第です。 Analytics Engineer と Data Engineer の違いは？Data Engineer は実際、どのような業務をしているの？技術的にはどのようなスタックで仕事をすることがあるの？TL;DRUbie Discovery には、Data Engineer, Analytics Engineer, ML Engineer といったデータ職種がありますData Engineer
Snowflakeのアクセス制御を活用したデータ基盤での権限管理の事例紹介 - KADOKAWA Connected Engineering Blog
KADOKAWA Connected / ドワンゴの @saka1 と Integrated Data Service 部の中野 (takamoto) です。 私達の部署では主にSnowflakeを中心にしたデータ基盤（データプラットフォーム）の開発保守を行っています。この記事では、Snowflakeの機能を駆使してデータに対して適切に権限を割り振るために整備した仕組みについて紹介していきたいと思います。 Snowflakeのオブジェクト階層や、RBACベースの権限管理モデルは非常に柔軟かつ強力です。かなり自由に何でもできてしまうがゆえに、どういった整理の仕方で権限付与を行っていくかが大切に感じられます。我々のやり方が正解だとは必ずしも思いませんが、一つの事例としてコミュニティに還元されるといいかなと思い、この記事を書きました。 部署の概要やデータ基盤の概要については別の記事があるので、そ
生データを最速で取り込むチャレンジ ~LayerXデータ基盤成長物語 part1~ / Building a data infrastructure that captures raw data at the fastest
『Data Engineering Study #22 5社のデータエンジニアが振り返る2023』の登壇資料。 https://forkwell.connpass.com/event/299633/ カジュアル面談はこちら: 全員アナリストを実現する Data Enablingを支えるData Engineeringについて語らいましょう〜〜！！！ https://jobs.layerx.co.jp/2c0258fa624f4a25975bc59767a81225
AI事業本部 アプリ運用センターでデータサイエンティストをしている河中と申します。 今回は内定者としてアルバイトに参加している23卒内定者の稲葉さんに、信頼性が高く分析しやすいデータ基盤を構築するためにdbtというツールを導入するタスクに取り組んでもらいました。その中での技術的な話や内定者バイトを通して学んだことをブログにまとめてくれました。 ぜひ一読ください！ 23卒エンジニア職内定者の稲葉です。2022年10月から3ヶ月間、AI事業本部小売DXディビジョンのアプリ運用センターでアルバイトをさせていただきました。私は、今までデータサイエンティストやバックエンドエンジニアなど幅広く技術に関わってきましたが、今回はアナリティクスエンジニアとしてデータ基盤の改修を行いました。 本稿では、Snowflake上で構築されているデータ分析基盤を dbtやgithub actionsのCI/CDを用い
[AWS Black Belt Online Seminar] 小売現場のデータを素早くビジネスに活用するAWSデータ基盤 資料公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] 小売現場のデータを素早くビジネスに活用するAWSデータ基盤 資料公開 「小売現場のデータを素早くビジネスに活用するAWSデータ基盤」 の AWS Black Belt Online Seminar についてご案内させて頂きます。 視聴方法: 下記ページにて資料を公開いたしましたので、オンデマンドでご視聴いただけます。 202106 AWS Black Belt Online Seminar 小売現場のデータを素早くビジネス に活用するAWSデータ基盤 AWS Black Belt Online Seminar オンデマンド動画 コンテンツ 一覧 AWS サービス別資料 （すべての過去資料が閲覧できます） IT 知識レベル:★★★☆☆ | AWS 知識レベル:★★★☆☆ こ
![[AWS Black Belt Online Seminar] 小売現場のデータを素早くビジネスに活用するAWSデータ基盤 資料公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/b84f59448bb239c52790aa5bde0bb0ed73bfd275/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2021%2F07%2F05%2FBlackBelt202106_RetailDataPlatform-1121x630.png)
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日立製作所と日立ビルシステムは8月24日、ハイブリッドワークスタイルを見据えたオフィスとそれを支えるIoTデータ基盤やアプリケーションなどの取り組みを公開した。テレワークやオフィスワークを柔軟に組み合わせた新しい働き方の実験場と位置付けている。 日立製作所は、2020年11月にオフィスビル向けのIoTプラットフォーム「BuilMirai（ビルミライ）」を開発、日立ビルシステムが東京都千代田区の本社ビルと同足立区の亀有総合センターにBuilMiraiを導入し、2021年8月2日に運用を開始した。ここでは社員向けのアプリケーション「BuilPass（ビルパス）」も利用し、業務効率や生産性の向上と安全性に配慮したハイブリッドワークスタイルの在
本書では、SaaS型のデータクラウド・データウェアハウスとして知られるSnowflakeの構成をInfrastructure as Code（IaC）のためのツールであるTerraformを使って簡単に管理する方法をご紹介します。 実サービスでも利用可能な実践的な構成を体系的に整理しながら、GitHub Actionsを使った安全なリソースの更新方法を取り扱います。 また、Golang-migrateを使ったテーブルの管理方法を紹介します。 【内容】 ・Terraform × Snowflake ・GitHub Actions ・Golang migrate ※執筆時点のバージョンでの紹介になるため、読者が記事の内容を再現する時にはソフトウェアが更新されている可能性がありますのでご注意ください⚠️
データ基盤を支えるdesign doc
この記事はdatatech-jp Advent Calendar 2022の12月11日の記事です！ 概要 自チームでデータ基盤を作っていく際に使っているdesign docの紹介と、導入背景をここに記します 感じていた課題感 レビュアーにアサインされてプルリクを見るときに「このプルリクはどういう背景があって、どういうコードを書いたのか、どういうテストをしたから大丈夫なのか」を汲み取るのに時間がかかるなって思っていた 備忘録的にissueにたてる、とりかかるときにタイトルだけ埋めたissueを立てて走り出す、ということが多く感じて、事前に整理しておくともっと効率が上がるのではと思った データ基盤を作っていく際に、ログやテーブルの値の意味などをエンジニアにヒアリングすることがあるが、それをちゃんと蓄積したいと思った これに関しては、別途Notionで蓄積してるものがあるのですがGithubに
今回から本連載は具体的なクラウドデータベースサービスについて解説していきます。第4回は企業がDX（デジタルトランスフォーメーション）を進めていく上で、データ基盤として米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）の「Amazon Aurora」を採用するメリットとデメリットを解説します。 Amazon AuroraはPostgreSQL、MySQLとの互換性を保ちつつ、AWSが独自機能を追加したデータベースサービスです。クラウドに適した改修を施すことで、性能、セキュリティー、可用性などが強化され、他のサービスとの連係によって利便性も高められています。 なお、Amazon Auroraという名称はPostgreSQL、MySQLとの互換性を持つ2つのデータベースサービスの総称であり、正式名称はそれぞれ「Amazon Aurora with PostgreSQL
現職に入社してから、データ基盤の整備を担当するチームであれこれやっている。 今回、諸々が一区切りするので、振り返りとまとめのために書いてみる。 自分のバックグラウンド 人材紹介会社→人事→あれこれやる人 というキャリア 職種としては事務職とかバックオフィスとか、そういう括りになると思う 大学も文系出身だし、コンピューターサイエンスの知識が特にあるわけではない 入社してからは （これから書く）データ基盤をなんとかする業 諸々のオペレーションなんとかする業 チームマネジメント 法務と情シスも途中から兼務 その他、間に落ちるいろんなことの諸々全て などをやっている。 全段あれこれ ここでいう、データ基盤 会社のビジネス活動に関するデータのことを主に指している。 いわゆる、「ビジネスファネル」と言われるもの（マーケティング〜営業活動による受注〜その後のフォロー）の一連の流れ部分、それから売上や請求
「Looker User Meetup Online #8」にて登壇した内容となっております
ヌーラボ データ基盤の変遷
人間の尊厳、幸福、アクセシビリティ / 第116回「WEB TOUCH MEETING」アクセシビリティSP
「実践的データ基盤への処方箋」輪読会のレポートは、以下の記事に分けて掲載しています。 データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート 〜データ整備編〜（第1回） データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート ～データ基盤システム編～（今回） データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート 〜データ組織編〜（第3回） 2022年1月から2月にかけて、データエンジニアリング、データ活用の知見の共有を目的としたコミュニティdatatech-jpおよび株式会社風音屋の協力のもと「実践的データ基盤への処方箋」の輪読会がオンライン形式で開催されました。輪読会は3回に分けて開催され、合計9名の発表者と、多くの参加者が集まり、さまざまな議論が交わされました。本稿ではこの輪読会の第2回の様子をダイジェストで紹介します。 データ収集は試行錯誤
データ基盤における管理の考え方 〜dbtの極意〜：LayerXにdbtを導入するときに意識したこと
データ基盤における管理の考え方 〜dbtの極意〜 https://findy.connpass.com/event/291767/ [カジュアル面談リンク] 全員アナリストを実現するData Enablingを支えるData Engineeringについて語らいましょう〜〜！！！ https://jobs.layerx.co.jp/2c0258fa624f4a25975bc59767a81225 [資料中のリンク] バクラク事業におけるデータ組織とデータ基盤 2023：https://tech.layerx.co.jp/entry/bakuraku-data-management-2023 バクラクにはアナリストが不在？いいえ全員アナリストです！そんな理想を実現するData Enabling teamをつくります：https://note.com/shuntak/n/na78d757de5
GAFAへの危機感あらわに─ドイツ政府が欧州クラウド／データ基盤構想「GAIA-X」を発表：第8回 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ 海外事情 ＞ 麻生川静男の欧州ビジネスITトレンド ＞ GAFAへの危機感あらわに─ドイツ政府が欧州クラウド／データ基盤構想「GAIA-X」を発表：第8回 海外事情 海外事情記事一覧へ [麻生川静男の欧州ビジネスITトレンド] GAFAへの危機感あらわに─ドイツ政府が欧州クラウド／データ基盤構想「GAIA-X」を発表：第8回 2019年11月28日(木)麻生川 静男 リスト 2019年10月29日、独ドルトムントで開催されたデジタルサミットで、独連邦経済エネルギー大臣のペーター・アルトマイヤー（Peter Altmaier）氏が新しい欧州クラウド／データインフラ構想「Project GAIA-X（ガイア-エックス）」を発表した。構想の背景に何があり、何を目指しているのだろうか。 画面1：独連邦経済エネルギー省・独連邦教育・研究省はプロ
人工衛星の画像を分析できる日本発のデータ基盤「テルース」の利用が企業の間で広がってきた。用途は森林管理や防災対策など幅広い。アカウントの登録数は2万を超え、前年比で約5割増のペースが続く。宇宙データビジネスの広がりは、人工衛星や探査機を得意とする日本の宇宙産業の厚みを増す。12機の人工衛星からデータを収集テルースは宇宙航空研究開発機構（JAXA）の人工衛星「つばめ」や気候変動観測衛星「しきさ
エンジニアの1日の業務の流れ、打ち合わせの方法や頻度など 三木鉄平氏（以下、三木）：質問がたくさん届いているので、まず上からいきたいと思います。「エンジニアの1日の業務の流れ、打ち合わせの方法や頻度などを教えてください」。これは順番に3部門に答えていただきましょうか。まず機械学習の部門はどうでしょう。 大東哲平氏（以下、大東）：だいたい1日の業務の流れだと、出勤というかノートPCをつけてから、人によりますが、チームごとに会議があります。私の場合はインフラエンジニアの定例会議が週に1回か2回、さらにMachine Learning室の会議も2回ありますね。 樋村隆弘氏（以下、樋村）：DSP MLチームも業務の流れはだいたいたぶん一緒だと思います。打ち合わせについては、先ほど大東さんからあったとおり、Machine Learning室として週に2回、各自の進捗を話したり、リリース情報や障害対応
2022/07/06の「Vertical SaaS Study #2 急成長企業を支えるデータ分析基盤の作り方」にて話した内容になっています。 1年前データ基盤を0から作り、1年間運用してたどり着いた設計、そこにいたるまでの経緯、今だったらこうやって始めたかったという話をしました。 これからデータ基盤を作ろうとしている人の一助になれば幸いです。
業界最大規模の医療ビッグデータを取り扱っているJMDC。この膨大なデータを格納して、匿名化処理などを行い、分析するための基盤を開発しているのがデータウェアハウス開発部です。健康保険組合や調剤薬局、医療機関などからお預かりする秘匿性の高いデータを取り扱う大切な基盤を開発する上で、エンジニアのみなさんはどのようなことを心がけているのでしょうか。上席執行役員兼CDPOの足立さんとデータウェアハウス開発部 部長の山下さんにお話しを伺いました。 ■インタビュイー紹介 足立昌聰（あだち まさとし） 株式会社JMDC 上席執行役員兼CDPO（Chief Data Protection Officer：最高データ保護責任者） 東京大学工学部システム創成学科、同大学院修了（法務博士）。2011年より米国系法律事務所入所。特許庁、LINEを経て、2021年にJMDCへ参加。情報処理安全確保支援士会理事、情報法
【データ基盤構築/Snowflake】SnowflakeのSnowpipeを使って、S3にファイルをエクスポートすると同時にSnowflakeのテーブルにも自動でロードされる仕組みを作る - Qiita
【データ基盤構築/Snowflake】SnowflakeのSnowpipeを使って、S3にファイルをエクスポートすると同時にSnowflakeのテーブルにも自動でロードされる仕組みを作るAWSS3dwhETLSnowflake 今回の課題 以前、下記の記事にて、S3からSnowflakeへのデータのロードを手動で行えるように実装したので、 今回はSnowpipe機能を使用し、ファイルがエクスポートされたと同時に自動的にSnowflakeにロードされる機能を実装したい。 実装する手順 前提として、外部ステージを作成しておく必要があります。 こちらの記事では、上記の記事で作成した外部ステージであるexternal_stageを使用する。 また、上記の記事でも記載されているが、ここでの外部ステージはS3のことである。 公式ドキュメントに記載がある通り、以下の流れで処理が走るように実装していく。
デブサミ2020 登壇資料
dbt Labs社との共催イベント「What is dbt？データ基盤にdbtが必要な３つの理由」でクラスメソッドのModern Data Stackについて紹介しました #dbt_classmethod | DevelopersIO
さがらです。 2023年3月14日に、dbt Labs社との共催で「What is dbt？データ基盤にdbtが必要な３つの理由」というイベントを開催しました。 本イベントの中で、私は「dbtと仲良し！クラスメソッドのModern Data Stack」というセッションタイトルで登壇したので、その内容について本記事でまとめます。 登壇資料 クラスメソッドのModern Data Stack 昨今、SaaSを組み合わせたデータ分析基盤のことをModern Data Stackと呼ぶことが流行っておりますが、クラスメソッドとしても独自のModern Data Stackを提唱しております。 本イベントのメインでもあるdbtも組み込んだModern Data Stackとなっております。今回の登壇では、特にdbtと仲の良いFivetranとSnowflakeについて、少し厚めに説明しました。（内
スキマ時間で情報を収集できるスマートフォンの普及に伴い、Web上でリアルタイムに接客するニーズは高まる一方です。本連載ではその流れに対応するべく、リアルタイムなストリームデータ活用を実現する基盤（hacci：ハッチ）を内製した事例を紹介します。第1回では基盤に用いられた技術やアーキテクチャについて解説しました。第2回となる本稿ではリアルタイムデータ基盤の実際の導入事例や、今後の展望をお伝えします。 リクルートのビジネスモデル 具体的な施策のお話をする前に、リクルートのビジネスモデルについて最初に紹介します。リクルートは、ヘアサロン情報検索サービス「ホットペッパービューティー」や住宅情報サービス「SUUMO（スーモ）」、結婚情報サービス「ゼクシィ」のように、個人と企業をつなぐことで、より多くの選択肢を提供するマッチングプラットフォームとしてビジネスを展開しています。 例えば、「ホットペッパー
小田急電鉄は10月30日、共通データ基盤「MaaS Japan」と海外MaaSアプリのデータ連携に合意したと発表した。 MaaS Japanは、小田急電鉄とヴァル研究所が共同開発する共通データ基盤。小田急電鉄のほか、さまざまな事業者や自治体が開発するMaaSアプリで活用でき、鉄道やバス、タクシーなどの交通データや、電子チケットの予約・決済機能を提供する。 小田急電鉄は今回、欧州でMaaSアプリ「Whim」を展開するMaaS Global、シンガポールでMaaSアプリ「Zipster」を展開するmobilityXの2社と、データ連携およびサービスの検討について合意した。それぞれのアプリとMaaS Japanを接続し、日本におけるサービスの検討を進める。 また、国内においても、ミックウェアやNTTドコモ、未来シェア、OpenStreet、パムの5社と、データ連携とサービスの検討について合意。各
誰もが使えるデータ基盤とは？noteをデータドリブンな企業にするためのアーキテクチャ刷新｜noteエンジニアチームの技術記事
『施策の指針』や『KPIの数値』を決めるためには、データ分析は必要不可欠です。データという目印がなければ闇雲に開発を進めることになるでしょう。しかし、『データ活用』はすべての人間ができるわけではありません。苦手意識を持っている人も多く、社内に浸透させるのは難しい問題です。 そんな中で、noteでは「誰もが使いやすい」を目指したデータ基盤開発が進められています。職種に関係なく、欲しいデータが簡単に取得できる環境を目標に開発を行っています。 また、データ活用に慣れ親しんでもらうために、社員がデータを常に見えるような工夫もしています。データ活用を強要するわけではなく、データを扱うための下地を作り上げているのです。 久保田 勇喜 （エンジニア / データ基盤チームリーダー） 新卒で株式会社アドウェイズに入社し、事前予約サービスの日本版 / 北米版の開発を担当。その後、Bulbitでマーケティングプ
データ基盤の○層構造を独り歩きさせない データモデリング設計 Data Ops Night #1
dbtを活用したデータ基盤の 論理・物理設計の現在地と振り返り / data warehouse logic design by using dbt
VOC分析を支えるデータ基盤とモダンデータスタックの取り組み【DeNA TechCon 2023】
youtube：https://youtu.be/fokewbBeRvo 概要： DeNAのカスタマーサポートやマーケティング業務では、数多くのサービスに対する反響の分析やリスク管理などを目的に、日々蓄積されるDeNAのあらゆるサービスのユーザーのご意見やレビューデータなど活用したVOC(Voice Of Customer)分析およびソーシャルリスニングが積極的に行われています。 これらデータの活用を進めるためGoogle Cloudでデータ基盤を構築・提供してきましたが、ツール保守などの運用コスト面やデータ品質の課題などが顕著となってきました。 そこで、データエンジニアリング界隈でトレンドとなっているモダンデータスタックに着目しつつ、どう課題を解決してきたか、また現在どういったことに取り組んでいるかをご紹介します。 登壇内でのリンク集： p2, https://engineering.d
デジタルトランスフォーメーション（DX）を進めるにあたり、そのデータ基盤に米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）の「Amazon Web Services（AWS）」、米Microsoft（マイクロソフト）の「Microsoft Azure」、米Google（グーグル）の「Google Cloud」、米Oracle（オラクル）の「Oracle Cloud Infrastructure（OCI）」といったクラウド環境を選択するケースが主流となっています。本連載は「クラウドネーティブなデータ基盤設計」と題して、各種クラウドが備えているネーティブのサービスを使って、データ基盤を充実させるための実践的な方法を解説します。 例えば複雑なデータパイプラインを素早く構築したり、大容量のデータ移行を効率よく実行したり、リアルタイムに流れるストリーミングデータを自動で
セブン‐イレブン、2万1000店舗のPOSデータをリアルタイムで収集分析するデータ基盤「セブンセントラル」を構築 | IT Leaders
IT Leaders トップ ＞ 経営課題一覧 ＞ データ活用 ＞ ユーザー事例 ＞ セブン‐イレブン、2万1000店舗のPOSデータをリアルタイムで収集分析するデータ基盤「セブンセントラル」を構築 データ活用 データ活用記事一覧へ [ユーザー事例] セブン‐イレブン、2万1000店舗のPOSデータをリアルタイムで収集分析するデータ基盤「セブンセントラル」を構築 Google Cloud上にアジャイル開発で構築、BigQueryとApigeeを活用 2020年9月16日(水)日川 佳三（IT Leaders編集部） リスト コンビニエンスストアチェーン最大手のセブン‐イレブン・ジャパンが、Google Cloud上にビッグデータ活用基盤「セブンセントラル」を構築し、2020年9月より稼働開始した。同社全店舗約2万1000店のPOSデータをリアルタイムに分析可能なシステムで、BigQuery
Cloud Native Kafka - 分散データ基盤がクラウドネイティブを目指すということ
Cloud Native Days Tokyo 2022 登壇資料 Apache Kafkaは12年前にLinkedIn内で開発され、その後オープンソース化された分散データ基盤です。当初はLinkedInを始めとした超大規模ユーザーの意向が色濃く反映された技術で、ベアメタルでの稼働が前提でした。しかしKafkaの成長と利用の広がりに伴い、Kafka自身がよりクラウドネイティブに近づく必要に迫られました。 本セッションでは、今も進化を続けるApahce Kafkaの構造的な仕組み、そしてこれまでどの様な進化を遂げて今に至るのかをインフラ的な観点からお話しします。中でもKafkaの構成上必要なZookeeperへの依存をどの様に断ち切ったのか、KIP-500と呼ばれる3年に渡る取り組みについて詳しくご紹介します。
1. AlphaSQLの概要AlphaSQLはGoogleが公開し社内のSQLシステムやBigQuery, Spannerのフロントエンドとしても使用しているとされるOSSのZetaSQLをライブラリとして、主にBigQueryのクエリ群をターゲットとした静的解析ツールです。 静的解析なので、実際にBigQueryを実行して計算時間やコストを浪費するようなことはなく、手軽かつ高速にクエリの品質を検証することができます。 x86のMacOSとLinuxに関してはバイナリが配布されていますし、CI/CDでの実行も見据えてDockerイメージも用意されているので、リンク先のような使用も可能となっています。 AlphaSQLでできることは大きく以下の3つです。 複数のSQLファイルから、それらのテーブル・関数を介した依存関係を自動的に解析し、グラフ構造を出力する。 → 2. 複数のsqlからdag
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 こんにちわ。風音屋アドバイザーの@nii_yanです。 風音屋の創業者であるゆずたそさんやアドバイザーの渡部徹太郎さんが執筆した書籍『実践的データ基盤への処方箋』の輪読会を行いました！ (私も本書のレビュアーとして名前が記載されています！) レビューで少しだけお手伝いさせていただいた 実践的データ基盤への処方箋 献本いただきました！ありがとうございますmm まだすべては読めてないので、これから読むのが楽しみな本です。https://t.co/0G3hn13yd5 pic.twitter.com/nUk1CZykyH — yu yam
国立情報学研究所（ＮＩＩ）による研究データ基盤「ＮＩＩ リサーチ・データ・クラウド（ＮＩＩ―ＲＤＣ）」が２０２２年度から本格稼働した。ビッグデータ（大量データ）活用で科学技術を切り拓く「データ駆動型研究」や、研究不正防止などで期待される。情報ネットワーク基盤「ＳＩＮＥＴ（サイネット）６」の高度化と相まって、日本の研究インフラとしての立ち位置が固まりつつある。（編集委員・山本佳世子） 駆動型科学 社会課題解決に力発揮 学術研究の世界では理論、実験、計算に次ぐ第４の科学的研究手法として、データ科学の注目が高まっている。ビッグデータを集めて人工知能（ＡＩ）などで解析することで新たな知を導く、データ駆動型科学だ。 ＮＩＩ―ＲＤＣは多様な研究ビッグデータを集めて「管理」し、多くの人がそのデータを活用できるよう「公開」し、どのようなデータがあるのか探す「検索」を可能にする三つの基盤システムから成る。ビ
サマリ データ基盤の運用に便利な dbt ですが、既存のSQLを拡張SQL記法で書き換えるのが難しく、移行できずにいるチームも多いと思います。そこで、テスト機能とメタデータ管理機能のみを、既存データ基盤に手を加えることなく、導入する方法を解説します。 *dbt cloud ではなく、OSS 版の dbt を利用します。 本記事では、データ基盤の運用課題に有効な手段の一つである dbt を紹介しつつ、実際にBigQuery 上のデータ基盤に導入する方法をデモします。既存の基盤に手を加えずに、以下に示すようなテーブルに対する自動テストや、メタデータを統一して公開するwebサービスを立ち上げることができます。 テスト実行結果のイメージ Found 4 models, 2 tests, 0 snapshots, 0 analyses, 156 macros, 0 operations, 0 see
この記事は「Eureka Advent Calendar 2020」の16日目の記事です。 こんにちは、Head of BIの鉄本です。 15日目は Jun Ernesto Okumuraによるエウレカのデータ組織運営の1年間でした。今日はこの話に関連して、もう少し具体的にEureka BIチームのAnalystの分析フローを支える分析環境について書きます。主に運用の思想や仕組みづくりの紹介になります。 想定読者Data Lake・Data Ware House・Data Martなどのデータ基盤周辺知識があるAnalystを活かすデータ基盤の開発運用に興味がある前置きBIチームの紹介やAnalystの業務フローに関する前置きが少し長くなりますがお付き合いくださいませ。 お急ぎの方は、本題まで飛ばしてください。 チームのミッションとデータ基盤BIチームは、「価値のある意思決定」と「意思決定
※本エントリはクラメソビギナーズの圧倒的成長 Advent Calendar 2020の3日目のエントリです。 私はクラスメソッドへ2020年9月に入社し、もう3ヶ月が経過しました。 あっという間に経ちましたね… 私がクラスメソッドに入った理由をかなり端的に述べると「クラウドのデータ基盤やりたい！クラスメソッドなら自由に色々触ることが出来そう！」と考えていたためです。 こんな考えを持って入社した私が、これまでの3ヶ月を振り返ってみたいと思います。 Lookerのプロフェッショナルサービス まず、私の主な役割は「Lookerのプロフェッショナルサービス」です。 プロフェッショナルサービスをざっくり説明すると、取り扱っているプロダクトをお客様に導入して頂いた後、そのプロダクトをお客様の環境でフル活用してもらうためのコンサルティングやサポートを行う役割です。 近年、サブスクリプション契約のビジネ
【NIKKEI Tech Talk #2】メディア企業のデータエンジニアリング～日経のデータ基盤～ (2022/12/08 19:00〜)
お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。 2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。 お知らせ connpassをご利用いただく全ユーザーにおいて健全で円滑なイベントの開催や参加いただけるよう、イベント参加者向け・イベント管理者向けのガイドラインページを公開しました。内容をご理解の上、イベント内での違反行為に対応する参考としていただきますようお願いいたします。 12月 8 【NIKKEI Tech Talk #2】メディア企業のデータエンジニアリング～日経のデータ基盤～ 日本経済新聞社 技術企画グループが開催する技術勉強会 NIKKEI Tech Talk
DXの具体的実務：AI活用に向けたデータ基盤の構築
コンサルティング会社やスタートアップのIT系事業会社を経て、2022年12月に株式会社cross-X（https://crossx-10-tf.com/）を創業し、現職。コンサルティング会社在籍時にはパートナーとしてデータ・AI戦略プロジェクトの統括を担い、日系大手企業を中心にデジタル・DX戦略を推進。IT系事業会社在籍時には執行役員・本部長等として経営・事業マネジメントや東証マザーズ上場、資金調達を経験。現在は創業したcross-Xで、大企業のDX推進アドバイザリーやDX人材の育成支援等を担う。京都大学法学部卒業。著書に『DXの実務――戦略と技術をつなぐノウハウと企画から実装までのロードマップ』（英治出版、2022年） DXの進化 【DXの進化】 DX（デジタルトランスフォーメーション）、すなわち、「企業がビジネス環境の激しい変化に対応し、データとデジタル技術を活用して、顧客や社会のニー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート〜データ組織編〜 | gihyo.jp
Ubie Discovery における、Data Engineer と他データ基盤系職種の関係
データ基盤へのdbtとCI/CDの導入を内定者がやってみた！ | | AI tech studio
日立、IoTデータ基盤を活用したオフィスを公開--新しい働き方の実験場に
SnowflakeとTerraformで作るデータ基盤入門
データ基盤にAWSのDBサービス、Amazon Aurora採用の「〇」と「×」
非エンジニアが会社のデータ基盤整備をする話 - ジンジニアニッキ！
dbtとLookerにたどり着いたデータ基盤 ~混ざり合う境界線を考える~
データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート ～データ基盤システム編～ | gihyo.jp
丸紅やシャープ注目 国産データ基盤「テルース」とは - 日本経済新聞
LINEには開発に専念できる環境がそろっている 機械学習・データ基盤開発・AIサービス開発部門でサーバーサイドエンジニアとして働く意義
dbtとLookerにたどり着いたデータ基盤 ~しくじり先生俺みたいになるなを添えて~
正解を作る面白さがある！すべてのサービスの土台となる医療ビッグデータ基盤開発の魅力とは - JMDC VOICE
1ヶ月でデータ基盤を整え経営の解像度を変えた話
GCPでリアルタイムデータ基盤を内製――ユーザー体験を向上させる事例の紹介
MaaSの共通データ基盤「MaaS Japan」、欧州やシンガポールのMaaSアプリと連携
Amazon.co.jp: [増補改訂]ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ (WEB+DB PRESS plus): 西田圭介: 本
![Amazon.co.jp: [増補改訂]ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ (WEB+DB PRESS plus): 西田圭介: 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/7fcd1e42535a66cb4e7cbdaabbaeb77d7e8eb8d9/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F51mPVNXqgaL._SL500_.jpg)
DXの主流に、クラウドネーティブなデータ基盤設計とは何か
【BigQuery】 AlphaSQLでスキーマ安全なデータ基盤を構築する
Slackコミュニティで『実践的データ基盤への処方箋』の輪読会を行いました
研究不正防止でも注目、NIIの研究データ基盤が本格稼働 ニュースイッチ by 日刊工業新聞社
データ基盤で動いているSQLに手を加えることなく dbt を導入する
Analystのスループットを継続的に最大化させるデータ基盤の運用思想
クラウド主体のデータ基盤に憧れてクラメソ入社した男の３ヶ月を振り返ってみる | DevelopersIO