アル(https://alu.jp)というマンガサービスを作っている、けんすうと申します。 最近、マンガ新検索MNMという、イケてるサービスを作りました。 何かというと、マンガを入れると、読んでいる人が同じデータから、「だいたいこのマンガが好きな人はこんなマンガも好き」という、「距離が近いマンガ」を出してくれるというものです。 たとえば、「ドリフターズ」と入れると「HELLSING」「ヨルムンガンド」「ゴールデンカムイ」とでました。 お陰様で、結構バズりまして、いろいろなところで話題にしていただいたのです。 こういうの待ってたし、実際にやってみたら本当に好きな漫画ばかり出てきて精度もピカイチ。 「近いマンガ」がわかるマンガ新検索 MangaNearestMap #アル https://t.co/YoYhHttYus @alu_incより — なかみち (@shuhei_nakami) Ju
《特別開講》社会人のためのデータサイエンス入門
2020年9月29日開講予定の「社会人のためのデータサイエンス演習」にさきがけて、「社会人のためのデータサイエンス入門」を特別開講いたします。 入門編と演習（実践編）を受講することで、データ分析の基本的な知識から、ビジネスの現場で使われる実践的なデータ分析（統計分析）の手法までを身につけることができます。 「社会人のためのデータサイエンス演習」はこちらのページをご参照ください。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち"データサイエンス"力の高い人材が求められている。このようなことを踏まえ、本コースでは"データサイエンス"力の向上を目指し、事例なども踏まえ、データ分析の基本的な知識を学ぶ。 コースは4つの部分に分かれている。第1週では、社会でデータがどのように活用されているかについて、実際のデータを用いた分析事例を紹介する。第2週では、
Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataEngineeringStudy / 20200715
Data Engineering Study #1 の発表資料です。 https://forkwell.connpass.com/event/179786/ 当日の動画はYoutubeで閲覧可能です。 https://www.youtube.com/watch?v=hFYNuuAaiTg 参考文献 『Software Design (ソフトウェアデザイン) 2020年7月号』 https://amzn.to/30YueL7 『データマネジメントが30分でわかる本』 https://amzn.to/3fmz8Gw
リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基礎について紹介しました。 企業規模に関係なく起こるデータのサイロ化 野口真吾氏（以下、野口）：みなさんこんばんは。本日は「検索インフラ Tech Talk!」ということで、検索インフラから少し広げた話題にはなるんですが、「AWSを用いたデータレイクの基礎」というお話をします。よろしくお願いします。 最初に簡単に自己紹介します。アマゾンウェブサービスジャパンでスタートアップ担当のソリューションアーキテクトをしている野口真吾と申します。Twitterでは＠nogというIDを使って活
概要 troccoの生みの親で、現プロダクト責任者をしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事目書いていきます！（みんなも参加してね） データ分析やデータエンジニアリングにおいてETL(Extract Transform Load)という言葉を耳にしたことがある方は多いのではないでしょうか？ 一方、「ETLではなくELT（音楽グループではない）が主流になりつつある」といったような論調も増えてきました。 この記事では、ETLとELTの違いや、なぜELTにシフトしつつあるのか、この先どうなるのか（予想）について、私なりの見解を書いてみようと思います。 一昔前まではETLパターンが多かった Redshiftが登場した2013年頃、人々はデータレイク層はS3上で構築し、データウェアハウス層〜データマート層はRedshift上に組む人が多かったよう
「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 | Amazon Web Services
Amazon Web Services ブログ 「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 去年よりAWSのメンバー４名（志村、上原、関山、下佐粉）でデータレイクの基礎からアーキテクチャ、構築、運用管理までをカバーした書籍「AWSではじめるデータレイク」を執筆してきたのですが、7月出版の目処がたったことを記念して、5月末から毎週木曜にデータレイクに関するWebセミナーを開催してきました。 幸いにも大変多くの方にご参加いただくことができました。ご参加いただいた方にはあらためてお礼申し上げます。 一方で、以前の回に出られなかったので資料だけでも公開して欲しい、というご要望をたくさん頂いていました。そこで今回第1回から第3回の資料を公開させていただく事になりました。 ※ 2020/06/25更新：第4回の資料を追加公開しました 以下よりご覧いただけます。(PDFフ
医療機関データのオンプレ → クラウド移行にかけた1年と、6倍の効率化について - JMDC TECH BLOG
株式会社JMDC開発本部データ基盤開発部の中村と申します。 私が所属する医療機関基盤グループでは、昨年から今年にかけて基幹システムをオンプレからクラウド（AWS）へ刷新しました。 この移行プロジェクトは、JMDC史上トップを争うくらい難易度の高いプロジェクトだったと個人的に感じています。マネージャーの立場から今回のシステム刷新のきっかけや、プロジェクトのハードな道のり、そしてクラウド化で得られた成果などを振り返っていきます。 プロフィール 中村竜甫（https://twitter.com/rh1011_） 株式会社JMDC 開発本部 データ基盤開発部 医療機関データ基盤グループ マネージャー SIerにて広告配信システムの企画・開発・運用を経験。その後2015年9月から現職。 基幹システムの刷新リーダーを担当後、Webプロダクト開発のマネージメントを経験。現在は医療機関基盤Gマネージャとし
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い - NRIネットコムBlog 個人情報＆パーソナルデータと匿名加工について まず最初に個人情報＆パーソナルデータの定義と匿名加工について、サラッと確認しておきましょう。 個人情報＆パーソナルデータ 個人情報とは、任意の一個人に関する情報であり、かつその情報をもとに個人を特定できるものを指します。代表的な個人情報としては、名前・住所・電話番号・E-ma
こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。まずは、データの種類として、構造化データや非構造化データの説明をします。その次に、データレイクとDWHなどの用語・役割の説明をし、最後にアーキテクチャを考えてみます。 構造化データと半構造化データ、非構
Startup.fm: スタートアップのためのデータレイク構築の流れ / Startup.fm: Build a Data Lake in steps
データウェアハウスやログ分析、機械学習といった進化する分析環境に柔軟に対応する 「データレイク」は今やデータ活用に欠かせないものとなりました。 一方で、現場では以下のような疑問や課題も多く出てきているのではないでしょうか？ 「データレイク向けの関連サービスとか多くてなんかよくわからない」 「最初からデータレイクの構築は、ハードル高くて時間もコストもかかるでしょ？」 「手軽に始めたいけど、将来的にスケールできるようにもしておきたい・・・」 「とりあえず今はMySQLとかにデータ入れてるけど、次は何をすればいい？もっといいやり方ないの？」 この度そんなスタートアップのお客様向けに、データレイクセミナーの開催を決定いたしました！ これからデータレイクを始めたい方にも、データレイクをさらに効果的に活用したい方にもおすすめです。
書籍紹介：大規模データ管理(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ブログ
最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。 O’Reilly Japan はじめに私自身がデータ管理（データマネージメント）という観点でここ数年様々な検討を行ってきていますので前提としてその背景について簡単にまとめてみます。 かつてオンプレミスで運用を行っていた時は企業内のデータは完全に管理されていました。データウェアハウスを導入してデータの集約・加工は行われていましたが、専門チームがデータ仕様確認やデータ提供までもすべての責任を担っていました。品質は高いのですが利用者からの要望（新しいデータの提供、仕様の変更）の対応についてはスピード大きな制約がありました。また大規模なデータを扱うためには多大なコストが必要という制約もあります。 クラウド技術による「スモールスタートを可能とするインフラ」「大規模なデータ
S3データレイクをAWSの分析サービスを使って有効活用する #AWS-06 #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画、「AWS-06: 貯めるだけじゃもったいない！AWS 分析サービスを使ったデータレイクの有効活用」のレポート記事です。 「データはとりあえずS3に溜めておけ！」とデータレイクっぽいものは作れたけど上手く使いこなせていない方、それなりにいらっしゃるのではないでしょうか？本セッションでぜひAWSの分析サービスの活用術をおさらいしてみてください。 概要 データの持つ力を活かす方法としてデータレイクがありますが、データレイク上にデータは貯まってきたものの、どう有効活用すればいいか悩んだ経験はないでしょうか？データレイクに存在するデータと分析ツールと組合せ、活用する方法として、“レイクハウスアプローチ”があります。本セッションでは"レイクハウスアプローチ"の考え方を紹介すると共に、どのようなAWSサービスを用いて"レイクハウスアプ
データレイクの基礎から構築と運用の視点を学べる『AWS ではじめるデータレイク』を読んだ - 継続は力なり
タダです. データレイクの設計や構築,運用の勉強をしたいと思い「AWS ではじめるデータレイク」を読んだので,書評記事を書いていきます. 公式サイト techiemedia.co.jp 物理本 AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門 作者:上原 誠,志村 誠,下佐粉 昭,関山 宜孝発売日: 2020/07/09メディア: 単行本 PDF版 booth.pm 目次 本書の概要 本書で学べること 読了後の所感 まとめ 関連記事 目次 本書は以下の章立てになってます. 序章 データレイクを始めよう 第1章 データレイクの構築 第2章 データレイクの活用 第3章 データレイクの運用 第4章 データレイクのセキュリティ 第5章 ハンズオンの概要 ービジネスデータのデータレイクー 第6章 データを可視化する 第7章 サーバーレスSQLによるデータ分析 第8章 デー
AI活用やデータ分析をする前に知っておきたい！エンタープライズデータアーキテクチャ入門/ What You Need to Know Before Using AI and Analyzing Data! Introduction to Enterprise Data Architecture
次のイベントの投影資料です。 https://studyco.connpass.com/event/251782/
安全なデータレイクの構築が容易になる AWS Lake Formation がついにリリースされました | DevelopersIO
昨年のre:Invent2018で紹介されたAWS Lake Formation がついにリリースされました。東京リージョンでもリリースされましたので、早速、試してみたいと思います。 ついにきましたLake Formation. データレイクの構築が容易に。 AWS Lake Formation – Now Generally Available | AWS News Blog https://t.co/qBdo8Ubj8O — Junpei Ozono (@jostandard) August 8, 2019 Jeff Barさんよりも、大薗さんの方が情報早かったw AWS Lake Formation とは AWS Lake Formation を試してみました！ AWS Lake Formation の設定できる権限のIAMユーザー/IAMロール付与 AWS Lake Formati
【書評】データレイク構築・運用のノウハウを網羅的に学び始められる！ 『AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門』 | DevelopersIO
先日2020年07月09日、書籍『AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門』が発売されました！個人的に興味関心の強いテーマを取り上げた内容がてんこ盛りの書籍でしたので、簡単ではありますが書籍の内容について紹介させて頂きたいと思います。 「AWSではじめるデータレイク」がついに https://t.co/FvuHWrYlwH 上で予約可能になりました！7月9日発売予定です。どうかよろしくお願いいたします。 - https://t.co/do0ZeLrlrn #aws #datalake — Akira Shimosako (@simosako) June 23, 2020 テッキーメディア - BOOTH 【電子書籍版】AWSではじめるデータレイク - テッキーメディア - BOOTH AWSではじめるデータレイク - テッキーメディア - BOOTH 目
Amazon Web Services（AWS）は米国時間3月18日、異なる要件に関わらず、複数のアプリケーションで同じデータセットを使用できるようにする新機能「S3 Object Lambda」を発表した。この機能は、データを「Amazon Simple Storage Service」（Amazon S3）から取得して、自動的に処理を行い、既存アプリケーションで利用できるようにする。 「AWS Lambda」のサーバーレスファンクションサービスは、年次イベント「re:Invent 2020」で大きな注目を集めた。 同じデータセットが、異なるデータニーズを持つ、さまざまなアプリケーションで役立つ事例は幾つも考えられる。例えば、EC（電子商取引）サイトでは顧客情報の明細データをマーケティング施策で使用し、分析目的ではそうした詳細を省きたい場合などがある。 通常は、各アプリケーション向けにデ
AWS Lake Formationでのデータレイク登録からデータアクセスまで - NTT Communications Engineers' Blog
AWS Lake Formationでのデータレイク登録からデータアクセスまで この記事は NTTコミュニケーションズ Advent Calendar 2021 の16日目の記事です。 はじめに はじめまして！BS本部SS部の荒井です。データマネジメントに関するプリセールスを担当しています。 今回はアドベントカレンダー企画ということで、AWS Lake Formationに関する記事を投稿をさせていただきます。 データレイクとAWS Lake Formation 近年データ分析の盛り上がりなどから、散逸している様々な形式のデータを一元管理できるレポジトリ、いわゆるデータレイクを導入するケースが増えてきています（参考：データレイクとは）。 例えばシステムごとに保存されていた「会員データ」「購入履歴」「問合せ履歴」などのデータをデータレイクに集約することでシステム横断の顧客分析を手軽に行うこと
Dataplex: data governance
Centrally discover, manage, monitor, and govern data and AI artifacts across your data platform, providing access to trusted data and powering analytics and AI at scale.
はじめまして、Newspicksでエンジニアしています、Hoàngです。 新卒で入社し、現在はNewspicksを支えるデータ分析基盤を作っています。そのノウハウをシェアできればと思い、この記事を書きました。 なぜData lakeが必要なのか？ (AWSより引用) サービスに機械学習、AIを導入したい思ったことがありますでしょうか。あるいは、ユーザーがどのようにサービスを利用しているかを分析したいと思ったことがありますか。 ユーザ分析や機械学習をするために本番のデータベースにアクセスしたり、クエリを投げたりしてはいけません。分析、機械学習の用途で本番サービスに負荷を与えると、最悪の場合本番サービスを停止させてしまうこともあります。本番データと完全に同期されたデータ基盤があれば、このような問題にも対処できます。 また、データ分析はSQLを使うのですが、SQLではDynamoDB, Mong
データレイク解説シリーズ 第 1 回 : データレイクってなに ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは。今回から 4 回の予定でデータレイクについての連載をスタートします。現在データレイクの書籍を 4 名で執筆中なのですが、そこからエッセンスとなるポイントを抜き出し、builders.flash を読んでいただいている皆様にコンパクトにお届けします。第一回は「データレイクってなに？」です。 データレイクを一言で表すならば、多様なデータを一元的に、大量に保存して置ける場所です。データベースに入っているような構造化されたデータも、ソーシャルメディアのメッセージも、画像や音声ファイルも一箇所に集めたデータ置き場という意味です。 これを読んでいる皆様は「データベースでは駄目なの ?」と思われるかもしれませんね。巨大なデータを扱うという意味ではデータウェアハウスもありますが、これとはどう違うのでしょうか？ 今回はデータレイク理解の最初の一歩として、データレイクは、データベースやデータウェア
大塚「こんにちは、テクニカルトレーナーの大塚です。よろしくお願いします。」 下佐粉「こんにちは、アナリティクス スペシャリスト ソリューションアーキテクト の下佐粉です。よろしくお願いします。」 大塚「データ活用が広がる中で アナリティクス スペシャリスト ソリューションアーキテクトとして、そして週刊 AWS の発信と活躍されている下佐粉さんですが、下佐粉さんのこれまでのキャリアに関して聞かせていただけますか ?」 下佐粉「SIer でネットワーク系機器やモデムを制御するプログラムを書くプログラマーとしてキャリアをスタートしました。そこでお世話になったおかげで、TCP/IP やUNIX/Linux、C/C++ のスキルを身につけました。」 大塚「元々データベースではなかったんですね。」 下佐粉「はい。データベースはたまたまで、管理アプリケーションを作らなくてはいけなくなり、フロントエンド
データレイク解説シリーズ 第 4 回: 実践的なデータレイク構築方法とポイント - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは。AWS Glue & Lake Formation 開発チームの関山です。 この「データレイク解説シリーズ」では 2020 年 6 月出版予定の書籍「AWS ではじめるデータレイク」をベースに、全 4 回でデータレイクのエッセンスをお伝えしています。最終回となる今回は、実践的なデータレイク構築方法とそのポイントについて解説していきます。 今回は例として、図のような構成の一般的なウェブシステムのログデータをもとに、データレイクを構築していきます。 AWS ではデータレイクのストレージとして、Amazon S3 をオススメしています。そこで、ログデータを何らかの方法で収集して S3 にアップロードする必要があります。 ログデータはその性質上、いろんなところに点在しがちです。AWS で構築したシステムでも、EC2 インスタンスのローカルディスクにあったり、S3 にあったり、Cloud
データレイクとは？データレイクの落とし穴と効果
あるBI担当者に、「データレイクとデータウェアハウスって何が違うのですか？」と質問してみたところ、「データレイクには何でも入れられるけど、データウェアハウスには決まったものしか入れられないんだよ。」という答えが返ってきました そこで、「では、データレイクを使うと、どんなメリットがあるんですか？」と聞いてみると、「データレイクは安いんだよ。だから、容量とコストを気にせずに、いくらでもデータを蓄積できるんだ。それに、使えそうな情報だと思ったら、とりあえずデータレイクに入れておけば、誰かが活用して分析してくれるし、AIも使えるから、それで新しい洞察を発見できるんだよ。」という答えでした。 彼の言っていることは、非常に簡潔で正しい理解です。しかし、その言葉の裏には、「データレイク」の真の威力を発揮させるためのテクノロジーが複雑に絡み合っていることに留意する必要があります。 1. データレイクとは
データレイク解説シリーズ 第 3 回: AWS でデータレイクを作ってみよう - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、AWS 上原です。私を含めた AWS 社員 4 名で執筆準備中のデータレイクの書籍をベースに、全 4 回でそのエッセンスをお伝えする連載の第 3 回をお届けします。今回のテーマは「データレイクを作ってみよう」です。 書籍の後半部分はハンズオンの構成になっています。その中で私が担当した 5 ~ 9 章は、初めての方にも簡単にデータレイクが作れるように、わかりやすさに重点を置きなるべく画面キャプチャをふんだんに載せて執筆しました。どなたでも迷わずデータレイクを初めて行けます。 前回はデータレイクのアーキテクチャーについて説明しました。データレイクは以下図のように「収集」「保存」「変換」「分析」の処理パートがあります。データレイクへの「保存」とデータレイクを中心とした「収集」「変換」「分析」の処理を切り離すことで、ストレージと処理能力を別々に最適化することができ、柔軟なクラウドリソー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データが必要なサービスを、無理やり作る方法を紹介します(例：マンガ検索「MNM」)｜けんすう
AWSで“データのサイロ化”を防げ すべてのデータを1ヶ所に集めるデータレイクの作り方
なぜETLではなくELTが流行ってきたのか - Qiita
Apache Iceberg とは何か - 流沙河鎮
データ分析基盤における個人情報の扱いについて - NRIネットコムBlog
データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog
AWS、複数アプリケーションでのデータ利用を可能にする「S3 Object Lambda」を発表
Data lakeとは？データ分析基盤をゼロから作るプロセス - Qiita
データ分析の勉強方法を聞いてみた。 - 変化を求めるデベロッパーを応援するウェブマガジン | AWS