Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース
日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応できるライセンス体系を備えている。 構成はITジャーナリストの星 暁雄です。記事の最後にはプレゼントのお知らせもあります。 （※この記事は、日本アイ・ビー・エム株式会社提供によるPR記事です） ▽ IBM dashDB Local - ハイブリッド・データウェアハウスを実現する Software-Defined DWH - Japan プライベートクラウド上でソフトウェアで定義されたスケーラブルなデ
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQueryを中心としたデータ基盤 アウトプットを最大化するためのダッシュボードツール スプレッドシートによるお手軽ダッシュボード データポータル (Datastudio) データソースのUX/DX データソースの集約化 As-is ではなく As-was 分析者も巻きこみDWHの品質改善を行っていく 技術スタックはSQLを中心とする 仮想テーブル (View) <-> 実テーブル による スキーマのPoC SQLによるView/データソースのユ
DWHにおけるデータモデリングで大事にしている考え方
こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート...
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
写真2●トレジャーデータのメンバー。CEOは米レッドハットなどで勤務した芳川裕誠氏。CTOの太田一樹氏はプリファードインフラストラクチャーの前CTO。楽天で分散キー・バリュー・ストアのROMAを開発した西澤無我氏、OSSのログ収集ツールFluentdやメッセージングミドルウエアMessagePackを開発した古橋貞之氏、MongoDB JPの設立メンバー井上敬浩氏などが参加している 米トレジャーデータは2012年9月27日（米国時間）、データウエアハウス（DWH）のクラウドサービスである「Treasure Data Cloud Data Warehouse（DWH） Service」を開始したと発表した。「Hadoop」をベースにしたDWHだが、Hadoop独自の「MapReduce」ではなく、SQLのクエリーや「JDBC」「ODBC」などを使って蓄積したデータを活用できることが特徴。米国
クラウド型のデータウェアハウス（DWH）サービス「Treasure Data Service」を手掛けるトレジャーデータは12月9日、クエリの実行速度を従来比で10～50倍に高速化するというオプションサービス「Treasure Query Accelerator」の提供を始めた。 Treasure Data Serviceは、ユーザー企業が持つ大量のセンサーデータや購買取り引きデータ、Web閲覧データ、アプリケーションログデータなどをクラウド上に蓄積し、分析可能な形に整理して提供するサービス。有償版は月額3000ドルからのサブスクリプション制で利用でき、ビッグデータ活用基盤の構築・運用にかかる時間やコストを低減するとしている。 新サービスは、アドホックデータ解析向けに新たに構築したクエリエンジンを提供し、従来のバッチ型エンジンと比べてクエリ実行速度を高速化するもの。太田一樹CTOによれば、
［速報］「Greenplum Database」がオープンソースに。DWH向けMPPデータベース。Pivotalが発表
Pivotalは2月17日（日本時間2月18日午前4時）にオンラインイベントを開催。同社が提供するビッグデータ関連の3つのソフトウェア「GemFire」「HAWQ」「Greenplum Database」をオープンソースにすると発表しました。 GemFireはインメモリデータベース、HAWQはHadoop上でSQLのクエリを実行できるソフトウェア。 もっとも注目されるのがGreenplum Databaseです。これはもともとEMCが買収したデータウェアハウス向けのデータベースで、その後VMwareからスピンアウトしたPivotalのラインナップに移管されました。 Greenplum Databaseは多数のマシンに分散させたデータをシェアドナッシングのアーキテクチャにより大規模並列分散処理することで、ペタバイトクラスにまでスケールアウト可能な高性能データベースとされています。 Pivot
こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。まずは、データの種類として、構造化データや非構造化データの説明をします。その次に、データレイクとDWHなどの用語・役割の説明をし、最後にアーキテクチャを考えてみます。 構造化データと半構造化データ、非構
Cookpad TechConf 2016での青木の発表資料。大量のデータを最大限に活用するためのデータ処理システムの構築方針について
［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022
Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演には、AWS CEOのAdam Selipsky氏が生バンドの演奏とともに登場しました。 Selipsky氏は、さまざまなデータを分析する上で多数の分析ツールのあいだでデータを転送しなければならない問題を指摘し、データ転送ツールであるETLがなくなることが同社のビジョンだと説明。 新サービスとして「Amazon Aurora zero-ETL integration with Amazon Redshift」を発表しました。 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。 新サービス「Amaz
Data Platform Meetup 【vol.2】 https://data-platform-meetup.connpass.com/event/155073/ での発表スライドです。 クックパッドにおける，DWHと密に連携した機械学習プロジェクトの話です。
［1］データ分析基盤の選び方、今やDWHはクラウド一択
我が社も社内データを活用して業績を高めたいのだが、さて何から手を付ければいいのか…。 昨今のビッグデータ分析の盛り上がりで、さまざまな企業の方からこんな悩みを打ち明けられることがあります。それも、企業のトップ層から、事業部門や情報システム部門など現場の方まで、悩みの中身は様々です。 例えば情報システム部門の方なら「情報システム部門としてビッグデータに取り組みたくとも、経営陣や事業部門を説得して巻き込んでいくのが大変で…」「そもそも事業部門の方で、どのような分析が効果的かを明らかにしてくれないと、導入するITツールを選定しようもない」と嘆きます。 その一方で、事業部門の方は「ビッグデータ分析には興味があるが、情シス（情報システム部門）と話すのは大変だし、かといって自分にはシステムの知識はないし…」「ウチは店舗出身のメンバーが中心なので、データ分析のスキルを身につけさせるのは難しそう」といった
Kubernetesでアプリの安定稼働と高頻度のアップデートを両立するためのプラクティス / Best Practices for Applications on Kubernetes�to Achieve Both Frequent Updates and Stability
2010/03/15 大規模サービスを展開するWeb企業から始まったHadoop利用だが、エンタープライズ分野でも少しずつ成功事例が出てきているようだ。Hadoopの商用パッケージとサポートに特化したベンチャー企業、米Clouderaの3月10日付ブログで、ヨーロッパでターゲティング広告事業を展開するnugg.adが成功事例を詳細に報告している。報告しているのはnugg.adのCTO、リチャード・フットン（Richard Hutton）氏。 nugg.adでは、2007年から2009年までの間、PostgreSQLをベースに古典的なデータウェアハウス（DWH）によるシステムを構築していたが、2009年6月から10月にかけてHadoopベースのシステムに移行。それまで5日かかっていたような処理が1時間にまで短縮し、計算処理の大幅時間短縮によって、これまで提供が考えられなかったような付加価値サ
PostgreSQL 9.5正式リリース。DWH向け巨大データ用インデックス、アップデートとインサートを組み合わせたUPSERT、行レベルのアクセス制御など
PostgreSQL 9.5正式リリース。DWH向け巨大データ用インデックス、アップデートとインサートを組み合わせたUPSERT、行レベルのアクセス制御など さっそくHerokuでは、同社のデータベースサービス「Heroku Postgres」でPostgreSQL 9.5が利用できるパブリックベータサービスの提供開始を発表しています。 PostgreSQL 9.5では、データウェアハウスなど巨大なデータベースの検索に適したBRINインデックスや高速なソート、データの更新時に行がなければ自動的にインサートとなるUPSERT、行レベルでユーザーごとのアクセス制御を行うなど、多くの機能強化が行われています。 BRINインデックス、ソートの高速化 BRIN（Block Range Index）インデックスとは、巨大なデータベースの特定のレンジに対して高速に検索できるような新しいインデックスのこと
データアナリティクス事業本部の石川です。今週より開催しているクラスメソッド主催のオンラインカンファレンス、Developers.IO 2020 CONNECTにて「データ分析を支える技術 DWH再入門」というテーマにてセッション動画と資料を公開いたしました。 セッション概要 分かりそうで分からないDWH、何のために導入して、どのようにデータを管理・蓄積するのか、どうやって利用するのか、普通のDBと何が違って、アーキテクチャどうなっているかなど、コンサルの現場でよく尋ねられる疑問について解説します。 本セッションでは、DWHを理解するのに必要となる基礎的な用語について一通り網羅するように心がけました。DBは使ったことがあるけど、DWHはよく分からないという人には最適なセッションです。 DWH再入門 DWHの特性 ディメンジョナルデータモデル 分析データの利用 一般的なDBとDWHの相違点 D
![[動画公開] データ分析を支える技術 DWH再入門 #devio2020 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/fc9a9494072f053931dd1c9c9a7cd3a48c5728f4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F06%2F848c8d9b6e4887cb9c9c6cb87b9a2cd4.png)
前提: これは何? dbtを使ったデータプロダクトを作っている社内のチームメンバー向けに書いた勉強会用のドキュメントです 社外に公開できるように少し抽象化して書いてます DWHに限らずdbtを使ったデータプロダクトで生かせる話ですが、分かりやすさのためにDWHを題材にしています 3行まとめ elementaryはdbtを利用しているデータパイプラインに対してData Observabilityを強化するツールであり、付属のリッチなレポートやSlachへのアラート通知が便利です しかし、実はelementaryが内部で生成している成果物はDWHの改善に役に立つものがたくさんあります 本エントリではelementaryの成果物や役に立つ実例を多めに紹介します 前提: これは何? 3行まとめ 背景: DWHとデータ品質 Observability / Data Observabilityについて
日本HPは、分散ファイルシステム上のデータをMicrosoft ExcelやWebブラウザ上で活用できるアプライアンス製品を発売した。 日本ヒューレット・パッカード（日本HP）は4月23日、ビッグデータ分析向けデータウェアハウス（DWH）アプライアンス製品「HP AppSystem for SQL Server 2012 Parallel Data Warehouse」（HP AppSystem for PDW）を発売した。5月に出荷を開始する。 HP AppSystem for PDWは、日本マイクロソフトの大規模DWH製品「SQL Server 2012 Parallel Data Warehouse」（PDW）と日本HPのハードウェアを組み合わせたアプライアンス製品。Hadoopとの連携によって非構造化データと構造化データを一元的に処理できるほか、スケールアウト構成によって最小225
米グーグル（Google）は2018年7月25日（米国時間）、クラウドのDWH（データウエアハウス）サービスである「BigQuery」に機械学習の機能を追加した「BigQuery ML」を発表した。ユーザーはSQLクエリーを使って機械学習モデルを開発したり、DWH内のデータに対する推論を実行したりできる。
JAWS Festa Kansai2013のLTで発表した資料です。 Redshiftは高い買い物ですが、DHW意外の使い方もありますよという話。
BI/BA/DWH：焦点は“ビッグデータ”と「Hadoop」--そしてリアルタイム化 - レポート - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 2009年に引き続き2010年もビジネスインテリジェンス（BI）と、その基盤となるデータウェアハウス（DWH）市場では、さまざまな動きが起きている。企業買収もあれば、新技術の台頭もある。この1年間にBIとDWHの市場でどんな動きがあったのかを振り返ってみる（2009年については「激化するBI戦争はDWH分野へと戦線拡大」を参照していただきたい。またBIがどんなものなのかは「BIによるデータ活用ことはじめ」でとても分かりやすくまとめられているので、是非参照してもらいたい）。 IBMとEMCの買収 2010年を振り返ってまず注目できるのが、IBMによるDWHアプライアンス専業ベンダーNetezzaの買収だ。IBMは2007年11月にBIソフ
Google BigQuery で Data Warehouse を構築する話 対象がビッグデータじゃなくても、それなり利用価値はありそうです Perl からどう使うか、も少し触れてみたい
［2］OLTPとDWHは並び立つか
OLTP（オンライントランザクション処理）系とDWH（データウエアハウス）系、異なるワークロードをいかに連携し高速処理するかがユーザーニーズとして浮かび上がってきた。カラムナーとインメモリーを活用することは各社共通だが、実装方法や活用指針には差がある。“脱バッチ処理”へと向かうトレンドを探った。 司会： 製品を見ると、各社とも「インメモリー」「カラムナー」がキーワードになってきました。こうした機能は、ビッグデータを扱いたいとか、クラウドで使いたいといったユーザーニーズに合っているのでしょうか。 日本マイクロソフト：北川 データベースの利用形態は大きく、OLTP（オンライントランザクション処理）系とDWH（データウエアハウアス）系の二つに大別できますが、その中でさらなるパフォーマンスを求める顧客が増えています。ただし、今までのカリカリのチューニングを求めるというよりも、速くなれば速くなるだけ
ビッグデータに挑む世界中の企業が注目する日本製OSS（オープンソースソフトウエア）が、大量のログデータを高速で集める「fluentd（フルーエントディー）」だ。開発者の古橋貞之氏は、米国でトレジャーデータを共同起業。「DWH（データウエアハウス）クラウド」の開発を主導する。 米国ではプレゼン資料共有サービスのスライドシェアや、オンライン広告最適化技術を開発するコンテキストロジックが、分析用データの収集にfluentdを使い始めました。グリーやNHN Japanといった日本企業のほか、シンガポールの動画配信サービス「Viki」や中国のオンラインTV「PPTV」もfluentdのユーザーです。 fluentdは、様々なシステムが蓄えたログデータを「JSON」という分析に適した形式に変換したうえで、高速に集めるツールです。既存システムの多くは、分析に向かないテキスト形式でログデータを保存していま
仕事柄、情報分析目的のRDBMSを触ることが多いのですが、こういった情報分析用途に用いるDBをDWH*1と言います。 以前、勉強会の懇親会でユーザーの立場でこういったシステムの構築に関わっているが、経験がなく、どのように構築していいかわからない。 またこの手の知識をどう勉強していいかわからない。と仰っていた方がいました。 別に大して難しい話でもないのですが、独自の単語が多い上、意外と資料がなくて困る分野だなとは思います。 そういうわけで、もしこの手の分野が難しいと感じている方は損をされています。 ぶっちゃけ、DWHは簡単な概念を少し覚えるだけで、もうプロフェッショナルになれます。 ベンダーやSIerともベシャリまくれることができます。 というわけで、自分なりにDWH関連の初歩の知識である上記の簡単な概念をまとめてみることにしました。 押さえておきたい単語は以下の6つ。 情報系システム、DW
「MapReduce」をサポートし、高速・安価を実現したDWH：180万ドルで100テラバイトクラスのDWHを実現 現在ほとんどの企業では、企業内データの急増に頭を悩ませている。同時にデータを集約し、分析する重要性も増している。従って、急増しているデータを有効活用するために、DWH（データウェアハウス）やBI（ビジネスインテリジェンス）などのツールを導入する企業も多い。ただし、分析基となるデータが急増しているために、DWHやBIの処理速度が遅いとクエリに対する処理に時間がかかり、実用面で問題が生じているのも事実だ。このことから、各DWHベンダはさまざまな手法でクエリの処理速度向上を目指している。その中でソフトウェアの並列処理だけで高速DWHを提供しているのが米グリーンプラムだ。今回は、米グリーンプラムでアジアパシフィック地域担当副社長を務めるキース・バッジ（Keith Budge）氏に話を
今こそ注目！DWHにおけるデータモデリングとその歴史
近年、最新技術を用いた華々しいデータ活用が注目される一方で、データ活用のための基本的かつ重要な技術である「データモデリング」について、その重要性が再認識されつつある。 本稿では、DWHをとりまく歴史を踏まえ、様々なデータモデリング技法を紹介する。 目次なぜ今、データモデリングに注目すべきなのかDWHの誕生と発展に貢献した二人の偉大なアーキテクトクラウドDWH時代の最新データモデリングDX時代にデータを使いこなすためになぜ今、データモデリングに注目すべきなのかAIやBI、データドリブン、データ民主化、DX、デジタルサクセス。データ活用業界には様々なトレンドが渦巻いています。しかし、これらの根本を支える技術として、不変のものもあります。リレーショナルモデルとSQLです。 NoSQLやデータレイクの流行によって隅に追いやられていた時代もありましたが、データを分かりやすく扱う上で未だにリレーショナ
データウエアハウス（DWH）のオープンソースソフトウエア（OSS）のである「InfiniDB」の開発元、米InfiniDB（旧社名はCalpont）が2014年9月19日、営業を終了することを明らかにした。OSSとしての開発はコミュニティが継続する。日本におけるInfiniDBの販売代理店であるアシストは2014年9月22日、日経コンピュータの取材に対して「当社として既存顧客へのサポートを継続することを決定した」と述べている。 米メディアの報道によればInfiniDBは9月19日にCEO（最高経営責任者）であるBob Wilkinson氏による声明を発表し、同社の営業を停止して会社の法的整理を行うことを明らかにしたという。日本の代理店であるアシストも「海外メディアで報道されていることは事実」と述べている。 InfiniDBは「MySQL」をベースにした並列型のDWHソフトだ。InfiniD
※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQueryを中心としたデータ基盤 アウトプットを最大化するためのダッシュボードツール スプレッドシートによるお手軽ダッシュボード データポータル (Datastudio) データソースのUX/DX データソースの集約化 As-is ではなく As-was 分析者も巻きこみDWHの品質改善を行っていく 技術スタックはSQLを中心とする 仮想テーブル (View) <-> 実テーブル による スキーマのPoC SQLによるView/データソースのユ
この記事はdbt Advent Calendar 2022の12月1日の記事です。 サマリ DuckDBとdbtを使えばローカル環境で一定のデータ量であればオレオレDWHっぽいものが作れるようになる 社内にデータ分析基盤がない、データ活用しようにもデータ基盤がなく本格的に取り組もうと思うとセキュリティや運用までかんがえると始めることすらままならないようなプロジェクトや会社でも始められる可能性がある MLのデータの前処理とdb Pythonモデルを使ってローカル環境で一定のクレンジングと前処理のパイプライン等も作れるかも？ DuckDBとは？ SQLiteをベースとした軽量で高速なOLAPデータベースです。 近年のPCのメモリ増加で16GBとか乗っていると数百万行ぐらいのデータでもローカルで高速に一定処理することが可能になってしまっています。 詳しくは @notrogue さんが書いた記事を
2017年9月6日 db tech showcase 2017での発表資料「Amazon RedshiftとAmazon QuickSightで実現する、長く使えるDWH作り」です。 http://www.db-tech-showcase.com/dbts/tokyo
Excelファイルを読み取って分析可能で、急激なデータ増加にも対応するクラウドDWH。高速化の秘密は列指向型、動的インメモリ処理など。IBM dashDB［PR］
Excelファイルを読み取って分析可能で、急激なデータ増加にも対応するクラウドDWH。高速化の秘密は列指向型、動的インメモリ処理など。IBM dashDB［PR］ クラウドの登場によって、大規模なデータ分析は以前よりもずっと身近なものになりました。高価なサーバやデータベースソフトウェアのインストールなどの手間をかけずとも、低コストですぐに利用を開始できるデータウェアハウス（DWH）やOLAPのサービスが、クラウドで提供されるようになったためです。 特に「マネージドサービス」と呼ばれる、クラウド側でデータのバックアップやソフトウェアのセキュリティパッチの適用、アップグレード、障害時の復旧などの運用まで行ってくれるクラウドサービスであれば、利用者は運用の手間にわずらわされることなくデータの分析に集中できるようになります。 IBMが同社のクラウドサービスであるBluemixで提供する「IBM d
テラデータ、Amazon EC2を活用したパブリッククラウドDWH：フルSSD構成の高速DWHも近日発売 日本テラデータは3月5日、報道関係者向けの記者会見を実施。米テラデータ CEO マイク・コーラー（Michael F. Koehler）氏や日本テラデータ 代表取締役社長 吉川幸彦氏が、新製品や2010年度戦略について説明した。 米テラデータの2009年売上高は17億900万ドルで、前年比3％減だった。この点についてコーラー氏は「リーマンショックの影響で非常に苦しい情勢だったが、コンサルティングや営業力を強化した結果、何とか微減で持ちこたえた」と評価した。 売り上げの内訳は、金融が1番多く28％、通信23％、小売17％、製造10％、ヘルスケア8％と続いた。中でもヘルスケアは前年比で売上高が2倍で急増しているほか、公共も5％から7％に拡大しているという。 フルSSD構成の高速DWHを近日
2016年の国内ビッグデータ／分析ソフトウェア市場の規模は約2300億円。クラウドDWHの成長にオンプレミスDWHへの投資も。2021年まで年平均8.4％成長
2016年の国内ビッグデータ／分析ソフトウェア市場の規模は約2300億円。クラウドDWHの成長にオンプレミスDWHへの投資も。2021年まで年平均8.4％成長 調査会社IDC Japanは、国内のビッグデータおよびアナリティクスソフトウェア市場の調査結果と市場予測を発表しました。 発表によると、2016年の国内ビッグデータ／アナリティクスソフトウェア市場は前年比8.0％増の高い成長率を記録し、市場規模は2282億6000万円。 成長の要因としては、クラウド型DWHソリューションの好調が継続している一方で、オンプレミス型の製品においても大型の導入が続いたためとのこと。企業はクラウドとオンプレミスの併存するデータアナリティクス環境を利用していると同社は分析しています。 2021年までの予測では、ビッグデータ／アナリティクスソフトウェアへの投資は徐々に企業のデジタルトランスフォーメーション（DX
エンタープライズ向けのアプリストアを次々に発表するヒューレット・パッカード。DWHのVertica向けアプリストアを発表。企業向けモバイルアプリストア、SDNアプリストアも
米ヒューレット・パッカードがエンタープライズ向けのアプリストアを次々に発表しています。2月10日付で発表したのは、データウェアハウス向けデータベースのVertica用アプリストア「HP Vertica Marketplace」です。 Verticaに対応した拡張機能やサードパーティのアプリケーションのポータルとして機能し、有償もしくは無償でソフトウェアを入手できます。 すでに公開が開始されており、「HP Vertica Connect for Hadoop」や「VoltDB width Vertica Export Client」など多数のプラグインなどが入手可能になっています。 The HP Vertica Marketplace provides a hub for developers, partners and customers to create and share exten
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 人間というのは、いつでも目の前で起きていることがどんな意味を持つのかは理解することができない。それが終わってしまって、しばらく経ってから、ようやくその意味を理解できるのが常だ。 天才や秀才の類ならば、起きていることの意味をリアルタイムに理解できるかもしれないが、凡人である私は、そうした天賦に恵まれていない。本企画は2009年を振り返るという趣旨だが、凡人の手にかかると、2007年から振り返らないといけなくなってしまう。なぜか？ “戦争”は2007年から始まっているからだ。 大手ベンダーがこぞって買収 戦争の号砲が鳴り響いたのは、2007年3月。データベース（DB）を中核とするOracleがビジネスインテリジェンス（BI）アプリケーション
OLTPとは？OLAPやDWHとの違いをわかりやすく解説
データ処理の基本として、あるいは主流として挙げられるのが“OLTP(OnLine Transaction Processing)”です。 また、OLAP(OnLine Analytical Processing)やDWH(Data WareHouse)といった処理方法やデータ管理方法もありますね。 正直、非エンジニアの方からすれば「何がどう違うの？」といったところでしょう。 しかしそんなことも言っていられないのが事実。 ビッグデータ時代に突入してからというもの、専門家以外でも当たり前のようにデータ分析や処理が任されるようになってきています。 本稿を読まれている方の中にも会社の上長からいきなり「データ分析担当よろしく」と言われた方がいらっしゃるのではないでしょうか。 「そんなこと言われていない」という方でも、今後データ分析や処理に関わるシーンは必ず訪れます。 そこで今回は、OLTP・OLAP
オープンソーステクノロジを基盤としたDWH用データベースエンジン Greenplum Databaseの仕様 - Meru Networks, Inc. 東京エレクトロンデバイス
Greenplum Databaseはオープンソーステクノロジを基盤としたDWH用データベースエンジンです。PostgreSQLにシェアード・ナッシング・アーキテクチャを拡張することで、複数のPostgreSQLデータベースインスタンス間の通信を可能にし、システムを1つの論理データベースとして動作させます。そのデータベースに対する並行クエリ実行、並列データロードで、大規模データウェアハウスを構築できる様々な機能をサポートしています。 またGreenplum Databaseは巨大ポータルサイトで分散処理アーキテクチャとして証明されているMap Reduceを実装し、クエリだけではなくプログラムの並列処理も可能にすることで開発リードタイムを短縮します。 これによりキーワード分析やコンテンツ索引化などさまざまなアプリケーションで膨大な非構造化データの分析も投資を抑えて高速化させることができま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog
データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
日本を代表するビッグデータ技術者集団が米国で起業、米トレジャーデータがDWHクラウド開始
数百億件のデータを30秒で解析――クラウド型DWH「Treasure Data」に新サービス
データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog
Cookpad TechConf 2016 - DWHに必要なこと
DWHを活用した機械学習プロジェクト/ml-with-dwh
DWHにおけるデータモデル 定番から最新トレンドまで
5日間の処理を1時間に短縮 DWHからHadoop移行で成功事例、欧州広告企業 − ＠IT
[動画公開] データ分析を支える技術 DWH再入門 #devio2020 | DevelopersIO
DWH改善に生かす! 入門elementary - yasuhisa's blog
AWS、DWHサービスのサーバーレス版「Amazon Redshift Serverless」を一般提供開始
日本HP、Excelでビッグデータ分析できるDWHアプライアンスを発売
グーグルのDWHが機械学習に対応、「BigQuery ML」を発表
RedshiftはDWHだけじゃない
Google BigQuery で DWH 構築 - YAPC::Asia Tokyo 2014
OSSで世界に挑む 在学中に起業し渡米 DWHクラウドを提供
これを読めばあなたもプロフェッショナル！DWH入門 - Analyze IT.
「MapReduce」をサポートし、高速・安価を実現したDWH
OSSのDWHソフト「InfiniDB」の開発元が営業終了、国内サポートはアシストが継続
ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog
DuckDBとdbtとRillで作るローカルで動くDWHっぽいもの
Amazon RedshiftとAmazon QuickSightで実現する、長く使えるDWH作り
テラデータ、Amazon EC2を活用したパブリッククラウドDWH
激化するBI戦争はDWH分野へと戦線拡大--2009年を振り返る：田中編