NTTドコモが「BigQuery」を導入した訳と、その後も「Redshift」を使い続ける訳
関連キーワード Amazon Web Services | Google | データ分析 | IaaS NTTドコモはビッグデータ分析システム「IDAP」（Integrated Data Analytics Platform）を2014年から運用している。IDAPで扱うのは、同社が通信事業で収集した通信エラーログや通信速度などのネットワークデータと、スマートライフ事業の「dポイントクラブ」「dTV」といった各種サービスから収集した会員情報や決済履歴などのデータだ。運用開始から2021年現在までの累計で約2500人の従業員が利用し、1日当たり50TBのデータを処理する。保有データは年々増加しており、2021年時点でデータの保有量は5PBに達した。IDAPの稼働開始当初はオンプレミスインフラとAmazon Web Services（AWS）のクラウドサービス群を組み合わせて運用していたが、20
データベースを遅くするための８つの方法
はじめに Twitterのタイムラインを見ていたらバッチ系のプログラムで逐次コミットをやめて一括コミットにしたら爆速になったというのを見ました。当たり前でしょ、と思ったけど確かに知らなければ分からないよね、と思って主に初心者向けにRDBを扱うときの注意点をまとめてみました。 プログラミングテクニック的なところからテーブル設計くらいの範疇でDBチューニングとかは入ってないです。 自分の経験的にOracleをベースに書いていますが、他のRDBでも特に変わらないレベルの粒度だと思います。 大量の逐次コミットをする バッチアプリケーションでDBにデータをインサートすると言うのはかなり一般的な処理です。しかしデータ量が少ない時はともかく大量のインサートを逐次コミットで処理するとめちゃくちゃ遅くなります。数倍から十数倍遅くなることもあるので、10分程度のバッチが１時間越えに化けることもザラにあるので原
10 Things I Hate About PostgreSQL
PostgreSQL performance degrades rapidly with more connections. Credit: brandur.org. Over the last few years, the software development community’s love affair with the popular open-source relational database has reached a bit of a fever pitch. This Hacker News thread covering a piece titled “PostgreSQL is the worlds’ best database”, busting at the seams with fawning sycophants lavishing uncondition
未来の自分に対し「こんなDB設計にして申し訳ない」とツイート→その通りになってしまった人の話
補足説明： MySQLには、バージョン5.7から「JSONデータ型(JSON Data Type)」と呼ばれる概念が登場しています。これにより、JSON型を直接入れられるカラムを作成できます。 便利な一方、一般的なRDBの正規化を崩すことになりますので、仕様には注意が必要です。詳しくはこちらをご覧ください。 リンク WPJ もう知ってた？ MySQL 5.7でNoSQLっぽくJSONデータを扱う方法 MySQL 5.7では、JSONデータを「JSON型」としてネイティブで扱えます。サンプルを見ながら、基本的な使い方を確認しましょう。 ※本記事は2016年5月31日に掲載した記事を一部再編集して更新したものです。執筆時点の技術情報をベースにしています。 「SQL vs NoSQL: The Differences」で紹介したように、SQLとNoSQLの境界線は、両言語が他方の特徴を取り入れる
Master data management - Wikipedia
This article contains wording that promotes the subject in a subjective manner without imparting real information. Please remove or replace such wording and instead of making proclamations about a subject's importance, use facts and attribution to demonstrate that importance. (February 2024) (Learn how and when to remove this template message) Master data management (MDM) is a discipline in which
Transaction data - Wikipedia
Transaction data or transaction information is a category of data describing transactions.[1] Transaction data/information gather variables generally referring to reference data or master data – e.g. dates, times, time zones, currencies. Typical transactions are: Financial transactions about orders, invoices, payments; Work transactions about plans, activity records; Logistic transactions about de
Master data - Wikipedia
Master data represents "data about the business entities that provide context for business transactions".[1] The most commonly found categories of master data are parties (individuals and organisations, and their roles, such as customers, suppliers, employees), products, financial structures (such as ledgers and cost centres) and locational concepts.[1][2] Master data should be distinguished from
マスターデータとは - IT用語辞典
概要 マスターデータ（master data）とは、企業内データベースなどで、業務を遂行する際の基礎情報となるデータのこと。また、それらを集約したファイルやデータベースのテーブルなど。単に「マスタ」と省略するのが一般的である。 企業などが業務で扱うデータには、取引や手続きなどに伴って日々新たに発生するデータと、取引先や商品などについての情報を記録した基礎的なデータがあり、前者を「トランザクションデータ」、後者を「マスターデータ」という。 情報の種類により「商品マスタ」「給与マスタ」「顧客マスタ」などに分かれるのが一般的である。「商品マスタ」であれば、自社で販売している一つ一つ商品の名称や型番、仕様、価格などの基本的な情報がまとめられており、これを元に受発注に関するデータベースなどが構築されていく。 例えば、継続的に取引のある顧客の様々な属性情報を受注伝票などを起票する度に毎回記入しなおすの
トランザクションデータとは - IT用語辞典
概要 トランザクションデータ（transaction data）とは、企業の情報システムなどが扱うデータの種類の一つで、業務に伴って発生した出来事の詳細を記録したデータのこと。 ファイルに記録したものは「トランザクションファイル」という。 “transaction” とは「（商）取引」の意味で、顧客との間の商品の受発注や支払い、納品などを記録したものをトランザクションデータということが多い。その場合、いつ、誰に、何を、何個売り、代金はいくらで、いつ納品で、いつ支払いか、などの情報を時系列に記録する。 広義には、顧客への販売だけでなく、原料などの購買、製品の生産、社員への給与の支払い、経費の精算など、業務上発生する様々な出来事の記録を含める場合もある。 一方、顧客や商品、社員などの基本的な属性情報をまとめた台帳的なデータのことは「マスターデータ」（master data/マスタデータとも）と
トラン系とかマスタ系とかやめた - 六の日記はこっちになったぞ
この仕事を始めた時から、データベースの御世話になってる訳ですが、「トラン系」と「マスタ系」って言葉はその当初から教えられて、自分でも使って来ました。 この言葉はどうやら一般教養らしく、今の会社に移ってからも普通に通じました。よって何の疑問も感じないで今まで使ってきたんですが。 もうやめた。やめやめ！ あまりにもシステムっぽ過ぎる響き。多分これが悪影響を及ぼしてる気がする。 仕入データを、仕入先・部門・勘定単位で月次で集計するテーブルがあるんですけど、それに対して支払指示をかける業務がありまして。これが当初、このテーブルに支払支持金額がカラムとしてありまして。単純化するとこんな感じ。 年月 仕入先 部門 勘定科目 仕入金額 支払指示金額 つまり、この月次集計明細と支払支持が1対1でしかありえないようになってる。多分最初のヒアリング時はそんな話で進んだんでしょう。始めに見せて貰った帳票なんかが
中国IT業界の急激な変革で消えるエンジニアの悲痛な叫び（ZDNet Japan） - Yahoo!ニュース
中国のミニブログ「微博（Weibo）」で、36歳になるデータベース管理者が投稿した悲痛な書き込みが、多くのITエンジニアの間で共感された。今回の記事は、変化の激しい中国ITに携わって直面した問題をつづったこの文章を紹介したい。 上海でデータベース管理者（DBA）をやっている。妻と娘がいる。36歳になるまで仕事は順調だったと思っている。働いている企業は小さく、人間関係もうまくいっている。中国の中でもプログラマーの所得が高いことは知られているが、DBAはその上流工程なので所得もいい。“BAT”こと百度（Baidu）、阿里巴巴（Alibaba）、騰訊（Tencent）ほどはすごくはないが十分だ。不動産の価格が毎年高くなる上海で、早めに家を買えて家族がいることは幸運だった。 だが、この2年間で状況は変わった。技術の発展が急激になったことは、大きなストレスになっている。さらにこの半年はひどくなってい
中国IT業界の急激な変革で消えるエンジニアの悲痛な叫び
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 中国のミニブログ「微博（Weibo）」で、36歳になるデータベース管理者が投稿した悲痛な書き込みが、多くのITエンジニアの間で共感された。今回の記事は、変化の激しい中国ITに携わって直面した問題をつづったこの文章を紹介したい。 上海でデータベース管理者（DBA）をやっている。妻と娘がいる。36歳になるまで仕事は順調だったと思っている。働いている企業は小さく、人間関係もうまくいっている。中国の中でもプログラマーの所得が高いことは知られているが、DBAはその上流工程なので所得もいい。“BAT”こと百度（Baidu）、阿里巴巴（Alibaba）、騰訊（Tencent）ほどはすごくはないが十分だ。不動産の価格が毎年高くなる上海で、早めに家を買え
jOOQで自動生成したJavaコードの管理方法＆ついでにFlywayのサンプル - Qiita
TL;DR jOOQで自動生成したO/Rマッピング用のJavaソースコードは、git管理してはいけない。 .gitignoreの対象にしておきましょう。 さもないとチーム開発のときにコンフリクトが起きやすくなり、DBの変更（テーブルやカラムの追加、変更、etc）に強いというjOOQのメリットを生かせなくなります。 ローカル開発環境のセットアップ、つまりDocker, gradle-jooq-plugin, flyway-gradle-pluginをきちんと使えば上記はラクに実現可能 ついでにDDD（ドメイン駆動設計）的な意味では、jOOQで自動生成したエンティティクラスをそのままドメインクラスとして使うのは悪手。面倒でも自作したドメインクラスに値を詰め替えましょう。 サンプルコードはこちら なお、jOOQの読み方は「ジューク」です。 Detail 2018年12月のJJUG-CCC(日本J
PostgreSQLでの透過的暗号化
NTT OSSセンタの澤田です。NTT OSSセンタでは、PostgreSQLをより便利で強力なデータベースにするために、PostgreSQLコミュニティと連携してさまざまな開発を行っています。 近年PostgreSQLの適用領域が広がってきおり、金融系システムや、個人情報を扱うシステムにも適用したいという要望が高まってきています。NTT OSSセンタでは、PCI-DSS(クレジットカードのセキュリティについて国際規約)等のよりセキュリティ要件の高い環境でもPostgreSQLを利用できるようにするために、セキュリティ機能の強化に取り組んでいます。その中でも、保存データの暗号化を行う「透過的暗号化機能」は最も注力して開発している機能の一つです。 本記事では、開発中の透過的暗号化機能の概要や特徴について解説します。 PostgreSQLの暗号化における課題PostgreSQLはPGP暗号化関
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
Firebaseでバックエンドエンジニア不在のアプリ開発 クックパッドが体感した、メリットと課題｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Firebaseでバックエンドエンジニア不在のアプリ開発 クックパッドが体感した、メリットと課題 Firebaseが依然として注目を集めていますが、早々に導入したクックパッドの「Firebase使用例」を紹介します！クックパッドの新アプリ開発で導入され、アプリやWebサイトのインフラ部分を任せられるほか、リアルタイムでデータを同期できるCloud Firestore、ログイン認証システムを手軽に実装できるFirebase Authenticationなど、さまざまな機能を活用しています。活用してわかった、Firebaseのいいところ、そして気をつけるべきポイントとは？ 「Firebaseならバックエンドエンジニアを必要としない開発ができる」 そんな話を聞いたことがある人もいるかもしれません。「Firebase」は2011年にFirebase社がサービスを開始し、2014年にGoogleが買
Railsで不要なテーブルと古いmigrationファイルを削除する - Kaizen Platform 開発者ブログ
はじめまして、ハートレイルズの境 (@kazsakai) です。 色々あって今は長野県の伊那という、地理的には日本列島の中心らへんだけどあらゆる大都市から満遍なく遠い片田舎に暮らしています。(ちなみにアニメ聖地巡礼発祥の地だそうで) Kaizen Platformさんの社員ではなくパートナーという立場ではありますが、ほぼ最初期くらいから開発に関わっているエンジニアの一人として、今回こちらのブログにお邪魔させていただきます。 Rails の不要テーブルと migration ファイルを整理したい Kaizen Platformさんのプロダクトは日々着実に拡大を続けていて、githubの社内リポジトリ数も今や200を超えていますが、そんなKaizenのプロダクトも最初期には単一のRailsリポジトリからスタートしました。 最初期のプロダクト名「planBCD」にちなんだそのRailsリポジトリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
『データベースを遅くするための８つの方法』へのコメント
Dynamic data - Wikipedia
こわくないPostgreSQLのアップグレード
