RDBのデータモデリング・テーブル設計の際に参考にしている考え方と資料
はじめに タイトルのとおり、RDBのデータモデリング・テーブル設計を行う際に参考にしている考え方と関連資料をまとめました。 P.S. なんと本記事内でいくつか参考として挙げさせてもらっている増田さん・かとじゅんさん・奥野さん・そーだいさんからコメントいただくことができました。 本当にありがとうございます。 前提 RDBを採用するのは事実を無駄なく正しく記録するため 正規化、トランザクション、制約とデータ整合性 基本的には始めに理想として集合論・リレーショナルモデルに基づいて正規化を考え(論理設計)、パフォーマンスなどの現実問題に対して折り合いをつけていく(物理設計) 制約を最大限利用する cf: ↑P91〜 ↑P.29,41 ↑P56〜 ↑5章 ↑P347～ 情報とデータ データ：単なる事実の値→これを永続化して蓄えるものがRDB 情報：データから生み出される意味や目的のあるもの→RDBか
イミュータブルデータモデルの極意
2021/11/24 「イミュータブルでゆこう」イベントの資料です。 データをリソースとイベントに場合分けして考えようという至極単純な話を1時間ほどしました。Read less
ゼロから作る時系列データベースエンジン
軽量な時系列データベースエンジンをスクラッチで開発する機会があったので、どのように実装したのかを必要知識の解説を交えながらまとめていきます。 実装はGo言語によるものですが、本記事のほとんどは言語非依存な内容となっています。 モチベーション 筆者は時系列データを扱うツールをいくつか開発しています。その中の一つであるAliは負荷テスト用のcliツールで、メトリクスをクライアント側でリアルタイム描画できるのが特徴です。リクエスト毎にレイテンシーなどの計測結果が際限なく書き込まれてくる中、同時に一定のクエリパフォーマンスが求められます。 これは言ってしまえば、簡易クエリ機能付きのpush型モニタリングシステムを単一ホストで実現するようなものです。 以前までの実装ではヒープ上の可変長配列にデータポイントを追加していくだけだったので、当然ながら時間の経過とともにメモリ使用量が増加していく問題を抱えて
「管理表」や「一覧表」にまだExcel使ってる？SQLiteで簡単RDB化のすすめ | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
SQLiteExcel業務改善 情シス担当のますいです。 業務で「管理表」や「一覧表」を作成する機会は多いですよね。しかし数が増えるとデータを最新に保つのが大変です。 たとえば、弊社ではかつて人の異動やPCの入れ替えがあるたびに「資産管理表」「ソフトウェアライセンス割り当て表」「IPアドレス管理表」など様々なExcelファイルを更新する必要がありました。同じ情報を複数のファイルに同じように書き込む必要があって、運用していくうちに不整合が多発していました。 こんなとき、技術者ならこう考えることでしょう。「こういうデータってRDBで管理した方が楽だよな」と。 Excelの操作感とリレーショナルなデータ管理の両立 RDBによるデータ管理は整合性の面では運用管理がしやすいですが、更新のためにいちいちSQLを書くのは不便。MS Access を利用するのも1つの手ですが、XLOOKUPを駆使したりP
![「管理表」や「一覧表」にまだExcel使ってる？SQLiteで簡単RDB化のすすめ | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9e18370899a49faf5693ed9689a1d8a0f77670f/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F05%2Fs_SAM_42189.jpg)
イミュータブルデータモデルと webアプリケーションにおける現実解 - Qiita
これは第2のドワンゴ Advent Calendar 2017の5日目です 5日11時時点で2日担当の yonex がまだ記事書いてないですが、気にせず続けます。niconico(く)のリリースが来年と聞いて残念な気持ちです。 おめー誰よ？ ドワンゴ Advent Calendar皆勤賞っぽいですが、私はドワンゴ社員ではありません。 定年をとうに過ぎたおじさんです。 前置き web アプリケーションの開発において、データモデリングはとても重要です。 SIerではDBAとか言って専門の設計担当がいるみたいですが、中小webサービス企業でそこまでの分業ができるわけもなく、大体においてwebアプリケーション(サーバサイド)エンジニアが担当することになります。 詳細はリンクに譲りますが、「履歴を全て残すようなデータ設計にし、 UPDATE を廃することで情報の追跡可能性を確保、堅牢な設計にする」モ
イギリス経験論とイミュータブルデータモデル - Qiita
チームの Advent Calendar 用 第二弾です。（第一弾） ＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊ 人間は知覚の束である by デイビッド・ヒューム エンティティはイベントの束である by Ｎ氏（職場のエライ人）1 ＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊ ２人の偉人の言葉に相通じるところを感じ，考察してみることにしました。 17世紀から18世紀，哲学の一分野である認識論において，イギリスを中心とする経験主義的な「イギリス経験論」とヨーロッパ大陸（フランス，ドイツ，オランダなど）を中心とする合理主義（理性主義）的な「大陸合理論」による論争が続けられていました。2 source @startuml "近世哲学" package "近世哲学" as modern_philosophy { package "大陸合理論" as rationalism { } package "イギリス経験論" as
社内SQL研修のために作った資料を公開します | 株式会社AI Shift
こんにちは、Development Teamの三宅です。 先日、社内（AI事業本部内）でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。 はじめに 例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践（チーム開発）でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。 研修資料 研修内容 SQL研修の内容は、基本的には大学のデータベース講義で
業務から見たテンポラルデータモデルの解釈と利用方法の紹介
FOLIO Advent Calendar 2020の25日目の記事です。 これはなに 金融機関は業として金融商品や為替の取引を行ないますので、それに付随してお客様のお金や証券といった保有資産を管理が必要となります。 お客様の資産ですので1円でもズレることがないよう、厳密な管理が求められます。 特に顧客資産を含むようなデータの履歴管理は、(意識的, 無意識を問わず)不正な操作が行なわれていないことを担保するために重要です。 一方でデータの履歴管理を実現するデータモデルとして、テンポラルデータモデルが存在します。 テンポラルデータモデルは履歴管理が可能ではあるのですが、寡聞にしてどのような業務にどのテンポラルデータモデルを適用するべきかについて述べられた日本語記事はないように思われます。 実際に私が関わったシステムでテンポラルデータモデルを採用したのですが、どの業務でどのテンポラルデータモデ
［DB/SQL］要件をテーブルに落とし込む手法のメモ書き（複式簿記のテーブル設計を例に） - Qiita
「複式簿記」に興味を持った理由 ・グーグル日本法人の社長を勤めた村上憲郎さんが「エンジニアとしてキャリアを始めた時に簿記を勉強させられたがそれが後に役に立った」と書籍に書かれていたから。 そもそも「複式簿記」とは？ ・どこからいくらお金を調達して（=負債または収益）、 ・何にいくらお金を支払ったのか（＝費用） ・または、調達したお金をどういう形でいくら保管しているか（＝資産）を記録する手法。 （目的） ・決算日における資産状況を把握する貸借対照表（B/S）を作成 ・１年間の損益や当期純利益を把握する損益計算書(P/L)を作成 テーブル設計の流れ ①要件の把握 >> ②概念設計 >> ③論理設計 >> ④物理設計 要件の把握
tblsを使って既存データベースからデータベース定義書をMarkdownで出力する方法｜ふじい
データベースの寿命はアプリケーションよりも長い というけれど、データベース定義書というものが無く、カラム名やコメントやソースコードから使われ方を類推して、それっぽいところに、それっぽいデータを入れるなんてことありますよね。 またリレーションを確認するためテーブル全体を俯瞰して眺めたいって時もありますよね。 そんな時に、役立つのが既存のデータベースからデータベース定義書を作成してくれるtblsです。 tblsとはMITライセンスで公開されているOSSです。 tbls is a CI-Friendly tool for document a database, written in Go. Go言語で作られたデータベースをドキュメント化するためのCIフレンドリーツールです。 そうCIフレンドリーツールなんです。 ここではドキュメント生成に重点を置いて説明しますが、README.mdを見ると、下
楽々ERDレッスンを読んだ - patorashのブログ
TLで良書だというのをチラホラと見かけていたのだけれど、結構古い本なので迷っていたのだが、今でも通用しそうな内容っぽいので買って読んでみた。 TLで見かけてた、楽々ERDレッスンを手にいれたので読んでいく。 pic.twitter.com/f7WEl6mHft— パトラッシュ@エキスパート職 (@patorash) 2021年2月1日 感想から書くと、これもまた「UNIXという考え方」と同じで、もっと若いうちに読みたい本だった…😇 この本の内容を知っていれば、データベース設計で悩むことも相当減っていたと思うし、プログラムで苦しむことも減っていたと思う。つまり、この本は「買い」です。かなりお薦めできる。もう読んでいる途中から社内のTeamsでは良書だと言いまくった。めちゃめちゃプッシュしたからか、後輩の何人かも買ってくれたみたいだった😋 ちなみに「UNIXという考え方」の感想はこちら。
整然データとは何か｜Colorless Green Ideas
整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d
データ可視化ツール(Metabase, Redash, Superset)の比較メモ - Qiita
データをグラフで見たり、絞り込んで個々のレコードを見たりする目的のデータ可視化ツールとして Metabase, Redash, Supersetの3つを軽く調べました。どれも本格的に使う前にちょっと触っただけ、あるいは使ったことある人からの伝聞情報です。感覚的な感想に留まりますが、メモとして残しておきます。 Redashにでしか対応していないデータソースや機能が必須という場合を除いて、Metabaseが全体的によさそうな印象です。 Metabase JVMだけ準備すれば簡単に起動できる Clojureで実装されている（読める人が少ないという意味では懸念点） SQLの知識は不要 個々のレコードの表示も便利 棒グラフの棒をクリックするとレコード表示に遷移する 見た目がきれい グラフごとにURLが付与されるので社内共有などが楽 「無料なのにここまでできるのか」 Redash ネット上に知見は多い
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【T3】SQL チューニングの基礎 高塚 遥
GitHub - etcd-io/bbolt: An embedded key/value database for Go.
GitHub - k1LoW/tbls: tbls is a CI-Friendly tool for document a database, written in Go.
shiodaifuku.io
dbdiagram.io - Database Relationship Diagrams Design Tool
dbdiagram.io - Database Relationship Diagrams Design Tool
時系列データ用のスキーマ設計 | Cloud Bigtable ドキュメント | Google Cloud
