現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 | Mond - 知の交流コミュニティ
現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 熊崎 宏樹:良いですね。日曜大工でRDBMSを作るのはもっと市民権を獲得しうる趣味だと確信しています。 分散システムを作る際に気をつける事を語ると毎度長くなってしまうのですが、データ指向アプリケーションデザイン、通称イノシシ本に書いてある事をベースラインに説明すると明快であると気づきました。 * レプリケーションされるのはトラ
【衝撃】AWSのRDSがデータを失わないBlue/Greenデプロイに対応しました #reinvent | DevelopersIO
「最近は、データベースもB/Gデプロイできるらしいよ？」 「そりゃそうやろ。B/Gデプロイなんて、最近当たり前……… へ？DBが？無理でしょ？ほぇ？どういうこと？」 最初アップデートのタイトルを見たときの、ハマコーの率直な感想です。 Blue/Greenデプロイは、現行バージョンのトラフィックを活かしたまま新バージョンを動作確認し、問題なければ新バージョンをリリースするという、最近の安全なデプロイの概念において無くてはならないものです。 同時に新旧バージョンを稼働させるため、基本的にはステートレスなアプリケーション・サーバーにおいて利用するものという固定概念があったのですが、それをデータベースに対して既存のAWSの技術を組み合わせつつAWSらしいマネージドな仕組みで解決しようという、意欲的なリリースです。制約事項もそれなりにあるので、皆さんの運用ワークロードに当てはまるかは、事前の検証が必
Git for Data「Dolt」というDBの話
ここ最近、何やらデータベースの相談をされることが何やら多くなってきたmasamikiです。 今、とあるプロダクトの開発をしようと、要件まとめたり設計したりたりしてるのですが、この仕組みをやるためには…version管理いるなぁ…gitが欲しいなぁ……となってます。 そして、調べてみたところ、2年も前のものですがこんな記事を見つけました。 「DoltとDoltHubが我々の結論だ」とおっしゃってます。 Doltとは Doltは、Gitリポジトリと同じように、フォーク、クローン作成、ブランチ、マージ、プッシュ、プルできる最初で唯一のSQLデータベースです。（← by Google翻訳） おぉ、まさしく、そのままんま、これだ。 他にも、GitRows とかも使えそうかな…と思ってみていたものの、どうやら今の要件にあうのあはDoltっぽそう。 上記事だと、他にもdata.world（Microso
MongoDB、モバイル機器向けの軽量埋め込み型データベースを手がけるRealmを買収へ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます MongoDBは米国時間4月24日、モバイル機器向けに最適化した軽量の埋め込み型データベースを手がけるRealmを買収することで合意したと発表した。2010～2014年にかけて開発され、2017年に商用版がリリースされた「Realm」は、オブジェクトベースの埋め込み型データベースであり、およそ20年という歴史を持つ「SQLite」の代替としてしばしば位置付けられている。 今回の買収の背景として、「MongoDB」はモバイルアプリケーションのバックエンドとして用いられることが多い一方、モバイル機器への組み込みに適したコンパクトなバージョンがないという点がある。Realmは、10万人以上の開発者が活発に利用している人気のプラットフォームとな
BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
Facebook、Key-Valueストア「RocksDB」をオープンソース化
Facebook、Key-Valueストア「RocksDB」をオープンソース化：C++ライブラリとして構築 米Facebookは、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 米Facebookは2013年11月22日、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 Facebookによると、これまでのアプリケーションでは、ネットワークを介したリモートプロシージャコールによって各アプリケーションが管理しているデータにアクセスするのが一般的だった。しかし12億人のユーザーごとにリアルタイムで動的なページを生成しているFacebookのようなアプリケーションの場合、それでは時間が掛かり過ぎるという難点が
高速key-valueストア「Redis 2.0」リリース | gihyo.jp
2010年9月3日、key-valueストア「Redis」のバージョン2.0系となる2.0.0がリリースされました。Redisは昨今流行りのNoSQLデータベースに分類されるもので、memcachedなどと同様にキーとそれに対する値をメモリ上に保持しますが、値は文字列だけでなくListやSetなどのデータ型もサポートしていたり、終了させてもデータが消えないよう、非同期でディスク書き出しが行えるなど永続性を持っていることが特徴です。今回のバージョンアップにより主に変更された点は以下のとおりです。 複数のコマンドをアトミックに実行できる「MULTI/EXEC」 複数キーから値を取得する「BLPOP/BRPOP」コマンドの追加 非同期メッセージング（PUBLISH/SUBSCRIBE）の導入 1つのキー上に複数のkey/valueを持てるハッシュデータ型の追加 実メモリ以上のデータを扱える仮想メ
O/Rマッピングツールに対する誤解をときたい - give IT a try
2010.12.23 追記 本エントリの続編となる「実装編」のブログを書きました。 こちらも合わせて読んでみてください。 O/Rマッピングツールに対する誤解をときたい -実装編 Part1- - give IT a try 本文にコメントすると泥沼に巻き込まれそうなので、ここに書いておきます。。。 http://el.jibun.atmarkit.co.jp/g1sys/2010/05/post-2d1b.html なんかこのコラムのコメントを読んでいると、「O/Rマッピングツール(ORM)はSQLを書きたくない開発者のためのツールだ」と思われているような感じを受けます。 おいらはこれまでORMを使った開発プロジェクトに3回参加しました。 確かに最初のプロジェクトでは「SQLを書かなくてもいいんだよ」とリーダーから説明されたような記憶があります。 しかしその発想は大きな誤解です。 ORMを
Excelファイルからデータベースにインポートする·dbTube MOONGIFT
Excelで作ったデータをデータベースに取り込む、なんて要件はよくある。面倒だがExcelデータをCSVに変換して、1番目のカラムが名称、2番目のカラムが価格…なんて定義したりした経験はないだろうか。 ビジュアル的にデータのインポートを定義する それがさらに関連しているテーブルに渡って処理しないといけないなんてなったらパニックだ。そこで使ってみたいのがdbTubeだ。 今回紹介するフリーウェアはdbTube、ビジュアル的にモデル定義ができるインポートプログラムだ。ソースコードは公開されているがライセンスは明記されていなかったのでご注意いただきたい。 dbTubeの良さは何と言ってもビジュアル的にデータの定義ができることだ。Open-jACOB Draw2Dを使って元になるExcelデータとテーブルのマッピングがドラッグアンドドロップでできる。さらにExcelデータは何行目から読み出すかと言
黒猫ソフトウェア工房 - 黒猫 SQL Studio (汎用SQL開発環境/開発ツール/データベースクライアント)
■黒猫 SQL Studio 黒猫 SQL Studio は、あらゆるデータベースに接続可能な汎用sql開発環境です。 黒猫 SQL Studio には、SQLを手早く作るための入力支援機能や、 作ったSQLをライブラリとしてまとめて管理する機能が用意されています。 黒猫 SQL Studio のダウンロード 黒猫 SQL Studio はフリーウェアです。個人使用、業務使用に関わらず自由に使用することができます。 ■黒猫 SQL Studio についてもっと知りたい！ → 黒猫 SQL Studio の詳細 ■Flashデモで黒猫 SQL Studio を体験しよう！ → 5分で分かる! 黒猫 SQL Studio の使い方 → サンプルデータベースに接続してみよう → もっと見たい！ ■黒猫 SQL Studio を紹介していただきました！ → SQL
永続化対応のオンメモリKey-Valueデータベース·Redis MOONGIFT
以前に読んだGoogleに関する本にも同じような技術に関する記述があった（タブレット辺りだろうか）。Googleで使われている技術はGoogleだからこそ（圧倒的台数のコンピュータ、ネットワーク、その需要など）できることだが、その論文を元に同様の技術を一般のサービスでも利用できるレベルに落とし込んでくれる人たちがいる。 サーバを起動した所 オンメモリのKey-Valueデータベースと言えばmemcachedが有名だ。だがmemcachedは再起動すればその内容が消えてしまう。逆に常にHDDに書き込めば内容は保持されるが、ディスクアクセスが多くなってしまい利点が活かせなくなる。その中間を担うのがRedisだ。 今回紹介するオープンソース・ソフトウェアはRedis、永続化にも対応したオンメモリKey-Valueデータベースシステムだ。 RedisはKey-Valueのデータベースではあるが、一
MS Access対抗·Kexi MOONGIFT
オフィスの現場でよく使われるMS Officeの製品と言えばExcelが代表になるだろう。そして小さめの業務アプリケーションはAccessを使って構築されることが多い。この二つが便利すぎるために、MS Officeからの離脱が図れないというケースは良くある。 MS Access対抗ソフトウェアだ いきなりでは難しいかも知れないが、これから作るアプリケーションはKexiを使ってみてはどうだろう。これならばLinuxやMac OSXでも利用できる。 今回紹介するオープンソース・ソフトウェアはKexi、MS Access対抗というべきソフトウェアだ。 KexiはMS Accessライクなソフトウェアで、テーブルを作成し、クエリーを作ったりフォームを作成することができる。データはビジュアル的に編集が可能で、フォームもオブジェクトをドラッグアンドドロップで配置できる。 フォームの作成もドラッグアンド
データベース用バージョン管理システム·Deltasql MOONGIFT
プログラミングのソースコードに対してはCVSやSubversionが使われてバージョン管理が行われるようになっている。だがデータベースの構造管理は煩雑で、そのためにRailsのMigrationという仕組みは非常にウケが良かった。 管理画面。ユーザ管理などもここで行う。 ソースコードに手が加われば、データベースの構造だって変化する可能性はある。その刻々とした変化を追うにはバージョン管理システムが必要だ。 今回紹介するオープンソース・ソフトウェアはDeltasql、データベースの履歴管理ソフトウェアだ。 DeltasqlはPHPで作られたWebベースのソフトウェアで、MySQL/PostgreSQL/SQL Sever/Oracle/Sybaseに対応したデータベース構造の管理を行うことができる。実際のデータベースをそのまま管理するのではなく、スキーマ情報だけを管理するというイメージだ。その
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Oracle、「MySQL Shell for VS Code」をプレビュー公開／「MySQL」の開発・管理シェル「MySQL Shell」を「Visual Studio Code」で直接扱える
各OSに対応のオープンソースのSQLエディター/データベースマネージャー・「Beekeeper Studio」
イミュータブルデータモデル(入門編)