etcd から始める分散合意システム入門
この記事は Kubernetes Advent Calendar 2023 の16日目の記事です。 kubernetes のデータストア 私達が普段 manifest ファイルとして記述している Kubernetes objects [1] は kubectl など[2]を通して kube-apiserver にリクエストを送信し、そのオブジェクトは etcd に保存されます。 なぜ etcd なのか etcd は一貫性と高可用性に優れた分散KVSです。 kubernetes で主に使われるデータストアは etcd ですが、 設定で変更することも可能です。 ところで、 etcd は kubernetes のために開発されたものではありません。 CoreOS チームによって 2013 年に開発が始まり[3]、その後 kubernetes のデータストアとして採用されました。[4] etcd
GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる
GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる GitHubが提供するGitHub.comは、世界最大のソースコード管理システムを始めとするソフトウェア開発者向け支援サービスを提供しています。 そのGitHub.comはRuby on Railsで構築されており、同社はつねにRubyとRuby on Railsをアップデートし続けていることを今年（2023年）4月に明らかにしています。 参考：GitHubは200万行規模のRailsアプリケーションであり、毎週RailsとRubyを最新版にアップデートし続けている そして同社はこのGitHub.comを支える1200台以上のMySQL 5.7を、GitHub.comのサービスレベルを維持したまま1年以上かけてMySQL 8.0にアップグレードしたことをブログで明らかにしました。 Up
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得ら
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得られるということなのだと思うので、可能であればMVCCを採用したいのですが、あまり初学者向けの実装例も見当たらず、どうしたものかと悩んでおります。 SS2PL/S2PLとMVCCの実装の難易度・工数はどの程度違うものなのでしょうか？ また、初めてリレーショナルデータベースシステムを開発する者
アニメNEXT 100 日本のアニメーション研究 １：日本のアニメ大全 国産商業アニメーション映画第一号に関する調査レポート 2017/01/01 中間報告
Qzil.la、世界的NFTプロジェクトAzukiのアニメアンソロジーシリーズ『Enter The Garden』を制作 エピソード1『The Waiting Man – 待つ男 -』のPVを本日公開 2024-04-12 リリース提供：Qzil.la株式会社 『神統記(テオゴニア)』TVアニメ化決定！！ノベル1～3巻・コミックス1～10巻好評発売中＆最新11巻は4/5(金)発売 2024-04-10 リリース提供：株式会社主婦と生活社 色彩検定はイケボで勉強!? 受検生を全面サポート。声優・緒方恵美、オラオラ系でミステリアスな講師役に！イケボ講師による色のユニバーサルデザイン解説動画。斉藤壮馬、木村良平、杉田智和演じる先生との掛け合いも 2024-04-10 リリース提供：公益社団法人 色彩検定協会
排他制御のためだけに Redis 渋々使ってませんか？データベース単独でアドバイザリーロックできるよ！
トランザクション分離レベルについての教養があったほうがこの記事の内容を理解しやすいため，必要に応じてまず以下を参照されたい。 背景 以前， Qiita で以下の記事を投稿した。今回の議題に直接的な関係はないが，関連している部分があるため引用する。 MySQL/Postgres とも， MVCC アーキテクチャの恩恵で， SELECT と UPDATE は基本的には競合しない。 単一レコードのシンプルな UPDATE でも排他ロックされ，排他ロック中のレコードへの UPDATE での変更操作は トランザクション分離レベルによらず ブロックされる。UPDATE 文に含まれる WHERE 句での検索もブロックされ，これはブロックされない SELECT による検索とは別扱いになる。 但し UPDATE 文の WHERE 句上で，更新対象をサブクエリの SELECT から自己参照している場合は例外。
SQLアンチパターン簡単まとめ
「SQLアンチパターン」について、自分の勉強がてら内容を簡単にまとめました。 「とりあえずSQLは触れてWebアプリが作れる」「シンプルなアプリを実務で作ったことがある」くらいの人が読むととても勉強になると思います。 また、「現場での良くない設計」が詳細に言語化されているので、経験豊富な人でも新たな発見があると思います。 詳しく知りたい方は是非本を買って実際に読んでみて欲しいです。 第一章 ジェイウォーク パターン 1カラムにコンマ区切りで値を入れて複数の紐付きを表現しようとする なぜダメか 検索しづらい 文字列カラムの文字数制限という暗黙の制約を受ける バリデーションかけられない 解決策 交差テーブルの作成 第二章 ナイーブツリー パターン 木構造を表現するとき、常に親のみに依存する(parent_idだけ持ってしまう) 隣接リスト なぜダメか 階層を深く掘ろうとするとそのぶんSQLをか
LevelDB入門 (基本編) - from scratch
さて、今回は比較的新しいデータストアであるLevelDBについてまとめてみました。 LevelDBは1年ほど前からNode.js界隈ではブームが来ていて、理由がよくわかっていなかったんですが、まとめている内に分かるかなと思ってまとめました。今回はNode.js無関係でLevelDBの基礎的なことだけ調査した結果をまとめてみました。 Node.jsで使ってみる話は後に回します。 LevelDBとは? key-value型のデータストアの一つです。 Googleの研究者である、Jeff DeanとSanjey Ghemawatが開発し、2011年に公表されました。C++で書かれており、多くのプログラミング言語でbindingsが書かれています。もちろん、JavaScript/Node.jsでも書かれています。 LevelDB は Google のBigTableをベースにしたアーキテクチャを持
UTF-8のテーブル(MySQL5.6)に竈門禰󠄀豆子が格納できない問題を調べてみた - Qiita
竈門禰󠄀豆子をMySQL5.6のテーブルにinsertしようとすると正しく格納できず、竈門禰となってしまうケースがあるという話を聞き、調べてみました。 実践 まずは試しにやってみます。 mysql> show create table verification\G *************************** 1. row *************************** Table: verification Create Table: CREATE TABLE `verification` ( `name` varchar(100) COLLATE utf8_bin DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin 1 row in set (0.01 sec) mysql> inse
オレ的EXPLAIN技を語っちゃうゾ - Qiita
メリークリスマス 本記事はPostgreSQL Advent Calendar 2021の25日目です。今年も面白い記事がたくさん揃いましたね！！！ さて、みなさん今年のPostgreSQLライフはどんな感じでしたでしょうか？ 私はというと、なんだかチューニングばっかりやってました。1案件でいろいろお手伝いすることはまあまああったのですが、複数から次々チューニングの相談をもらって、歴代継承者の個性を発現したデクくんのごとく駆け回ったのが今年のハイライトです。 （この綱渡り感、、、伝われ！！！） 俺たちは雰囲気でチューニングしている 今回上手くいったけど、あの時たまたまひらめいた1案をぶつけてみたら効果でたのであって、次善の策なんてなかったけど？？って毎回思ってるから、雰囲気でやっていると思う、マジで。コミュニティのノリだと笑いが起きていいんですけど、少しでも勝率を上げるために、若手の前でド
慣れた人間は空のテーブルを相手にEXPLAINの結果を予測できるのか
「は〜、今日も仕事つかれたなー」と思いながらTwitterを眺めていたらこんなツイートが流れてきました。 空のテーブルを相手にEXPLAINの結果を予測できるか 答えからいうと、「できる」になります。 それも、まーまー大きく外さない精度で予測できるかな、というのが自分の感覚です。 ですが、この感覚が理解できないという人もいるかと思うので、どのような思考順で予測をしているのかを解説してみたいと思います。 サンプルのデータ構造とSQL ひとまずめちゃくちゃ単純なデータ構造で考えてみます。 このようなテーブルに対し、以下のSQLを投げるとします。 SELECT e.id, e.name, e.department_id, d.name FROM employee e INNER JOIN department d ON e.department_id = d.id WHERE d.id = 10
MVCCとInnoDBでの実装について - shallowな暮らし
こんにちは。id:shallow1729です。先日はredo logを中心にストレージエンジンについて解説を行いましたが、今回は同時実行制御、特にMySQLなど多くのデータベースで採用されているMultiversion Concurrency Control(MVCC)という技術にフォーカスしようと思います。 今回の記事ではまず前半でMVCCというものがどういうものかについて解説をして、次にMVCCの実装方法についてInnoDBの実装を参考にしながら見ていこうと思います。前提知識はあまりいらないと思いますが、リレーショナルデータベースの操作経験はあったほうがいいかなと思います。また、前回のストレージエンジンの解説で述べた内容はあまり説明しないので、軽く目を通してもらえると頭に入りやすいかなと思います。 shallow1729.hatenablog.com トランザクションの原子性 まずトラ
)
索引 (データベース) - Wikipedia
データベースの分野において、索引（さくいん）またはインデックス (英: index) 、データベースインデックス (英: database index) は、テーブルへの処理を高速化するためのデータ構造である。インデックスの作成には追加の書き込み操作とストレージ容量を必要とする。 インデックスは、データベーステーブルにアクセスするたびにデータベーステーブルのすべての行を検索しなくても、データをすばやく見つけるために使用される。インデックスは、データベーステーブルの1つ以上の列を使用して作成し、高速なランダムルックアップと順序付けられたレコードへの効率的なアクセスの両方の基礎を提供する。 概要[編集] インデックスはテーブルの中の1個以上の列を対象に作成され、ランダムな参照処理や一定の順序でのレコードへのアクセスの効率を高めることができる。インデックスには通常、行全体を効率的に取得できるよう
データベース性能を向上させる「インデックス」を理解する
あの“津崎さん”も保有する難関資格「データベーススペシャリスト」。本企画では、データベーススペシャリスト試験 午前／午後試験対策のための「基礎知識」を抜粋してお届けします。今回は「インデックス」の基礎を解説します。
インデックスの意味とメリット・デメリット
このインデックスは id カラムと name カラムの値だけを保持し、name カラムの値を昇順に並び替えてデータを保存しています。name カラムの値を検索する時に、元のテーブルを検索するよりもデータ量が少なくまた並び替えも行われているので高速に検索することができます。 ではどうやって高速に検索できるようにしているのかについてですが、Wikipediaのインデックスのページを見ても B-Tree 方式や関数方式など色々方法があるようです。そして SQLite ではどのような方式を採用しているのかは分かりませんでした。 インデックスを作成することでテーブルとは別に検索用に最適化された状態で必要なデータだけがテーブルとは別に保存されるということを覚えておいて下さい。 インデックスのメリットデメリット インデックスを作成しておくと便利ではありますがメリットだけではありません。テーブルとは別にデ
Atsushi's Homepage 〜 SQLite を使ってみる
SQLite は、 アプリケーションに組み込んで使える軽量なデータベースです。 SQLite についての解説は他にたくさん有用なサイトがあるので、 ここでは説明は省略させて頂きます。 ここではロック関係について説明を書きます。 私が SQLite を使っている時に "database is locked" エラーにぶち当たり、 その解説のあるいくつものサイトを見ても分かりにくかったり、 どうも実際の挙動と合致しなくて困っていました。 やむなく仕様書を読んだり大量のテストコードを書いて調べたところ、 どうやら正しくない解釈で書かれている解説が多くあるようだと分かりました。 そこで、私のように困る人が減ることを願って、説明を残しておこうと思います。 仕様書と実際の挙動を元に理解して、実際にその理解に沿って 問題解決できているため、おそらく正しく理解できていると思いますが、 万が一間違いがあった
SQLAlchemy ORMの基本的な使い方 - Qiita
このQiitaの目的 SQLAlchemyを使うとPythonからSQLを直接操作できます。 SQLAlchemyにはcoreとORMがあるのですが、このQiitaではORMのみ扱います。 日本語のドキュメントが少なかったので、以下の書籍や公式ドキュメントで調べたことをまとめておきます。内容は順次加筆していこうと思います。 Essential SQLAlchemy - Amazon 環境 mysqlでsampledatabaseという名前の空のデータベースをあらかじめ作成しsqlalchemyでいじっていきます。 mysqlのバージョン8.0.13 Pythonのバージョンは3.7.2 実行環境はPyCharmの2018.3.4 SQLAlchemyのバージョンは1.13.11 SQLAlchemyとは / メリット / デメリット SQLAlchemyとはPythonのモジュールで、se
MySQLでSELECT FOR UPDATEと行ロックの挙動を検証してみた - Continue(s)
どうも、今日も今日とて野毛で飲みながらブログを書いている@0kawaraです。 今日は、普段あまり意識してこなかったMySQLのInnoDBでのロックの振る舞いについて色々実験してみました。（もちろん、きっかは自分がドツボにはまったから） ちゃんと理解するためには「共有・排他的ロックとは」って話や、「行ロックってつまりインデックスレコードロックだよね」などの話とか理解する必要があるんですが、それは github.com をちゃんと一読してもらえれば十分かと思います。 （というか、これが問題なく読めて理解できる人はこの記事読む必要ない….） 以下は上のドキュメント含め関連する記事などを読んで自分でInnoDBの行ロック周りについて、というかSELECT FOR UPDATEについて理解を深めるために手元で実験したことのまとめです。 技術的にちゃんとした理解を深めたい人は最後にまとめた参考サイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データベースでユニークキーにUUIDを使うメリットは何ですか？連番やタイムスタンプまたは複合などではいけないのでしょうか？どうも視認性が悪く使いにくく感じますし連番でも衝突しない気もします。
GitHub - google/leveldb: LevelDB is a fast key-value storage library written at Google that provides an ordered mapping from string keys to string values.
DBOnline(データベースオンライン)
