[論文紹介] TiDB:a Raft-based HTAP database
今回はTiDB（PingCAP） 久しぶりに論文紹介シリーズの第2弾である。 今回は分散DBのど真ん中、PingCAPが開発しているTiDBについての論文「TiDB:a Raft-based HTAP database」(VLDB2020)を紹介する。 この論文に関しては、PingCAP社が自身のブログでも解説している。 TiDBとは 念のため、TiDBとは何なのかを触れておこう。 一言でいうと、「MySQL互換のNewSQL（＝分散SQLデータベース）」である。 NewSQLとは何かについての説明は今回記事では省略するが、過去に書いたこちらの入門編やこちらの詳解編に解説をしている。 TiDBはMySQLと互換性を持つだけでなく、、今回の論文に示されているように、OLAP用途の機能強化を行っており、これもまたMySQLの弱点を補強する良い方向性と言える。この辺りのNewSQLの機能強化につ
![[論文紹介] TiDB:a Raft-based HTAP database](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad5d7368b8594081fe926e56f2548a5f3b50af26/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--LwEg5Sy_--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520TiDB%25253Aa%252520Raft-based%252520HTAP%252520database%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252593%2525E3%252581%2525B0%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmM2YwZjM3ZjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Conference Japan 2019 #hcj2019
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Conference Japan 2019 #hcj2019
データベースクラスタリングシステムVitess - Kekeの日記
本記事 本記事ではKubenetes上にデータベースクラスタリングシステムの入門として導入して、使い勝手や操作方法、運用方法などの学習します。 目次 本記事 目次 Vitessについて Vitessとは 特徴 1. スケーラビリティ 2. ハイパフォーマンス 3. マネジメントのしやすさ 4. コネクションプール 5. シャードマネジメント 6. ワークフロー 大事なコンセプト 1. Keyspace 2. Cell 3. Topology Service 4. Tablet 5. Shard アーキテクチャ 1. Topology 1.1 Global vs Local 1.2 スキーマ管理 2. vtgate 3. vttablet 4. vtctld Kubernetesにホストする リポジトリを取得する クラスタを作成する バックアップ用のCloud Storageバケットを作成す
リレーショナルデータベースの仕組み (1/3) | POSTD
リレーショナルデータベースが話題に挙がるとき、私は何かが足りないと思わずにはいられません。データベースはあらゆるところで使われており、その種類も、小規模で便利なSQLiteからパワフルなTeradataまで様々です。しかし、それがどういう仕組みで機能しているかを説明したものとなると、その数はごくわずかではないでしょうか。例えば「リレーショナルデータベース 仕組み」などで検索してみてください。ヒット数の少なさを実感できると思います。さらにそれらの記事は短いものがほとんどです。逆に、近年流行している技術（ビッグデータ、NoSQL、JavaScriptなど）を検索した場合、それらの機能を詳しく説明した記事はたくさん見つかると思います。 リレーショナルデータベースは、もはや大学の授業や研究論文、専門書などでしか扱われないような古くて退屈な技術なのでしょうか？ 私は開発者として、理解していないものを
データベースの歴史（概要）＜データベースの歴史＜歴史＜木暮仁
シリーズの構成 １ データベースの歴史（概要－全体の流れ） ２ 階層型データベースとネットワークデータベース ３ 関係データベース ４ オブジェクト指向データベース ５ ＸＭＬデータベース ６ 多次元データベースとデータウェアハウス ７ インメモリデータベースと列指向データベース 付 年表 データベースそのものはデータの持ち方だけであり、特別な技術を伴うものではない。そのデータをアクセスするための言語やそれを解釈して実行するためのソフトウェア、データの一貫性や可用性を保つためのシステムが必要になる。それをデータベース管理システム（ＤＢＭＳ：Database Management System）という。 また、データベースを実現するには、ＤＢＭＳの理論だけでなく、それをソフトウェアとして作成する必要があるし、それはＯＳや言語に影響をうける。さらにハードウェアに実装する必要がある。 ここでは、
Microsoft Word - kitsuregawa
一般論文 DBSJ Journal, Vol.8, No.1 June 2009 を大幅に軽減するに至った．更には，管理コストの低減を目 的として，大規模なコンソリデーションが進みつつあり， 1000ドライブを超えるディスクアレイも珍しくない時代と なってきた[11]．即ち，1000ドライブの帯域活用を想定して データベースエンジンを再考する時期が来たと言えよう．同 時に，プロセッサにもマルチコアなどの大きな変化が見られ ることは周知の通りである． 既に16コア／チップの動作は見 られ，100コア／チップの時代もそう遠くはないだろう[2]． 莫大なストレージとプロセッサコアを有効活用するデータ ベースエンジンを考えることは，必須のものと考えられる． 本論文では，このような背景のもと，アウトオブオーダ型 デ ー タ ベ ー ス エ ン ジ ン ， 即 ち OoODE (Out-of-Or
［ITproカンファレンス：Amazonクラウド］クラウド時代のDB技術はこうして作られた--- NTT未来ねっと研の井上氏
［ITproカンファレンス：Amazonクラウド］クラウド時代のDB技術はこうして作られた--- NTT未来ねっと研の井上氏 2009年4月10日に開催されたITproテクノロジ・カンファレンス「徹底理解『Amazonクラウドサービス』」で講演のトリを飾ったのは，NTT未来ねっと研究所 研究主任の井上武氏（写真）。現在クラウドサービスに利用されているデータベース技術は，伝統的なリレーショナル・データベースからどのように進化したか，順序立てて説明した。 まず井上氏は，従来のリレーショナル・データベースの特徴に言及。データの不整合性を排除するリレーショナル（関係）モデルや，経過的な状態を排除するためのトランザクション処理は「データベースが主に金融機関の帳票データを保管していた時代のニーズに合致したものだった」（井上氏）と説明した。 「データベースが進化するきっかけは，管理対象データが変わったこ
SQLの方言、複雑なSQLは遅い、スケールアウトについて：ベンチャー社長で技術者で：エンジニアライフ
株式会社ジーワンシステムの代表取締役。 新しいものを生み出して世の中をあっといわせたい。イノベーションってやつ起こせたらいいな。 SQLにロジックを入れるにあたり、必ず問題になるのが表題の件。 ■ SQLの方言について 違いはあります。違いを大きいと感じるか、小さいと感じるかは人それぞれでしょう。同じだと思っていると戸惑うかもしれませんが、違いがあることを認知していれば、個人的には簡単に乗り越えられるレベルと感じています。 わたしが経験した順に。 ● Access RDBMSとはいえないけれど、パーソナルツールとして卓越していると思います。アドホックな仕事には最適ですね。 SELECT句、FROM句にサブクエリーが書けないと思っていました（たぶん、2.0ではできなかったと思うけれど……もしできてたら、苦労したから悔しい。手元にある一番古いAccess2000でも簡単にできてびっくりしました
キャッシュの大きいRDB vs インメモリデータベース、性能がどれだけ違うのか調べてみると
2週間ほど前に「インメモリデータベースがクラウド時代の主流になるという期待」というエントリを書きました。ハードディスクに代わり、メモリをデータベースの永続化手段とするインメモリデータベースは、超高速なアクセスとスケールアウトを実現する、クラウド時代のデータベースの主役になるのではないか、という内容です。 この記事に関して、TechVisorの栗原さんと次のようなやりとりをしました。 確かに、Oracle Real Application Cluster（以下、Oracle RAC）でデータベースが全部載るくらい十分にキャッシュ用のメモリを割り当てれば、メモリ上でデータベースを操作するインメモリデータベースと同じことではないのか、とも思います。 両者の違いは何かあるのでしょうか？ 調べてみることにしました。 インメモリデータベースは1000倍速い 調べてみるとすぐに、両者には明確な性能差があ
SQL ServerとOSSが勢力拡大の兆し――DBMS市場
ITmedia リサーチインタラクティブでは、第7回読者調査「クライアント環境」を5月26日まで実施しています。クライアントOSやOfficeソフトの導入や入れ替え意向を調査します。ご回答いただいた皆さまには、調査結果の分析リポートを提供します。回答ページはこちらをクリック。 ITmedia エンタープライズと調査会社のアイ・ティー・アール（ITR）が実施した「DBMS（データベース管理システム）」の読者調査から、企業が活用しているDB（データベース）製品の主流はRDBMS（リレーショナルデータベース管理システム）であることが分かった。また、製品別の利用状況では、Oracle Database、Microsoft SQL Server、IBM DB2の3製品を主要なDBとしている企業が7割を超えた。今後の導入意向ではOracle Databaseに加え、Microsoft SQL Serv
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Home
FaunaDB: 新しいテンポラル汎用データベース
Fauna | The distributed serverless database
NoSQLに関するまとめ
Architecture and Technology in SAP HANA
History of database processing module 1 (2)
ソーシャルゲームのためのデータベース設計
Mnesia 3.9.2