大規模なデータベースをオープンソースデータベースへ移行する際のカテゴリ分けと優先度づけ | Amazon Web Services
このブログの目的上、移行プロジェクトを計画するプロセスは、分析と計画、スキーマ移行、データ移行、アプリケーション移行、およびカットオーバーの5つの作業領域に分類できます。 移行の所要時間は、通常、移行およびテストのフェーズでどのくらいの時間を費やすかによって異なります。 いくつかの移行を並行して計画している場合は、どちらの移行が最も時間がかかるのか、最初に取り組むことができるのか、迅速に取り組むことができるのかを理解する必要があります。 オープンソースデータベースに移行する際に最初に分析するデータベースの優先順位付けは、データベース内で独自のコードがどれくらい使用されているかに左右されます。 使用しているプロプライエタリコードの量は、プロジェクトの移行段階でそれを変換してテストするのにかかる時間に影響します。 カテゴリーと基準を設定した後に、ディクショナリクエリを使用してデータベースをワー
会社が倒産してオープンソースとなったNoSQL「RethinkDB」。最初のオープンソース版「RethinkDB 2.3.6」が公開
会社が倒産してオープンソースとなったNoSQL「RethinkDB」。最初のオープンソース版「RethinkDB 2.3.6」が公開 RethinkDBは同名の企業ReghinkDB社が開発していたNoSQLデータベースで、JSON形式を処理できる高速な分散データベースとしてモバイルアプリケーションのバックエンドやリアルタイムデータ処理などを得意としていました。 しかし残念ながらビジネス面で成功できず、同社は2016年10月に倒産。2017年2月には、同社のコードやドキュメント、トレードマークなどの知的財産が、Kubernetesの開発などを主導するCloud Native Computing Foundationに買い取られ、Apache Licenseにライセンスし直されてオープンソース化されることが発表されました。 そして7月17日付けで、オープンソース化されてはじめてコミュニティに
B TreeとB+ Treeの違い - Carpe Diem
概要 インデックスに対してMongoDBはB Treeを採用し、MySQLのInnoDBはB+ Treeを採用しています。 どうして採用しているアルゴリズムが違うのだろう？と思って調べてみました。 主な違い B+ TreeはほとんどB Treeと同じですが、以下の点が異なります。 リーフノードとリーフノードを結ぶポインタがある データはリーフノードのみに保持する 具体例 言葉だけだと分かりにくいので、Visualizeするツールを使って具体例を表示します。 [1, 2, 3, 4, 5, 6, 8, 10, 15, 18]という数列に対し、Order: 3で作ってみます。 Orderは１ノードから出る枝の数のことです。 B Tree B-Tree Visualization B+ Tree B+ Tree Visualization 先程のB Treeと違って、データはリーフノードに持つの
時系列データベースに関する基礎知識と時系列データの符号化方式について - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 SRE グループの吉川 ( @rrreeeyyy ) です。今期オススメのアニメはツインエンジェル BREAK です。 普段の業務並びに趣味の一環として、サーバのモニタリング環境の調査や改善に取り組んでいます。 そこで本稿では、モニタリングのコンポーネントの一つとして外すことが出来ない、時系列データベースの基礎知識に関して紹介します。 そもそも時系列データ・時系列データベースとは？ 時系列データというのは、特定の時間ごとに何らかの値を取得した際の、取得した一連の値を指します。 例えば、以下のようなフォーマットをしたデータなどは時系列データにあたるでしょう。 timestamp1,key,value1 timestamp2,key,value2 timestamp3,key,value3 : 時系列データベースとは、上記のような時系列データの保存・処理に
［速報］マイクロソフトがグローバル規模の分散NoSQLデータベース「Azure Cosmos DB」発表。数ミリ秒のレイテンシ保証、一貫性の強さを選択。Build 2017
米マイクロソフトはシアトルで開発者向けイベント「Microsoft Build 2017」で、グローバルに分散した大規模NoSQLデータベース「Azure Cosmos DB」を発表しました。 Cosmos DBはデータを自動的にユーザーの近くのリージョンにレプリケーションすることで、どのユーザーに対しても高速なアクセスを実現し、かつグローバルな規模で分散したシステムとして稼働する大規模分散データーベース。 数ギガバイト程度から数ペタバイトまでのデータ容量と、秒間数百トランザクションから数百マントランザクションまでの性能まで、幅広いデータベース規模をカバーするとともに、非常に大規模なデータベースの展開が可能な高いスケーラビリティが特長です。 また、データモデルとして、キーバリュー型、ドキュメント型、カラムファミリー型、グラフ型が選択でき、データへアクセスするAPIもDocumentDBやM
米MS、「惑星規模」でスケールする「Azure Cosmos DB」を発表
米Microsoftは2017年5月10日（米国時間）、新しいデータベース（DB）のクラウドサービス「Azure Cosmos DB」を発表した。「Microsoft Azure」の世界30カ所以上ある「リージョン」（データセンター群）にデータを分散保存しながら、一貫性を保ってデータを利用できるという高い拡張性を持つのが特徴。10日に米シアトルで開幕した「Microsoft Build 2017」で発表した。 10日の基調講演に登壇した同社クラウド＆エンタープライズグループ担当エグゼクティブ・バイス・プレジデントのScott Guthrie氏は「Cosmos DBは、スループットやトランザクション性能を無制限に拡張可能であると同時に、様々なデータタイプに対応できるという、新しいタイプのアプリケーションに求められるあらゆるシナリオに適したデータベースだ」と強調した（写真1）。 Cosmos
列指向データベースのページのデータ構造 - ablog
行指向データベースは行単位でページ(Oracle Database でいうデータブロック)にデータを格納しているのに対して、列指向データベースは列ごとにページに格納している。クエリ実行時に結果セットを返す際に列別にバラバラのページに格納されているデータをどうやってタプル(レコード)に復元している*1のかと思ったがやはり行IDのようなものを持っているようだ。 行ID は C-Store では pid、MonetDB では BAT(Binary Association Tables) の oid と呼ばれている。 The Design and Implementation of Modern Column-Oriented Database Systems NSM(N-ary Storage Model): 行方向でブロック（ページ）にデータを格納する方式 DSM(Decomposition
A Look at How Postgres Executes a Tiny Join - Pat Shaughnessy
Reading the Postgres source code is like attending a free Computer Science lecture, complete with working examples. Aside from saving and retrieving data, the primary feature of a relational database is the ability to execute join queries, to relate data in one table with data from another. While many developers are turning to NoSQL solutions, joining one set of data values with another remains on
Peloton – The Self-Driving Database Management System
Peloton is a relational database management system that is designed for autonomous operation. The system’s integrated planning component not only optimizes the system for the current workload, but also predicts future workload trends before they occur so that the system can prepare itself accordingly. It also enables new optimizations that are not possible today because the complexity of managing
Schedule - CMU 15-721 :: Advanced Database Systems (Spring 2017)
Course Introduction and History of Database Systems M. Stonebraker, et al., What Goes Around Comes Around, in Readings in Database Systems, 4th Edition, 2006 (Optional) A. Pavlo, et al., What's New with NewSQL?, in SIGMOD Record (vol. 45, iss. 2), 2016 (Optional) In-Memory Databases H. Garcia-Molina, et al., Main Memory Database Systems: An Overview, in IEEE Trans. on Knowl. and Data Eng., 1992 S.
Cloud Spanner: A global database service for mission-critical applications | Google Cloud Blog
Introducing Cloud Spanner: A global database service for mission-critical applications Today, we’re excited to announce the public beta for Cloud Spanner, a globally distributed relational database service that lets customers have their cake and eat it too: ACID transactions and SQL semantics, without giving up horizontal scaling and high availability. When building cloud applications, database ad
フラットファイルデータベース - Wikipedia
フラットファイルデータベース（英: flat file database）は、データベースの各種データモデル（特に表）をプレーンテキストのファイルで表す何らかの手段である。 フラットファイルモデルの例[1] CSV形式のフラットファイルを関係データベースの表に変換する様子 概要[編集] 「フラットファイル」とはプレーンテキストまたはテキストとバイナリの混合であり、通常1行が1レコードになっている[2]。レコード内はフィールドを区切り文字（デリミタ）で区切った構造になっており、例えばカンマで区切ったり、固定の文字数で区切ったりする。後者の場合は、規定の長さを満たすためにパディングを必要とする。一般にデリミタはフィールド内では使えない文字になるため、注意が必要である（フィールド内にデリミタと同じ文字があると、そこが区切りだと誤って解釈してしまうため）。レコード同士の間には構造的関連性はない。
Schedule
Course Introduction and History of Database Systems M. Stonebraker, et al., What Goes Around Comes Around, in Readings in Database Systems, 4th Edition, 2006 (Optional) A. Pavlo, et al., What's New with NewSQL?, 2015 (Optional) In-Memory Databases H. Garcia-Molina, et al., Main Memory Database Systems: An Overview, in IEEE Trans. on Knowl. and Data Eng., 1992 S. Harizopoulos, et al., OLTP Through
Andy Pavlo - Carnegie Mellon University
I am an Associate Professor with Indefinite Tenure of Databaseology in the Computer Science Department at Carnegie Mellon University. My research interest is in database management systems, specifically main memory systems, self-driving / autonomous architectures, transaction processing systems, and large-scale data analytics. At CMU, I am a member of the Database Group and the Parallel Data Labor
The D2RQ Platform – Accessing Relational Databases as Virtual RDF Graphs
The D2RQ Platform is a system for accessing relational databases as virtual, read-only RDF graphs. It offers RDF-based access to the content of relational databases without having to replicate it into an RDF store. Using D2RQ you can: query a non-RDF database using SPARQL access the content of the database as Linked Data over the Web create custom dumps of the database in RDF formats for loading i
Apache Druid | Apache® Druid
Apache® DruidDruid is a high performance, real-time analytics database that delivers sub-second queries on streaming and batch data at scale and under load. Download Join Slack GitHub Sub-second queries at any scaleExecute OLAP queries in milliseconds on high-cardinality and high-dimensional data sets with billions to trillions of rows without pre-defining or caching queries in advance. High concu
)
索引 (データベース) - Wikipedia
データベースの分野において、索引（さくいん）またはインデックス (英: index) 、データベースインデックス (英: database index) は、テーブルへの処理を高速化するためのデータ構造である。インデックスの作成には追加の書き込み操作とストレージ容量を必要とする。 インデックスは、データベーステーブルにアクセスするたびにデータベーステーブルのすべての行を検索しなくても、データをすばやく見つけるために使用される。インデックスは、データベーステーブルの1つ以上の列を使用して作成し、高速なランダムルックアップと順序付けられたレコードへの効率的なアクセスの両方の基礎を提供する。 概要[編集] インデックスはテーブルの中の1個以上の列を対象に作成され、ランダムな参照処理や一定の順序でのレコードへのアクセスの効率を高めることができる。インデックスには通常、行全体を効率的に取得できるよう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
地理分散DBについて
GitHub - cmu-db/peloton: The Self-Driving Database Management System
GitHub - apache/druid: Apache Druid: a high performance real-time analytics database.