世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔（Tsurugi）」を開発― 処理性能456万TPSと応答遅延219ナノ秒を実現 ― 日本電気（株）と（株）ノーチラス・テクノロジーズはNEDOの「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」（以下、委託事業）において、世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔（Tsurugi）」（以下、劔）を開発しました。 劔は、次世代のデータベースに用いられるハードウエア環境（メニーコア・大容量メモリーなど）に適合したシステムであり、ハードウエアの性能が向上するほどシステムの性能も高まる特性を有しています。32以上のコア数を有するハードウエアにおいては、世界最速レベルの処理性能456万TPSと219ナノ秒の応答遅延を実現しました。 劔の導入によって、複雑なバッチ処理とオンライン
——————————————————————————————————————————————————— Redis(REmote DIrectory Server)Redisは例えば以下の特徴を持つLLOOGGを元としたインメモリの非リレーショナルのデータベースです。 String, List, Hash, Set, Sorted Setに代表される豊富なデータ型シングルスレッド処理イベント駆動処理 by aeライブラリ通常RESPプロトコルによるクライアント/サーバーモデルでリクエスト/レスポンスデータは条件を満たす場合にメモリ最適化されて保存。CPUとのトレードオフRAXを利用したメモリ利用量の最適化(Redis 4.0~)この記事では、入門から始まり、実装をより意識することで深く理解することを目標としています。 以下の説明中の(*)マークは、特にVanilla Redisでの話となり
Amazon Web Services ブログ Amazon DynamoDB スケーリングのベストプラクティス はじめに 長年にわたって、Amazon DynamoDB はものすごいスピードで進化を遂げています。グローバルセカンダリインデックス(GSI)、クエリ式のサポート、Auto Scaling 機能、そして、ポイントインタイムリカバリ (PITR) 、オンデマンドモードを断間なくリリースされました。お客様はモバイルバックエンドをはじめ、ゲームや IoT (Internet of Things) の実装まで、さまざまなユースケースで DynamoDB を使用してきました。 本記事は、DynamoDB を利用する中で、スケーリングの部分に焦点に当たって、スケーリングを考えるときのポイントを説明します。その後、代表的なワークロード、例えば、新しいサービスローンチや、ゲームにおいては新しい
2019年10月28日～30日にカナダで開催されたシステムソフトウェア系の最高峰の国際会議 The 27th ACM Symposium on Operating Systems Principles (SOSP 2019) で発表された論文の中で個人的に興味のあるものをリストアップしています。 ※1 随時更新していますが、スローペースです。 ※2 興味の程度によって分量に差があります。 ※3 ざっと眺めただけですので、内容も間違っているかもしれません。 目次 概要 Session 1: Machines, Learning Session 2: It Must Be Secure Teechain: 非同期ブロックチェーンアクセスによる安全な決済ネットワーク (Teechain: A Secure Payment Network with Asynchronous Blockchain
Memorystore for Redis のパフォーマンスを調整する際のベスト プラクティス | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 5 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Redis は最も一般的なオープンソースのインメモリ データストアで、データベース、キャッシュ、メッセージ ブローカーとして使用されます。統合されたオプションである Memorystore for Redis を使用して Google Cloud 上で Redis を実行するにあたっては、いくつかのデプロイ シナリオがあります。Memorystore for Redis を使用すると、管理コストをかけずに Redis のメリットを享受できます。 本番環境にリリースする前には、システムに対して特定のワークロードの特性に応じたベンチマークを実施することが重要です。これは、システムがマネージド サービスに依存している場合でも同様です。ここでは、Memorystore for
にゃーん。趣味でポスグレをやってる者だ。 ぬこは激怒した。かのアドベントカレンダー（あどべんとかれんだー）の記事を締切までに書かねばなければならぬと決意した。 ぬこにはポスグレがわからぬ。ぬこは、ハマのサラリマンである。麺を食べ、象と遊んで暮して来た。けれども締切に対しては、人一倍に敏感であった。 はじめに これはPostgreSQL Advent Calender 2021の14日目の記事です。 前日は@kasa_zipさんの「PostgreSQLの拡張機能を作ってpgxnで公開する」という記事でした。つよつよな人の後の記事でちょい緊張しますね（そしてさりげなく一部ネタかぶりしてる）。 さて今回は、珍しくラーメン＆PostgreSQLネタから離れて、フツーにPostgreSQLの話をします。 今日のお題は・・・PostgreSQL使いにはお馴染み、みんな大好きpgbenchについて書いて
#長編 皆さん，初めまして．NTT SICの中園 (nikezono) です． この記事は 自作DBMS Advent Calender 2020 の 17 日目の記事です． この記事では，自作DBMSにトランザクションの機能を載せる際に必要な "Concurrency Control" (以下CC) について，プロトコルを設計する際に必要なノウハウを紹介します． プロトコルの考案という作業は，既に提案されているものを追実装するのとはかなり趣が異なります．具体的には，数理的な証明にかける作業の割合がかなり大きくなります．この作業を怠って，雰囲気で実装をしたり改変をしたりすると，ほぼ間違いなく処理の正しさが担保されません． しかし，得られるリターンは大きく，特定のワークロードを狙ったデータベースであれば，それに特化した性能を出すプロトコルを作ることが容易くできるようになります．特に，インメモ
[アップデート] Amazon DynamoDB のオンデマンドキャパシティモードで最大スループットを指定出来るようになったので、YCSB で DynamoDB の負荷テストしてみた | DevelopersIO
[アップデート] Amazon DynamoDB のオンデマンドキャパシティモードで最大スループットを指定出来るようになったので、YCSB で DynamoDB の負荷テストしてみた いわさです。 DynamoDB にはキャパシティモードの概念がありまして、あらかじめ予測したキャパシティを事前割り当てしておくプロビジョンドモードか、実際に発生したリクエストに応じて請求してくれて良いのでうまいことやってくれやというオンデマンドモードの 2 つがあります。 どちらも一長一短あるのですが後者のオンデマンドの場合は柔軟性がある一方で、ワークロードの負荷によってはコストが予測しずらかったり、あるいは DynamoDB のイベントに応じてサービス間を連携しているような場合にオンデマンドだと外部サービスに予測できない負荷が発生することがありえます。 そんなオンデマンドキャパシティモードですが、本日のアッ
![[アップデート] Amazon DynamoDB のオンデマンドキャパシティモードで最大スループットを指定出来るようになったので、YCSB で DynamoDB の負荷テストしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/38e9929fa6251377ccd1a0b39defb8126be9eef4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-dynamodb.png)
劔"Tsurugi"とは劔"Tsurugi"は、国産の OSS-次世代 RDB です。5 年間の国（NEDO）の支援を経て、出来上がった RDB になります。 もともと有志の勉強会から始まったコミュニティ活動がベースで、国の予算を受けて、 ・各民間企業（ノーチラス・テクノロジーズ／NEC） ・大学（東京工業大学・慶応大学・名古屋大学・大阪大学） ・研究機関（国立天文台） 等々が主体となって、さまざまな企業・関係者の協力のもとに開発されました。 OSS なので、だれでも自由に利用することができます。 ライセンスは Apache2.0 になります。商用サポートも提供されています。 背景と基礎性能なにをイマサラ RDB なのか？すでに枯れている技術ではないのか？というのが、普通のユーザ／エンジニアの印象だと思います。 実際は、RDB の技術は年々進歩しています。 にもかかわらず既存の RDB で
Introducing Pebble: A RocksDB-inspired key-value store written in Go
All Customer stories Industry leaders trust CockroachDB to run their most data-intensive, mission-critical applications. Since its inception, CockroachDB has relied on RocksDB as its key-value storage engine. The choice of RocksDB has served us well. RocksDB is battle tested, highly performant, and comes with a rich feature set. We’re big fans of RocksDB and we frequently sing its praises when as
Apache Bigtop の概要と最新動向
本記事は, Distributed computing (Apache Spark, Hadoop, Kafka, …) Advent Calendar 2020 18日目の記事です。 この記事では, Apache Bigtop (以下 Bigtop) という OSS プロジェクトの概要と、 2020年12月時点の最新動向について紹介します。 Bigtop の概要と歴史 Bigtop は, Apache Hadoop エコシステムの環境構築やテストを容易にするための Apache Software Foundation 傘下のプロジェクトで、以下のような機能を提供します。 Hadoop や Spark などのビッグデータ関連 OSS を, deb や rpm 形式にビルドしたバイナリパッケージ。 パッケージのインストールとその後の環境設定 (以下、併せてデプロイと呼びます) を自動化するた
はじめに 弊社の主な事業はスマホ向けゲームの開発と運営で、DBもゲーム向けのものに関心があります。AWS(Amazon Web Services)とGCP(Google Cloud Platform)でソリューションを検索すると、それぞれDynamoDBとCloud Spannerをゲーム向けと位置づけています。DBの選定はパフォーマンス以外の要因で決まることが多いのですが、純粋なパフォーマンスも知っておきたく、調べてみることにしました。（追記：GCPのサービスのベンチマークを公開する場合は、Googleから書面による同意をもらうなどの要件があります。AWSの方は、再現に必要なすべての条件を公開していれば済みます。） なお本稿はサーバーエンジニアを対象とした内容になっています。 アクセスの種類 スマホ向けゲームはDBアクセスにおいて一般に書込みの割合が多いアプリケーションであり、同時にチー
「第11期サイボウズ・ラボユース成果発表会」開催 - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズ・ラボの光成です。 今回は2022年3月30日に開催された第11期サイボウズ・ラボユース成果発表会の模様を紹介します。 サイボウズ・ラボユース サイボウズ・ラボユースとは日本の若手エンジニアを発掘し、育成する場を提供する制度です。 ラボユース生が作りたいものをサイボウズ・ラボの社員がメンターとしてサポートし、開発機材や開発活動に応じた補助金、旅費の援助をします。 開発物をオープンソースとして公開するという条件の元で著作権は開発者本人に帰属します。 詳細は去年のまとめ記事「若手エンジニアの育成と輩出を目的とするサイボウズ・ラボユースが創立10周年」のPDFもごらんください。 発表会レポート 今年も発表者が多いため、ごく簡単なコメントにて失礼します。 第11期サイボウズ・ラボユース成果発表会 第一部 ○富重 亮佑 「MikanOSへのLinux互換レイヤーの実装」（メンター：内田）
Oracleは2021年1月13日（米国時間）、コンバージドデータベースの最新バージョン「Oracle Database 21c」、同バージョンを含む「Oracle Autonomous Database」の期限なしで無料で利用可能な「Always Free」の提供を「Oracle Cloud」で開始したと発表した。 Oracle Database 21cはコンバージドデータベースとして、マルチモデル、マルチテナント、マルチワークロードを目指した。Oracleは一貫して、データを複数の単一目的エンジンに分割して利用するよりも、集約型のコンバージドデータベースに格納して管理する方が、効率的で生産性が高くなると考え、このアプローチを取ってきた。 「Oracle Database 21cは、全てのデータタイプ（リレーショナルやJSON、XML、空間、グラフ、OLAPなど）をサポートし、業界をリー
GitHub - pingcap/awesome-database-learning: A list of learning materials to understand databases internals
Awesome Database Learning A list of learning materials to understand databases internals, including but not limited to: papers blogs courses talks Please submit a pull request if there is any material that you think should be included in this collection. Table of Contents Recommended Courses, Books and Talks Courses Books Talks Blogs SQL & Relation Algebra Query Optimizer Planner Models Subquery O
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔（Tsurugi）」を開発
Dive Deep Redis ~ 入門から実装の確認まで - hayashier Tech Blogs
Amazon DynamoDB スケーリングのベストプラクティス | Amazon Web Services
国際会議 SOSP 2019 - 品川准教授のブログ
ぜんぜんわからない。俺たちは雰囲気でpgbenchを使っていた。 - Qiita
Concurrency Control Protocolをゼロから設計する - nikezono
劔"Tsurugi"とは何か｜株式会社ノーチラス・テクノロジーズ
DynamoDBとCloud Spannerのパフォーマンスの比較 - Tech Inside Drecom
Oracle、「Oracle Database 21c」をOracle Cloudで提供開始