GitHub - microsoft/garnet: Garnet is a remote cache-store from Microsoft Research that offers strong performance (throughput and latency), scalability, storage, recovery, cluster sharding, key migration, and replication features. Garnet can work with exis
Garnet is a new remote cache-store from Microsoft Research, that offers several unique benefits: Garnet adopts the popular RESP wire protocol as a starting point, which makes it possible to use Garnet from unmodified Redis clients available in most programming languages of today, such as StackExchange.Redis in C#. Garnet offers much better throughput and scalability with many client connections an
Shekhar Gulati Writings on Software Engineering, Software Architecture, and Engineering Leadership I spent some time going over the Postgres schema of Gitlab. GitLab is an alternative to Github. You can self host GitLab since it is an open source DevOps platform. My motivation to understand the schema of a big project like Gitlab was to compare it against schemas I am designing and learn some best
AIにフォーカスしたRDB「Oracle Database 23ai」正式リリース。AI用のベクトルサーチなど可能に
AIにフォーカスしたRDB「Oracle Database 23ai」正式リリース。AI用のベクトルサーチなど可能に オラクルはAIにフォーカスしたデータベース「Oracle Database 23ai」の正式リリースを発表しました。 Oracle Database 23aiは、昨年（2023年）9月にリリースされた「Oracle Database 23c」にAI関連をはじめとする新機能を追加した上で、「23c」の名前を変更したものだと説明されています。 参考：［速報］Oracle Database 23cが正式リリース。JavaScriptストアドプロシージャ、DBに自然言語で問い合わせなど新機能。Oracle CloudWorld 2023開幕 Bring #AI algorithms to where your data lives with Oracle Database 23ai
You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB
You now can use PartiQL (a SQL-compatible query language)—in addition to already-available DynamoDB operations—to query, insert, update, and delete table data in Amazon DynamoDB. PartiQL makes it easier to interact with DynamoDB and run queries in the AWS Management Console. Because PartiQL is supported for all DynamoDB data-plane operations, it can help improve the productivity of developers by e
GitHub - max-sixty/prql: PRQL is a modern language for transforming data — a simple, powerful, pipelined SQL replacement
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - paypal/junodb: JunoDB is PayPal's home-grown secure, consistent and highly available key-value store providing low, single digit millisecond, latency at any scale.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Introducing NoSQL Workbench for Amazon DynamoDB — Now in Preview
Today, AWS introduced NoSQL Workbench for Amazon DynamoDB to help developers build scalable, high-performance data models and to simplify query development and testing. NoSQL Workbench is a free, client-side application available for Windows and macOS. DynamoDB is a fully managed NoSQL database service that provides fast and predictable performance with seamless scalability. Designing scalable, fl
「TiDB」が注目される理由――「TiDB User Day 2023」でプレイドやMicoworksが語った検証結果と課題
「TiDB」が注目される理由――「TiDB User Day 2023」でプレイドやMicoworksが語った検証結果と課題：「HTAP」の現状と未来 「クラウドネイティブ」という言葉がなじんだ今、市場に登場した新たなデータベースやデータベースを支えるプラットフォームにまつわる情報を紹介していきます。今回は「TiDB User Day 2023」で気になったセッションを中心に紹介します。 多くのエンジニアから「既存のデータベースサービスでは性能目標やメンテナンス時間などの要件を満たすことが難しい」という声を聞きます。アプリケーション開発のスピードが上がり、そのアジリティにデータベース技術も追随する必要がある点は筆者の過去連載でも述べましたが、開発現場でどのような課題意識をもって、新たなデータベースの検証をしているのでしょうか。 本稿では、そうしたリアルな検証事例や採用事例を聞くことができる
事業共創プログラム OPEN HUB for Smart World 未来をひらく「コンセプトと社会実装」の実験場 OPEN HUB for Smart Worldは、社会課題を解決し、わたしたちが豊かで幸せになる未来を実現するための新たなコンセプトを創り、社会実装を目指す事業共創の場です
GitHub - knrt10/gRPC-cache: In memory Key/Value store in go using gRPC.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service | USENIX
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service Mostafa Elhemali, Niall Gallagher, Nicholas Gordon, Joseph Idziorek, Richard Krog, Colin Lazier, Erben Mo, Akhilesh Mritunjai, Somu Perianayagam ,Tim Rath, Swami Sivasubramanian, James Christopher Sorenson III, Sroaj Sosothikul, Doug Terry, Akshat Vig, Amazon Web Services Amazon DynamoDB is a NoSQL cloud
Unlocking the Power of JunoDB: PayPal’s Key-Value Store Goes Open-Source
Today we are delighted to share JunoDB as an open-source project on Github, allowing others to benefit from our efforts to have an extremely scalable, secure and highly available NoSQL infrastructure. JunoDB is a distributed key-value store that plays a critical role in powering PayPal’s diverse range of applications. Virtually every core back-end service at PayPal relies on JunoDB, from login to
Martin BajanikSoftware Engineer, Core API (R&D, Security) DISCLAIMER: Fingerprint does not use this vulnerability in our products and does not provide cross-site tracking services. We focus on stopping fraud and support modern privacy trends for removing cross-site tracking entirely. We believe that vulnerabilities like this one should be discussed in the open to help browsers fix them as quickly
It has been an incredible six months since we released our product in beta. From the outset, we focused on creating a platform that would delight developers, built on top of the only open source database proven at hyper scale, Vitess. For years, our technology has allowed companies like Square, GitHub, and YouTube to scale their database and, in turn, their businesses. Our mission is to bring this
GitHub - valkey-io/valkey: A new project to resume development on the formerly open-source Redis project. We're calling it Valkey, since it's a twist on the key-value datastore.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
MongoDBとは、ビッグデータやIoTのデータ処理に利用されるオープンソースソフトウェアのNoSQLサーバです。MongoDB Enterprise Advancedという商用版もあります。2019年にはAWSがMongoDB互換のAmazon Document DBの提供を開始するなど、NoSQLとしては最もスタンダードなソフトウェアです。Linuxだけでなく、Windows、MacOS、Soalrisなどでも利用することができます。 MongoDBとは MongoDBとは、ドキュメント指向のデータベースを採用したNoSQLサーバです。2007年にDoubleClickのチームが開発し、オープンソースソフトウェアとして公開しています。商用版はMongoDB Enterprise Advancedです。 MongoDBは、多くのNoSQLが採用しているKVS（Key Value Stor
The Best Form Builder for Notion Create beautiful forms and surveys without writing code. Receive submissions straight into Notion. Easy.
GitHub - vmware/splinterdb: High Performance Embedded Key-Value Store
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Redis互換の超高速インメモリデータストア「Garnet」にC# CustomCommandを実装してコマンドを拡張する 2024-03-19 MicrosoftからIntroducing Garnet – an open-source, next-generation, faster cache-store for accelerating applications and servicesという記事が今日公開されて、Garnetという新しいインメモリデータストアがOSSとして公開されました。Microsoft ResearchでFASTERを手掛けていたチームによるもので、FASTERはC#実装の高速なキーバリューストアでした。今回のGarnetはその発展形のようなもので、FASTERベースのストレージと、Redis互換のプロトコルによる、インメモリデータストアになっています。詳しく
Immutable Records XTDB contains a perfect, immutable record of every fact your system has ever known. See the entire history of your business, everywhere. Learn More Temporal Query Immutable records are incomplete without time-traveling queries. XTDB allows you to query the entire timeline. Make retroactive corrections, simplify data migrations, and get clarity on out-of-order events. Learn More R
We’re thrilled to introduce Deno KV, a strongly consistent key-value database, globally replicated for low-latency reads across 35 worldwide regions. Deno Deploy aims to provide the simplest and fastest way to deploy and run JavaScript, TypeScript, and Wasm at the edge. However, creating stateful apps on Deno Deploy previously required connecting to external cloud databases, which involved additio
はじめにGoでデータベースを扱う場合、Gorm, Gorp, sqlx といった ORM がよく使われます。多くの場合は構造体のフィールドとデータベースのカラム名のマッピングをするタグ付きの構造体を実装します。例えば Gorm を用いて users テーブルにアクセスする場合、以下のような構造体が一例として考えられます。 model_user.gotype User struct { UserID string `gorm:"column:user_id;primary_key"` UserName string `gorm:"column:user_name"` } func (u *User) TableName() string { return "users" } Gorm や Xorm といった ORM を用いる場合、スキーマから構造体を生成できず、構造体の生成が面倒という問題が
GitHub - inlinedio/ikv-store: High-performance key-value store for ML inference. 100x faster than Redis.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - Florents-Tselai/WarcDB: WarcDB: Web crawl data as SQLite databases.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - google-deepmind/alphafold: Open source code for AlphaFold.
This package provides an implementation of the inference pipeline of AlphaFold v2. For simplicity, we refer to this model as AlphaFold throughout the rest of this document. We also provide: An implementation of AlphaFold-Multimer. This represents a work in progress and AlphaFold-Multimer isn't expected to be as stable as our monomer AlphaFold system. Read the guide for how to upgrade and update co
In general, if you want a key-value storage with the highest performance, choosing the file hash database is recommended. If you need ordered access of records, choosing the file tree database is recommended. If you need scalability of ordered databases, choosing the file skip database is recommended. If you need extreme performance, the on-memory hash database and the on-memory tree database are
GitHub - jakekgrog/GhostDB: GhostDB is a distributed, in-memory, general purpose key-value data store that delivers microsecond performance at any scale.
GhostDB stemmed from a University project. Due to the nature of these projects (time constraints etc.), we feel some corners were cut. For example, we opted for the memcached model of distribution to save on time as it was easier to implement. However, this wasn't the original vision of GhostDB. Myself and Connor also started new jobs and these took up a good chunk of our time. This combined with
Google Cloudは大規模分散データベース「Cloud Spanner」でのPostgreSQL互換インターフェイスの提供を正式版としてリリースしました。 SpannerのPostgreSQL互換インターフェイスは2021年10月に行われたイベント「Google Cloud Next '21」で発表され、プレビュー版となっていました。 参考：Google、大規模分散DB「Spanner」にPostgreSQL互換インターフェイスを実装。強い一貫性で秒間10億以上のリクエストを処理可能。Google Cloud Next '21 Cloud Spannerは地球規模で大規模分散処理を行うスケーラブルで高速なリレーショナルデータベースで、強い一貫性とトランザクション処理、SQLによるクエリなどを実装したマネージドサービスです。 Cloud Spannerはクエリ言語としてANSI SQL
ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。ここでは、「社内データを参照して何かを答えさせること」において役立つ工夫を話します。前回はこちらから。 ドキュメント検索の過程における2つの選択肢 蒲生弘郷氏（以下、蒲生）：そういったところで、ReActの話に戻ります。弊社のアーキテクトが、実際にReActを使ってエンタープライズのサーチをしていくサンプルの解説記事とかを書いています。社内データを参照して何かを答えさせることにおいて非常に有益なものになってきます。 その話についても触れていきながら、GPTのシステムを組ん
A Multithreaded Fork of Redis That’s 5X Faster Than Redis | KeyDB - The Faster Redis Alternative
What if I told you there is a fork of Redis that can run 5x faster with nearly 5x lower latency. What if you no longer needed sentinel nodes and your replicas could accept both reads and writes? This could provide the potential to achieve a 10x reduction in the amount you shard. This article looks at KeyDB which is an open source, multithreaded fork of Redis. We will review the latest benchmarking
GitHub - maxmunzel/kvass: a personal key-value store
# simple usage $ kvass set hello world $ kvass get hello world # enumerate keys $ kvass ls hello # store arbitrary files $ kvass set logo < kvass.jpg $ kvass get logo > kvass.jpg # Its trivial to set up and operate kvass across multiple devices $ ssh you@yourserver.com kvass config show Encryption Key: 5abf59f5f1a2f3c998a4f592ce081a23e14a68fd8a792259c6ec0fc1e8fb1246 # <- copy this for the next ste
Database schema migrations can be a double-edged sword. They are essential for keeping our systems up to date and in sync with evolving application requirements, but often come bundled with a set of challenges that can leave even the most seasoned developers and database administrators scratching their heads (or banging them on the keyboard). Breaking changes: One of the fundamental issues plaguin
KVSあるいはKVSベースのNewSQLに高速なAuto Incrementを実装する | CyberAgent Developers Blog
AI事業本部の黒崎( @kuro_m88 )です。 MySQL、PostgreSQLのようなRDBとAmazon DynamoDBやCloud SpannerのようなNoSQL、NewSQL系のDBを比較したときに、後者はRDBのauto incrementのような機能を実装しようとすると前者と比較して性能が出ない問題があります。この問題に対してRedisのLua Scriptingを用いて採番用のキャッシュを実装し、併用することで高速化した事例を紹介します。 本記事ではAmazon DynamoDBやCloud Spannerが採用されている環境を想定します。特に特定のDBに依存した考え方ではないので、その他のKVSやKVSベースのNewSQLにも応用できる考え方かと思います。手法を検討するのに使ったコードはGoで実装しました。 前提 前提としてKVSのような分散DBにおいて、auto
※ DocumentDB開発者ガイドより引用（一部追加、抜粋） 例:ふたつのドキュメントが格納されていますが、その構造は同じではありません { "_id" : ObjectId("5d18760d11a12c05cac220e1"), "name" : "kazue", "age" : 32, "like" : [ "music", "soccer" ] } { "_id" : ObjectId("5d18765911a12c05cac220e2"), "name" : "yamada", "age" : 25, "job" : "sales", "birthplace" : "Osaka" } 例:各ドキュメントは要素(フィールド)を自由に追加、削除できます { "_id" : ObjectId("5d18760d11a12c05cac220e1"), "name" : "kazue",
はじめにこんにちは、Technology Innovation Group所属 DBチームの岩崎です。 テックブログにて記事を書くのは1年半ぶりです。(反省)あれからずっと設計～開発まで推進し、無事アプリリリースが完了しました。 — 脱RDB脳 — Cassandraのデータモデルについて考えてみる このタイミングで改めてKVS関連のナレッジを還元できたらと思い筆を執りました。 1. データモデル設計の勘所前回の記事でも書かせていただきましたが、KVSを採用するにあたって一番ポイントになるのがデータモデル設計です。 ここを外すと、開発で大いに苦しみます。場合によっては要件を満たせず再設計ORノックアウトなんてことにも繋がりかねません。 1-1. 更新要件を中心に設計するのがベターKVSはキーアクセスしかできないのでデータ参照にフォーカスしたモデルを設計しがちです。 もちろんこのアプローチは
中間テーブルって？ "join table もしくは junction table"とも呼ばれ、その名の通り、２つのテーブルの中間にもう一つ、それぞれに接続されたテーブルを指します。 ↓ER図で見てみると これが"中間テーブル"です。(ER図とは？やER図の見方はこちら) では、簡潔にどんな時に用いるかというと 下図のように２つのテーブルの間に " 多対多 " という関係性が生まれた時、ある問題を解決する１つの方法としてこの中間テーブルを配置します。 多対多の意味がなかなかわかりにくいかと思いますので、これから詳しく図解を使ってちょっとずつ掴んでいきましょう。 1.まずは多対多のイメージ 多対多とは........ 例えば、 下の画像のようなプログラミング学習サイトを製作しているとします。 このサイトではユーザーは学習したいプログラミングコースをカスタマイズして選ぶことができるとします。
— 脱RDB脳 — Cassandraのデータモデルについて考えてみる | フューチャー技術ブログ
はじめにこんにちは、Technology Innovation Group所属 DBチームの岩崎です。 私はDBチームとして様々なプロジェクトでOracleやPostgreSQLなどRDBの設計・構築に携わってきました。 現在は、Cassandraの導入とデータモデルを設計しています。 本稿ではDBネタとしてRDB脳から脱却して、KVSならではのテーブル設計の勘所をお伝えいたします。 CassandraはどのようなデータベースなのかCassandraはKVS(Key-ValueStore）と呼ばれ、KeyとValueを組み合わせる単純な構造からなるDBです。 データアクセスはkeyに対して行い、Keyに関連付けられたValueが呼び出されます。 KVSは一般的にスキーマレスを採用することが多いと思いますが、Cassandraではアプリケーションの観点から見て、データは構造的に扱える方が開発
たくさんある AWS のデータベースサービスをどう選ぶ？ データベース選択のガイドライン - Qiita
はじめに AWSのデータベースサービスには多様な選択肢があり、ワークロードに応じて最適なサービスを選択する必要がありますが、一定の知識が無いとどれを選択すべきか分かりません。本記事では、AWS Summit Tokyo 2019 における AWS におけるデータベースの選択指針 - YouTube というセッションをベースに、AWSの各データベースサービスについて概要を理解し、データベース選択のガイドラインを説明したいと思います。 データベースの歴史 リレーショナルデータベース 1970年代後半〜1990年代前半にOracleやDB2(IBM)、SQL Server(Microsoft)、Access(Microsoft)などの商用リレーショナルデータベースが開発され、その後 2000年にかけてMySQLやPostgreSQLといったOSSのリレーショナルデータベースが登場しました。 No
Docker
Kinesis Data Analytics不要？Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。先日12/15付けのアップデートでKinesis Data StreamsとDynamoDB Streamsから起動するLambdaにタンブリングウィンドウの設定が可能になりました。 少し時間が空いてしまいましたが、このアップデートについてご紹介します。 概要 今回のアップデートにより、Lambdaに流れてきたストリーミングデータの状態をウインドウ単位で管理できるようになりました。Lambdaというサービスはステートレスが基本で、複数の関数呼び出しを跨いで何かしらの状態を共有するにはDynamoDBのような外部データストアを利用するのが基本でした。今後はLambdaのサービス基盤だけで各ウィンドウの状態が管理できます。 具体的なイメージとしては以下のような処理が実現可能になりました。 ストリームに[1,2,3,4,5]というデータが投入される データがウィンド
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
My Notes on GitLab Postgres Schema Design
若手プログラマー必読！５分で理解できるER図の書き方５ステップ | NTTコミュニケーションズ 法人のお客さま
Exploiting IndexedDB API information leaks in Safari 15
PlanetScale is now generally available
MongoDB〜OSSのNoSQLサーバ〜 | OSSのデージーネット
Create beautiful forms to fill your Notion databases
neue cc - Redis互換の超高速インメモリデータストア「Garnet」にC# CustomCommandを実装してコマンドを拡張する
XTDB - the open database with temporal graph queries
Announcing Deno KV
DBスキーマを駆動にした開発のためのライブラリ調査 | フューチャー技術ブログ
Tkrzw: a set of implementations of DBM
Google Cloud SpannerのPostgreSQL互換インターフェイス、正式版に
日本マイクロソフトの社員が教える、GPT×ReAct活用のコツ トークン制限がある場合は分割格納、自然言語の履歴管理にはNoSQLデータベースを
Introducing pgroll: zero-downtime, reversible, schema migrations for Postgres
AWS再入門ブログリレー Amazon DocumentDB編 | DevelopersIO
KVSと二年間向き合って得たナレッジを還元する時がきた | フューチャー技術ブログ
やさしい図解で学ぶ 中間テーブル 多対多 概念編 - Qiita