AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能
Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in
どうも ryo_grid です。 昨年はRustを覚えたいと思い、題材としてRESTインタフェースを持った分散KVS（実質はいわゆる分散ハッシュテーブル）を書いたりしました。 FunnelKVS: Rust implementation of autonomous distributed key-value store which has REST interfaces この記事では、他言語を使ってきた私が、経験のないRustを用いてそこそこのコード規模・複雑さのシステムソフトウェアを書いてみた上で、Rustについて感じたことを、独断と偏見で述べます。 Rustってなんか流行りそうな雰囲気あるけど難しいとも聞くし、どうなんだろ？と考えている方や、Rustガチ勢の方々に、「初学者はこう感じるんだな」「ここらへんに苦労するんだな」というところを伝えることで、Rustのスムーズな普及に少しでも寄
S3 is a Key-Value store Amazon S3 は、一意のキー値を使用して、必要な数のオブジェクトを保存できるオブジェクトストアです。 Amazon S3 オブジェクトの概要 - Amazon Simple Storage Service Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。 Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO Amazon S3の実体はKey-Value storeという事実は、既にご存知の方々にとっては何を今更というようなことではありますが、それでも初めて聞くときには驚かされたものです。 さて、Key-Value storeと聞いて一般的に馴染みが深いのはRedisでしょう。そして、RailsにおけるRedisの役割としてCac
PHPerKaigi 2021 (2021/3/27) 発表資料。補足記事：https://hnw.hatenablog.com/entry/2021/03/29/011242 Read less
複数のコンピューター間で直接データを送受信するP2Pは、従来のクライアント・サーバー構造が抱える「サーバーへのアクセス集中」や「中央集権」などの問題を解決する技術として注目を集めてきました。P2Pはデータを分散して保存できる点が特徴であり、ビットコインなどの暗号通貨やBitTorrentなどで活用されています。オープンソースソフトウェアの「Hypercore Protocol」を使うと、そんなP2Pによる分散型ストレージやKVSを無料で簡単に利用できるとのことなので、実際に使ってみました。 Hypercore Protocol https://hypercore-protocol.org/ Hypercore Protocolは「Hypercore」と呼ばれる機能を基盤として、分散型ストレージの「Hyperdrive」やKVSとして使える「Hyperbee」などの機能を含むツール群です。基
dodaサイトで「KVS with Debezium導入」に挑戦！！ - techtekt
みなさん、こんにちは。dodaのサイト開発をしているエンジニアの佐藤です。 今回、dodaサイトで「KVS with Debezium導入」に挑戦し、さまざまな知見を得られたので、その経験を記事にしました。 この記事のサマリー Debeziumを本番環境へ適用することに挑戦 本番適用するも問題が発生 Debeziumを断念し、独自のデータ転送を実装 結果的に知見を得ながらKVS導入を達成！ ＜挑戦で得られた知見＞ なぜKVSを導入したのか？ 数億のレコード数を持つテーブルからSQL発行でデータ取得していた機能に対し、以下２つの目的をもってKVSを導入しました。 画面表示の高速化 アクセス頻度の高いテーブル（RDB内）に対する負荷軽減 対象画面について イメージが湧きやすいようにKVS導入の対象画面について、簡単に説明します。 「企業からのオファー」という画面で、会員様向けに企業側からのオフ
データ指向アプリケーションデザインを読んでLSM-treeインデックスに基づくKVSを作る - 油そば
この記事はMicroAd Advent Calendar 2019の4日目の記事です。 qiita.com はじめに どういうKVSを作るか 手始めにログベースのKVS 書き込み, 読み取り, 削除 ログフォーマットの決定 実装 LSM-treeインデックスを持つKVSを実装する 書き込み MemTableからSSTableの生成 SSTableの反映 SSTableのマージとコンパクション バッファを使ったマージ&コンパクション ステップ1. SSTable毎にキーを読み出す ステップ2. バッファ内の最小のキーの最新の値を読み出す 再起動時の復元 アクターで組み立てる 書き込みのケース 読み取りのケース コード はじめに データ指向アプリケーションデザインは今年買って読んだ技術書の中で最も読み応えがあった本でした。 www.oreilly.co.jp 単に周回で読むだけでも学びが多い本
KVSあるいはKVSベースのNewSQLに高速なAuto Incrementを実装する | CyberAgent Developers Blog
AI事業本部の黒崎( @kuro_m88 )です。 MySQL、PostgreSQLのようなRDBとAmazon DynamoDBやCloud SpannerのようなNoSQL、NewSQL系のDBを比較したときに、後者はRDBのauto incrementのような機能を実装しようとすると前者と比較して性能が出ない問題があります。この問題に対してRedisのLua Scriptingを用いて採番用のキャッシュを実装し、併用することで高速化した事例を紹介します。 本記事ではAmazon DynamoDBやCloud Spannerが採用されている環境を想定します。特に特定のDBに依存した考え方ではないので、その他のKVSやKVSベースのNewSQLにも応用できる考え方かと思います。手法を検討するのに使ったコードはGoで実装しました。 前提 前提としてKVSのような分散DBにおいて、auto
はじめにこんにちは、Technology Innovation Group所属 DBチームの岩崎です。 テックブログにて記事を書くのは1年半ぶりです。(反省)あれからずっと設計～開発まで推進し、無事アプリリリースが完了しました。 — 脱RDB脳 — Cassandraのデータモデルについて考えてみる このタイミングで改めてKVS関連のナレッジを還元できたらと思い筆を執りました。 1. データモデル設計の勘所前回の記事でも書かせていただきましたが、KVSを採用するにあたって一番ポイントになるのがデータモデル設計です。 ここを外すと、開発で大いに苦しみます。場合によっては要件を満たせず再設計ORノックアウトなんてことにも繋がりかねません。 1-1. 更新要件を中心に設計するのがベターKVSはキーアクセスしかできないのでデータ参照にフォーカスしたモデルを設計しがちです。 もちろんこのアプローチは
[速報] AWSのマネージドCassandra、分散KVSのAmazon MCSが発表されました！ (Open Preview) #reinvent | DevelopersIO
Operating Cassandra at scale re:Invent 2019のキーノートにて、Amazon Managed Apache Cassandra Service (MCS)が発表されました。この記事では速報としてお届けします。 Announcing Amazon Managed Apache Cassandra Service – Now in Preview New – Amazon Managed Apache Cassandra Service (MCS) | AWS News Blog スケールに対応した分散KVSとして代表的なApache Cassandraが、ついにマネージドサービスのひとつとしてAWSでサポートされます。DynamoDBへの移行が簡単でないアプリケーションの管理者には福音ではないでしょうか。 Amazon MCSの特徴は下記とのこと： A
![[速報] AWSのマネージドCassandra、分散KVSのAmazon MCSが発表されました！ (Open Preview) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e3e65ee58352405507c3c5eef3119eb984ccc2b1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2F201912-keynote-new-amazon-mcs-eyecatch-fs8.png)
GitHub - azu/kvs: Lightweight key-value storage library for Browser, Node.js, and In-Memory.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Kubernetes 上で KVS をマネージドっぽく使いたい！ / Managed KVS on Kubernetes
Cloud Native Meetup Tokyo #10 の資料です。
古き良き KVS たる DBM の最新実装である Tkrzwの連載記事 を愛読しています。実践的なアーキテクチャ選定・設計の手順と、現代の実装を学べて本当に素晴らしいです。 これまでの tkrzw 本体はローカルの DBM 機能（直接ファイルを読み書きするキーバリューストアのライブラリ機能）だけでしたが、9月になって、tkrzw-rpc として gRPC を利用したサーバ版アプリケーションが動き始めました。 生の Mac では依存管理が少々面倒になるので、手元の Docker で手軽に試せるように Dockerfile を書いてみました。最低限の get・set 手順を紹介します。 https://github.com/kawanet/tkrzw-docker/blob/main/tkrzw-rpc/Dockerfile イメージのビルド git clone https://github.
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ etcdとは？OSSの分散KVSです。単純なkey-Value形式のデータを保存することができます。アーキテクチャーも単純で、構築もそれほど難しくはありません。詳細は以下のURLを御覧ください。 https://et
分散KVSの「etcd」、十分成熟したソフトウェアに到達したと、CNCFのインキュベーション段階からの卒業を発表
分散KVSの「etcd」、十分成熟したソフトウェアに到達したと、CNCFのインキュベーション段階からの卒業を発表 etcd（エトセディー）は、複数のノードが協力してキーバリュー型データストアを実現する、いわゆる分散KVS（キーバリューストア）です。 オープンソースで開発され、スケーラビリティや高速性、高い信頼性などを特徴としており、Kubernetesにおいてはプライマリデータストアとしてすべてのクラスタの状態を保存するなどの重要な役割を果たしています。 etcdはCloud Native Computing Foundation（CNCF）のインキュベーションプロジェクトとして開発が進められてきましたが、一定の成熟度に達したとしてインキュベーションからの卒業が発表されました。 Congrats to @etcdio, the newest #CNCF project graduate!
TOYO on Twitter: "久米島の住民虐殺。こういう図にしてみた。あまりに酷くて辛すぎる。今日は仲村渠さんが殺害された日。島への艦砲射撃を辞めさせた恩人なのに鹿山隊に見つかって一家共々殺された。 https://t.co/K4Te8KvS2y"
久米島の住民虐殺。こういう図にしてみた。あまりに酷くて辛すぎる。今日は仲村渠さんが殺害された日。島への艦砲射撃を辞めさせた恩人なのに鹿山隊に見つかって一家共々殺された。 https://t.co/K4Te8KvS2y
どうも ryo_grid です。5カ月強ぶりの投稿です。 今回は、Pythonで書いた分散KVSのシミュレータ（マルチスレッドなプログラム）をRustで書き換えようとして苦戦している話について書きます。 Contribution 作業のメモ書きとかを書くのはガイドライン違反らしいので、この記事が単純なその手のたぐいではなく、ソフトウェア開発の世界に Contribution をするものであることを最初に書いておきます。 他言語で書いたプログラムをRustにポーティングする場合の事例紹介である 他言語から来た者がRustでマルチスレッドなプログラムをRustで書く時のはまりポイントについて示し、ある程度、どのように書けば良いかの情報を提供する（最適解でない可能性は高い。どころか、まったく的外れの可能性も無くはない） 多言語からRustに入る時に、他言語で気楽にできていたことがRustだとそう
小川春佳(hal)@囲碁っぽグッズ作家 on Twitter: "最近見た画像でツボったのこれ 私一生ジュース飲めない https://t.co/PeQ0Kvs3X6"
最近見た画像でツボったのこれ 私一生ジュース飲めない https://t.co/PeQ0Kvs3X6
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
他言語ユーザがRust言語をガチめに使っての雑感 - 分散KVSを書いてみて - - Qiita
S3は巨大なKVSなのでRailsのCache storeとしても使える | うなすけとあれこれ
PHP7から不変配列がOPcacheに乗るのでKVSを置き換えられるかもしれないという話
簡単にP2Pの分散型ストレージやKVSを試せる「Hypercore Protocol」を使ってみた
KVSと二年間向き合って得たナレッジを還元する時がきた | フューチャー技術ブログ
最新 KVS の Tkrzw サーバを Docker で起動する - Qiita
分散KVS「etcd」の環境を世界最速で構築！！ | SIOS Tech. Lab
Pythonで書いた分散KVSのシミュレータをRustに書き換えようとして苦労している話 - Qiita