In a previous post, I showed how Kafka can be used as the persistent storage for an embedded key-value store, called KCache. Once you have a key-value store, it can be used as the basis for other models such as documents, graphs, and even SQL. For example, CockroachDB is a SQL layer built on top of the RocksDB key-value store and YugaByteDB is both a document and SQL layer built on top of RocksDB.
GitHub - cockroachdb/pebble: RocksDB/LevelDB inspired key-value database in Go
Pebble is a LevelDB/RocksDB inspired key-value store focused on performance and internal usage by CockroachDB. Pebble inherits the RocksDB file formats and a few extensions such as range deletion tombstones, table-level bloom filters, and updates to the MANIFEST format. Pebble intentionally does not aspire to include every feature in RocksDB and specifically targets the use case and feature set ne
Vector database built for scalable similarity searchOpen-source, highly scalable, and blazing fast. Fuel your machine learning deploymentStore, index, and manage massive embedding vectors generated by deep neural networks and other machine learning (ML) models.Easy to UseWith Milvus vector database, you can create a large scale similarity search service in less than a minute. Simple and intuitive
Amazon Database Migration Accelerator のご紹介 | Amazon Web Services
Amazon Web Services ブログ Amazon Database Migration Accelerator のご紹介 本日、Amazon Database Migration Accelerator (DMA) をローンチしたことを発表します。Amazon DMA では、AWS Database Migration Service (DMS)、AWS Schema Conversion Tool (SCT)、AWS データベース移行エキスパートを活用することで、従来の商用データベースから固定料金で移行することができます。ローンチ時点の Amazon DMA では、Oracle や SQL Server から Amazon Aurora または Amazon Relational Database Service (RDS) for PostgreSQL/MySQL への移行
Build Your Own Database From Scratch in Go | Build Your Own Database From Scratch in Go
Introduction Understand databases from the bottom up by building your own, in small steps, and with simple Golang code. Start with a B+tree, the data structure for querying and manipulating the data. Make it durable, that’s what makes a DB different from a file. Relational DB with concurrent transactions on top of the copy-on-write B+tree KV. A SQL-like query language, the finishing touch. Content
Haskell Database Implementation - Part 1, Growing a Tree
Having started my career as a software developer in 2013 with an undergraduate degree in Mathematics, I never got the chance to take some of the higher-level courses on subjects like compilers, programming languages, or databases. In 2020 I set out to correct some of the gaps in my knowledge, and one of the ways I did so was by writing my own database, in Haskell, from scratch. This series of post
Prisma 2.0 | Now in Beta: Type-safe Database Access with Prisma Client
March 31, 2020 Prisma 2.0 is in Beta: Type-safe Database Access with Prisma Client We introduced the first Preview version of Prisma 2.0 in June last year. Today, we are excited to launch the first official Beta along with a new website and updated Prisma 2.0 documentation. Update: Prisma is now ready for production. Read more in the announcement article: The Complete ORM for Node.js & TypeScript.
ProductSecurityGitHub Advisory Database now supports RustWe’re excited to announce that the GitHub Advisory Database now includes curated security advisories on the Rust ecosystem! GitHub is on a mission to create a more secure supply chain for all developers and organizations. To do that, we need to empower all developer communities with a comprehensive vulnerability database. That’s why we’re ex
チュートリアル: Lambda 関数を使用して Amazon RDS にアクセスする - Amazon Relational Database Service
このチュートリアルでは、Lambda 関数を使用して、Amazon Relational Database Service (Amazon RDS) データベースに RDS プロキシ経由でデータを書き込みます。Lambda 関数は、メッセージが追加されるたびに Amazon Simple Queue Service (Amazon SQS) キューからレコードを読み取り、データベース内のテーブルに新しい項目を書き込みます。この例では、AWS Management Console を使用してキューにメッセージを手動で追加します。次の図は、チュートリアルを完了するために使用する AWS リソースを示しています。 Amazon RDS では、Microsoft SQL Server、MariaDB、MySQL、Oracle Database、PostgreSQL などの一般的なデータベース製品を
［速報］Oracle Database 23cベータ版登場。JSONオブジェクトビュー、マイクロサービス対応のトランザクション機能など。Oracle CloudWorld 2022
オラクルは米ラスベガスで開催中のイベント「Oracle CloudWorld 2022」において、開発中の「Oracle Database 23c」（以下、23c）ベータ版のリリースを発表しました。 1つ目は、リレーショナルデータベースのスキーマを基にJSONオブジェクトビューを構成できる「JSON Relational Duality」です。これにより23cではリレーショナルデータベースがJSONを用いたドキュメントデータベースとしても振る舞うようになります。 「開発者はMongo APIを使ってもいいし、SQL JSONを使ってもいいし、その両方を使ってアプリケーションを作ってもいいんです。この機能でSQLとJSONの間のインピーダンスの不一致を解決しようとしている、これを実現しているデータベースは、私たちが知っている限りでは、私たちが初めてです」（Mendelsohn氏） 2つ目は「
Neon: A New Approach to Database DevelopmentNeon is Generally Available Neon is now Generally Available. We’ve shipped major improvements to Neon internals that, combined with our operating experience scaling up to 700,000+ databases over the past year, give us the confidence that Neon is ready to support your business-critical workloads. If you’re building or scaling an application, you like Post
実行計画は、SQL文のレントゲン写真だ！ Oracle Database編 (全部俺） Advent Calendar 2019 - Adventar
実行計画は、SQL文のレントゲン写真だ！ Oracle Database編 (全部俺） Advent Calendar 2019 さて、なんとなく、勢いではじめてみました、実行計画は、SQLのレントゲン写真だ! 実行計画という、SQLのレントゲン写真をどれだけみたて診察、治療してきたか、SQLチューニングという診察、治療の腕をあげるためにも、どのような実行計画がどのようなSQL文から生成されるのか知っていて損はないです。（はず） 今温めているネタに近く、勢いで初めてしまったので、Advent calendar 全部俺 ということにしておきます。 実行計画のパターンは、よく見るものも含め25は軽く超えてしまいますが、今回は基本になりそうなところ中心に集めてレントゲンとしてカタログ化w しておきたいと思います。 今回はOracle Database編で、一部、JPOUG Advent Cale
How a Docker footgun led to a vandal deleting NewsBlur’s MongoDB database
tl;dr: A vandal deleted NewsBlur’s MongoDB database during a migration. No data was stolen or lost. I’m in the process of moving everything on NewsBlur over to Docker containers in prep for a big redesign launching next week. It’s been a great year of maintenance and I’ve enjoyed the fruits of Ansible + Docker for NewsBlur’s 5 database servers (PostgreSQL, MongoDB, Redis, Elasticsearch, and soon M
はじめに おはようございます。こんにちは。こんばんは。 今回はFirebase Databaseを解説していきます。 ではやっていきます。 ※今回もwebベース(Vue.js)の解説です。 Firebase Database Firebaseが提供しているデータベースは２種類あります。 Realtime Database Cloud Firestore Realtime Database は従来からある Firebase のデータベースです。リアルタイムのクライアント間同期が必要なモバイルアプリのための、効率的でレイテンシが低いソリューションです。 Cloud Firestore は、Firebase のモバイルアプリ開発用の新しい主力データベースです。直感的な新しいデータモデルで、Realtime Database をさらに効果的にしています。Cloud Firestore は、Real
MySQL Shell dumpInstance でバックアップ中はDDL が待機させられる - mita2 database life
MySQL Sever Blog に MySQL Shell 8.0.21 の Dump / Import 機能についてエントリーが投稿されています。 並列化により非常に高速に Dump / Import 出来ることなどが示されてます。非常に強力なツールであることが感じられます。 MySQL Shell Dump & Load part 1: Demo! | MySQL Server Blog とりあえず動かしてみる \help util.dumpInstance で説明が見れます。 threads や maxRate オプションでパフォーマンスの調整ができそうです。 $ mysqlsh root@localhost mysqlsh > \help util.dumpInstance NAME dumpInstance - Dumps the whole database to files
Amazon S3 への DB スナップショットデータのエクスポート - Amazon Relational Database Service
DB スナップショットデータを Amazon S3 バケットにエクスポートできます。エクスポートプロセスはバックグラウンドで実行されるため、アクティブな DB インスタンスのパフォーマンスには影響しません。 DB スナップショットをエクスポートすると、Amazon RDS はスナップショットからデータを抽出して Amazon S3 バケットに保存します。データは Apache Parquet 形式で一貫して圧縮され、保存されます。 すべてのタイプの DB スナップショット (手動スナップショット、自動システムスナップショット、AWS Backup サービスで作成されたスナップショットなど) をエクスポートできます。デフォルトでは、スナップショット内のすべてのデータがエクスポートされます。ただし、特定のデータベース、スキーマ、またはテーブルのセットをエクスポートすることもできます。 データを
SQLite has had JSON support for a while. However recently it added a killer feature: generated columns. (This was added in 3.31.0, released 2020-01-22.) This makes it possible to insert JSON straight into SQLite and then have it extract data and index them, i.e. you can treat SQLite as a document database. This has been possible with PostgreSQL and obviously is what something like Elastic provides
メリークリスマス！ この記事は「エンジニアの登壇を応援する会 Advent Calendar 2019」の24日目の記事です。 これまでもQiitaに登壇記録はいくつか投稿してきましたが、2019年も終わりということで今年一年を振り返ってのまとめをしたいと思います。 年頭に立てた目標的なもの 2018年末にPGConf.Asia 2018で登壇した後、2019年の目標として以下のようにカンファレンスで登壇を目指していくことを決めました。 KubeConでの登壇は叶わなかったものの、それ以外の３つと＋αでCFPが通って登壇することが出来ました。目標達成率という意味では上々といえると思います。 カンファレンスでの登壇 先ほど伸べたように4つのカンファレンスで登壇しています。それぞれ登壇記録へのリンクと一言感想を書いておきます。 CloudNativeDays Tokyo 2019 登壇記録はこ
AWS Certified Database – Specialty 合格までのお話 | Developers.IO
哈喽大家好、コンサルティング部の西野です。 先日 AWS Certified Database - Specialty に合格したので私の経験を記しておきます。 筆者について データベース全般の知識 ほとんど何もわからない状態でした。 基礎的な用語を聞いたことぐらいはある（基本情報・応用情報で出てくるレベル） 簡単な SQL を書くためにも毎回ググってしまう テーブル設計などについてはほぼ想像がつかない こんな感じです……。 AWS の知識 実務経験は2年弱程度ありましたが、データベース関連サービスはあまり触ったことがない状態でした。 認定試験は SAA・SOA・DVA・SAP・DOP・SCS の6種を取得していました。 勉強期間 学習開始から1.5ヶ月程度です。 2020年8月23日 模擬試験受験（試験のための学習開始） 2020年10月5日 合格 ※ PSI で予約した AWS 試験は
[AWS Black Belt Online Seminar] AWS Database Migration Service 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS Database Migration Service 資料及び QA 公開 先日 (2021/02/16) 開催しました AWS Black Belt Online Seminar「AWS Database Migration Service」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20210216 AWS Black Belt Online Seminar AWS Database Migration Service AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. DMS でレプリケーションされないオブジェクト（インデックスなど）は、手動で移行とのことでしたが、ＳＣＴを使用することもできる
![[AWS Black Belt Online Seminar] AWS Database Migration Service 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/097630f0872e7dd6cf06b7fd5918df57226fd2f0/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2021%2F03%2F01%2F20210216_Blackbelt_DatabaseMigrationService-1120x630.png)
この記事は、JPOUG Advent Calendar 2020 の17日目の記事です。 16日目はmoritaxp_oironさんの記事『DatabaseのAT（オートマ）、Autonomous Database を見る 』でした。Autonomous Data Warehouse(ADW)でできること、できないこと（やらなくても良いこと）をわかりやすく解説してくださっていて非常に勉強になりました。 ちなみに私の普通自動車免許はMTですが、最後にMT車に乗ったのは教習所です。 長期サポートリリースの19cが昨年リリースされたことで、19cをご利用されているお客様からのお問い合わせも徐々に増えてきました。新しいバージョンがリリースされると必ずいただくのが「移行後に特定のクエリが遅延するようになった」というお問い合わせです。 バージョンが上がることで様々な機能や仕様が追加・改善されるため、多
ヨーヨー世界チャンピオンのヨーヨー専門店『リワインド』による、世界最大級のヨーヨートリック動画データベースです。 ヨーヨーをゼロから始める初心者の方に便利なトリックリスト、中級者以上の方におすすめな直感的に探せるトリック検索など、大量のトリックから目的のトリックにたどり着くお手伝いをします。 REWINDトリックリスト
GitHub - paperboi/kindle2notion: Export all clippings from your Kindle device to a database in Notion.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
この記事は、LayerX Tech Advent Calendar 2022 7日目の記事です。 Enabling Team エンジニアの @yyoshiki41（中川佳希）です！ 直近チームで、 ORMフレームワークである ent を使う機会があり、 そこで利用している Atlas というデータベースマイグレーションエンジンについての紹介です。 ent ent の詳細な説明は省略しますが、以下のような特徴があります。 Go 用の ORM フレームワーク Go で Schema を記述し、コード生成を行う コード生成により、静的型付けされた明示的なAPIを実現 アプリケーションの中で扱いやすいようモデリングした Schema とそのリレーションを定義可能 e.g.) Edges で、エンティティ間のリレーションを表現 Eager Loading, Hook, Privacy レイヤなどの拡
WebRTCのシグナリングにFirebase Realtime Databaseを使ってP2P通信をしてみた - Qiita
前提 WebRTCでランダムマッチングみたいなことをやりたくて、 シグナリングにFirebase Realtime Database（以降：Realtime Database）を使用すればお手軽に実装できるんじゃね？ と思って実装してみたハナシ WebRTCについては「WebRTC入門2016」が非常に参考になりました！ Firebaseについては公式ドキュメントを読んでください！ 概要 実装見ながら書きました！ シーケンス図 オファーとアンサーのSDPのやり取り（シグナリング）はRealtime Databaseで行います。 ステート図 マッチング中にオファーとアンサーどちらか先に接続成功した方を使って、以降のP2P通信を行います。 自分のオファーを自分でアンサーしないよう気を付けます。 実装 Firebase Hostingにデプロイして動かす前提のhtmlファイルです。 Fireba
Database Internals
Get full access to Database Internals and 60K+ other titles, with a free 10-day trial of O'Reilly. There are also live events, courses curated by job role, and more.
愛知大学 中国語語彙 データベース ↑をクリック 工具箱 声調つきピンイン変換 音声合成 ・リンク(PCブラウザー)はこのページにおねがいします。 ・「ホーム画面追加」(スマホ・タブレットのブラウザー)はこのページにおねがいします。 ・自動ダウンロードソフトの使用を禁止します。 ・お問い合わせ等は下のメールアドレスにお願いします(・を@に)。 hcs・ml.aichi-u.ac.jp 愛知大学
Mroonga から InnoDB FTS への乗り換えを考えてみた - mita2 database life
このエントリーはMySQL Casual Advent Calendar 2019 の7日目です。 実は、毎年 12 /7 日書いてます。 mita2db.hateblo.jp mita2db.hateblo.jp -- 昨日は、@SHINOHARATTT さんでした。 ポケモンを題材にして論理設計を学ぶ というエントリーでした。楽しく学べて良いです！ qiita.com -- 本エントリーではMroonga と InnoDB FTS の比較を軽くしてみたいと思います。 InnoDB FTS に乗り換えるモチベーション 耐障害性を高めたい mroonga ストレージエンジンは クラッシュセーフではありません。運が悪いと障害時に直前にコミットした内容が失われる可能性があります。 ラッパーモードでもテーブル本体はInnoDBなため、クラッシュセーフですが、インデックスはクラッシュセーフではあり
42 things I learned from building a production database
In 2017, I went to Facebook on a sabbatical from my faculty position at Yale. I created a team to build a storage system called Delos at the bottom of the Facebook stack (think of it as Facebook’s version of Chubby). We hit production with a 3-person team in less than a year; and subsequently scaled the team to 30+ engineers spanning multiple sub-teams. In the four years that I led the team (until
Database Fundamentals
About a year ago, I tried thinking which database I should choose for my next project, and came to the realization that I don't really know the differences of databases enough. I went to different database websites and saw mostly marketing and words I don't understand. This is when I decided to read the excellent books Database Internals by Alex Petrov and Designing Data-Intensive Applications by
tl;dr Goのdatabase/sqlのDSN内のsql_modeやLocation等、固定したほうが良いパラメータ設定は、設定値に持たせるのではなく、アプリケーション内部で決め打ちしたほうが安全です。 本論 社内でMySQLを使っているので、それを例にとって書きます。 いわゆる、DSN(dataSourceName)呼ばれる、sql.Open に渡すDB接続文字列があります。これは、環境変数 DATABASE_URL 等に入れてアプリケーション内で読み出してDBに接続するでしょう。 DSNにはホスト名、ユーザー名、パスワードなどの接続先情報の他に、様々なオプションパラメータを記述することができます。以下にDSNの例を出しますが、この中の?以降がオプションパラメータです。 user:pass@tcp(myhost:3306)/dbname?collation=utf8mb4_unico
GitHub - steebchen/prisma-client-go: Prisma Client Go is an auto-generated and fully type-safe database client
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Oracle ACEの渡部です。 VirtualBox VMにシングル構成のLinux版Oracle Database 19cを導入する手順（環境設定、インストール、データベース作成）をまとめておきます。 非常に「いまさら感」がありますが、以下の理由で書いてみようと思いました。 私が執筆したORACLE MASTER黒本で、Linux版Oracleのインストールについて試験対策の観点では必要十分な説明を書いていたが、実際に環境を作成する観点で十分なまでは書けていなかったため これまでリリースごとに日本オラクルさんからインストール手順書が提供されていた（12c R1, 12c R2）が、19c向けの手順書が提供されていないため Linux版Oracleのインストールおよび使用において「重要な鍵」となる動作環境の準備（VM、OS、ネットワークなど）において落とし穴を避けるノウハウを、以前から文
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日本オラクルは、北海道富良野市が「IoT除排雪効率化実証実験」におけるデータ分析基盤に「Oracle Autonomous Data Warehouse」と「Oracle Analytics Cloud」を導入したと発表した。 同実証は、除排雪作業を可視化し、除排雪車両の走行ルートの最適化や、作業時間／コストの削減の作業効率化を行うことが目的。TIS北海道が共同参画し、2020年12月から2021年1月までの除排雪業務においてデータの収集／分析／可視化を行う。 両ソリューションについて同市は、低コストで高信頼性、セキュリティ、多機能を備えたクラウドデータ管理基盤として評価している。また、短期間で導入可能な点も採用の大きなポイントとなった
マイクロサービスアーキテクチャにおけるDatabase per serviceパターン、そしてその整合性の取り方について | cloud.config Tech Blog
マイクロサービスアーキテクチャにおけるデータベース 昨今、マイクロサービスアーキテクチャというアプリケーションアーキテクチャのパターンへの関心が高まってきています。 サービス全体を複数のサービスに分割し、相互に通信を行って連携を行わせることで、それぞれのサービスを疎結合にし、サービスの間の依存関係を小さくすることで、それぞれのサービスを素早く開発したり、デプロイの単位を小さくしたり、サービスごとに別の技術を使用することができる、というのがこのアーキテクチャの特徴になります。 その中で、データベースをどうやって持たせるのかという疑問については、Database per serviceというパターンがその回答になります。 このパターンにおいては、例えば、サービスAはデータベースAと直接データのやり取りを行い、データベースBへの接続方法やスキーマについては関知しません。 サービスBも同様に、デー
事業を横断してデータベース運用を支援するビズリーチの「DBRE（Database Reliability Engineering）」チーム
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
Over the past few weeks, the Bitbucket Engineering team has been sharing our ongoing efforts and wins in our journey to achieving world-class reliability. In our previous post, Development Manager Dan Tao took you through our PIR process. In this next post, we’ll talk about database scalability. Bitbucket’s usage is growing Two services at the core of Bitbucket are the ones serving the Bitbucket w
SQL Server / SQL Database の照合順序とコードページの関係 at SE の雑記
SQL Server には「照合順序」という設定があります。 照合順序のドキュメントでは、次のように説明が行われています。 照合順序では、データセット内の各文字を表すビット パターンが指定されます。 また、照合順序はデータの並べ替えおよび比較を行うための規則を決定します。 SQL Server では、単一のデータベース内で異なる照合順序を持つオブジェクトを格納できます。 非 Unicode 列の場合は、照合順序の設定によってデータのコード ページと表示可能な文字が指定されます。 非 Unicode 列の間でデータを移動する場合は、移動元のコード ページから移動先のコード ページに変換する必要があります。 文字列の比較 / ソートを行うための規則のほかに、「非 Unicode 文字列型のコードページ」も照合順序の設定に依存するようになっており、char / varchar 型については、設定
GitHub - Debdut/names.io: A Global Exhaustive First and Last Name Database
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building A Relational Database Using Kafka
Vector database - Milvus
GitHub Advisory Database now supports Rust
Neon: A New Approach to Database Development - Neon
初めてのFirebaseを触ってみる(Database) - Qiita
SQLite as a document database
2019年の「Database with Kubernetes」に関する振り返り - Qiita
Oracle Databaseバージョンアップ後の性能劣化で試したい暫定対処 | アシスト
ヨーヨートリックデータベース ver0.8 | Yo-Yo Trick Database
Database Migration with Atlas - LayerX エンジニアブログ
愛知大学_中国語語彙データベース(汉语词汇数据库) Chinese Vocabulary Database
Monarch: Google’s Planet-Scale In-Memory Time Series Database
database/sqlのDB接続パラメータをアプリケーション内で明に指定する | おそらくはそれさえも平凡な日々
VM作成からのOracle 19cインストール手順 前編（Linuxシングル） | コーソルDatabaseエンジニアのBlog
富良野市、IoT除排雪効率化実証実験に「Oracle Autonomous Database」活用
Scaling Bitbucket's Database - Bitbucket