このサンプル テーブルでは、データを読みやすくするため、itemID と playerID の文字列は途中で切り捨てられています。実際のインベントリ テーブルには、この例に含まれていない別の列も含まれます。 RDBMS でアイテムの所有権を追跡する場合、一般的な方法では、現在のオーナーのプレーヤー ID を保持する外部キーとして列を使用します。この列は、個々のデータベース テーブルの主キーになります。Spanner では、インターリーブを使用して関連するプレーヤー テーブルの行の近くにあるインベントリを格納し、パフォーマンスの向上を図ることができます。インターリーブ テーブルを使用する場合は、次の点に注意してください。 プレーヤー行のデータと、そのすべての子孫のインベントリ行のデータは合わせて 4 GiB 未満にする必要があります。この制限は、適切なデータモデル設計の問題によるものではあり
Get more out of Spanner with granular instance sizing | Google Cloud Blog
Cloud Spanner trims entry cost by 90%, offers sharper observability and easier querying Customers love Cloud Spanner because it gives them the benefits of relational semantics and SQL while also delivering the scale and availability of non-relational databases. Many of these customers want to move even more of their work to Spanner, and have requested smaller instance sizes to support development,
Cloud Spanner は分散システムであり、SQL クエリの実行は場合によっては複雑な分散ストリーム処理となりうる。 よって、パフォーマンス劣化を起こさないように SQL の表現力による利益を得るには Cloud Spanner の低レベルアーキテクチャと高レベルのクエリ実行について両方理解する必要がある。 しかし、実行計画の活用やクエリチューニングについてはまだ公式にもコミュニティでも十分語られているとは言えない。 ここでは Cloud Spanner のクエリパフォーマンスに関係するドキュメントや API のレスポンスに含まれる実行計画の内容について、 公式には説明されていないことも含めた理解とその活用方法を解説する。 主にどのような特性を持つかについて説明しており、ベンチマークを行うのであれば実際のデータやワークロードの傾向について知っている立場で行うことを推奨する。 Use
Googleが開発した分散型データベース論文は公開されているが、OSSではないKVSとRDBが合体したような特性を持っている開発当初はKVSだった従来のRDBと互換性があるわけではないので、New SQLとか呼ばれていることもある最初のSpannerの論文が2012年に公開されているので、Googleはそれ以前からSpannerを利用しているGoogle Cloud Spannerとして登場したのは2017年
2021 年の Cloud Spanner を振り返る
この記事は Google Cloud Japan Advent Calendar 2021 の 14 日目の記事です。本記事は 2021 年 12 月 14 日現在の情報に基づいて書いています。 こんにちは、Google Cloud で Database Specialist をやっている佐藤です。今回は Cloud Spanner 冬休み講座と題して、2021 年の Cloud Spanner を振り返ってみようと思います。これらをおさえておけば、来年に向けた Cloud Spanner の復習と予習はバッチリ！さて 2021 年は Cloud Spanner にとってどんな年だったでしょうか？ 目次1 時間目：Cloud Spanner はどんなデータベース？2 時間目：インスタンスの運用管理機能の向上 — 0.1 ノード インスタンスの登場 — 任意の時点のデータを復元する PITR
Terraformモジュールを使ったCloud Spannerの設定標準化の取り組み | メルカリエンジニアリング
この記事は、Merpay Tech Openness Month 2023 の8日目の記事です。 メルペイのSREチームに所属しておりますt-nakataです。今回はメルペイでのTerraformモジュールを利用したCloud Spannerの設定標準化の取り組みについて紹介します。 Cloud Spannerの設定標準化とは？ メルペイのバックエンドではマイクロサービスアーキテクチャを採用しており、各マイクロサービスで利用するデータベースはCloud Spannerを主に利用しております。Cloud Spannerは基本的には各マイクロサービスを担当しているバックエンドエンジニアがTerraformを利用して構築し、運用します。(一部共用のインスタンスもあります。) その際に考慮する必要がある点が多々あります。たとえば、google_spanner_instance、 google_sp
フィードバックを送信 Cloud Firestore のベスト プラクティス コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ここで紹介するベスト プラクティスは、Cloud Firestore を使用するアプリケーションを構築する際のクイック リファレンスとしてご利用ください。 データベースのロケーション データベース インスタンスを作成するときは、ユーザーとコンピューティング リソースに最も近いデータベースのロケーションを選択してください。広範囲に及ぶネットワーク ホップはエラーが発生しやすく、クエリのレイテンシを増加させます。 アプリケーションの可用性と耐久性を最大化するには、マルチリージョン ロケーションを選択し、重要なコンピューティング リソースを少なくとも 2 つのリージョンに配置します。 アプリケーションでレイテンシが重要な場合や、他の GC
New PostgreSQL Interface makes Cloud Spanner’s scalability and availability more open and accessible | Google Cloud Blog
New PostgreSQL Interface makes Cloud Spanner’s scalability and availability more open and accessible Customers in financial services, gaming, retail, and many other industries rely on Cloud Spanner today to power their most demanding relational database workloads that need to scale without downtime. At Google Cloud Next ’21 we announced a preview of the PostgreSQL interface for Cloud Spanner that
Spanner 沼への誘い
Google Cloud Spanner 概要 セッションの 沼への誘いシリーズ
はじめに この記事は Google Cloud Japan Advent Calendar 2022 の「通常版」の 21 日目の記事です。 こんにちは、Google Cloud でデータベース系のプロダクトを担当している佐藤です。 TL;DR - 最初にまとめ 本記事では以下の内容が書かれています。今回は Cloud Spanner 用のアプリケーションの話で例示していますが、gRPC を使う他のアプリにも応用ができる内容になっています。 本記事の内容 アプリケーションが Cloud Spanner へ投げる SQL および mutation とパラメータは、gRPC レイヤーでまとめて取得することができる gRPC には Interceptor という、各 RPC のリクエストごとに任意の処理を割り込ませる仕組みがある Interceptor で Cloud Spanner 用のアプリ
Google Cloud Spanner 沼への誘い Basic GCPUG Admin Google Developers Expert Mercari / Merpay Solution Team @sinmetal
GitHub - gcpug/handy-spanner: An unofficial emulator of Cloud Spanner backed by sqlite3
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
フィードバックを送信 Spanner をローカルでエミュレートする コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 gcloud CLI にはローカルなインメモリのエミュレータが用意されています。このエミュレータを使用すると、Google Cloud プロジェクトや請求先アカウントを作成することなく、無料でアプリケーションを開発してテストできます。エミュレータはメモリにのみデータを格納するため、再起動するとデータ、スキーマ、構成など、すべての状態が失われます。このエミュレータは Spanner の本番環境サービスと同じ API を提供し、本番環境へのデプロイではなく、ローカルでの開発とテストを目的として作られています。 エミュレータは、GoogleSQL 言語と PostgreSQL 言語の両方をサポートしています。クライアント ライブラリのすべての言語を
Projects
COLOPL Tech 勉強会 「Cloud Spanner への挑戦と今」を実施しました！ - COLOPL Tech Blog
こんにちは。コロプラのバックエンドエンジニア部の山田です。 2022年2月16日に、『Cloud Spanner への挑戦と今』というエンジニア向け勉強会をconnpassで実施させていただきました。 当日のYouTube配信はこちらからご視聴いただけます。 www.youtube.com 勉強会の内容 今回の勉強会では次のようなお話をさせていただきました。 Cloud Spanner 導入の裏話 Cloud Spanner 開発・運用で得られたノウハウ Spannerウォームアップについて 前半(1) では、コロプラ内で当たり前のように使われている Google Cloud Spanner に関して、『そもそもSpannerとは何か』『採用までの経緯・技術的ハードル』『検証段階で発見したこと』についてお話させていただきました。 後半(2,3)では、約4年間 Spanner での開発・運用
KubernetesベースのCloud Spanner Autoscaler | メルカリエンジニアリング
この記事は、Merpay Advent Calendar 2021の22日目の記事です。こんにちは、Merpay SREチームの@raviです。 DBaaSでは、さまざまなユーザー要件を満たすためにあらゆるcloudからソリューションが提供されています。 GoogleのCloud Spanner はGoogleのデータベースオプションで使用できるソリューションのひとつです。このリレーショナルデータベースでは、無制限のスケール、一貫性、99.99％の可用性（マルチリージョン設定では99.999％）を提供しており、Merpayにも適しています。 Cloud Spannerは特定数のノードを提供し、ユーザーデータはこれらのノード（またはプロセッシングユニット）間で分配されます。各ノードには特定の容量（2TB）があり、負荷に基づいてさまざまな容量のCPUを消費します。使用するデータサイズの増加に伴
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
GitHub - cloudspannerecosystem/wrench: wrench - Schema management tool for Cloud Spanner -
$ cat ./_examples/schema.sql CREATE TABLE Singers ( SingerID STRING(36) NOT NULL, FirstName STRING(1024), ) PRIMARY KEY(SingerID); # create database with ./_examples/schema.sql $ wrench create --directory ./_examples # create migration file $ wrench migrate create --directory ./_examples _examples/migrations/000001.sql is created # edit _examples/migrations/000001.sql $ cat ./_examples/migrations/
本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第4回では、アプリケーション開発でも欠かすことのできないデータベース製品の活用について、クラウドネイティブなマネージドDBである、Cloud Spanner（以下Spanner）について紹介します。 主に対象となる読者は、クラウドを利用してアプリケーションを開発するエンジニア、またはその基盤を構築するエンジニア、サービス開発に携わるプロダクトマネージャーを想定しています。 Google CloudのリレーショナルDBとSpanner Spannerの話に入る前に、Google Cloudが提供しているリレーショナルDBのサービスを見てみましょう。リレーショナルDBのマネージドサービスは、以下の3つを
inductor on Twitter: "任天堂のマルチプレイヤー用サーバー、AnthosとIstioとSpannerでできてるらしい。マルチクラスタ、Namespace単位での分離 + VirtualServiceで構成 https://t.co/wtbF1edEKN"
任天堂のマルチプレイヤー用サーバー、AnthosとIstioとSpannerでできてるらしい。マルチクラスタ、Namespace単位での分離 + VirtualServiceで構成 https://t.co/wtbF1edEKN
フィードバックを送信 スキーマ設計のベスト プラクティス コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Spanner の分散アーキテクチャでは、ホットスポット（同じサーバーに多くのリクエストが送信され、サーバーのリソースが飽和し、遅延が大きくなる可能性がある状況）を回避するようにスキーマを設計できます。 このページでは、ホットスポットの作成を回避するように、スキーマを設計するためのベスト プラクティスについて説明します。ホットスポットを回避する方法の 1 つは、Spanner が複数のサーバーにデータを分割して分散できるようにスキーマ設計を調整することです。サーバー間でデータを分散すると、特にデータの一括挿入を行うときに、Spanner データベースが効率的に動作するようになります。 ホットスポットを防ぐ主キーの選択方法 スキーマとデータモデルで説明し
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Oracle Database Technology Night #67 Oracle Database High Availability concept
この記事はUniposアドベントカレンダー2022の4日目の記事です！ はじめに Uniposのサーバサイドエンジニアの周東です。新卒でUniposに入社して、1年半も経ちました。 入社当初は「SQLとかどうやって書くんだっけ？大学で習ったけど忘れちゃったな〜」なんて思いつつ、Spannerに挑んで見事に玉砕しました。そこからデータベースに興味を持って深く調べるようになり、今ではデータベーススペシャリスト試験を受験してみたり、キャリアの軸にしたいなーとか思い始めています。 僕にとってSpannerは困難を共に乗り越えたベストフレンドであり、データベースに興味を持つきっかけにもなった思い入れのあるデータベースになりました。 Cloud Spannerを1年半業務で使って知見が貯まってきていますが、まだまだ難しくてわからないことだらけです。でも、Spannerの気持ちがちょっとずつわかってきた
Cloud Spanner 利用時の高遅延の原因を調査する
（2022年1月11日追記: 以下の内容をもとに加筆した記事が Google Cloud ブログに投稿されましたのでこちらをご覧ください。） GCP サポートの藤井です。 日本のお客様の間でも Cloud Spanner のご利用が広まり、それにともなって Cloud Spanner ご利用時の高遅延の原因に関するお問い合わせも、最近よくいただくようになりました。 今回は、遅延の原因を切り分ける方法や、遅延を改善するための Tips を紹介させていただきます。 高遅延と Cloud Spanner の関連性を確認するCloud Console や Cloud Monitoring 内の Spanner のメトリクス上で高遅延が確認できる場合は、Cloud Spanner エンドツーエンドのレイテンシ ガイドにある 「3. Cloud Spanner API」 と 「4. Cloud Spa
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
この抜粋の内容は次のとおりです。 Cloud Spanner Emulator の導入 Spanner で CRUD gRPC API の実装: connect-go さらに詳しく知りたい方は読み続けてください。 2023年7月2回目です。 普段、ぼくたちの Database の第一の選択肢は、Cloud SQL です。 ですが、今後、可用性が求められるフェーズに対応するために、Cloud Spanner での開発について調査します。 Cloud Spanner は、今のサービス群で使うには高価です。最小サイズが Processing Unit になったとは言え。 一方で、強整合性を持ちながらグローバルな負荷分散が可能で、これを CockroachDB などで運用すると考えると妥当な価格であることも認識しています。 Cloud Spanner Emulator の導入 gRPC リクエスト
tl;dr Cloud Spanner で gcsb という負荷試験ツールを使ってウォームアップを行う方法と、それに関連するいくつかの Tips を紹介します。 はじめに この記事は「Cloud Spanner のウォームアップ ツールとベンチマーク ツールでアプリケーションのリリースを簡単に」の内容を踏襲しています。こちらの記事の内容に対して、いくつか補足説明を行ったものとなります。 Cloud Spanner におけるウォームアップとは何か Cloud Spanner は自動シャーディングにより、テーブルを内部で分割することでノード数に応じてスケールアウトする仕組みがあります。分割されたデータはスプリットと呼ばれる単位で管理されます。スプリットの分割は「負荷」と「サイズ」のいずれかの条件で行われます。テーブルを複数のスプリットの分割する処理は自動的に実行されるため、スプリットの分割がい
Cloud Spanner イントロスペクション機能によるトラブルシューティングの改善 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 2 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。 優れたデベロッパー エクスペリエンスは、Google のフルマネージドの水平スケーリング可能なリレーショナル データベース サービスである Cloud Spanner の最も重要な分野の 1 つです。データベースのスペシャリストでもデベロッパーでも、データベースのパフォーマンスを理解し、問題が発生した場合に検出、修正するのに役立つツールを持っていることが重要です。そのため、Spanner は、データベースのパフォーマンスを簡単にモニタリングして、潜在的な問題を診断して修正し、アプリケーションの全体的な効率を最適化できる新しいイントロスペクション機能を継続的に追加しています。 Google は先日、組み込みテーブル形式のイントロスペクション ツールを多数リリースしました。こ
Pokémon Go → https://goo.gle/3mRIO09 Niantic Labs → https://goo.gle/3BDtRoB Anatomy of a BigQuery Query → https://goo.gle/30ioOvU Millions of people are playing Pokémon GO, but did you know it’s built on Google Cloud? In this episode of Architecting with Google Cloud, Priyanka Vergadia speaks with James Prompanya, the Technical Manager at Niantic Labs about Pokémon GO’s architecture and how it sc
Google SpannerとMySQLのトランザクションの違い - GMOインターネットグループ グループ研究開発本部
こんにちは，S.T.です。今回はGoogle Spannerを検証します。Spannerは関係データベースのデータ構造を持ちトランザクション処理に対応した分散データベースです。リアルタイムにトランザクション処理を行うようなアプリケーションのデータストアとしての利用も考慮されています。また，PostgreSQLのインタフェースの実装も進められており，アプリケーションから一般的なRDBと同様に使えるようになる日も近そうです。 そこで，今回はSpannerのトランザクションの挙動をMySQLのInnoDBと比較し，挙動の違いによる落とし穴がないかどうかを確かめます。具体的には，トランザクション分離レベルやロックの範囲について検証します。結論から言うと，何も考えずに単にRDB置き換えるだけでは大怪我をしそうだが，特性を理解していればそう大差ない実装でいけると言えそうです。また，Spannerの肝で
GitHub - mercari/DataflowTemplate: Mercari Dataflow Template
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ログイン
The Future of C++ Interoperability: Insights from Porting a Game to Swift
Spanner 沼への誘い Part1 Basic
まず、そもそもSpannerとはどういうものなのかについて話しています。 Spanner沼への誘いシリーズについて Google Cloud Spannerをこれから触ってみる人向けに、どういったものなのかについて説明しています。 Spannerにはたくさんの機能があるので、なかなか完全に理解して使いこなすのは大変です。 そんな沼のような世界への入り口として、話をしています。 スライド Basic https://docs.google.com/presentation/d/1LlrIvkv02Jj1OvjKWsKnMNbR3Np72rUxWqatmzywLPI/edit#slide=id.p Write https://docs.google.com/presentation/d/18BS3-oXd3Wxt399iCl-MRPxh1H-rBZZwqahy0-zIVdY/edit#
Cloud Spanner における各種トランザクションの使い分け 概要 Cloud Spanner にはトランザクションの実行方法が数種類あります。これらの各方式には使うべき場所やメリット・デメリットがあるため、これらの各方式についての差分を学ぶことでより効率的に Cloud Spanner を利用できます。 Cloud Spanner で利用可能なトランザクションは分類すると以下のパターンがあります。 読み取り/書き込みトランザクション 読み取り専用トランザクション 強い整合性読み取り ステイル読み取り パーティション化 DML 特に断りがない場合、単一リージョン(リージョナル)構成での Cloud Spanner の動作を前提としています。 コードサンプルは Ruby と Ruby Spanner Client での動作を確認しています。 読み取り / 書き込みトランザクション(Re
データベースエンジニアから見たCloud Spanner
この記事は Google Cloud Japan Advent Calendar 2021 の 11日目の記事です。 はじめに この記事ではGoogle Cloudの特徴的なサービスの1つであるCloud Spannerについて紹介しています。Cloud Spannerはその高可用性からミッションクリティカル用途に向く、水平方向へのスケーラビリティを持つリレーショナルデータベースです。 Cloud Spannerについて、従来のRDBMSを利用していたデータベースエンジニアやアプリケーションエンジニアが、知っておいたほうが良いと思われる知識をまとめてみました。 私自身もこれまでOracle Databaseを始めとして、SQL ServerやMySQL、PostgreSQLなどのオープンソースDB、DBアプライアンスのExadataやCloud NativeデータベースとよばれるAmazo
Accelerate your digital transformation Whether your business is early in its journey or well on its way to digital transformation, Google Cloud can help solve your toughest challenges.
gcloud auth login と gcloud auth application-default login - Carpe Diem
概要 ローカルからGCPにアクセスする際に使う gcloud auth login gcloud auth application-default login について区別できるようまとめます。 環境 gcloud v340.0.0 gcloud auth login 用途 こちらはローカルで以下のようなGCP系CLIを実行する際の認証を得るために使います。 gcloud (GCPのAPI全般) bq (BigQuery) gsutil (Cloud Storage) cbt (Bigtable) etc... 認証情報の場所 ~/.config/gcloud/credentials.dbにあります。 これはsqlight3のデータベースなので、データを見たい場合は以下のようにコマンドを実行します。 $ sqlite3 credentials.db sqlite> SELECT * fro
フィードバックを送信 変更ストリームの概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 変更ストリームは、Cloud Spanner データベースのデータ変更（挿入、更新、削除）をほぼリアルタイムで監視してストリーミングします。 このページでは、Spanner の変更ストリームにより実施される処理の内容、および変更ストリームが機能する仕組みについて説明します。データベースの変更ストリームを作成して管理し、他のサービスに接続する方法については、次のステップの手順に従ってください。 変更ストリームの目的 変更ストリームは、データの変更を他のサービスにストリーミングする、柔軟かつスケーラブルな手段となります。一般的なユースケースには次のものがあります。 Spanner のデータ変更を BigQuery などのデータ ウェアハウスにレプリケートして分析する。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゲーム データベースとして Spanner を使用する場合のベスト プラクティス | Google Cloud
Cloud Spanner Unofficial Hacks
Google Cloud Spanner Deep Dive
Cloud Firestore のベスト プラクティス | Firebase
Cloud Spanner の SQL ログを gRPC レイヤーで取得する方法
Google Cloud Spanner 沼への誘い Basic v20210730a
Spanner をローカルでエミュレートする | Google Cloud
Cloud Spanner Ecosystem
Cloud Spanner vs Cloud SQL | 株式会社トップゲート
クラウドネイティブなデータベースとSpanner | gihyo.jp
スキーマ設計のベスト プラクティス | Spanner | Google Cloud
Cloud SpannerがLiquibaseのサポートを追加
wrench - Schema Management Tool for Cloud Spanner -
Cloud Spannerのパフォーマンスチューニングの勘所
Cloud Spanner Ecosystem
GolangとCloud SpannerでgRPC APIを構築する #1 - Qiita
ツールを使った Cloud Spanner のウォームアップ
How does Pokémon Go scale to millions of requests?
20190620 merpay インフラ Talk! by sinmetal.pdf
Google Cloud Spannerにおけるページネーションとインデックスの考え方
Cloud Spanner における各種トランザクションの使い分け
Sessions | Cloud Spanner | Google Cloud
変更ストリームの概要 | Spanner | Google Cloud