TiDB Cloud で実現するマスターデータの最適運用 - COLOPL Tech Blog
こんにちは。サーバー基盤グループでサーバーエンジニアをやっている尾山です。 コロプラ社の最新タイトルでは TiDB Cloud という分散型データベースをマスターデータの運用に使っています。TiDB Cloud とは PingCAP 社が提供する OSS、TiDB をベースとしたマネージドなデータベースサービスです。本記事は、その TiDB Cloud を選んだ理由を経緯と交えて紹介させていただきます。 経緯 弊社では TiDB Cloud を選択するまでに多くの紆余曲折があり、理由を説明するにはかなり昔まで遡って話をする必要があります。コロプラでは2017年頃までにリリースしたタイトルでは、全てのデータをGCEなどのIaaS上の MySQL で運営していました。元々はベンダーロックインを避けるためと、メンテナンスによるダウンタイムを作らないことを目的としてこの方法で運営していました。し
KubernetesベースのCloud Spanner Autoscaler | メルカリエンジニアリング
この記事は、Merpay Advent Calendar 2021の22日目の記事です。こんにちは、Merpay SREチームの@raviです。 DBaaSでは、さまざまなユーザー要件を満たすためにあらゆるcloudからソリューションが提供されています。 GoogleのCloud Spanner はGoogleのデータベースオプションで使用できるソリューションのひとつです。このリレーショナルデータベースでは、無制限のスケール、一貫性、99.99％の可用性（マルチリージョン設定では99.999％）を提供しており、Merpayにも適しています。 Cloud Spannerは特定数のノードを提供し、ユーザーデータはこれらのノード（またはプロセッシングユニット）間で分配されます。各ノードには特定の容量（2TB）があり、負荷に基づいてさまざまな容量のCPUを消費します。使用するデータサイズの増加に伴
2021 年の Cloud Spanner を振り返る
この記事は Google Cloud Japan Advent Calendar 2021 の 14 日目の記事です。本記事は 2021 年 12 月 14 日現在の情報に基づいて書いています。 こんにちは、Google Cloud で Database Specialist をやっている佐藤です。今回は Cloud Spanner 冬休み講座と題して、2021 年の Cloud Spanner を振り返ってみようと思います。これらをおさえておけば、来年に向けた Cloud Spanner の復習と予習はバッチリ！さて 2021 年は Cloud Spanner にとってどんな年だったでしょうか？ 目次1 時間目：Cloud Spanner はどんなデータベース？2 時間目：インスタンスの運用管理機能の向上 — 0.1 ノード インスタンスの登場 — 任意の時点のデータを復元する PITR
大規模分散DBのCloud Spannerが、RailsのActive Recordに対応。スケーラブルで高可用なRubyアプリケーションの開発が容易に
Googleは、同社がクラウドサービスとして提供しているCloud SpannerをRailsのActive Recordに対応させるアダプタ「activerecord-spanner-adapter」が正式版となったことを発表しました。 Cloud Spannerは、Googleの多数のデータセンターにまたがる地球規模で大規模分散処理を行うリレーショナルデータベースです。事実上無制限とされる高いスケーラビリティと99.999％の高可用性を備えつつ、強い一貫性とトランザクション処理、SQLによるクエリなどを実装しています。 メルカリの決済サービスであるメルペイがバックエンドデータベースにCloud Spannerを採用し、数百万ユーザーの処理を行っているとされています。 このCloud SpannerをRailsのActive Recordのバックエンドデータベースとして使えるようにするア
データベースエンジニアから見たCloud Spanner
この記事は Google Cloud Japan Advent Calendar 2021 の 11日目の記事です。 はじめに この記事ではGoogle Cloudの特徴的なサービスの1つであるCloud Spannerについて紹介しています。Cloud Spannerはその高可用性からミッションクリティカル用途に向く、水平方向へのスケーラビリティを持つリレーショナルデータベースです。 Cloud Spannerについて、従来のRDBMSを利用していたデータベースエンジニアやアプリケーションエンジニアが、知っておいたほうが良いと思われる知識をまとめてみました。 私自身もこれまでOracle Databaseを始めとして、SQL ServerやMySQL、PostgreSQLなどのオープンソースDB、DBアプライアンスのExadataやCloud NativeデータベースとよばれるAmazo
社内ゲームサーバー基盤 Takasho とは | BLOG - DeNA Engineering
こちらの記事は先日開催された Google Cloud INSIDE Games & Apps でのセッションの内容をまとめたものになります。 アーカイブが公開されているので是非そちらもご覧ください。 こんにちは。2020 年新卒入社の海老沼といいます。現在はこれから紹介する社内ゲームサーバー基盤 Takasho を利用したゲームサーバーの開発や運用をしています。 先日、『東方ダンマクカグラ』という東方Project初の公認スマホ向けリズムゲームをリリースしました。 今回はそんな『東方ダンマクカグラ』などのゲームを支える DeNA 内製のゲームサーバー基盤 Takasho の紹介と、 Takasho を利用したゲームサーバー開発/運用でどのように Google Cloud を活用しているか紹介します。 Takasho とは Takasho とは、DeNA 内製のゲームサーバー基盤です。 開
Google、大規模分散DB「Spanner」にPostgreSQL互換インターフェイスを実装。強い一貫性で秒間10億以上のリクエストを処理可能。Google Cloud Next '21
GoogleはGoogle Cloudで提供している大規模分散データベース「Cloud Spanner」に、PostgreSQL互換のインターフェイスを実装したと発表しました。 At #GoogleCloudNext, we've announced the preview of Cloud Spanner’s PostgreSQL interface—combining the scalability & reliability of Spanner that enterprises trust with the familiarity & portability of PostgreSQL that dev teams . Take a deeper dive ↓ https://t.co/Y3xD1lDPLg — Google Cloud Tech (@GoogleCloudTech
みんなの銀行：日本初の「デジタルバンク」として Google Cloud に勘定系を構築。Cloud Spanner で銀行基幹システムで求められる可用性を実現 | Google Cloud Blog
みんなの銀行：日本初の「デジタルバンク」として Google Cloud に勘定系を構築。Cloud Spanner で銀行基幹システムで求められる可用性を実現 2021 年 5 月にサービス提供を開始した「みんなの銀行」は、デジタル ネイティブ世代をターゲットとしたスマートフォン専業銀行。金融にまつわる煩わしさを排除し、ゼロベースでこれからの銀行に求められる機能を開発・提供していくと打ち出しています。そんな同行の大きな技術的トピックの 1 つが、勘定系システムにパブリッククラウドを採用したこと。これはもちろん国内初*の試みです。ここではサービス開始後の手応えをシステム構築をリードしてきた皆さんにお伺いしました。 利用している Google Cloud ソリューション： Google Cloud Databases、Stream Analytics 利用している Google Cloud
Cloud Spanner で初期費用を 90% 削減し、オブザーバビリティの向上とより容易なクエリを実現 | Google Cloud 公式ブログ
Cloud Spanner で初期費用を 90% 削減し、オブザーバビリティの向上とより容易なクエリを実現 ※この投稿は米国時間 2021 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 ACID トランザクション、SQL サポート、そして非リレーショナル データベースのスケーラビリティと可用性を兼ね備えた強整合性のリレーショナルデータベースとして、Cloud Spanner はすべての主要な市場セグメントで力強い成長を見せています。Spanner を採用していただくお客様が増加するにつれ、「開発、テスト、小規模な本番環境のワークロードをより費用対効果の高い方法でサポートするために、より小さなサイズのインスタンスにも対応させてほしい」というご要望が寄せられるようになっていました。これを受けて、このたび Spanner のインスタンス サイズをより細
Get more out of Spanner with granular instance sizing | Google Cloud Blog
Cloud Spanner trims entry cost by 90%, offers sharper observability and easier querying Customers love Cloud Spanner because it gives them the benefits of relational semantics and SQL while also delivering the scale and availability of non-relational databases. Many of these customers want to move even more of their work to Spanner, and have requested smaller instance sizes to support development,
Spannerを解説したら講義になった話 | iret.media
はじめに Qiitaにこんな記事が上がりました 2020年現在のNewSQLについて – Qiita NewSQLについてアーキテクチャから詳しくまとまっていて 理解しやすい素晴らしい記事だと思います。 社内のSlackでも共有したのですが、 この辺の話は 古くからあるモノリシックなRDBMSが生まれて スケールアップの限界との戦い データベースをどうスケールアウトするかの時代が訪れて、 分散コンピューティングの問題にぶち当たる という、 『歴史を理解してはじめてCloud Spannerの凄さを理解できる』 と思ったので もっと補足説明がいるんじゃないかと思い、社内でLTしました。 また、自分はDataBase周りの知識が弱いと思っているので、 補強のためにもまとめてLTを…とおもったら、 前後編で２回に分けて３０分語るという発表だったので、 もう講義じゃんって言われたし思いました。 W
Cloud Spanner Unofficial Hacks
Cloud Spanner は分散システムであり、SQL クエリの実行は場合によっては複雑な分散ストリーム処理となりうる。 よって、パフォーマンス劣化を起こさないように SQL の表現力による利益を得るには Cloud Spanner の低レベルアーキテクチャと高レベルのクエリ実行について両方理解する必要がある。 しかし、実行計画の活用やクエリチューニングについてはまだ公式にもコミュニティでも十分語られているとは言えない。 ここでは Cloud Spanner のクエリパフォーマンスに関係するドキュメントや API のレスポンスに含まれる実行計画の内容について、 公式には説明されていないことも含めた理解とその活用方法を解説する。 主にどのような特性を持つかについて説明しており、ベンチマークを行うのであれば実際のデータやワークロードの傾向について知っている立場で行うことを推奨する。 Use
Cloud Spanner のハイレベルアーキテクチャ解説
Last update: 2018/7/5 Google Cloud でゲーム担当をやっているサミールです。 本日のトピックは私が大好きな Cloud Spanner となります。Cloud Spanner は GCP のフルマネージド・グローバルスケール・リレーショナルデータベース・サービスです。Cloud Spanner は裏では NoSQL でよくある分散データベースですので、NoSQL の特性を提供しております。 HA (高可用性）水平方向のスケーラビリティ（動的にダウンタイムなしにノードの追加・削除が可能）なお MySQL のようなリレーショナルDB と同じ特性も提供しております。 スキーマ強整合性SQL クエリ（ANSI 2011）言い過ぎかもしれないが、マルチマスターの MySQL というイメージで良いと思います。 注意点：Cloud Spanner は MySQL 互換では
メルペイでのSpannerとの戦いの日々 | メルカリエンジニアリング
こんにちは、メルペイのバックエンドエンジニアの @kazegusuri です。 メルペイではメインのデータベースとしてGoogle Cloud Spannerを利用しています。 マイクロサービスによっては秒間数千リクエストをSpannerで処理しています。 いかにSpannerをスケールできるようにして安定させられるかが会社全体として重要になっています。 本記事では数ヶ月間戦ってきたSpannerのレイテンシが高くなる問題とその解決法について紹介したいと思います。 社内への調査報告も含めて書いているため、かなり詳細で長い内容になっています。 なおこの問題の大部分はGoでSpannerを使ったときにだけ発生する問題のため、Javaなどの他の言語では該当しない可能性があります。 CreateSession問題 ここで紹介しなくても良いくらい基本的なところですが、CreateSessionが非常
App Engine PHP 7.2 Standard Env における Redis / Memcached / Spanner の利用方法 | GREE Engineers' Blog
HOMEApp Engine PHP 7.2 Standard Env における Redis / Memcached / Spanner の利用方法 インフラの矢口です GAEにおいてついにPHP 7に対応したランタイムがリリースされました！ gVisorを利用することにより今までよりも圧倒的に制約が減り、標準的な構成を動作させやすくなりました。また大きな懸念点であった言語処理系ランタイムの更新頻度についても改善されることがアナウンスされています。 さて、そのようなGAE PHP 7ですが、DBやキャッシュのミドルウェアまわりについてはどうなっているのでしょうか。通信周りも自由になったため任意のプロトコルで外部に接続できるようになり使用できるものはかなり増えているはずです。 しかし公式ドキュメントで記載されているDBはDatastore, Cloud SQLにとどまっています。またApp
Cloud Spanner が外部整合性を提供する理由 | Google Cloud 公式ブログ
皆さんは複雑なアプリケーション ロジックが好きですか？ 私たちはそうではありません。というのも、私たちは Google で 1 つのことを学んだからです。それは、「データ ストアが提供する複雑なトランザクション処理やデータ整理の機能を開発者が利用できれば、アプリケーション コードはよりシンプルになり、開発期間が短縮される」ということです。 Google Cloud Spanner に関する最初の論文にはこう書かれています。「アプリケーション プログラマーは、トランザクション機能の欠如を補うためのコーディングに終始するよりも、トランザクションの過度の利用に伴うボトルネックの発生というパフォーマンス問題に取り組むほうが望ましい。」*1 言い換えれば、データセット全体にわたってトランザクションと整合性をデフォルトで提供するデータ ストアを使用することで、バグや問題が少なく、メンテナンスしやすいア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mercari/spanner-autoscaler: Kubernetes Operator for Cloud Spanner autoscaling
GitHub - cloudspannerecosystem/autoscaler: Automatically scale the capacity of your Spanner instances based on their utilization.
Cloud Spanner as a SQL System
GitHub - apstndb/spannerplanviz