Percona XtraBackup: 高性能DBバックアップツール [DeNA インフラ SRE] | BLOG - DeNA Engineering
2024.02.27 技術記事 Percona XtraBackup: 高性能DBバックアップツール [DeNA インフラ SRE] by Kohei Okazaki #infra-quality #infra-delivery #stabilization #technical-verification #datastore #portability #pxb #mysql はじめに こんにちは、IT基盤部にてインターンとして活動している岡崎です。現在、私はパブリッククラウドチーム (以下、PCA)に所属しており、いくつかの施策に携わっています。 現代のビジネス環境において、クラウドリソースの柔軟な移動と管理は、事業継続性と革新性の両立に不可欠です。この重要なニーズに応えるべく、私たちPCAチームでは、クラウドリソースのポータビリティに関する総合的な施策を進めています。これは、アプリケー
![Percona XtraBackup: 高性能DBバックアップツール [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/6fd5a83c12bf78f093470b03c938b1bfbc9653e4/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2024%2F02%2Fpca_portability%2Fcover.png)
GCP プロジェクトにおけるコスト監視 | BLOG - DeNA Engineering
はじめに こんにちは、IT基盤部のヨハンです。 担当の業務内容は、ゲームタイトル及びプラットフォーム、オートモーティブ事業のインフラを運用をメインとしておりますが、兼任で DeNA が持つパブリッククラウドについて横断で管理及び運用する業務も担当しております。 パブリッククラウドには AWS, GCP を含め様々なサービスを利用しており、数でいうと1000以上存在しますが、それらのアカウントの作成/解約フローや、セキュリティなど運用するにあたって、生じる様々な問題や課題を改善していくことで効率よくより良い形で利用者に提供ができて、管理者にとっても大きな負担なく多数のアカウントを管理できることをミッションとしています。 今回は多数のパブリッククラウドを管理する業務の中で、GCP プロジェクトに対しどのような方法でコスト監視を行っているのか、その仕組みと設定について焦点をあて紹介させていただき
アプリログを BigQuery に入れるまで | BLOG - DeNA Engineering
また、 BigQuery のストレージ料金は非圧縮の状態のデータサイズが課金対象となります。 Cloud Storage 上に gzip で圧縮した状態で保持することで、ストレージ料金を大きく下げることができます。 Cloud Storage から BigQuery にエクスポートする際に料金が少しかかりますが、それについては後述します。 安定性 BigQuery のテーブルは型を持っているため、何かしらのバグでログに不正な文字列が入ると、 BigQuery へのインサートは失敗します。その場合にログを web server 内部に溜めてしまうと web server のディスク領域が逼迫したり、本番稼働しているサーバーに入っての復旧作業が必要となったりするデメリットがあります。 まずはどんなデータでも受け入れてくれる Cloud Storage にデータを入れてしまい、その後起きうる問題
サブカルのためのword2vec | BLOG - DeNA Engineering
はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft, ポートフォリオ：http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取り組んでいました。 その後はアルバイトとして、期間中にできなかった追加実験と実際の製品への適用に取り組んでいます。 取り組んだタスク 突然ですが、みなさま、ハッカドールはインストールされていますか？ ハッカドールは、主にサブカルチャーに関する記事に特化した、ニュースアプリケーションです。 アプリケーション内のユーザーのクリックや「ホシイ/イラナイ」などのアクションを通して、ハッカドールがユーザーの好み
Chainerを用いたRealtime Multi-Person Pose Estimation実装 | BLOG - DeNA Engineering
はじめに 皆さんこんにちは。DeNAのAI研究開発エンジニアの李天琦( leetenki )です。今日は Chainer Advent Calendar 2017 の初日エントリという事で、Realtime Multi-Person Pose Estimationの実装について解説させて頂きます。 背景 Realtime Multi-Person Pose Estimationとは、CVPR2017でCMUが発表した、RGBの2次元画像のみから複数人のPose情報を検出するアルゴリズム (Cao, et al., 2017) です。特徴は、1枚の画像から複数人のPoseを検出するために、それまで主流であったBounding Boxを検出した後に各Boxに対してPose検出するというトップダウン方式を取らずに、ボトムアップかつワンショットに複数人のPoseを推定してしまう点です。画像に映って
Google機械学習系API勉強会レポート | BLOG - DeNA Engineering
AIシステム部の奥村（@pacocat）です。AIシステム部では、AI研究開発グループに所属しており、主に強化学習を用いたゲームAIの研究開発を行っています。 DeNAでは、様々な事業ドメインのデータを実際に使いながら機械学習を使ったサービス開発を推進しており、中でもゲームは豊富なデータ・シミュレーターがあるため、最先端のアルゴリズムを動かすための環境を自前で持っているのが特徴です。 全社的にも機械学習サービスのニーズが高まっている背景の中、7/5にGoogle様による機械学習系API勉強会が当社セミナールームにて開催されました。今回は、勉強会の内容をブログでレポートしたいと思います。 Googleといえば、先日開催されたGoogle I/O 2017でも"AI first"というメッセージが改めて強調されていましたが、実際にGoogle LensやGoogle Homeなど機械学習を活用
TLS 1.3 と 0-RTT のこわ〜い話 | BLOG - DeNA Engineering
DeNA Engineer Advent Calendar 2016 7日目の記事です。 こんにちは。奥一穂です。 DeNAのゲームサーバが元になっているオープンソースのHTTPサーバ「H2O」の開発や、IETFでプロトコル関連の標準化活動を行っています。 11月に韓国のソウルで開催されたIETF 97では、私たちが提案中のHTTP拡張（Cache Digests for HTTP/2、103 Early Hints）の議論の他、TLSの次期バージョンであるTLS 1.3のプロトコル実装に関する相互運用性の確認を行ってきました。 その結果を先月末に開催されたhttp2勉強会 #10で発表してきましたので、こちらにて資料を公開させていただきます。 昨年制定されたHTTP/2に続き、TLS 1.3は制定秒読み段階、さらにQUICの標準化作業が開始されるなど、ウェブを支えるプロトコルは変革の時を
ソーシャルゲームのためのMySQL入門その２ | BLOG - DeNA Engineering
こんにちはこんにちは。11インチMacBook Airが欲しくてたまらないiwanagaです。 前回の記事 が幸いにもご好評を頂けた様で非常にうれしいです。嬉しくなって、ついがんばって第２弾を書いてしまいました。引き続き、ソーシャルゲームでよく使われるテーブルタイプ毎にちょっとしたテクニックを紹介していきます。 今回はちょっとライトな感じ＆読み物になってしまっていますが「ユーザID単位で1つだけ持つデータ」と「パラメータなどのマスターデータ」についてご説明したいと思います。ちなみに次回はInnoDBのデータ構造の簡単な説明と複合プライマリーキーのデータについて、その次で紹介し損ねたちょっとマニアックなテクニックや性能管理のための手法を紹介することを予定しています。 その前に。。。 先日行われた JAPAN INNOVATION LEADERS SUMMIT で弊社松信が「ソーシャルゲームの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeNA TechCon 2020 Blog 記事化しました | BLOG - DeNA Engineering
オートモーティブの大規模データ処理を支える技術 前編: クラウドアーキテクチャ | BLOG - DeNA Engineering
配信決定！DeNA Tech Con 2020 の一部を配信と記事でお届けします | BLOG - DeNA Engineering