ぐるなびのインフラを支える技術 〜AWSの話をしていたのに、インフラとしてのキャリアの話になった - ぐるなびをちょっと良くするエンジニアブログ
ぐるなびのインフラを支えるエンジニア、岩本と飯田。 今回はちょっと趣向を変えて、当社インフラストラクチャーサービスグループの岩本と飯田にぐるなびのインフラ全体からキャリアまでをざっくばらんに話してもらいました。 まずは飯田さんの質問から始まります。 ベンダーロック正直どうなんですか 飯田 これまで物理サーバで動いていたものが 仮想マシンやコンテナに代わり、オンプレミスからパブリッククラウドに向かっていますよね。 ぐるなびは 今 AWSを主に使っていて、今後もGCPとか色々なクラウドを使っていくと思います。ただ、AWSを使っているがためにベンダーロックされてしまって、例えばGCP使いたいけれど移行しづらいからAWSに寄ってしまう、なんてことがあるのではと思ったりもします。 そこらへんどう考えますか。 岩本 AWSを使い始めると、他に行きづらい反面、AWSをしっかり使っていかないとAWS上の恩
Amazon Web Services ブログ 初めてのPerformance Insights入門 テクニカルソリューションアーキテクトの笹川です。 本記事ではRDS MySQL使用時のPerformance Insightsの使い方についてご紹介させて頂きます。 Performance Insightsを聞いたことがあるけれど何ができるのか分からない、実際にどのように活用すれば良いのかイメージができないという方もいらっしゃるのではないでしょうか。今回は初めてのPerformance Insights入門と題してサンプルのクエリを実行しながらPerformance Insightsの使い方をご紹介していきます。 Performance InsightsとPerformance Schema Performance InsightsではDBの負荷状況がMySQLにログインすることなくAWS
AWS の利用料最適化の知識と実践力をつけるなら『Amazon Web Services コスト最適化入門』がオススメ！ - 継続は力なり
タダです. AWS を使っていると利用料金を気にしながら使っていくと思います.コストを最適化していくためにどんなサービスやツールを使ってコストを最適化していくかを学びたいと思って「Amazon Web Services コスト最適化入門」を購入しました.本書ではコストに関する知識と実践を両軸で学べてとても勉強になったので学べることと所感と一緒に本書を紹介します. 技術書典応援祭のページ techbookfest.org Booth booth.pm 目次 本書で学べること 読了後の所感 まとめ 目次 本書の章立ては次の通りです.本編として145Pの内容です. 第１章 Amazon EC2 第２章 Amazon EBS/EFS 第３章 Amazon VPC/データ転送 第４章 Amazon S3 第５章 AWS Simple Monthly Calculator 第６章 AWS Prici
FirebaseのFirestoreをやめることにしたので雑なメモを残しておく。なお、まだ走り始めたばかりなので、内容には間違いや考慮不足も多数含まれる可能性があるので読む人はその点注意を。あと、あくまでも雑なメモなので細かいところは書いていない。 なぜ脱Firestoreするのか？ なぜGraphQLではなくREST APIなのか？ 移行にあたって検討したこと、決め事 ドキュメントIDをどう扱うか サブコレクションをどう扱うか 配列やマップといったフィールドのタイプをどう扱うか 追記: Mapの配列をどうするか Firebase Authenticationとセキュリティルールで実現しているセキュリティ機能をどうするか では実際にどんなテーブル設計にするのか 次にやること なぜ脱Firestoreするのか？ まず、脱Firestoreする理由は ユースケースとしてFirestoreでは対
長くなりそうなので、先に要点だけ。 Twitterで 先日の「RDSの方がAuroraより速いケース」の件、とりあえず調べたい範囲のベンチマーク取れた。元記事って2000万件*5=1億件を1クライアントで処理してるのな。で、普通に？HammerDB TPC-Cで多重度上げてもRDSが速いケースがないか調べた。— atsuizo (@atsuizo) 2022年4月7日 に連なる一連のツイートに結構反応があったので、ブログにもまとめておきます。 RDS PostgreSQLの方がAurora PostgreSQLより速いぜ！って記事を見かけたけど、大量データを1クライアントで流し込む試験の結果だった。 複数クライアントからのOLTPワークロードでもRDSの方が速いパターンってあるのかな？TPC-Cで試してみよう！ インスタンスのサイズ（vCPU）と同時実行数によって、RDSの方が速いケース、
アプリケーション開発者のための PostgreSQL アーキテクチャに関する検討: パート 1 | Amazon Web Services
Amazon Web Services ブログ アプリケーション開発者のための PostgreSQL アーキテクチャに関する検討: パート 1 アプリケーション層は多くのクラウドアーキテクチャで世界中がアクセスする部分ですが、使用しているデータベースに合わせてアプリケーションを最適化する方法を検討することはほとんどないようです。リレーショナルデータベースエンジンを使用するときは、スキーマの設計だけでなく、アプリケーションが管理可能で、スケーラブルで、パフォーマンスが高いことを保証するために、データベースがストレージシステムに対してデータを読み書きする方法を理解することが重要です。シリーズのパート 1 となるこの投稿では、PostgreSQL の主要な用語について説明し、次に、Amazon Aurora PostgreSQL 互換エディションまたは Amazon Relational Dat
freeeの社内異動制度「異動戦国」のチーム紹介を一挙公開 - freee Developers Hub
こんにちは、DevBrandingのellyです。 先日ブログでご紹介したfreeeの社内異動制度「異動戦国」、この時期になると社内では毎年、異動希望者を募集するために各チームの熾烈なPR合戦が繰り広げられます。 今回は、その際のSlackや社内WikiでのPR合戦の様子をご紹介します。募集期間中の社内の雰囲気やfreeeの開発組織にはどんな仕事があるのか、どんな魅力があるのかを知ってもらうきっかけになれば嬉しいです。 Slack上で繰り広げられた今年のPR合戦の様子 チーム紹介 SREチーム DBREチーム DXチーム IAM （認証認可基盤開発）チーム サービス基盤チーム 課金基盤チーム ERP基盤チーム データ基盤チーム コアエンジン（外部サービス連携）チーム AIラボチーム 会計チーム LEGO（Public API・アプリストア開発）チーム 人事労務チーム 金融チーム プロジェク
BASE社とnote社は、安定したサービス提供をするために、リアーキテクチャやフロントの刷新、セキュリティの強化、パフォーマンス改善など、さまざまな工夫を行っています。それぞれのCTOが課題に対する取り組みと組織運営での奮闘を赤裸々に語りました。2回目は、2020年に起きた障害と技術課題について両CTOが話しました。前回はこちら。 自分たちが想定したものはけっこう簡単に崩れてしまう 司会者：ありがとうございます。チャットを送ってくださったみなさんありがとうございます。ではさっそく、パネルトークに入っていきたいと思います。いくつかテーマを用意しているので、そちらをピックアップしながら話してもらおうと思っています。 今回、4つピックアップしているのですが、チャットで「これってどうなっているんですか？」みたいなものがあれば、適宜拾っていこうと思っています。チャットやQ&Aを送ってもらえるとうれし
仕事でバックエンド開発するときに考えていること: 実践編 - CARTA TECH BLOG
はじめに こんにちは、fluctでエンジニアをやっているyanyanです。 この記事は、仕事でバックエンド開発をするときに考えていること の続きです。 前回のスライドでは、私がバックエンド開発をするときに大事にしている考え方や思想の話をしました。今回は、じゃあそうした思想の下で実際にどういうものを私が作ったかという話をしようと思います。なので、この記事を読む前にスライドの方を読むことをおすすめします。 speakerdeck.com 何を作ったの？ すごいざっくりいうと、顧客向けWebサービスのバックエンド部分を0からつくりました。 0からと言っても、インフラ部分に関してはすでにあるECSサービスにタスクを追加するだけという形を取りましたが、アプリケーション開発というスコープでいうと技術選定からやり始めました。 どんなサービスなのか fluctが広告配信をしたり、運用支援をしている媒体社が
Amazon Auroraを選択する前に知っておいた方がいい話 - orangeitems’s diary
※2019年10月18日時点の話です。 Auroraの話 Amazon Auroraってありますよね。 この前、AmazonがOracle DBをAmazonのサービスに移したゾって言うニュースが流れていました。 tech.nikkeibp.co.jp 米アマゾン・ドット・コム（Amazon.com）がついに米オラクル（Oracle）に「勝利宣言」をした。アマゾンは2019年10月15日（米国時間）、社内からOracle Database（DB）を「全廃」したと発表したのだ。最盛期には約7500ものOracle DBが存在し、eコマースや物流、決済、受発注、広告、動画・音楽配信などのバックエンドで長年使われてきた。それらはほぼすべて姿を消したという。 Oracle DBからの移行先は、アマゾンがクラウドサービスAmazon Web Services（AWS）で提供するDBサービスだ。今後は
【レポート】サービスメッシュは本当に必要なのか、何を解決するのか #AWSSummit | DevelopersIO
こんにちわ、札幌のヨシエです。 AWS Summit Tokyo 2019 3日目のA3-03で行われたセッションのレポートを書きましたのでご査収頂ければと思います。 登壇者 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 原 康紘 AWS 上でのマネージド・サービスメッシュを実現する AWS App Mesh や、Kubernetes ワークロードとの親和性が高い Istio など、サービスメッシュの世界には数々のプロダクトやソリューション、アイデアが生まれつつあります。本セッションでは、マイクロサービスにおけるベストプラクティスの集大成とも言えるサービスメッシュについて、その解決すべき課題と人々が熱狂する理由、サービスメッシュそのものの必要性について掘り下げます。同時に、サービスメッシュを実現する上で最も重要なコンポーネントの一つとも言える En
Prismatixオペレーションチーム の高橋隆太です。 中途採用され本格的な業務は始まっていませんが、 業務についていくためにクラスメソッドの現場で活躍中の先輩エンジニアが執筆した「AWSの知識地図」を読みました!! 私の業務経験や知識としては以下になります。 広く浅くIT業務を４年ほど具体的には、ネットワーク構築やPHPのプログラミングやWEBサーバーの負荷テスト AWSの実務経験はほぼなしでプライベートで簡単にECSやRDSを利用して3層アーキテクチャを作成した 資格はCLFとSAAとDVA持ってるだけで実務はほぼない。。。。 本記事では簡単に概要と感想を紹介します? AWSの知識地図 読んで感じたこと 初学者の方に合わせた優しい内容で、最適な書籍と感じました。 主な理由としては3点あります。 前提知識と専門用語をしっかりと解説している どの章でもしっかりと前提知識を簡単に身につける
![[書評] AWSの知識地図 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/687a636c4d66a7d3f22571a4208627eef3f7ec71/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F04%2Fimage0-rotated.jpeg)
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。 昨年 令和5年度はガバメントクラウド関連のプロジェクトに関わる機会をいただき、地方自治体様向けにAWSの役務費用・利用料金の見積をお手伝いする機会が多々ありました。そのなかでエンジニアとして感じた苦労ポイントを本BLOGでご紹介させていただきます。 このBLOGを書いているちょうど先日、3月29日に「令和6年度ガバメントクラウド早期移行団体検証事業（第一回）」の公募および採択結果がデジタル庁より公示されました。「第一回」とあることから、年度内に追加で公募が行われると予想されますので、第二回以後に申込を検討している地方自治体ご担当様の参考になれば幸いです。 www.digital.go.jp 役務費用 依頼する作業範囲（スコープ）が不明 マイナンバー系ネットワークとAWSネットワーク間の責任分界点
PostgreSQLエンジンでAuroraとRDSでpgbenchを使った負荷テストを行った。 テスト環境 クライアント pgbench (PostgreSQL) 14.2 (Ubuntu 14.2-1ubuntu1) EC2のc5.2xlargeインスタンスから実行 クライアントインスタンスの性能上限には引っかかっていないことは確認 以下のようなスクリプトを実行 スケールファクター: 100 トランザクションタイプ: デフォルト（TPC-B like） #!/bin/bash . .rds for i in 8 16 32 48 64; do echo "--- $(date +%FT%TZ) RDS $i" pgbench -i -s 100 -q pgbench -c $i -T 210 sleep 60 done echo "--- $(date +%FT%TZ) RDS end"
※本記事は2022/03/14に書いたので、現在では使えない情報があるかもしれません。 PlanetScale[1]とは、『MySQLと互換性のあるサーバーレスデータベースプラットフォーム』です。 AWSで相当するサービスは、Amazon RDS for MySQL や Amazon Aurora MySQL になります。 PlanetScaleの特徴として、『ブランチ』があります。 gitの運用のように、developブランチには開発環境のデータを投入、masterブランチには本番環境のデータを投入、といった使い方ができます。 また、アカウントを作成すればすぐに無料枠の範囲内でRDBが使えるため、検証用の環境としても優れています。 注意点として、「外部キーに対応していない」という点があります。外部キーを利用したい場合、アプリケーション側で外部キーに相当する実装が必要になるようです。 素晴
垂直スケールの果ての db.r4.16xlarge で得た教訓 / What happened on vertically scaled 16xlarge DB
https://database-lounge-tokyo.connpass.com/event/175805/ の LT 資料。 事業の急成長に伴い垂直スケールした巨大 DB インスタンスで実際に遭遇した事態の紹介。
［速報］AWS、データベース性能問題を数分で検出、分析、解決までしてくれる「Amazon DevOps Guru for RDS」発表。AWS re:Invent 2021
［速報］AWS、データベース性能問題を数分で検出、分析、解決までしてくれる「Amazon DevOps Guru for RDS」発表。AWS re:Invent 2021 Amazon Web Servicesは、データベースの性能に関する課題を自動的に検出し、原因を分析し、解決してくれる新サービス「Amazon DevOps Guru for RDS」を、開催中のイベント「AWS re:Invent 2021」で発表しました。 Amazon DevOps Guruは、昨年のAWS re:Invent 2020で発表されたサービスで、設定ミスなどを機械学習によって検出してくれるものでした。 参考：［速報］「Amazon DevOps Guru」発表。DevOps関連の設定ミスやコードの問題などを機械学習が指摘してくれる。AWS re:Invent 2020 今回発表されたAmazon D
ネットの音楽オタクが選んだベストアルバムの2010-2022年のまとめ - 音楽だいすきクラブ
「ネットの音楽オタクが選んだベストアルバム」の過去13年分*1と番外編の記録をまとめました。各年の記事のリンク、及びベストアルバムのジャケットとベスト50の記録をまとめてあります。また番外編の企画の記録もまとめました。長いので目次もつけました。企画の変化について若干の説明も書いてあります。また記事の終わりには各年のデータも用意しました。ぜひお使いください。 ネットの音楽オタクが選んだベストアルバムとは？ 音楽オタクとは？ 2010-2012年 国内のみ アーカイブ 2010年 andymori『ファンファーレと熱狂』 2011年 坂本慎太郎『幻とのつきあい方』 2012年 くるり『坩堝の電圧』 2013-2015年 国内のみ 2013年 Perfume『LEVEL3』 2014年 くるり『THE PIER』 2015年 cero『Obscure Ride』 2016年以降 国内外混合 20
こんにちは！ スターフェスティバルでインフラエンジニアをやっております @koonagiです。 早いことにもう1月も終わりますね。 1月のうちにブログを書こうと思っていたら、あっという間に終盤になってしまっていて急いでこの記事を書いていますｗ さて、先月のre:Inventでリリースされた Amazon RDS Blue/Green Deployments について、最近検証したのでそのことについて書いていこうと思います。 Aurora v1(MySQL 5.6)が2月末でサポート終了となるため、Aurora v2(MySQL 5.7)へのバージョンアップの際にAmazon RDS Blue/Green Deploymentsを活用しようと考えており、事前準備として検証を進めました。 Amazon RDS Blue/Green Deploymentsとは 公式からの引用です。 ブルー/グリ
Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available | Amazon Web Services
AWS Database Blog Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Amazon Aurora MySQL is compatible with MySQL 5.6 and MySQL
nerman: AllenNLP と Optuna で作る固有表現抽出システム - クックパッド開発者ブログ
事業開発部の @himkt です．好きなニューラルネットは BiLSTM-CRF です． 普段はクックパッドアプリのつくれぽ検索機能の開発チームで自然言語処理をしています． 本稿では，レシピテキストからの料理用語抽出システム nerman について紹介します． nerman の由来は ner (固有表現抽出 = Named Entity Recognition) + man (する太郎) です． クックパッドに投稿されたレシピから料理に関する用語を自動抽出するシステムであり，AllenNLP と Optuna を組み合わせて作られています． （コードについてすべてを説明するのは難しいため，実際のコードを簡略化している箇所があります） 料理用語の自動抽出 料理レシピには様々な料理用語が出現します． 食材や調理器具はもちろん，調理動作や食材の分量なども料理用語とみなせます． 「切る」という調理
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
S3 + API gateway + Lambda (+ Aurora) による Serverless 申請フォームの構築 - BASEプロダクトチームブログ
はじめに はじめまして、CSE (Corporate Solution Engineering1）の上野です。 今回は BASE Partners という事業で使用していた Google フォームを S3 + API gateway + Lambda (+ Aurora) を使用した Serverless 構成のフォームに移行するというプロジェクトについてお話します。 変更前の構成図と構築した構成図としては以下のようになります。 変更前 変更後 BASE Partners について BASE では新規のショップオーナー様を紹介・支援いただくオフィシャルパートナーを募集するパートナープログラムを運営しています。 それらの申請には初期的には Move fast に行うため、Google フォームと Google スプレッドシートが使用されていましたが、ありがたいことにパートナー様やご紹介いただ
Deep Dive: NewSQL Databases
Overview One of my colleagues, @margo_hdb, recently posted a great article Database Architectures & Use Cases - Explained here on dev.to. In response a user asked for a deeper dive on NewSQL databases, so I thought I would put one together. The term NewSQL was coined in 2011 by 451 Group analyst Matthew Aslett. Wikipedia defines the term below: “ NewSQL is a class of relational database management
PHP の各種キャッシュ機構でメモリが枯渇した場合の挙動を調べてみた｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
PHP の各種キャッシュ機構でメモリが枯渇した場合の挙動を調べてみた こんにちは。やまゆです。 弊社の主軸であるソーシャルゲーム開発においては、マスターデータの存在は欠かせません。 マスターデータとは、例えば下記のようなものがあります。 武器の名称・アイコン画像名・攻撃力・スキルIDガチャでどのカードが何%の確率で排出されるのか敵を倒した時の報酬ゲーム内イベントの開始日時と終了日時 このように、全ユーザーで共有される設定データのことをマスターと呼びます。 これらのデータは膨大で、運営を続けていくとアイテムの追加やイベントの追加により、だんだんサイズが肥大化していきます。また、頻繁にアクセスされることが予測されるため、処理上のボトルネックになる可能性が高いです。 そのため、サーバサイドでマスターデータを処理する際は毎回データベースへアクセスすることはせず、別の場所にキャッシュしておいて、基本
Next.js + Prisma + NextAuth.js + React Queryを試した - $shibayu36->blog;
2分コーディングの一環でNext.js + Prisma + NextAuth.js + React Query で作るフルスタックアプリケーションの新時代をやった。とにかく簡単に認証 + DBアクセスがあるアプリケーションを作ってvercelにデプロイできるサンプルが出来て非常に良かった。趣味プロダクトをちょっと作ってみるのに良さそう。 shibayu36/next-prisma-auth-tutorialに試した例を置いているので参考にどうぞ。 やれたこと Googleのアカウントを使ってサインインし、TODOを追加できるアプリケーション herokuのPostgreSQL dbをデータソースとして動くアプリケーションをvercelにデプロイ 作業メモ prisma、migrationのツールも入ってるし便利すぎる。 migrationしたけどpsqlでdocker内にアクセスできなか
［速報］AWS、クラウド基盤にMac mini（Intel）を組み合わせた「Amazon EC2 Mac instances for macOS」発表
Amazon Web Servicesは、クラウド上でmacOSのインスタンスを提供する「Amazon EC2 Mac instances for macOS」を発表しました。 Run macOS on AWS for the first time with new Amazon EC2 Mac instances. Start developing, building, testing, and signing Apple apps on AWS. Learn more: https://t.co/3faNVwprmv pic.twitter.com/ZEe4L6OORb — Amazon Web Services (@awscloud) December 1, 2020 Amazon EC2 Mac instances for macOS（以下EC2 Macインスタンス）は、Intel
'Extreme' geomagnetic storm may bless us with more aurora displays tonight and tomorrow
本文は長いけどわかりやすい（はず）AWSコスト削減の要 -RIとSPパーフェクトマスター 2020- | DevelopersIO
「この記事をブクマしておけばリザーブドインスタンス（RI） と SP に関する疑問は全部解決するZE!」みたいな記事を書いてほしい」というリクエストがあったわけではないですが、書いてみたくなったので書きました。 こんにちは、札幌在住 AWS 事業本部 オペレーション部（通称オペ部）の池田です。 先日、Savings Plans（SP）に関するよくあるお問い合わせをご紹介する動画を作成、公開したというブログ記事を書きましたところ、読まなきゃ損($∀$)リザーブドインスタンスのススメ -2019春-のような「この記事をブクマしておけばリザーブドインスタンス（RI） と SP に関する疑問は全部解決するZE!」みたいな記事を書いてほしい」というリクエストがあったわけではないですが、書いてみたくなったので書きました。 ブラウザのスクロールバーでなんとなくお察しいただけるとは思いますが、かなりのボリ
【SAP試験対策】IAMの勉強であやふやな理解だったポイントをしっかり整理する | DevelopersIO
AWS認定のSolution Architect Professional試験用に、AWS IAMに関連したキーポイントを断片的にまとめました。 「SAPの試験問題って、大学センター試験の国語に似てね？」 UdemyにあるAWS認定のSAP模擬試験を4本こなした結果、問題の傾向として気づいたことです。どう考えても絞りきれない選択肢が2つ3つあるんですよね〜。 私は受験教科の中で国語が一番苦手でだったので、塾の先生から「問題文に書いてあることに沿って、合っているものではなく、間違ってないものを選べ」と、しょっちゅう教えられていたことを思い出しました。SAPの試験でも同じように「問題の要件と関係ない用語が含まれている選択肢をまず消去し、選択肢が2つ残ってしまったら、問題文に書いてあることに沿った、間違っていない選択肢を選ぶ」ことが大事だなと感じています。 さて、「間違っていないかどうか」を判断
KubeFest Tokyo 2020 は Kubernetes を利用している人、これから導入したい人が学ぶオンラインイベントです。サイバーエージェントのSREである石田氏が、Kubernetesを導入するモチベーションについて共有しました。関連資料はこちら。 自己紹介とアジェンダ 石田尭大氏（以下、石田）：「VMとAWS ECSがメインのインフラにKubernetesを導入した効能」という内容で発表いたします。 初めまして、石田と申します。サイバーエージェントに2016年新卒入社して、子会社であるCyberZにバックエンドエンジニアとして出向しました。メッセージアプリのAPI開発、トーナメントサイトの開発に携わった後にインフラに転向し、OPENREC.tvのインフラおよびその他CyberZ関連子会社で、開発運用しているサービスのインフラを見ています。昨年（2019年）あたりからSREと
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
Amazon Web Services ブログ 新しいサーバーレス LAMP スタック – Part 1: 概要紹介 本投稿は AWS サーバーレス アプリケーションのシニアデベロッパーアドボケートである Benjamin Smith による寄稿です。 本シリーズの他のパートは以下のリンクからアクセスできます。また、関連するサンプルコードはこちらの GitHub リポジトリにあります。 パート2：リレーショナルデータベース パート3：Webサーバーの置き換え パート4：サーバーレス Laravel アプリの構築 パート5：CDK コンストラクトライブラリ パート6：MVC からサーバーレスマイクロサービスへ これは、PHP 開発者向けの投稿シリーズの第一弾です。このシリーズでは、PHP でサーバーレステクノロジーを使用する方法を説明します。サーバーレスアプリケーションを構築するために利用で
［速報］AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon S3 Standardストレージクラスより最大10倍高速な「Amazon S3 Express One Zone」ストレージクラスを発表しました。 Need low latency & high performance? Accelerate workloads with #AWS Amazon #S3 Express One Zone delivers the fastest data access in the cloud with the lowest-latency cloud #Storage. Speed up data processing & cross the finish with time to spare. htt
概要 サービスのメンテナンスの作業手順書にmermaidのガントチャートを使ったという話 作業手順書作成時の時間見積と、実際の作業実施時の時間計測の差が簡単に把握できて便利 下のような図を出せて便利ということ ※2023/08/22 mermaidの記法が変更になったらしく、ガントの分指定が min ではなく m となった 実際のメンテナンス作業の時間を把握したい これらをなんとなく把握したい。 決めた手順が実際にどれくらい余裕があったのか把握したい 事前にステージング環境で同じメンテナンス作業をして問題ないか確認、本番メンテナンスの予定にフィードバックしたい etc. どうやって把握するか 作業前の時間見積 作業手順書に必要時間を記録する etc. 作業実施時の時間計測方法 作業ログを別途作成し、タイムスタンプを記録する 自分は作業チームでMeetに入って作業開始と終了をコメントして、
どマイナーなアイドルやロックバンドの一曲だけ飛び抜けて良い曲のまとめ~その1~ - Jailbreak
※重くて開けないとのことで、記事を分割しました。10記事にまたがっていますが、ご了承ください。 面白い増田が話題になっていて、そのブコメもなかなか面白かった。 それにしても、こういう音楽ネタの場合、どうしても音楽がないと分かりにくいのが、難点。 とはいえ、こういうところで音楽と新しい出会いができるチャンスだと思うのです。 そこで、ブコメであげられた曲をYoutubeで探して、まとめていきたいと思います。 できるだけ同じアーティストは連続してまとめるようにしつつ、ついでに気になったものは個人的にコメントもしていきます。 分けた関係上、扱っている曲はこのようになっています。 その1（この記事） フラワーカンパニーズ/深夜高速 フラワーカンパニーズ/冬のにおい フラワーカンパニーズ/東京タワー フラワーカンパニーズ/涙よりはやく走れ MOON CHILD/ESCAPE MOON CHILD/アネ
さて、１週間くらい前のニュースですがAlibabaがOracleのデータベースを抜いて世界1位の座を獲得しました。 itnews.org 世界一位って何よ？ って所なのですが TPC-C - All Results - Sorted by Performance の結果みたいです。 まあ「Oracleのデータが10年前の11gなので今のExadata X8Mとは比べ物にならない程性能が低いであろうこと」「HPEとかも虎の子のNonStop SQL出してない」「レギュレーションの問題なのかやる気の問題なのかAWS AuroraもGCP Spannerも居ない」という事もあって、最速のRDBランキングとしての妥当性に疑問はありますが、これはランキングが悪いのであってAlibabaを貶めるものでは無いでしょう。誇大広告感は狙ったと思いますがw ベンチマーク結果としては以下のように、2位のOrac
非 Aurora な RDS から Aurora へ移行する時に考えること全部盛り - ゆるっと Tech Blog
Japan AWS Jr. Champions Advent Calendar 23日目の投稿です！クリスマスイブイブですね。 今回は、Aurora でない RDS で稼働している DB を Aurora へ移行することを検討してみます。 現在の データベース 具体的な例があった方が分かりやすいので、移行対象の DB の情報を仮定しておきます。 データベースの情報 利用サービス：RDS (非Aurora) インスタンスタイプ：db.t3.medium (2vCPU/4GiB) ディスク容量：50GiB DBエンジン：MySQL 8.0系 MultiAZ構成 (Active-Standby) リードレプリカなし オンデマンドインスタンス 利用状況 CPU利用量：余裕あり ディスク利用量：余裕あり メモリ利用量：2GiB弱程度で安定推移 システム稼働：時間帯や日による変化はなく、一定した稼働
はてなブックマークのステージング環境を支える技術 - Hatena Developer Blog
id:cohalzです。この記事ははてなエンジニア Advent Calendar 2023 の29日目の記事です。 28日目の記事は id:SlashNephy さんの おうち Kubernetes クラスタ運用記 ~2023~ でした。 はてなブックマークにおけるステージング環境について紹介します。 はてなブックマークでは現在インフラをAWS上に構築しており、ECSやAurora MySQLのサービスを利用しています。 本番環境と同様にステージング環境も用意していますが、より良いステージング環境(例えば本番環境に近く、変更がすぐ試せて、費用が安い構成)にすることを目指し、いくつか工夫した点があるのでそれらを紹介します。 AWSアカウントの分離 はてなでは複数のサービスを運用していますが、はてなブックマーク単体でAWSアカウントを分けて他のサービスとリソースが同居しないようにしています。
Auroraバージョンアップに伴い改めてMySQL5.7の押さえるべきポイントについて勉強会を開催しました！ - ANDPAD Tech Blog
こんにちは！エンジニアの福間（fkm_y）です。 弊社でデータベースの技術顧問をして頂いている三谷（mita2）さんに、MySQL5.7の追加機能についての開発部向け勉強会を実施いただきましたのでそのレポートをお伝えします。 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しており、3月にもMySQLロックの基礎編の勉強会を開催しました。 ANDPADでは、今年の4月にAurora MySQLをVer.1（MySQL5.6互換）からVer.2（5.7互換）にバージョンアップを実施しました。 tech.andpad.co.jp Aurora MySQL Ver.2 になることで使えるようになった、MySQL5.7で追加された機能について開発者に知ってもらい、普段の開発に取り入れてもらうためにMySQL5.7の勉強会を開催することとしました。 今回は追加された150以上の新機能
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
初めてのPerformance Insights入門 | Amazon Web Services
脱Firestoreするために考えていること（追記あり） - Sweet Escape
RDSがAuroraより速い！？について調べてみた - なからなLife
想定していたものはけっこう簡単に崩れる BASEとnoteのCTOが、発生した障害対応で実感したこと
[書評] AWSの知識地図 | DevelopersIO
ガバメントクラウドのAWS見積で苦労したポイント10選 - サーバーワークスエンジニアブログ
PostgreSQLエンジンでのAuroraとRDSのベンチマーク - so what
PlanetScale を AWS Lambda から使ってみた
Amazon RDS Blue/Green Deployments を色々と検証してみた！
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
Engadget | Technology News & Reviews
どんなに先進的な手法でも運用が回らなければ意味がない サイバーエージェントのSREがKubernetesを導入した理由
新しいサーバーレス LAMP スタック – Part 1: 概要紹介 | Amazon Web Services
作業手順書にmermaidを使ったら便利だったメモ - Qiita
世界１位になったアリババの独自開発DB OceanBaseとは何者か？ - ブログなんだよもん