ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。 今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。 なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンｍｍ) 移行の規模はどんなもんか ボリューム的にはざっと下記の通りです。 テーブル数: 約2,000テーブル データ量: 約180TB(snappy) クエリ数: 約500件 移行期間: 約1年4ヶ月(準備期間含む) そもそもなんで移行したの？ 大別すると移行を決めた理由は3つほど。 パフォーマンス向上が見込めた 手段を多様化したい エンジニアリソースの最適化 以下にそれぞれ細かく記述します。 1. パフォーマンス向上が見込めた SQLによりますが、それまで使っていたRedshift環境と比べて平均5〜6
〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 3 回】 「積ん読」と「体重増」の悩みを AutoML で解決しよう | Google Cloud 公式ブログ
〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 3 回】 「積ん読」と「体重増」の悩みを AutoML で解決しよう 前回は、AutoML Tables による EC サイトの LTV 分析事例を紹介しました。今回は、同じ AutoML Tables を、より身近な課題の解決に使う方法を紹介します。 その課題とは、筆者自身が抱えていた 2 つの悩みです。ひとつは、スキャンして PDF で保管している書籍の「積ん読」を大量に抱えていたこと。もうひとつは、自宅作業ばかりで増え続けてしまっている体重です。 この 2 つの課題を一挙に解決するソリューションとして筆者が思いついたのが、「PDF 書籍をオーディオブックに変換する」という方法です。読みたかった書籍をオーディオブック化しておけば、ランニングしながら積ん読を解消できます。 この動画のように、Cloud Sto
新刊『動かして学ぶ！Python FastAPI開発入門 』発売、Web APIの作り方とAWS・GCPへのデプロイ方法まで
本書はエンジニアのための情報共有コミュニティ「Zenn」で中村翔さんが公開されている人気コンテンツ「FastAPI入門」を元に書籍化。Python3.11への対応、コラムの追加、本番環境での運用を想定したAWS・GCPへのデプロイ方法について追記するなど、大幅にパワーアップした内容となっています。 FastAPIはDjangoやFlaskに並んで人気が高いPythonのWebフレームワークです。コードを書くとSwagger UIが自動生成される、型安全、高速という優れた特長もあって実際の開発現場で利用されることも増えています。 本書ではそんなFastAPIの使い方を、ToDoアプリの作成を通じて学べます。特に、以下の点にこだわって解説しています。 DB接続にもasync/awaitを利用 Dockerによるクリーンな環境構築 スケーリングを考慮したディレクトリ構成 FastAPIが気になっ
GCPにセキュアな踏み台サーバーを作成する
TL;DR GCPのIdentity-Aware Proxy(IAP)を利用すると、手軽かつセキュアに自宅などから踏み台サーバーへのアクセスを実現できます。加えてオンプレミスとGCPで拠点間VPNが構築できると、社外からGCPを経由してオンプレミスへセキュアにアクセス可能です。 昨今の状況を含め突発的な出来事により、社内にある環境に社外からアクセスする事が必要になるケースは無いでしょうか？ 今まではダイヤルアップ型のVPNを構築する、踏み台サーバー(要塞ホスト)を構築するといったやり方で解決が図られて来ましたがどちらのやり方もエンドポイント(VPN Gateway、踏み台サーバー)へのセキュリティ対策を綿密に行う必要があるため実装には多くのコストがかかります。 社外から社内へアクセスする際のイメージ今回はGCPを使ってセキュアかつ簡単に社内へアクセスできる環境を構築する方法をご紹介します。
こんにちは、インフラ部の id:sue445 です。 Terraformなにもわからないけどディレクトリ構成の実例を晒して人類に貢献したい - エムスリーテックブログ や Terraformのディレクトリ構成の模索 - Adwaysエンジニアブログ を読んで影響されたのでピクシブのTerraform運用事例を紹介しようと思います。 Terraformの採用理由 GitLabでのリポジトリ構成 Terraformのファイル構成 moduleがうまく使えたと思っている事例 GitLab CIでTerraformをいい感じにCIする テンプレートの使い方 ピクシブで実際に使っているテンプレートファイル このテンプレートでできること masterブランチ以外 masterブランチ このテンプレートファイルのポイント 最後に Terraformの採用理由 Terraformと同じようなプロビジョニン
TL; DR Google Cloud 上で Rails をできるだけインフラ運用しなくて済むように構築するとしたら、こういう構成にするのはどうだろうか？ メインの Web アプリは Cloud Run メインのデータベースには Cloud Spanner 非同期ワーカーには GKE Autopilot 非同期メッセージングキューには Cloud Pub/Sub DB マイグレーションには GKE Autopilot rails console には GKE Autopilot はじめに 先日、Cloud Spanner の ActiveRecord アダプターのバージョン 1.0 がリリースされました。 Scale your Ruby applications with Active Record support for Cloud Spanner | Google Cloud Blog
はじめにお仕事でGCP使って環境を構築することがあったのですが、色々とハマることが多かったので供養を兼ねて共有したいと思います。 当時の私の経験値としては「AWSの一部サービスは触ったことがある」程度でクラウド環境を下地から構築するのは初めての経験でした。一度触ってみれば常識だよねって内容が多いですが、初心者が小石につまずいてもすぐに立ち上れるようになれば幸いです。 今回構築した環境の概要 既存のオンプレ環境との共存を前提とし、使えるアドレス範囲もオンプレのNWから払い出し オンプレ環境とインターネットVPNでつなぐプロジェクトは1つ（ホストプロジェクト） 各環境（production、staging・・）は共有VPCで接続（サービスプロジェクト） なお、構築はTerraform, Ansibleで行いました。 GCPで環境構築してハマったこと本編です。 カテゴリ別に記載しています。 1.
Professional Cloud Architectに合格しました。受験体験記を共有したいと思います。 Professional Cloud Architectとは 2022年の最も高収入につながる IT 認定資格ランキングで2位の資格です。平均年収2200万円($169,029) 合格するためにやったこと 模擬問題集で70%あれば合格できます。1セット1時間合計4時間で終わります。試験開始前に間違えた問題を再度確認しておきましょう。Udemyのセール時に購入するのがおすすめです 【最短攻略】Google Cloud 認定 Professional Cloud Architect 模擬問題集 Udemy自動化 Tampermonkeyをインストールし、下記ユーザースクリプトをインストールすることで次へボタンを自動で押せます。2倍ほど速くテストを進められるので便利です。タッチパネルでやる
CircleCIがAWSやGoogle Cloud、Kubernetesなどへ自動デプロイするための共有パッケージ「Orb」を公開。クラウドへの自動デプロイが容易に
CircleCIがAWSやGoogle Cloud、Kubernetesなどへ自動デプロイするための共有パッケージ「Orb」を公開。クラウドへの自動デプロイが容易に ビルドやテストのプロセスを自動化する、いわゆる継続的インテグレーション（Continuous Integration）の機能をサービスとして提供するCircle CIには、「Orb」と呼ばれる、設定ファイルなどを含むCircleCI向けパッケージの共有機能があります。 Orbは、CircleCIのWebサイト上の公開レジストリ的なサービスによってまざまな設定が公開されています。 例えば、CircleCIにAWSコマンドラインツールを統合する設定、ソースコードをビルドしてDockerイメージを生成、それをDockerレジストリに登録する操作を自動化する設定などがあります。 こうしたOrbを利用することで、CircleCIでさまざ
Google Kubernetes Engine上のGoアプリケーションでのHTTPリクエストを行う方法 | メルカリエンジニアリング
この記事はMERPAY TECH OPENNESS MONTHの最後の記事です。 こんにちは、メルペイのバックエンドエンジニアの@gia.nguyenです。 私は第3回のGopher道場を卒業してから2018年12月に入社しました。 他の記事にも記載されましたが、メルペイのバックエンドは、Google Kubernetes Engine(以下、GKE)を使用して、マイクロサービスアーキテクチャを採用した多数のマイクロサービスから構成されています。マイクロサービスは主にGo言語を使って、開発しています。マイクロサービス間のコミュニケーションはgRPCでやり取りしていますが、外部サービスに対してはほとんどHTTPで通信を行っています。本記事はGKE上のGoアプリケーションでHTTPリクエストを投げる際、いくつか工夫した点を紹介したいと思います。 TL;DR httptraceはデバッグに役立つ
ある機械学習システムをAWSからGCP/GKEに移行した話 / Machine Learning System Migration from AWS to GKE
Data Pipeline Casual Talk Vol.4 https://dpct.connpass.com/event/139163/
How Pokémon GO scales to millions of requests? | Google Cloud Blog
Priyanka VergadiaStaff Developer Advocate, Google Cloud Have you caught Pokémons? Pokémon GO is a popular game played by millions, but it scales extremely well. This blog is a behind-the-scenes look into how the Pokémon GO engineering team manages and maintains the scale. Joining me is James Prompanya, Senior Engineering Manager at Niantic Labs who leads the server infrastructure team for Pokémon
【承認リードタイムが1/5】Slack ワークフロー承認機能の紹介！ | BLOG - DeNA Engineering
3行で マネージャーが喜ぶ承認システム、 CTO いわく「マジ便利すぎて鼻血出る」 5時間かかっていた承認リードタイムが58分に短縮 コストは月当たり1ドル未満 はじめに はじめまして、 IT 戦略部システム開発グループの長谷川です。入社以来一貫して社内システムの内製開発に携わっています。今では当部署のマネージャーを務める身ですが、基本的には開発大好きアプリケーションエンジニアであり、メンバーとああでもないこうでもないと意見交換しながらコーディングに没頭する日々を過ごしています。 社内システムの内製開発？ 社内システムは会計、人事、総務、法務…と多領域にわたり、担当者あたりのシステム数が必然的に嵩むため、それぞれの運用効率というものが強く求められます。その意味で、社内の主軸となるシステムは原則 SaaS で賄うべしというのが世の流れです。しかしながら SaaS が提供してくれる機能はあくま
Google Cloud、AI機能搭載のPostgreSQL互換ソフトウェア「AlloyDB Omni」正式版リリース
Google Cloud、AI機能搭載のPostgreSQL互換ソフトウェア「AlloyDB Omni」正式版リリース Google Cloudは独自に高性能化したPostgreSQL互換ソフトウェア「AlloyDB Omni」の正式版をリリースしたことを発表しました。 AlloyDB Omniは、Google CloudがPostgreSQL互換の高性能なマネージドデータベースサービスとして提供している「AlloyDB for PostgreSQL」と同じデータベースサーバを、オンプレミスやノートPCなどで実行できるソフトウェアとして開発が進められました。 参考：Google Cloud、高性能化したPostgreSQL互換「AlloyDB」のオンプレミス向けソフトウェア「AlloyDB Omni」発表。開発環境での利用は無料 トランザクション性能は2倍高速、分析的クエリは100倍高速に
Google、Dockerコンテナをサーバレス化する「Cloud Run」をAnthosに搭載。オンプレミスを含むハイブリッドクラウド環境で実行可能に
Google、Dockerコンテナをサーバレス化する「Cloud Run」をAnthosに搭載。オンプレミスを含むハイブリッドクラウド環境で実行可能に Googleは、ハイブリッドクラウド環境を実現するAnthosの新機能として、Dockerコンテナをサーバレスで実行できる「Cloud Run for Anthos」や、サービスメッシュを実現する「Anthos Service Mesh」などを発表しました。 Cloud Runをパブリッククラウドだけでなくオンプレミスでも Anthosとは、Kubernetesをクラウド基盤の抽象化レイヤとして用いることで、コンテナ化したアプリケーションをオンプレミスとクラウドのどちらでも実行可能にする、ハイブリッドクラウドおよびマルチクラウドのためのプラットフォームです。 Google CloudやGoogleが認証したオンプレミス用のサーバ構成だけでな
※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercariの一環で書かれています。 はじめに こんにちは、メルカリ、サーチインフラチームのshinpeiです。今回はメルカリの検索基盤の裏側について、そのアーキテクチャ変遷について書こうと思います。2018~2021年の4年間で、大きく3回、変化をしました。設計の段階では希望と期待にあふれているアーキテクチャでも、問題は後からやってきます。設計には良し悪しがあり、変化することで知見を得ながら、改善を続けています。え、これだと危ないのでは？、、あぁ、やはりそうなるのね。などと、ご笑覧いただければ幸いです。 前回までのお話 メルカリの検索は、創業時から、Solrをベースにしたシステムで組まれてました。その変遷はこちらのスライドにまとめてあ
注意事項・補足 月間料金概算は、1ドル約110円として概算 各料金は、各サービスの下記公式ページから抜粋 AWS の料金表 GCP の料金表 Heroku の料金表 AWS の月間料金は、1時間料金 * 24 * 30 として算出 GCP の月間料金は、GCP の料金表より抜粋 一定時間以上使用すると継続利用割引（最大 30 %）が適用される 無料枠 GAE の Standard Environment では 1 日あたり 28 インスタンス時間の無料枠がある GCE では 1 インスタンス f1-micro、ただしリージョンは、オレゴン(us-west1)、アイオワ(us-central1)、サウスカロライナ(us-east1) に限られる AWS は、無期限での無料利用枠は AWS Lambda のみ 12ヶ月間限定では、750 時間 / 月の t2.micro (Linux、RHEL
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 今回は友人の結婚式の余興用に作ったアプリケーションの実装とエラーゼロで突破するための工夫などを紹介します。 どんな余興をしたの？ アーキテクチャ 結婚式で使う回答システム実装のポイント 本番直前1ヶ月は動作確認ができないことを考慮したスケジューリング 本番以外の時間はなるべく料金を安く済ます。 絶対に落とせないアプリケーションのための負荷試験、Fuzz testing 負荷試験 Fuzz testing 結果 まとめ We are Hiring! どんな余興をしたの？ 友人とは毎年夏の旅行で「格付けチェック」をやっていて、高い肉や酒を当てられるかなどのゲームをしているので、今回の友人の結婚式の余興では「格付けチェック」と題して、新婦はプロに混じった新
Professional Cloud DevOps Engineer は SRE を目指すエンジニアにお勧めしたい資格でした | DevelopersIO
本記事は 2021/07/06 時点の情報になります。そのため時期によって異なる情報になる可能性があります。ご留意の上、お読みください。 はじめに こんにちは、 CX事業本部 MAD事業部 の 田中孝明 です。 つい先日、 Google Cloud 認定資格 の Professional Cloud DevOps Engineer を苦労の末合格しました。 試験の内容に関しては NDA になるため記載することはできませが、勉強した内容をお伝えすることで、挑戦する方の励みになるような記事になればと思い公開いたします。 Professional Cloud DevOps Engineer について Professional Cloud DevOps Engineer は Google Cloud 認定資格 のプロフェッショナル資格に該当する資格です。 一度不合格になりましたが、二度目の挑戦で合
[Cloud OnAir] Cloud Run Deep Dive ~ GCP で実践するモダンなサーバーレス アプリケーション開発 ~ 2019年9月12日 放送
![[Cloud OnAir] Cloud Run Deep Dive ~ GCP で実践するモダンなサーバーレス アプリケーション開発 ~ 2019年9月12日 放送](https://cdn-ak-scissors.b.st-hatena.com/image/square/faf980322ca4f84c0fa016b0f7e634f3f68d732d/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F0912-190912084632-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsが2021年版のレポートを公開
「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsが2021年版のレポートを公開：三大クラウドの処理性能はどう違う？ Cockroach Labsは、Amazon Web ServicesとMicrosoft Azure、Google Cloud Platformの処理性能を比較した年次レポートの最新版を公開した。3つの主要クラウドの処理性能がかなり異なることが分かった。 Cockroach Labsは主要クラウドサービスの処理性能を比較した年次レポートの最新版「2021 Cloud Report」を公開した。 ベンチマークの対象となったのは、「Amazon Web Services」（AWS）と「Microsoft Azure」（Azure）、「Google Cloud Platform」（GCP）。 3年目となる今回のレポートは過去のレポートと比較して、よ
Professional Data Engineerに合格しました。受験体験記を共有したいと思います。 Professional Data Engineerとは 2022年の最も高収入につながる IT 認定資格ランキングで1位の資格です。平均年収2200万円($171,749) 合格するためにやったこと 模擬問題集で70%あれば合格できます。1セット1時間合計8時間で終わります。試験開始前に間違えた問題を再度確認しておきましょう。Udemyのセール時に購入するのがおすすめです 【最短攻略】Google Cloud 認定 Professional Data Engineer 模擬問題集 Google Cloud Professional Data Engineer - GCP - Exams - 2022 テストは英語ですが、右クリックで日本語にできます。 Udemy自動化 Tampermo
経緯 ここ6,7年くらいはバックエンドに関してはRails + EC2/ECSあたりのAWS環境を中心に過ごしてきたが、昨今はフロントエンドでReact/Vue + TypeScriptを書く機会も増えている。なのでこの際NestJS等でバックエンドを書けるようになれば言語のコンテキストスイッチの切り替えが容易になりそうと思った(ちなみにモバイルアプリはFlutterで書くのでDartだが、ではDartでバックエンドを書くかと言われると一人でそんな勇気はないわ...となるのでひとまず置いておく) 最近はinputとoutputを型注釈によって守れたりすることの主に開発体験方面への恩恵が個人的に大きくて、Rails以外で安住の地を見つけたいとは予々思っていた。なので先に挙げたNestJSに全ベットするわけではないにしろ何かしらフレームワークは試していきたい。 AppEngineは大昔に少し触
セキュアなBigQueryの運用方法
JulyTechFesta2021 登壇資料 https://techfesta.connpass.com/event/213069/ IAM,VPC Service Controls, Logging, 承認済みviewなどBigQuery周りのセキュリティサービスはいくつもあります。セキュリティを担保するためのサービスとしてどのようなものがあるのか、またそれを使った運用方法はどのようなやり方があるのかを実例を交えて紹介します。 #JTF2021 #JTF2020_C
Google Cloud、暑さでダウンか ロンドンのデータセンターで冷却系に障害 Oracle Cloudも【復旧済み】
Google Cloudの欧州リージョンの一部（europe-west2）で障害が発生している。ロンドンにあるデータセンターの1つで、7月20日午前2時13分ごろ（日本時間、以下同）から、冷却関連のトラブルが起きているという。問題は一部改善しているものの、午前10時時点で解消はしていない。 障害によって、ユーザーが使う少数の仮想マシンが強制的に終了した他、スケーリングなどに影響が出たという。午前10時時点でも、一部のユーザーは仮想マシンの起動やスケーリングなどが通常通りできない場合がある。米Googleは引き続き改善に取り組むとしている。 同様の障害はOracle Cloudでも起きている。Oracle Cloudでは、19日午前12時21分ごろ、ロンドンにあるデータセンターで冷却系のトラブルが発生。一部ユーザーがサービスにアクセスしにくい状態になった。 米Oracleによれば、状態はすで
SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog
こんにちは。河内です。 最近はデータ基盤の構築も取り組んでいたりします。 社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。 社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年12月)は Argo Workflow 上でクエリを順次実行することを構想していました。構想中に Dataform が Google に買収され、無料で使えるようになったというニュースが飛び込んできたため、触って感触が良いことを確かめた後、Dataform を使っていくことに
Japan Digital Design（以下JDD）でインフラエンジニアをしている渡邉です。 Japan Digital Design Advent Calendar 2023 もついに19日目までやってまいりました。 後半だしまだ全然余裕～、とのんびりしていたら、あっと言う間にやってきました...。 さて、今回は Google Cloud Platform（以下GCP）に関するお話です。 JDDでは各プロジェクトそれぞれでインフラ選定が異なりますが、基本的にはAWSをメインで利用しています。 GCPはPoCや内部的なアプリケーションに利用が限られていたわけですが、ついにProductionサービスでの利用が決まり、GCPを本格的に使うことになりました。 AWSにどっぷり浸かったインフラエンジニアがGCPを使い始めるにあたって、きっとハマるであろうポイントをいくつか挙げてみようと思います
ご要望を受け、Google Cloud プロダクトのクイック リファレンスが登場（2021 年版） | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 3 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud には、幅広いユースケースに対応するプロダクトが数多く揃っています。とはいえ、何から着手すればいいか、どうすればわかるのでしょうか。こうした疑問にお答えするべく、Google Cloud エコシステムが把握しやすくなるリソースセットをご用意しました。このリソースを使用すれば、さまざまなプロダクトについてすばやく理解し、特に関心のあるプロダクトを選択して、ドキュメントやその他の利用可能なリソースをさらに深く掘り下げることができます。 Google Cloud プロダクトを簡潔に説明Google Cloud デベロッパー向けのクイック リファレンスでは、各 Google Cloud プロダクトが 4 語以内（英語）で説明されています。Google Cl
Kimihiko KitaseHead of Enterprise Marketing, Google Cloud Japan デモ用のマイクロサービスアプリケーションを使って実際に、マイクロサービスアプリケーションの開発、ビルド、デプロイ、運用を体験してみましょう。 このアプリケーションは、10 のサービスで構成されている「Hipster Shop」と呼ばれるデモ用の EC サイトです。ユーザーは、製品を選択し、カートに追加し購入することができます。各サービスは、Go, C#, Node.js, Python, Java といった言語で独自に書かれおり、下記のように、gRPC でコミュニケーションします。また、開発者は skaffold を使用し、1 コマンドでアプリケーションのビルド、デプロイが可能です。実行環境は、Google Kubernetes Engine (GKE) や、Lo
Cloud Run jobs を解説する
TL; DRCloud Run にバッチ処理などを実行するのに便利な機能「Cloud Run jobs」が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Task)を実行可能で、より長時間の実行、 明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run で、バッチ処理などを行うための機能です。Cloud Run の第二世代の実行環境で動作し、「CPU を常に割り当てる」が適用されます。 従来の Cloud Run との違いは以下の通りです。 HTTP リクエストに依らない実行より長時間の実行 ( 複数の Task を組み合わせることにより 60 分以上の実行を実現 )明示的な並列処理注意: 2022 年 5 月 13 日現在、Cloud Run jobs
イメージとしては スタンダード環境の方が気楽にはじめられる フレキシブル環境の方がより細かな設定ができる という感じでしょうか。 「料金が安いのはスタンダード」とは限らない ググって見つかる情報を読むと、多くの人は「スタンダード環境の方が安く済みそうだ」という印象を持つと思います。僕もそのような考えから、当然のようにスタンダード環境を選んでいました。しかし、結果として、Zennの場合にはフレキシブル環境の方が料金は大幅に安く済むことが分かりました。 Zennの場合 具体例があった方が読んでいて楽しいと思うので、恥を捨てて実際にかかっていたGAEの料金を載せてしまいます。ほれっ。 ※ 料金の推移は、サービスへのアクセス数とはほぼ相関していない ピーク時には1万円/日近くいってしまっていますが、設定と環境を見直すと¥500/日くらいで済むようになりました。設定をミスらなければPS5を転売ヤーか
※この投稿は米国時間 2019 年 6 月 20 日に Google Cloud blog に投稿されたものの抄訳です。 私たち Google Cloud は、Google Cloud Platform（GCP）上に移行もしくは構築されるアプリケーションの最終目標として、よく「クラウドネイティブ アーキテクチャ」という言葉を使います。では、クラウドネイティブとは正確にはどういう意味なのでしょうか。そして、そのようなシステムはどうすれば設計できるのでしょうか。 大まかに言えば、クラウドネイティブとは、クラウドによってもたらされる、従来のオンプレミスにはない新しい可能性に適応することを意味します（アーキテクチャ上の制約も従来とは大きく異なるため、それにも適応）。ソフトウェア アーキテクトとして私たちが考慮するよう訓練を受けている高レベルの要素について考えてみましょう。 システムの機能要素（何を
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
［速報］Google Cloudが「Gemini Code Assist」発表。最新のAIによるコーディング支援、Stack Overflowのナレッジも統合。Google Cloud Next '24
Google Cloudは、日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、最新のAIによるコーディング支援サービス「Gemini Code Assist」を発表しました。 Gemini Code Assistは、GitHub CopilotやAWS CodeWhispererなどと競合するサービスと位置づけられます。 Gemini Code Assistは最新AIモデル「Gemini」採用 Google Cloudは昨年（2023年）12月にAIによるコード補完やコード生成などを実現する「Duet AI for Developers」を正式リリースしています。今回発表されたGemini Code Assistは、同社の最新AIモデルである「Gemini」を採用したDuet AI for Developersの進化版だと説明されています。 参考：
4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 | Money Forward Kessai TECH BLOG
4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 きづけば2021年ですね。12月末に書いたこの記事は年末休暇の関係で、公開がこのタイミングになりました。あけましておめでとうございます。 今回は、マネーフォワードケッサイが利用しているGCP/GKEのIngreeまわりを振り返ってみたいとおもいます。 創業初期 2017年3月時点ではGCPには証明書を自動的に作成する仕組みがなかった事もありますが、まだまだ証明証は信用の為にEVを買うという考えが強かったので、EV証明書とワイルドカード証明書を購入してIngressに設定してました。 証明書の自動作成と更新できるように ユーザが利用するドメインのみ購入した証明書を使い、社内利用のドメインは、cert-managerを利用して作成したLet’s Encriptの証
分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study
パフォーマンスに苦労している並列処理システムを改善するために Stackdriver Traceを導入して動作の可視化を行った結果、 ボトルネックの存在が判明してパフォーマンスを改善できた事例について紹介します。 この事例でStackdriver Traceを選定した過程や OpenTelemetry へコントリビュートした経緯についても共有します。 また、新規開発のGraphQLサーバへ導入して REST APIサーバと通信をまたいだ可視化を行った事例についても紹介します。
はじめまして。Gaudiyでエンジニアをしているあんどう（@Andoobomber）です。 クラウドネイティブ全盛の世の波に乗り、この度 Gaudiy では Cloud Run から Google Kubernetes Engine (GKE) への移行を行いました。 この記事では、その移行プロセスの全体像を共有し、得られた教訓と今後の展望を探ってみたいと思います。 1. Before After: 移行の概観 1-1. Before 1-2. After 2. なぜGKE環境に移行したのか 3. 移行のプロセス 3-1. Kubernetesを学ぶ (1週間: 2023/10/01~) 3-2. Dev on GKE環境作成 (2-3週間) 3-3. Staging on GKE環境作成 (2日) 3-4. Private Clusterへの移行 (1-2週間) 3-5. Prod on
NewsPicksのエンジニア採用サイトです。さまざまな強みを持つエンジニアが、自分たちの個性を活かし、未来を創るための挑戦をしてる自由な環境で、一緒に世の中をおもしろくしてみませんか？
【保存版】Azure/AWS/Google Cloud(GCP)/OCI サービス比較 - NOBTAの気ままにITブログ
※ 2021年1月 更新 マルチクラウド化が進むにつれて、各種クラウドサービスを比較する機会が増えるのではないかと思います。 今回は、自分の整理も兼ねて、Azure (Microsoft 365)／AWS／Google Cloud (Google Workspace)／OCI のサービス比較表 を作成してみようと思います。 *1*2 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース データベース ID WEB コンピューティング ストレージ セキュリティ 仮想デスクトップ 統合 分析 まとめ 参考情報 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース Azure AWS Google Cloud OCI マーケットプレース Azure Marketplace AWS Marketplace
Cloud Deploy
お待たせいたしました、お待たせし過ぎたかもしれません。みんなー！やっと Google Cloud でデプロイのためのマネージド サービスがでてきたよー！！！ Cloud Deploy という謎サービスがリリースされました。現在 Preview ながら、実際にみなさんの環境で体験いただけます。以下はその解説ですが、そんなことより早く使いたい！という方はこちらからどうぞ。 Cloud Deploy とはアプリケーションを実行環境へ継続的デリバリー (CD) するためのもの任意の継続的インテグレーション (CI) システムと連携できるCD に関する重要な指標、データが容易に可視化できる現在サポートするデプロイ対象サービスは GKE のみ使い方は 事前に “パイプライン” としてデプロイ先や順序、方法を決めておいてソフトウェアが書けたら成果物を “リリース” としてまとめ最初のデプロイ先（ “ター
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ありがとうRedshift よろしくBigQuery - freee Developers Hub
Terraform運用事例書きました - pixiv inside
できるだけインフラ運用したくない Ruby on Rails on Google Cloud
初めてのGCPで環境構築してハマったこと | フューチャー技術ブログ
GCP Professional Cloud Architectに1日で合格する方法 - Qiita
メルカリの検索基盤の変遷について | メルカリエンジニアリング
GCP・AWS・Heroku の最低価格帯インスタンスの料金比較（2020年1月版） - Qiita
絶対に落とせない！友人の結婚式の余興用アプリケーションをエラーゼロで突破した - エムスリーテックブログ
[Cloud OnAir] Cloud Run Deep Dive ~ GCP で実践するモダンなサーバーレス アプリケーション開発 ~ 2019年9月12日 放送
GCP Professional Data Engineerに1日で合格する方法 - Qiita
NestJS + Prisma + Cloud Run + Cloud SQLを試す
AWSエンジニアがGCPでハマりがちなポイント - Qiita
体験して理解しよう！マイクロサービスの開発、ビルド、デプロイ、運用 | Google Cloud 公式ブログ
Google App Engineのスタンダード/フレキシブル環境を選ぶときのヒントと設定の注意点
クラウドネイティブ アーキテクチャ、5 つの原則 | Google Cloud 公式ブログ
Kubernetes初学者が担当したGKE移行プロセスの全貌 - Gaudiy Tech Blog
エンジニア採用｜NewsPicks (ニューズピックス)