こんにちは。メルカリ ハロのSoftware Engineer (Engineering Head)の@napoliです。連載：Mercari Hallo, world! -メルカリ ハロ 開発の裏側-の2回目を担当させていただきます。 2024年3月上旬にメルカリ ハロという新しいサービスが公開されました。メルカリ ハロは好きな時間に最短1時間から働ける「空き時間おしごとアプリ」です。 この記事ではメルカリ ハロを作るにあたり、どういった技術スタックやアーキテクチャを選定したのか、さらにその背景と意思決定をご紹介したいと思います。 この記事で得られること メルカリ ハロで採用されている技術スタックやアーキテクチャの全体像 その意思決定の理由とプロセス これから新規サービスを立ち上げるうえでのヒント 主な技術スタック メルカリ ハロで利用されている主な技術スタックは以下のとおりです。 バッ
※この投稿は米国時間 2024 年 1 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 あなたは Acme Corp という架空の会社のエンジニアで、CI / CD と自動化を用いたソフトウェアの統合と配信、データ主導型の指標およびオブザーバビリティ ツールの実装を行う大型プロジェクトに関わっているとします。しかし仲間のエンジニアの多くは、認知負荷が高すぎることで苦戦しています。Kubernetes クラスタのデプロイと自動化、CI / CD パイプラインの構成、セキュリティに関する懸念事項など、検討すべきことはさまざまです。会社の拡大と成長を支援するには、そのような課題の解決方法に関する考え方を改める必要があるとあなたは気付きます。そこで役立つ可能性があるのが、プラットフォーム エンジニアリングです。 プラットフォーム エンジニアリングは「コンピューティ
Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは日々複数のGoogle Cloudプロジェクトを管理しています。これらのプロジェクトでは、データサイエンティストやプロジェクトマネージャーなど別チームのメンバーが作業することもあり、必要に応じてメンバーのGoogleアカウントへ権限を付与しています。 権限の付与はプロジェクトの管理者であるMLOpsブロックメンバーが行いますが、これは頻繁に発生する作業でありトイルとなっていました。 また権限付与後はこれらを継続的に管理し、定期的に棚卸しすることで不要になった権限を削除する必要があります。しかし当初の運用だと権限の棚卸しの対応コストが大きく、これが実施されずに不要な権限が残り続けるという課題もありました。 本記事ではMLOpsブロックで抱えていたGoogle Cloudプロジェクト内での権限管理における
TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball
ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも
本記事は 基盤デザインウィーク 9日目の記事です。 🌈 8日目 ▶▶ 本記事 ▶▶ 10日目 💻 はじめに 前提(取得資格と実務年数) 役立った点 混乱した点 まとめ 最後に はじめに はじめまして。基盤デザイン事業部の木下です。クラウドエンジニアとしてお客様環境の運用業務を担当しています。 私はこれまでAWSで構築されたシステムを担当していましたが、Google Cloudに触れる機会が増えてきたため、資格取得と合わせて勉強を進めています。 そこで今回はGoogle Cloudの勉強や資格取得時に、AWSの経験が役立った点と逆に混乱した点について、個人の感想にはなってしまいますが書いていこうと思います。 前提(取得資格と実務年数) AWS 実務年数 7年 取得資格 AWS Certified Solution Architect Associate AWS Certified Dev
昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発行・交換する必要があります。クラウドプロバイダーが動的に発行する等さまざまな方式がありますが、システムの制限や運用によっては安全なシークレットの取り扱いのために、慎重な技術設計が必要になる場合もあります。 今回は、LayerXにおける要件パターン、脅威モデリングに基づく判断と実装方法を紹介することで、「どこまで気をつけるべきか？」「何を想定すべきか？」といった実務に対して参考いただけると嬉しいです
概要 この記事は 一休.com Advent Calendar 2023 16日目の記事です。 RESZAIKO開発チームの松村です。 一休では各サービス毎に、開発中のサービスの動作を社内で確認できる環境があります。 それぞれmain(master)ブランチと自動的に同期している環境と、特定のブランチを指定して利用できる環境の2種類があります。 今回、RESZAIKOの新規サービス(予約画面)に対してブランチを指定してデプロイできる環境を作成したので、その方針と反省点と今後について記述していきます。 現在運用中の予約画面 開発環境を作る理由 一休では長らく、EKS上に複数の環境を用意して、ブランチを指定すると開発環境にデプロイするシステムが利用されてきました。 一般的にこのような環境を構築するのは以下のような理由が挙げられます。 動作確認 マイクロサービスで、異なるブランチ同士の組み合わせ
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順 (コンソール) クエリ設定を開く 詳細オプションの設定 動作確認 設定手順 (bq コマンドライン) はじめに BigQuery の課金体系にはオンデマンドと Editions の2つから選択できます。前者はスキャンしたデータ量に応じた従量課金です。後者は確保するコンピュートリソースの量に応じた課金で、オートスケールの幅 (上限と下限) を設定できます。 Editi
データから正しい意思決定を行うために全社横断プロジェクトにおける取り組み 〜マーケティング・テクノロジーフェア 大阪 2023 登壇レポート〜 - MonotaRO Tech Blog
データ基盤グループの吉本です。 6月22日(木)にインフォーマ マーケッツ ジャパン株式会社主催で行われたマーケティング・テクノロジーフェア 大阪 2023にてデータ活用やデータ管理に関する取り組みの紹介を行いましたのでイベントレポートとして報告します。 イベント概要 www.tfm-japan.com マーケティング・テクノロジーフェアは主にマーケティング活動におけるイベントで各種のセミナーや出展ブースがあります。 その中で、先日弊社が全社におけるデータ活用に取り組んでいることを受けて、データ活用の観点で話してほしいと主催者からご依頼いただき、今回登壇する形となりました。 私が登壇したセミナーは事前登録が満席となり、別会場でのサテライト配信や翌日のイベント内で録画配信も行われました。 最終的にサテライトならびに録画配信合わせて157人の方にご参加いただきました。 発表の様子 サテライト会
【Go/GCP】ライブゲーム「あてっこ！ぷにまるず」を支えるバックエンド技術 - Mirrativ Tech Blog
バックエンドエンジニアの makino です。本日は、先日リリースしたライブゲーム「あてっこ！ぷにまるず」のバックエンド技術について紹介します。 ライブゲーム「あてっこ！ぷにまるず」について ライブゲームとは、Mirrativアプリ上で遊べるゲームであり、配信中のゲームに視聴者が介入できることが特徴です。 「あてっこ！ぷにまるず」では、配信中に視聴者を招待して一緒にGvGバトルを楽しむことができます。 開発スタッフがプレイした動画をご紹介📺✨ バウンド数に注目👀⁉ こんなに連鎖できたら気持ちよさそう…🐰💕 動画を参考にレッツ❗チャレンジ💁 SNSスタッフは2回バウンドできました🙌 まだまだ道のりは険しい…🏔 pic.twitter.com/YdZMRKxbgv— 【公式】あてっこ！ぷにまるず (@punimals_jp) 2023年7月18日 Mirrativのライブゲームは
完全招待制のオンラインカンファレンス「PIXIV MEETUP 2023」。「創作活動を、もっと楽しくする。」というミッションを遂行するために、メンバーが普段行っている業務について、自らの言葉で語り、その想いと技術を共有する場です。sue445氏は、 ピクシブ社における、パブリッククラウド活用の取り組みについて発表しました。全2回。前半は、sue445氏が入社後に取り組んだ、GitLab CIのオートスケール化やTerraform導入などについて。 登壇者の自己紹介 sue445氏：「pixiv Cloud Journey」というタイトルで発表させてもらいます。 こちらの発表資料ですが、先ほど「X」にハッシュタグ付きで流しているので、後から見返したいという方は、そちらのURLをご覧ください。 自己紹介させてもらいます。末吉剛といいます。SNSでは「sue445（すえよんよんご）」というID
こんにちは、上野です。 本記事ではGoogle Cloudの認定試験について紹介します。AWSの認定試験に関してはNRIネットコムのブログでも多く紹介されており、取得されている方も多いと思います。私自身も最初はAWSの認定資格を取得し、その後Google Cloudの認定資格を取得しています。私と同じようにAWS→Google Cloudの認定試験を受けるという順番の方もいるのかなと思いまして、AWS認定試験をよく知っている前提でその違いも含めて紹介していきたいと思います。 Google Cloudの認定資格 現時点では、以下のとおり11個の認定資格が存在します。 詳細は公式ページもご確認ください。 私自身は7個の認定を取得しています。（あと4個です。） 区分 資格名 受験料 言語 Foundational Cloud Digital Leader $99 日本語/英語 Associate
Google Cloud、解約時のデータの外部転送料金を無料にすると発表。安心してクラウドを切り替えられるとアピール
Google Cloud、解約時のデータの外部転送料金を無料にすると発表。安心してクラウドを切り替えられるとアピール Google Cloudは、顧客がGoogle Cloudを解約してデータを他のクラウドやオンプレミスへ転送する場合のデータ転送量を無料にすると発表しました。 これによりGoogle Cloudの顧客は、転出コストを気にせずにGoogle Cloudを利用できるようになります。 データを人質にしているとも指摘されていた 多くのクラウドにおいて従量課金制はネットワーク上のデータ転送にも適用されるため、クラウドのデータベースやストレージにデータを蓄積すると、万が一クラウドの利用を中止してデータを他のクラウドやオンプレミスなどのクラウドの外へ持ち出そうとしたときに、データの外部への転送量に応じて料金が発生することになります。 そのため、クラウドを使ってデータの蓄積を始めた場合、解
Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）と同様の機能をローカル環境で動かせるオープンソースのツールです。 自然言語でのプログラミングを実現し、Python、Javascript、Shellなどの言語に対応しています。また、データ分析、ネットアクセス、テキスト、画像、動画などの編集ができます。 【参考】日本語公式解説 １．Google Colabでの利用法以下のコードをColabノートにコピーして、GPUを設定し、セルを実行すると、チャットが開始します。 なお、事前に「sk-」で始まるOpenAIのAPIキーを取得して、「自分のOpenAIのAPIキー」のところに貼り付けてください。 !pip install open-interpreter import interpreter interpret
技術書典#16向けに 「The Cloud Run (Google Cloudコンテナ設計本)」を執筆しました - How elegant the tech world is...!
はじめに お久しぶりです。iselegantです。 今日は技術書典#16向けに執筆した「The Cloud Run」本の紹介をさせてください。 今回のテーマは「Google Cloud」です！ 特に、コンテナサービスとして代表的な「Cloud Run」のアーキテクチャ設計をテーマに執筆しました。 techbookfest.org これまで、「クラウドネイティブシリーズ」と称して3冊執筆してきましたが、その第4弾の位置付けになります。 いつもであれば、わりとゆるくかわいい感じの表紙でしたが、今回は「ちょっと本気でCloud Runに向きあって、読者のみなさまに価値を届けようか」とのコンセプトなので、本気度を表現するためにシリアスな表紙を作成いただきました。 今回の書籍のコンセプト 僕たちが今回の書籍を執筆する際、2つのコンセプトを大切にしています。 実務に通用する学びを届ける とにかく楽しく
Google、PostgreSQL互換のAlloyDBにAI機能を組み込んだ「AlloyDB AI」正式版に。ローカルで実行できるソフトウェア版も提供
Google Cloudは、PostgreSQL互換のAlloyDBにAI機能を組み込んだ「AlloyDB AI」正式版を提供開始した。データベースのデータをリアルタイムにAIに反映できる高速なベクトル検索などが可能だ。 Google Cloudは、PostgreSQL互換のデータベース「AlloyDB」にAI機能を組み込んだ新機能「AlloyDB AI」が正式版となったことを発表しました。 AlloyDBはGoogle Cloudのマネージドサービスとして提供されますが、同時に、AlloyDBをローカル環境で実行可能なソフトウェア版の「AlloyDB Omni」でもAlloyDB AIが正式版となりました。 AlloyDB Omniは開発環境などでの利用は無料です。本番環境の利用では有料のサブスクリプション料金が設定されており、Google Cloudによるサポートが提供されます。 企業
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
SREを以てセキュリティエンジニアリングを制す / SRE, Security Engineering, and You
SRE NEXT 2023 のスポンサーセッション (20min) で使用したスライドです。 --- 概要: システムやソフトウェアの信頼性（Reliability）とセキュリティは多くの共通項を持つ概念です。本セッションでは、信頼性に主な関心を置いた技術体系であるSREを、セキュリティリスクの健全な管理のための技術体系として活用する方法を考察します。具体的にはSLO/SLI/エラーバジェット的発想に基づくセキュリティリスク管理や、セキュリティに関するソフトウェアエンジニアリング技法について、具体的な事例も交えながら論じます。 セキュリティ領域は技芸（Art）的解決が必要な課題領域も未だ多く、Engineering的体系は進化の途上にあります。SREというプラクティスを土台としてセキュリティ課題の解決を検討することは、SREに慣れ親しんだ（あるいは興味を持った）技術者の集まる本カンファレン
Cloud Run 上のページが一部の Chrome 環境で文字化けする謎を探るべく我々は Google Cloud の奥地へと向かった
この記事は 2024 年 2 月 28 日に執筆されました．今後この問題が Cloud Run 側で修正された場合，再現しない可能性がありますのでご留意ください． TL; DR Cloud Run は執筆時現在 zstd による圧縮に対応していない ヘッダの Content-Encoding: zstd のみが削除され，ボディは圧縮されたまま応答される ブラウザはこの応答を正しく解釈できないため文字化けのような表示となる zstd による圧縮は，執筆時現在 Chrome に実装されているもののデフォルトでは無効だが近い将来に有効化される 悲劇は突然訪れる 弊社では，コーポレートエンジニアリングチーム [1] [2] において，社内向けにいくつかのサービスを提供しています． これらのサービスはもともと AWS でホストされていましたが，アクセス制限に Identity-Aware Proxy
Google Cloud Run と AWS Lambda のコールドスタート時間を言語別に観察してみる - Qiita
コンテナをリクエスト処理時間ベースの料金体系で実行できるサーバレス環境としては、Google の Cloud Run（2019年11月GA）と AWS Lambda（2020年12月にコンテナに対応）が特に有名でしょう。 これらの環境は、一度起動したコンテナインスタンスをしばらく生かしておき、その後のリクエストに使いまわします。しかし、生きているインスタンスが足りない場合は新たなコンテナの起動から始めるいわゆる「コールドスタート」となり、応答のオーバーヘッドが大きく増加します。用途によっては、このコールドスタートにかかる時間が問題になります。 Cloud Run と Lambda でのコールドスタートの様子を観察するため、いくつかの言語で "Hello, World!" を返すだけのWebアプリコンテナを作り、コールドスタートの時間を「雑に」観察してみました。 注意: コストや性能は考慮し
Google Cloud Operations Suite で実現する "頑張らないオブザーバビリティ" - KAYAC engineers' blog
SRE チームの市川恭佑です。 先日、CloudNative Days Tokyo 2023 のプロポーザルを提出したのですが、残念ながら採択に至らなかったので、今回は宇宙最速の（？）供養エントリになります。 シェア・投票など、ご応援をくださった皆様にはこの場でお礼を申し上げます。ありがとうございました。 event.cloudnativedays.jp 背景とか、経緯とか 筆者は、カヤックの SRE チームにちょうど2年ほど在籍しています。とは言っても半年ぐらいは学生アルバイトだったので、正社員としては1年半ほどです。カヤックに入る前も、いくつかの会社で IT エンジニアとしてインターンやアルバイトをしていました。 という訳で、何だかんだ仕事で使うプログラムを書き始めてトータル4年半ほどになりますが、そのうち3年半ほどは全て Amazon Web Services（AWS）でホストされる
AIで商品名をクレンジングする、Llama2や、Google Cloud Gemini-proとVertex AIを活用した商品名の最適化
ECサイト上の商品名は、「送料無料」や「ポイント5倍」、「母の日」といった宣伝文句が付加され、本来の商品名が分かりづらくなっています。 これらの不要なキーワードは、自然言語モデルを作成する際の妨げとなり、精度を上がりづらくしている一つの要因となっています。 そこで、本記事では、これら不要なキーワードを効率的に除去する方法について、具体的な手法と事例を紹介します。 データクレンジングの例、LLMオープンモデルを活用したアプローチ、さらにはGoogle Cloud PlatformのVertex AIやGemini-proを用いた解決策について触れます。 3行まとめ ・商品名から頻出単語のリストを作成し、商品名から不要なキーワードを検索して除去する ・オープンモデルでプロンプトを実行し除去する ・Google Cloud Platform のVertex AI、Gemini-proで除去する
全社横断データ基盤における部分的セルフサービス化への取り組み - Sansan Tech Blog
研究開発部 Architect Groupの大澤秀一です。ブログ寄稿は約2年ぶりです。半年ぐらい前からランニングを始めて、先日フルマラソン完走してきました。おかげで足はボロボロです（笑）。 さて、私たちはBigQueryを中心とした、全社横断データ基盤（以下、データ基盤）の構築とデータ基盤をもとに社内のデータ利活用を推進しています。データ利活用の推進についてチームメンバーが最近登壇した資料をご参照ください。 speakerdeck.com speakerdeck.com データ基盤を拡大していくにあたって、社内の利用者から自部門のデータをアップロードしてデータ基盤上でアドホックに分析したいという要望がありました。また、利用者自身が自由にテーブルとビューを作りたいという声があがりました。 今回は、そうしたことができる環境を構築したので仕組みについてご紹介します。 なお、本記事はSansan
誕生から20年近く経つクラウド・コンピューティングは、今や社会で重要な役割を果たすようになっている。2024年現在、注目するべきクラウドの動向とは一体何なのか。そしてこれから先、企業がクラウド戦略を立てる上では、どのような点を意識するべきなのか。ガートナー ジャパン ディスティングイッシュトバイスプレジデント、アナリストの亦賀忠明氏が解説した。 ライター。2010年、IT製品・サービスに関する情報提供を目的とするWebサイトにて医療チャンネルの立ち上げに参画し、担当記者として医療分野のIT推進の動向を取材して記事を制作。2011年、日本医療情報学会認定の医療情報技師資格を取得後、病院・診療所向け合わせて30社以上の電子カルテベンダーを取材した実績がある。医療関連システムの製品情報や導入事例、医療IT政策・市場動向に関する取材を行ってきた。
pgvector、LLM、LangChain を使用して Google Cloud データベースで AI 搭載アプリを構築する | Google Cloud 公式ブログ
postgres=> CREATE TABLE embeddings( id INTEGER, embedding vector(3) ); CREATE TABLE postgres=> INSERT INTO embeddings VALUES (1, '[1, 0, -1]'), (2, '[1, 1, 1]'), (3, '[1, 1, 50]'); INSERT 0 3 pgvector の新しい類似性検索演算子pgvector 拡張機能では、ベクトルに対して類似性のマッチングを行うための新しい演算子も導入されており、意味的に似ているベクトルを見つけることができます。このような演算子には次の 2 つがあります。 ‘<->’: 2 つのベクトル間のユークリッド距離を返します。ユークリッド距離は、ベクトルの大きさが重要なアプリケーション、たとえばマッピングやナビゲーション アプリケー
Google Cloud のマネージド Terraform、 Infrastructure Manager 登場！
こんにちは。クラウドエースの阿部です。 今回はひっそりと一般提供されていた Infrastructure Manager について紹介したいと思います。 Infrastructure Manager とは Infrastructure Manager (以降、Infra Manager と表記) は、 Google Cloud におけるリソースのデプロイや管理を IaC で自動化するためのマネージドサービスです。 内部では Terraform と Cloud Build を使用してリソースの管理を行っています。 Infra Manager の特徴 特徴としては以下の通りです。 GitHub 等と連携した CD (継続的デリバリ) の構築を簡単に実装できます。Cloud Build で同じ事をやる場合は、 cloudbuild.yaml で CI/CD パイプライン設定が必要です。また、ロー
GitHub Actions から AWS や GCP などのクラウドリソースを操作するときは、 OIDC を使用することが主流だと思いますが、手順に沿って設定はできるもの仕組みがよく分かっていない方も多いと思います。 この問題は厄介で、様々な"分からない"が絡まりあって生まれている問題だと思います。 例えば、 どんな仕組み・流れでAWS・GCPを操作できるようになっているのか分からない（私） そもそもなぜOIDCを設定すると嬉しいのか分からない（私） 色々な設定をしたけど何をしているのか分からない（私） などが挙げられると思います。 これらを解消し、OIDCを利用したGitHub ActionsとGCPの連携の流れ・仕組みを探求するのがこの記事の目的です。 ※Google CloudのことはGCPと書きます。 ※記事で触れないこと GitHub Actions - Google Clou
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
Google Cloud での Go アプリケーションの作成をシンプルに | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 Go はクラウドベースの開発のために世界的に採用されている主要なプログラミング言語です。クラウド アプリケーションやビジネス クリティカルなクラウド インフラストラクチャを構築、スケーリングする目的で何百万人もの開発者に利用されています。CLI、ウェブ アプリケーション、クラウド サービス、ネットワーク サービスなど、どのようなものを構築するにしても、Go は習得するのも保守も容易で、組み込みの同時実行性や堅牢な標準ライブラリをはじめとする便利な機能が満載です。 このたび、Go を Google Cloud で使い始める際のハードルを少し下げることが可能になります。Go は最近、事前定義されたテンプレートを使用して新しいプロジェクトを Go でインスタンス化できる、gon
グローバルのクラウドインフラ市場シェア、この3カ月でマイクロソフトのシェアが2％増加。2023年第3四半期、Synergy Researchの調査結果
グローバルのクラウドインフラ市場シェア、この3カ月でマイクロソフトのシェアが2％増加。2023年第3四半期、Synergy Researchの調査結果 調査会社のSynergy Research Groupは、2023年第3四半期のグローバルにおけるクラウドインフラのシェアを発表しました（これまで四半期ごとにクラウドインフラのシェアを発表していたCanalysの調査結果は、今四半期はまだ発表されていません）。 クラウドインフラとは、IaaS、PaaS、ホステッドプライベートクラウドを合わせたものを指します。 発表によると、第3四半期の前年同期比成長率は18％で、前2四半期とほぼ同水準だったとのことです。 マイクロソフトがシェアを2％伸ばす クラウドベンダ別に見るとマイクロソフトとGoogleが比較的順調にシェアを伸ばしており、特にマイクロソフトはこの四半期、つまりこの3カ月でシェアを2％伸
はじめに こんにちは！ テラーノベルでサーバーサイドを担当している@yuhasです。 テラーノベルには作品や作家さんの検索機能があり、ユーザーさんの読みたい作品や興味のある作家さんを提示できる検索機能は重要な機能の一つです。 直近でその検索まわりを一新することになり、Cloud RunでElasticsearchを運用することになりました。 Cloud Runで運用することでオートスケールなど多くの恩恵を受けられる一方で、状態をもつElasticsearchをコンテナで動かしていくのは単純なことではありません。 今回はどのようにしてCloud RunでElasticsearchを運用しているのかをお話しできればと思います。 モチベーション もともと外部の検索サービス（SaaS）を利用して検索機能を提供していましたが、インフラ面でのコストを下げたいという話があり、代替手段を模索していました。
この記事は新野淳一氏のブログ「Publickey」に掲載された「Google Cloud、顧客のシステムを間違って全削除した大規模障害の原因を報告。プライベートクラウドの期間を1年と設定ミス」（2024年5月28日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Google Cloudは、同クラウドユーザーであるオーストラリアの年金基金「UniSuper」で発生した大規模障害の原因について報告する記事「Sharing details on a recent incident impacting one of our customers」を公開しました。 今月（2024年5月）初旬、Google Cloud上で稼働していた数百の仮想マシン、データベース、アプリケーションを含むUniSuperのプライベートクラウドが突如として原因不明のまま削除され、復旧されるまでの
Google、Stack Overflowを「Gemini for Google Cloud」に統合する戦略的提携
プログラマー向けQ＆Aサービス「Stack Overflow」を運営する米Stack Exchangeは2月29日（現地時間）、米GoogleのGoogle Cloudとの戦略的提携を発表した。 Google Cloudは、Stack Overflowに15年もの間蓄積されてきた知識とコードを「Gemini for Google Cloud」に統合する。Gemini for Google Cloudは既にオープンソースおよびサードパーティのプラットフォームで公開されているコードやデータでトレーニングされているが、今後、Stack Exchangeが公開した「OverflowAPI」を使ってStack Overflowの提案、コード、回答をGoogle Cloud上の開発者に直接提供することになる。 一方、Stack Exchangeは、Google CloudのAI機能を活用してコミュニテ
はじめに Linuxの良い所の一つにsuやsudoと言った特権管理の仕組みがあります。普段は通常アカウントで入って、例えばインストールなどの特権作業が必要な時だけsu/sudoで一時的な権限昇格が可能ですし、/etc/pam.dで誰がどのユーザにスイッチ出来るかなどは細かく制御できます。 一方で、クラウドの権限管理は悩みの種で、誤操作が怖いので普段はRead Onlyの権限にしておきたいのですが、手軽に権限を昇格する方法がありません。なので、別の管理者ユーザを作って、そちらでログインしなおしたり、それを半自動化するCyberArkやBeyondTrustといったPAM系ソリューション、あるいは最近流行りのCIEM(PAM機能を持つもの)を導入する必要がありました。 Azureでは結構以前からPIM(Privileged Identity Management)がネイティブで組込まれており非
アーキテクチャ図だけ描いてTerraformはGoogle Cloud Developer Cheat Sheetに書いてもらおう
初めての方は、初めまして。そうでない方も、初めまして。クラウドエース SRE 部で Professional Cooking Architect をしている zeta です。私はドンドコ島の充実度をオンライン1位(多分)にしましたが皆さんいかがお過ごしでしょうか。 はじめに クラウドエースの SRE 部は Google Cloud のインフラの面倒を見ることが主な業務です。世の中の多くの企業の似たような役割を持つ部署でもそうだと思いますが、インフラの設計・構築・運用といったフェーズを行っていきます。こういったインフラエンジニア的なことをやっていると、みなさんも一度ぐらいは「設計だけやったら勝手にインフラ構築されねーかな〜」なんて思ったことはあるのではないでしょうか。技術の力でコンピュータに働かせてサボるというのは IT エンジニア開闢以来ずっと存在し続けた悲願であり、エンジニアリングのモチ
How it works: The novel HTTP/2 ‘Rapid Reset’ DDoS attack | Google Cloud Blog
Hear monthly from our Cloud CISO in your inboxGet the latest on security from Cloud CISO Phil Venables. Subscribe A number of Google services and Cloud customers have been targeted with a novel HTTP/2-based DDoS attack which peaked in August. These attacks were significantly larger than any previously-reported Layer 7 attacks, with the largest attack surpassing 398 million requests per second. The
【インフラ】xDS API の EDS に手を加えて動的に Envoy で weight 調整できるようにした - Mirrativ Tech Blog
こんにちは、ミラティブのインフラを担当している清水です。 ミラティブではクラウドに Google Cloud を利用しているのですが、稀にインスタンスの性能劣化が発生し動かしているアプリケーションの応答時間が長くなることがあります。 非同期な処理の場合は一時的にタスクキューの時間あたりの処理数が減るものの、遅延を許容できる機能であれば時間経過で回復するのでシステムを継続稼働できます。 一方で、web サーバのように同期処理の場合はリクエストを時間内に返すことができずに timeout したりだとか、worker が埋まって新たにリクエストが返せなくなったりと、正常にリクエストを返すことができずにユーザのクライアントにエラーが返ってしまします。 そこで、今回はクラウドが不調になったときに web サーバへ流れるリクエストの流量を動的に制御し、一時的にリクエスト数を減らしてユーザのクライアント
Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog
こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の
［速報］「Gemini for Google Cloud」発表。Google Cloudでの開発から運用、セキュリティなど利用シーン全体をAIが支援。Google Cloud Next '24
［速報］「Gemini for Google Cloud」発表。Google Cloudでの開発から運用、セキュリティなど利用シーン全体をAIが支援。Google Cloud Next '24 Google Cloudは、日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、最新のAIによるGoogle Cloudを用いたアプリケーションの開発から運用、セキュリティなどライフサイクル全体をAIが支援する「Gemini for Google Cloud」を発表しました。 「Gemini for Google Cloud」は、同社の最新AIモデルである「Gemini」を用いた複数のサービスの統合的なブランドです。コーディング支援のGemini Code AssistもGemini for Google Cloudの傘下と位置づけられています。 それぞれの機
こんにちは、SREの戸田です。本日は社内で開催したJVM勉強会（運用編）の一部を公開します。 JVM、使っていますか？弊社ではサーバサイドKotlinが活躍しているので、もちろん日常的にJVMが稼働しています。このためサービス運用の一貫で必要になる知識や関連ツールなどをSREないしプロダクトチームに共有することを目的として、この勉強会を開催しました。 図1 勉強会はGoogle Meetでオンライン開催しました パフォーマンス・チューニング サービスを開発していると、この処理をもっと高速化したい！ランニングコストを抑えてユーザ体験の向上に投資したい！というというシーンには多く遭遇しますよね。こうしたユーザが増えてサービスに負荷がかかるようになったことで生じた課題に対して迅速に打ち手が取れることは、とても重要です。 しかし焦ってはいけません。「このコードはめっちゃループしてるし遅そう！」「あ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メルカリ ハロの技術スタックとその選定理由 | メルカリエンジニアリング
How to become a platform engineer | Google Cloud 公式ブログ
AWSの経験がGoogle Cloudで役立った点と混乱した点 - NRIネットコムBlog
AWSだ! Google Cloudだ! Azureだ! 認証連携だ！
Cloud Runで開発用環境を沢山作る - 一休.com Developers Blog
BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける) - G-gen Tech Blog
「僕が今のピクシブのAWSやGCPの形を作ったと言っても過言ではない」 クラウド推進の生き字引が語る、これまでの取り組み
Google Cloud認定試験対策（AWS認定試験経験者向け） - NRIネットコムBlog
Google ColabでOpen Interpreterを試してみた｜IT navi
統計ダッシュボード機能を BigQuery と BI Engine で実装する
AWSなどクラウド「3強」時代はもう終わり？ガートナーが予想する2030年の未来
GitHub ActionsとGoogle CloudのOIDCの仕組みを理解する
【Cloud Run】ElasticsearchをCloud Runで運用する
Google Cloudによる「顧客のシステムを間違って全削除」、発生の原因は？ 報告記事が公開に
クラウドでもsuが出来る! GCPにPAM(特権管理)がついに登場
JVM勉強会（運用編）を開催しました - 株式会社ヘンリー エンジニアブログ