Cloud Deploy 実践編: CI との連携
前回『デプロイに全集中！新サービス Cloud Deploy』では、Cloud Deploy （現在プレビュー段階です）の背景にある思想 & 基本的な使い方をご紹介しました。今回は少し視野を広げ CI との関係を知り、連携して動かすことをゴールに、その過程で考慮すべきポイントも併せてご紹介します。 TL;DRCI と CD の管理主体が分かれます、改めて理想を検討しましょうgit リポジトリでテスト・ビルド・デプロイ “方法” を管理CI でテストし、ビルドし、成果物をまとめるCD で成果物とデプロイ先の管理 & ロールアウト / ロールバックこの 3 つを繋ぐのは Skaffold ローカルから実行環境までの様々な環境差異視野を広げつつも、今回も Google はどんなことを課題と捉え、何を解決しようとしているのかを一緒に考えてみたいと思います。 CI / CD パイプラインパイプライン
ML事業部の近江崇宏です。 Stockmarkでは日々、膨大な数のニュース記事に対してBERTの推論処理を行なっています。このような重いタスクを効率的に処理するために、最近、TPUを用いたBERTの推論処理基盤をGoogle Cloud Platform上に構築し、運用を開始しました。その結果として、これまで1週間程度かかっていた、数千万件のデータの処理を1日以内で完了できるようになるなどの大きな効果を得られました。今回はこの取り組みについて紹介します。 はじめに近年のニューラルネットワークの研究の発展により、画像認識や自然言語処理の様々なタスクを人間と同等もしくはそれ以上のレベルで処理できるようになりました。その結果として、ビジネスでのニューラルネットワークの利用が進んでいます。その一方で、ニューラルネットワークには、モデルの巨大さに起因して処理時間が長いという大きな問題があります。その
Google Cloudが史上最大となる1秒あたり4600万リクエストのDDoS攻撃をブロック、Cloudflareが以前に阻止した攻撃よりも76％以上強大
大量の機器からサーバーやネットワークに対して多数のリクエストを送信するなどして、サービスを利用できなくする分散型サービス妨害攻撃(DDoS攻撃)の発生件数は過去数年間で指数関数的に増加しています。2022年8月19日、Googleは去る6月1日に大規模なDDoS攻撃を受けていたものの、同社の保護サービス「Cloud Armor」がピーク時毎秒4600万回のリクエストを阻止していたことを明らかにしました。 How Google Cloud blocked largest Layer 7 DDoS attack yet, 46 million rps | Google Cloud Blog https://cloud.google.com/blog/products/identity-security/how-google-cloud-blocked-largest-layer-7-ddos-
Infrastructure Democratizing data analysis with Google BigQuery Every day, over a hundred million people come to Twitter to find out what’s happening in the world and talk about it. Every Tweet and user action generates an event that we make available for internal data analysis at Twitter. Hundreds of employees analyze and visualize this data, and improving their experience is a top priority for t
A peek behind Colossus, Google’s file system | Google Cloud Blog
Colossus under the hood: a peek into Google’s scalable storage system You trust Google Cloud with your critical data, but did you know that Google also relies on the same underlying storage infrastructure for its other businesses as well? That’s right, the same storage system that powers Google Cloud also underpins Google’s most popular products, supporting globally available services like YouTube
Dear Google Cloud: Your Deprecation Policy is Killing You
God dammit, I didn’t want to blog again. I have so much stuff to do. Blogging takes time and energy and creativity that I could be putting to good use: my novels, my music, my game, and so on. But you get me riled enough, and I have to blog. Let’s get this over with, then. I’ll begin with a small but enlightening story from my early days at Google. For the record, I know I’ve said some perhaps unk
News Corp is a global, diversified media and information services company focused on creating and distributing authoritative and engaging content and other products and services.
Scikit-Learn でモデルカードを作成してクラウドにデプロイする方法 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 機械学習モデルは、多数の難しいタスクを遂行するために使用されるようになりました。大きな可能性を秘める ML モデルですが、その使用方法、構成、制限に関して疑問も寄せられています。そうした疑問に対する回答を文書化することで状況が明確になり、共通の理解を得ることができます。これらの目標を達成するために、Google はモデルカードを導入しました。 モデルカードの目的は、機械学習モデルの全体像を簡潔に提供することです。まず、モデルカードはそのモデルの機能、意図するユーザー層、その管理者について説明します。また、アーキテクチャや使用されているトレーニング データなど、モデルの構成に関する情報も提供します。さらに、生のパフォーマンス指標だけでなく、モデルの制限とリスク緩和の機会
Vertex AI Embeddings for Text で実現する LLM のグラウンディング | Google Cloud 公式ブログ
Ivan CheungDeveloper Programs Engineer, Google Cloud ※この投稿は米国時間 2023 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 いま多くの人々が、ジェネレーティブ AI や大規模言語モデル（LLM）を実運用サービスにどのように導入すればよいか検討を始めています。しかし、例えば「既存の IT システムやデータベース、ビジネスデータと LLM や AI チャットボットをどのように統合すればいいだろうか」、「数千もの製品を LLM に正確に覚えさせるにはどうすれば良いだろうか」、あるいは「信頼性のあるサービスを構築するためにハルシネーションの問題をどのように扱えば良いか」といった課題と直面することになります。 これらの課題に対するシンプルな解決策となるのが、エンべディング（embeddings）と
Sign in or create account To register for events Continue with Google Continue with email
This guide introduces the basic concepts of tf.Transform and how to use them. It will: Define a preprocessing function, a logical description of the pipeline that transforms the raw data into the data used to train a machine learning model. Show the Apache Beam implementation used to transform data by converting the preprocessing function into a Beam pipeline. Show additional usage examples. Setup
コンテナ化のメソッドの比較: Buildpacks、Jib、Dockerfile | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。 デベロッパーとしてはソースコードを使用しますが、本番環境システムではソースを実行せず、実行可能なものが必要となります。かなり以前から、ほとんどの企業は Java EE（別名 J2EE）を使用しており、本番環境にデプロイする実行可能な「もの」は「.jar」、「.war」、「.ear」ファイルでした。これらのファイルはコンパイルされた Java クラスから構成されており、JVM 上で実行される「コンテナ」の内部で実行されていました。使用しているクラスファイルが JVM およびコンテナと互換性がある限りアプリは機能し、管理は不要です。 JVM ではない Ruby、Python、NodeJS、Go などが構築で使用され始めるまで、これらはすべてまったく問題なく機能していました
米Google（グーグル）のクラウド事業部門Google Cloudの損益がここに来て大きく改善している。2021年4～6月期における営業損失は5億9100万ドルで、前年同期の14億2600万ドルに比べて8億3500万ドル減少した。赤字が減ったのは大きな進展だが、決算からは厳しい内情も見えてくる。 2021年4～6月期におけるGoogle Cloudの売上高は46億2800万ドルで、前年同期に比べて53.9％増加した。売上高が16億2100万ドルも増えた一方で営業費用は8億ドルほどしか増えなかったため、営業損失が8億3500万ドル減った。前期である2021年1～3月期をみてもGoogle Cloudの営業損失は9億7400万ドルで、前年同期に比べて7億5600万ドル減っている。2四半期連続で前年同期に比べて営業損失が大きく減少した。 ハードの耐用年数を延ばして、営業損失を縮小 2021年に
Dataplex: data governance
Centrally discover, manage, monitor, and govern data and AI artifacts across your data platform, providing access to trusted data and powering analytics and AI at scale.
Vertex AI Matching Engineをつかった類似商品検索APIの開発 | メルカリエンジニアリング
こんにちは。ソウゾウの Software Engineer の @wakanapo です。 連載：メルカリShops 開発の裏側 Vol.2の8日目を担当させていただきます。 この記事では Vertex AI Matching Engine を使ったメルカリShopsの類似商品検索APIについて、メルカリ写真検索での経験もふまえながら紹介します。 類似商品検索APIはメルカリShopsに出品されている商品に対して、それに似ている商品を返すAPIです。現状これを使った機能でリリースされているものはありませんが、今後レコメンデーションなどに使っていきたいと考えています。 類似ベクトル検索について 類似ベクトル検索とはベクトル空間上で距離の近いものを探すというものです。すべてのベクトルを比較して正確に距離の近いものを探すには非常にコストがかかるので、正確でなくていいのである程度の精度で近いものを
Data Catalog のポリシータグで BigQuery カラムレベルのアクセス制御が可能になったので試してみた | DevelopersIO
こんにちは、みかみです。 これまで BigQuery のデータのアクセス制御を指定できる最下層のリソースはデータセットで、テーブルやカラム単位でのアクセス制御はできませんでしたが、Data Catalog のポリシータグを付与することで、カラムレベルのアクセス制御が指定できるようになったそうです。 BigQuery の列レベルのセキュリティで、きめ細かなアクセス制御を ｜ GCP ブログ Introduction to BigQuery Column-level security ｜ BigQuery ドキュメント Restricting access with BigQuery Column-level security ｜ BigQuery ドキュメント やりたいこと BigQuery のカラムレベルのアクセス制御を行うにはどうすればいいのか知りたい BigQuery のカラムレベルの
〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 1 回】Cloud AutoML 概要と事前知識 | Google Cloud 公式ブログ
〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 1 回】Cloud AutoML 概要と事前知識 ここ数年間で機械学習をビジネスに利用する企業が非常に増えてきました。一方で、機械学習を扱えるエンジニアが不足していたり、思ったほどビジネスでの価値を得られなかった、やろうとしていた事がそもそも機械学習に向いていなかった、といった課題や声を聞くことも多くなりました。どうしてこのような事が起こるのでしょうか？これらの課題を解決するには、機械学習に直接取り組むエンジニアだけでなく、ビジネス ユーザーも機械学習という技術に対してある程度の理解をしておく必要があります。このブログポストでは、ビジネス ユーザーを対象に、Cloud AutoML というプロダクトを通して機械学習をビジネスに役立てるための基礎知識を紹介します。 ところで、AutoML というのは技術の名前、C
本稿は2021年5月31日最新状況に合わせて改訂しました。2020年3月17日に公開した初稿では、Colab Proも紹介していましたが、カットしました。後日、Colab Proの解説記事を公開する予定です。 本稿ではGoogle Colab（以下、Colab）を使う際に役立つTipsをスクリーンキャプチャ中心で紹介する。このTipsは、「Making the most of Colab (TF Dev Summit '20)」（図1、「Colabを最大限に活用する」）というセッション動画の前半に含まれている内容そのままである。スクリーンキャプチャーは全てこのセッション動画から引用したものである。
Monitoring feature attributions: How Google saved one of the largest ML services in trouble | Google Cloud Blog
Monitoring feature attributions: How Google saved one of the largest ML services in trouble An emergency in the largest MLOps at GoogleClaudiu Gruia is a software engineer at Google who works on machine learning (ML) models that recommend content to billions of users daily. In Oct 2019, Claudiu was notified by an alert from a monitoring service. A specific model feature (let us call this feature F
ヤフー株式会社：Tech Acceleration Program で KPI に即したアーキテクチャを短期間で開発し AI を駆使した広告審査を実現 | Google Cloud 公式ブログ
ヤフー株式会社：Tech Acceleration Program で KPI に即したアーキテクチャを短期間で開発し AI を駆使した広告審査を実現 デジタル メディアの 1 つとして知られるポータルサイト「Yahoo! JAPAN」を筆頭にさまざまなメディア、サービスで広告事業を展開するヤフー株式会社（以下、ヤフー）。日々、膨大な量の広告を取り扱う同社ですが、それだけに不正な広告を審査する労力もとてつもないものになっていました。その悩みを解決すべく Google Cloud 上に構築された新しい広告審査システムについて担当エンジニア 2 名に話を伺いました。 利用している Google Cloud ソリューション： サーバーレス コンピューティング、ストリーミング分析、AI の構築と使用 利用している Google Cloud サービス： Cloud Run、Cloud Functio
謎のベールに包まれたGoogleの次世代SIEM「Chronicle」を触ってみた | sreake.com | 株式会社スリーシェイク
現時点（2021年6月17日）では英語でも日本語でもそれほど情報がないGoogleが開発したSIEM（Security Information and Event Management）製品である「Chronicle」に関して、お伝えしていきたいと思います。 謎のベールに包まれたGoogleの次世代SIEM「Chronicle」を触ってみた こんにちは、堤＠スリーシェイクです。 本日は、現時点（2021年6月17日）では英語でも日本語でもそれほど情報がないGoogleが開発したSIEM（Security Information and Event Management）製品である「Chronicle」に関して、お伝えしていきたいと思います。 Chronicleの特徴 データ容量やサーバ台数に依存しない課金モデルGoogleのインフラをフル活用した驚異的な検索速度と相関的なログ分析シンプルな
Operation and improvement of image search platform
RedMica 2.3 (2023-05) 新機能ハイライト およびRedmineの2023年5月までの半年間の主要な開発成果
GitHub - GoogleCloudPlatform/generative-ai: Sample code and notebooks for Generative AI on Google Cloud
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Static webhosting benchmark: AWS, Google, Firebase, Netlify, GitHub & Cloudflare
Static webhosting benchmark: AWS, Google, Firebase, Netlify, GitHub & Cloudflare Static websites are still a hot topic. They are fast, and they're incredibly secure because there isn't a CMS to hack. Once you build a static website, however, the question becomes: Where do I host? In other words: what is the fastest static website hosting provider in 2020? Well, let's find out! I did a similar test
I originally posted this on Reddit so I could get a good sample of opinions from other engineers to see how they compared to mine before posting and expanding here. This is my opinion based on my experience with both platforms (two years in each). My bias towards GCP is mostly based on the superior experience I have gotten with it and I am in no way affiliated with Google. AWS is still my second c
Welcoming Dataform to BigQuery: Create and manage your data transformations within your data warehouse | Google Cloud Blog
Dataform is joining Google Cloud: Deploy data transformations with SQL in BigQuery The value of data—and the insights it contains—only continues to grow, and Google has invested in technologies to empower teams to do more with that data for more than a decade. We were honored to be named a Leader in Gartner’s first-ever Magic Quadrant for Cloud Database Management Systems (DBMS). BigQuery, our clo
このルーターの先は Google Cloud につながっているというイメージ図TL;DRこの記事では、個人でも安価に手に入れられる高機能ルーター EdgeRouter X を使って、自宅ネットワークと Google Cloud の VPC を Site-to-Site VPN でつなぎ、手元の PC からプライベート IP 経由で Cloud SQL インスタンスに接続するまでの道のりを紹介するものです。 はじめにこの記事は、Google Cloud Japan Customer Engineer Advent Calendar 2020 の 17 日目の記事です。（間に合っていれば・・・） こんにちは、Google Cloud で Data Management Specialist というロールをやっている佐藤です。データ マネジメントってデータ管理？具体的になにやってんの？って感じの
Purujit SahaStaff Software Engineer, BigQuery Storage BigQuery is a serverless, highly scalable, and cost-effective cloud data warehouse. It’s designed to be flexible and easy to use. There are lots of interesting features and design decisions made when creating BigQuery, and we’ll dive into how zone assignments work in this post. Like other Google Cloud services, BigQuery takes advantage of our g
TL;DR: Generating and distributing service account keys poses severe security risks to your organization. They are long-lived credentials that are not automatically rotated. These keys can be leaked accidentally or maliciously allowing attackers to gain access to your sensitive GCP resources. Additionally, when used actions cannot be attributable back to a human. You don’t actually have to downloa
類似ベクトル検索のSoTA！！GCP: Vertex Matching Engineにも使用されている手法ScaNNを紹介！
3つの要点 ✔️ GCPの新プロダクト「Vertex Matching Engine」の元論文 ✔️ MIPSスコアを考慮した新しい量子化損失関数を提案 ✔️ ANNBenchmarksでSoTA性能を記録 Accelerating Large-Scale Inference with Anisotropic Vector Quantization written by Ruiqi Guo, Philip Sun, Erik Lindgren, Quan Geng, David Simcha, Felix Chern, Sanjiv Kumar (Submitted on 27 Aug 2019 (v1), last revised 4 Dec 2020 (this version, v5)) Comments: Published as a conference paper at ICM
GitHub - yarnaimo/fireschema: Strongly typed Firestore framework for TypeScript
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
概要 Google Cloud Data Catalog で何ができるのか、Cloud Next'19 のセッションを視聴し、少し触ってみてわかったことをまとめる。 Data Discovery in Google Cloud (Cloud Next '19) (Youtube) ドキュメント (概要) ドキュメント (詳細) フルマネージドでスケーラブルなメタデータ管理サービス。 機能 UI や API でメタデータを検索・管理できる 対象のデータソースは BigQuery / Pub/Sub / GCS テクニカル メタデータ (後述) を自動で収集してくれる データソース (BigQuery のみ ?1) が作成されてから 3 秒で収集完了 UI や API で ビジネス メタデータ (後述) を登録できる メタデータへのアクセス制御ができる Cloud DLP2 を使えば PII3
Sign in or create account To register for events Continue with Google Continue with email
※この投稿は米国時間 2020 年 3 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Twitter の広告プラットフォームでは、日常業務の一環として数十億もの広告エンゲージメント イベントが日々発生しています。そしてこれらのイベントのひとつひとつが、ダウンストリームの数百もの集約指標に影響を及ぼす可能性があります。広告主がユーザー エンゲージメントを測定し、広告キャンペーンを効率よく追跡できるように、Twitter はさまざまな分析ツール、API、ダッシュボードを提供しています。これらは 1 秒あたりに数百万もの指標をほぼリアルタイムで集約することが可能です。 本投稿では、Steve Niemitz がリードを務めるTwitter の収益データプラットフォームエンジニアチームが、Twitter の広告分析プラットフォームの収益正確性と信頼性を向上させる
Eventarc でサーバレスに非同期処理を実現しよう
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2020 の 18日目の記事です。 みなさんこんにちは、最近すっかり寒くなってきましたね。来週はクリスマス、もうすぐ年越しで、イベント尽くしです。イベント… Event… ということで、今年の 10 月に Eventarc という機能がリリースされたのをご存知でしょうか（強引）？ Eventarc とはGCS にファイルが置かれたり、Firestore に書き込みがあった場合など、Google Cloud 上でイベントがあった際に別の処理を実行させたい場合、Cloud Functions や Pub/Sub を利用する方法があります。それも良い方法なのですが、Pub/Sub が対応していないイベントなど、より多くのサービスを連携させたいケースもあるかと思います。 Event
Enter the Vault: Authentication Issues in HashiCorp Vault
Posted by Felix Wilhelm, Project Zero IntroductionIn this blog post I'll discuss two vulnerabilities in HashiCorp Vault and its integration with Amazon Web Services (AWS) and Google Cloud Platform (GCP). These issues can lead to an authentication bypass in configurations that use the aws and gcp auth methods, and demonstrate the type of issues you can find in modern “cloud-native” software. Both v
Cloud AI Platform Pipelines now available in beta | Google Cloud Blog
When you're just prototyping a machine learning (ML) model in a notebook, it can seem fairly straightforward. But when you need to start paying attention to the other pieces required to make a ML workflow sustainable and scalable, things become more complex. A machine learning workflow can involve many steps with dependencies on each other, from data preparation and analysis, to training, to evalu
Google Account でサインインする The email you entered is associated with a Google account. Sign in with Google to continue.
米グーグルのクラウド事業部門「Google Cloud（グーグルクラウド）」の損益がここに来て大きく改善している。2021年4～6月期における営業損失は5億9100万ドルで、前年同期の14億2600万ドルに比べて8億3500万ドル減少した。赤字が減ったのは大きな進展だが、決算からは厳しい内情も見えてくる。ハードの耐用年数延ばし営業損失縮小21年4～6月期におけるグーグルクラウドの売上高は46
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud TPUを用いたBERT推論処理基盤の開発
Democratizing data analysis with Google BigQuery
Google Cuts Jobs at Cloud-Computing Group
Google Cloud Webinars
Get Started with TensorFlow Transform | TFX
「奇策」で赤字を減らしたGoogle Cloud、膨れ上がった巨額の受注残に募る懸念
Google ColabユーザーのためのTipsトップ10
https://inthecloud.withgoogle.com/anthos-day-2001/Google_Cloud_Anthos_Day_200130_Session8.pdf
Why I think GCP is better than AWS
自宅と Google Cloud を VPN でつなぎマネージド DB と通信してみた
How BigQuery zone assignments work | Google Cloud Blog
Stop downloading Google Cloud service account keys!
Google Cloud Data Catalog とは - Qiita
Google Cloud Webinars
Twitter の広告エンゲージメント分析プラットフォームをモダナイズ | Google Cloud 公式ブログ
Google Cloud Webinars
Google、クラウド損益改善のカラクリ 危うい受注残 - 日本経済新聞