Vertex AI Embeddings for Text で実現する LLM のグラウンディング | Google Cloud 公式ブログ
Ivan CheungDeveloper Programs Engineer, Google Cloud ※この投稿は米国時間 2023 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 いま多くの人々が、ジェネレーティブ AI や大規模言語モデル（LLM）を実運用サービスにどのように導入すればよいか検討を始めています。しかし、例えば「既存の IT システムやデータベース、ビジネスデータと LLM や AI チャットボットをどのように統合すればいいだろうか」、「数千もの製品を LLM に正確に覚えさせるにはどうすれば良いだろうか」、あるいは「信頼性のあるサービスを構築するためにハルシネーションの問題をどのように扱えば良いか」といった課題と直面することになります。 これらの課題に対するシンプルな解決策となるのが、エンべディング（embeddings）と
［速報］Google Cloudでのシステム開発について何でもAIが教えてくれる「Duet AI for Google Cloud」発表。Google I/O 2023
［速報］Google Cloudでのシステム開発について何でもAIが教えてくれる「Duet AI for Google Cloud」発表。Google I/O 2023 Googleは5月10日（日本時間5月11日未明）、米カリフォルニア州マウンテンビューで開催中のイベント「Google I/O 2023」で、Google Cloudでのシステム開発についてAIが支援してくれる「Duet AI for Google Cloud」を発表しました。 Duet AI for Google Cloudは経験豊富な専門家から入門レベルまで、利用者のレベルに関わらず、Google Cloudでのシステム開発について生成的AIがチャットやコード生成機能などにより支援してくれます。 自然言語での質問、コードの自動生成など Duet AI for Google Cloudは「Codeアシスタンス」と「Cha
Introduction to data masking | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to data masking BigQuery supports data masking at the column level. You can use data masking to selectively obscure column data for users groups, while still allowing them access to the column. Data masking functionality is built on top of column-level access control, so you should fam
Terraform リソースの再作成の強制 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 4 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud などのパブリック クラウド上で実行されている環境で Terraform リソースをプロビジョニングしていて、そのリソースを破棄、再作成してクリーンな状態から開始する必要があるとしましょう。 Terraform には、これを実現するための 2 つのツールが備わっています。 terraform taint コマンド。Terraform 状態でオブジェクトを tainted としてマークするように Terraform に指示します。オブジェクトが tainted としてマークされている場合、Terraform はそのオブジェクトの置き換えを提案します。（このコマンドは非推奨とされています）。 terraform apply と terraform p
ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
Cloud RunがGitと連携して勝手にデプロイできるようになったのでやってみた - inductor's blog
はじめに こんにちは。inductorです。 GCPのCloud Runはご存知でしょうか。世界一簡単に単一のコンテナをデプロイできるサービスだと私は考えています。 さて、以下のようなリリースノートの通知があって、Cloud RunがGitと連携して更新まで自動でできるようになったみたいです。 Continuous deployment from Git using Cloud Build まとめるとこんな感じのことが書いてあります Cloud Buildのトリガーを使用して新しいコミットがGitリポジトリの特定のブランチにプッシュされるたびにコードを自動的にビルドしてデプロイすることで、ビルドとCloud Runへのデプロイを自動化できます。 Cloud Buildトリガーを使用してコンテナをビルドすると、Cloud Runにデプロイした後、ソースリポジトリ情報がサービスのCloud C
Kubernetes Engine で動作するアプリでのロギングの使用 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 5 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 アプリケーションのデバッグを行うデベロッパーにとっても、また複数の本番環境クラスタにわたってアプリケーションをモニタリングする DevOps チームのメンバーにとっても、ログは IT 組織の生命線といえます。Google Kubernetes Engine（GKE）を導入している場合、Cloud Logging を使用できます。これは、GKE に統合されているさまざまなサービスの一つで、有用な情報の検索に使用できます。 Cloud Logging とそれに付随するツールの Cloud Monitoring は、双方とも GKE に密接に統合されたフル機能のプロダクトです。このブログ投稿では、GKE でロギングが機能する仕組みとログ収集のベスト プラクティスをご紹介します
サーバーレスの理解とメリット・デメリット（2020年版） - Qiita
（出典：ガートナー） CNCF（Cloud Native Computing Foundation）におけるサーバーレスの定義 CNCFでは、サーバーレス・コンピューティングのホワイトペーパーを公開しています（2018年）。 ここでは、以下のように定義されています。 A serverless computing platform may provide one or both of the following: Functions-as-a-Service (FaaS), which typically provides event-driven computing. Developers run and manage application code with functions that are triggered by events or HTTP requests. Develop
ゴールデンウィークは自宅で学習だ！Google Cloud のトレーニングラボが30日間無料で利用できます！ #うちで過ごそう | DevelopersIO
Pluralsight および Coursera はキャンペーン期間終了後、通常料金が課金されますのでご注意ください。 今回は無料で利用可能な Qwiklabs と Pluralsight を申請しました。招待メールは各サービスごとに届きます。 お得な利用方法 無料期間の開始は、特別オファーの申請時点ではありません。各種サービスでサブスクリプション登録が完了してから 30 日間になります。 どちらもそれなりにボリュームがありますので、最初にいずれか一方を有効化し、5月31日までにもう一方を有効化すると、実質的に 2 ヶ月弱の間、無料で GCP の学習環境が利用可能になります。 もちろんハンズオン中心の Qwiklabs と、講義動画および確認テスト中心の Pluralsight を同時に進めたい場合は同時に利用しても良いでしょう。 Qwiklabs（セルフペースハンズオン） まずは Qwi
Google Cloud Platform のトレーニングコース、ハンズオンを 1 か月間無料で提供 | Google Cloud 公式ブログ
COVID-19 感染拡大を受けて多くの人が在宅勤務や家庭学習に切り替えましたが、自宅にいながらスキルアップを図りたい、知識を増やしたいと考えている人もたくさんいます。こうしたご要望にお応えするため、Google Cloud Platform のトレーニング コースや Qwiklabs のハンズオンラボなどの各種学習リソースを 5 月 20 日まで無料で提供しています。 下記オンデマンド トレーニング、ハンズオンラボよりご希望のトレーニングをお選びいただけますので、是非ご活用ください。 Qwiklabs Pluralsight（英語のみ） Coursera お申し込み、詳細はこちらをご覧ください。 また、Google Cloud では、オンデマンド トレーニングやハンズオンラボ以外に、ウェビナーもご提供しております。各トレーニングリソースについては以下をご覧ください。 オンデマンド トレー
Kubernetes ベスト プラクティス 6 選 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 1 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。 数年前、Kubernetes はコンテナ化されたアプリケーションの管理をサポートし、大いに注目を集めました。今では、本番環境でのアプリケーションの大規模なデプロイや管理に広く使用されています。その過程で私たちは、Kubernetes と Google Kubernetes Engine（GKE）を最大限に活用するためのヒントやベスト プラクティスを収集してきました。ここでは、Kubernetes のデプロイと利用方法に関する Google Cloud ブログのなかから、最も人気の高い記事の一部をご紹介します。 リソース管理を容易にする Kubernetes の Namespace : Kubernetes 上でサービスを構築すると、単純なタスクが複雑になっていきます。一種
Cloud FunctionsをGoで書く。またはFirebaseのためのマイクロサービスアーキテクチャ - laiso
Firebase Advent Calendar 2019 の17日目です。16日目はKesin11さんの「Firebase Emulator Suiteをフル活用してTDDで開発しよう」でした。 はじめに FirebaseプロジェクトでCloud Firestoreを利用する時は通常Node.jsによるCloud Functionsでトリガーとなる処理を記述します。その他には関連するAPIサーバー、WebアプリのフロントエンドのSSR、バックエンドの非同期処理など、多くの場面でCloud Functionsが活用されています。 この開発→デプロイサイクルをお手軽に行ってくれるのがfirebase-toolsというnpmモジュールです。JavaScriptでFunctionを実装し、firebase deployコマンドを実行するだけでFirebaseプロジェクト用のCloud Funct
VSCodeの操作ミスでGCP Cloud Composerの裏側k8sをお掃除した話 - Qiita
tl;dr 筆者はvim派でVSCode初心者。でも勧められたので数カ月ぶりに起動してみた。 Pluginを色々入れていたので、サイドバーにはたくさんのアイコン。なにこれ楽しい。 Cloud Codeタブを触っていたら…指先が震えてトラックパッド誤操作。「Delete Cluster」を押してしまう。 その時たまたま偶然、GCPのオーナー権限を持つIAMで認証していた。 盛大にやらかして復旧が手間だったが、いくつかの理由で障害として顕在化しなかった。 というお話 何をやらかしたのか やらかし当時、筆者はGCPでデータ処理基盤の開発を行っていました。vimとzshが大好きで、開発のすべてをこの2つで済ませてましたが、同僚にVSCodeを猛プッシュされたので使ってみることにしました。 VSCodeは数ヶ月前にインストールしたもののそのときは結局使わず。数ヶ月ぶりの起動でした。 インストール時に
Cloud Buildを気軽なコンテナ実行環境として利用する / gcpug-cloud-build-day
QA出身スリーアミーゴスでDeep Dive! スクラムで品質とスピードを意識したOne Teamを構成するために必要だったもの / Deep Dive into the the Essence of 'One Team'
「分散システムフレームワーク」としてのKubernetes
2019年7月6日、株式会社サイバーエージェントが主催するイベント「Battle Conference U30」が開催されました。30歳以下のエンジニアによる30歳以下のエンジニアのための技術カンファレンスである本イベントには、さまざまな領域で活躍する若手が登壇。企業の枠を超えて、自身の技術・事業・キャリアに関する知見を発表しました。「Kubernetesで始める新しい開発」に登壇したのは、株式会社サイバーエージェント・青山真也氏。登壇資料はこちら Kubernetes で始める新しい開発 青山真也 氏：本日は「Kubernetes で始める新しい開発」というテーマでお話しさせていただきたいと思います。 簡単に自己紹介なんですけど、私サイバーエージェントの青山と申します。普段はインフラエンジニアで主業務は主にGKEみたいなKubernetesサーバサービスのプラットフォームやKuberne
Kubernetesの上にPaaSを再構築。「Pivotal Application Service on Kubernetes」Pivotalが発表
Kubernetesの上にPaaSを再構築。「Pivotal Application Service on Kubernetes」Pivotalが発表 Pivotalは、PaaS機能をKubernetes環境の上で実現する「Pivotal Application Service on Kubernetes」（PAS on Kubernetes）のアルファ版を発表しました。 We're excited to announce the next step in our platform evolution. Introducing the alpha of #PAS built to run on #Kubernetes. https://t.co/1UhElydDdA — Pivotal (@pivotal) 2019年7月16日 同社の「Pivotal Application Servic
Cloud Firestoreを実践投入するにあたって考えたこと - Qiita
はじめに Firebase Realtime DBを実践投入するにあたって考えたことを読んで頂いてありがとうございます。 多くの方から「いいね」を頂いて、今回のこの記事を書くモチベーションになりました 本当にありがとうございました！ さて、CloudFirestoreは、Firebase Realtime Databaseとは全く違うデータベースです。特にSubCollectionやQueryが導入されたことにより、リレーションシップの設計に関して大きく異なります。 この記事では、主にCloudFirestoreにおけるリレーションシップの設計方法から、アプリ・CloudFunctionsに至るまでを幅広く解説して行こうと思います。 次の記事ではデータベースの歴史を解説しています。 RDBの限界とNoSQLの登場 Cloud Firestoreでの開発について 私の経験上確実に断言できるこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SHOWROOMとDeNAで取り組んだライブ配信基盤刷新・超低遅延ライブ配信の裏側【DeNA TechCon 2020 ライブ配信】
株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps
マイクロサービスの成果を可視化する - Cloud Function in Go at Mercari - Speaker Deck
