次世代データ基盤：データレイクハウスを Google Cloud で実現する
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
Google Cloud の新しくなったホームページのご紹介 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 6 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 クラウドは 10 年以上にわたりデベロッパー、データ サイエンティスト、エンジニアの方々に、デベロッパー中心のツールや高レベルの抽象化、クリック デプロイ ソリューションを維持しながら、アプリケーションをより速くデプロイし実行する素晴らしい機会を提供してきました。Google Cloud は、お客様が世界の需要に合った生産性を実現できるようにエクスペリエンスの設計や改良、イテレーションを続けてきました。これは、クラウドツール、優れた CLI エクスペリエンス、シンプルなワークフローで、豊かなユーザー エクスペリエンスを設計してきたことになります。つまり意思決定に必要な情報を犠牲にすることなく、目的のページにたどり着くために必要だったステップを減らして調整してきたことを意
GCPに構築したシステムを安全に運用するための一時権限付与の仕組みについて - TVer Tech Blog
データシステム担当の黒瀬です。 こちらは、TVer Advent Calendar 2022の9日目の記事です。 この記事では、TVerで運用しているデータシステムの基本的な権限管理ポリシーについてご紹介します。 大まかな内容 GCP上に構築しているデータシステムをメンテナンスする際の権限を、従来は管理者が手動管理していたが、この運用にはリスクがありました。 そこで、権限を付与するためのサービスアカウントを経由する仕組みおよびその趣旨を明確にするルールを導入しました。 結果、管理者に依存せずにメンテナンスができる運用が可能になりました。 背景 TVerでは、主にBigQueryに視聴ログなどのデータを集約し、その上で集計や分析をするという方針をとっています。 ログを収集するシステムはAWSやGCPなど要件に合わせて各所に構築されていますが、これらからBigQueryへデータを収集・集約する
自分のブログを CloudFront + Heroku から Cloud Run に移行した話をした - Feedforce Developer Blog
こんにちは id:masutaka26 です。 本日、週次の社内勉強会 FFTT で『引っ越ししたら家賃が3分の1になったかも』というタイトルで、実際は Amazon CloudFront + Heroku で動いていた自分のブログを GCP の Cloud Run に移行した話をしました。 モチベーションはスライドにつらつら書きつつも、実際はこの FFTT の発表当番だったからではあります。結果的に満足行く結果にはなったので、これからコード管理などもう少し作り込んでいきます。今後ネタに困ったらまた引っ越せばよいし。 Cloud Run もそうですが、Google Domains や Cloud Monitoring の外形監視（稼働時間チェック）など、便利でライトに使える GCP を知ることが出来たことも収穫でした。 それでは良い週末を！(^^)/ 2022-11-04 追記： 個人ブロ
BigQueryのセキュリティ対策手順
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーの山田雄（@nii_yan）です。 データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。 風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。 この記事の全体像 この記事は2つのパートに分かれています。 最初に、BigQuery導入プロジェクトを始めるにあたって、セキュリティ観点でどのようなコミュニケーションが必要になるかを説明します。 次に、一般的な情報セキュリティ対策である「抑止」「予防」「検知」「回復」の4つの観点にもと
GCPの秩序を取り戻すための試み 〜新米GCP管理者の奮闘記〜 - ZOZO TECH BLOG
こんにちは。SRE部データ基盤チームの塩崎です。ZOZOテクノロジーズではGCPの管理を各プロジェクトのOwnerに任せていた時期が長く続いていましたが、今期から全社的なGCP管理者を立てることになりました。本記事では新米GCP管理者である僕が全社的なGCPの管理をする上で遭遇した事例を紹介します。時には泥臭い方法で、時にはプログラムの手を借りて自動化をし、数々の難題に対処しました。 GCPのリソース階層について 具体的な事例紹介の前に、GCPのリソース階層を説明します。多くのGCP利用者からは、プロジェクトが最上位のリソースであるように見えますが、実はそれ以上の階層が存在します。以下の図をご覧ください。図の通り、プロジェクトの上位リソースとしてFolder、Organizationという2つのリソースが存在します。 cloud.google.com Folderはプロジェクトの論理的なま
Google App Engineを無料で運用する方法（2018年版） - koni blog
最終更新日：2018/3/6 こんにちは、小西です。 これまで紹介してきたGoogle App Engine(GAE)ですが、無料枠が大きいとはいえ、ちょっと重い処理があるときにリクエストが立て続けに来ると、すぐに2台以上インスタンス起動してしまいます。 インスタンス時間の無料枠は28時間なので、この範囲内で抑えることが重要です。 先月、月間50万PVほどあるサイトをGAEに移行し、1ヶ月ほど無料で運用することができたので、その際にやったことをお伝えします。 PHPで試したものですが、基本的にはPython, Go, Javaの場合も同じはずです。*1 GAEってなんじゃ？という方はまずはこちらをどうぞ： さくっとPHPでサイト作るならGoogle App Engineが最高 - koni blog Node.jsの方は無料で使えないみたいです。詳しくは一番下。 何に課金されるのか 完全無
Running the Ruby Bookshelf on Kubernetes Engine | Ruby | Google Cloud
This page shows you how to do the following: Create a Hello World app. Package the app into a container image using Cloud Build. Create a cluster in Google Kubernetes Engine (GKE). Deploy the container image to your cluster. The sample is shown in several languages, but you can use other languages in addition to the ones shown. To follow step-by-step guidance for this task directly in the Cloud Sh
How and why we migrated from Heroku to Kubernetes | Rainforest QA Blog | Software Testing Guides
Until late last year, Rainforest ran most of our production applications on Heroku. Heroku was a terrific platform for Rainforest in many ways: it allowed us to scale and remain agile without hiring a large Ops team, and the overall developer experience is unparalleled. But in 2018 it became clear that we were beginning to outgrow Heroku. We ended up moving to Google Cloud Platform (GCP) with most
Google Cloud Status Dashboard
Google Cloud Status Dashboard Incidents Google Cloud Networking Google Cloud Status Dashboard This page provides status information on the services that are part of Google Cloud Platform. Check back here to view the current status of the services listed below. If you are experiencing an issue not listed here, please contact Support. Learn more about what's posted on the dashboard in this FAQ. For
安価なGKE（k8s）クラスタを作って趣味開発に活用する - えいのうにっき
tl;dr GKEでk8s（kubernetes）クラスタを作成すると、各ノードはGCEインスタンスとして起動する GCEインスタンスには preemptible モードが指定でき、これはGKEクラスタとして起動するノードに対しても指定可能 GCEのf1-micro無料枠の適用と合わせて、この運用費用は約 $7.68/month 動機 GKEクラスタを維持する最安料金ていくらだろー— a-know | Daisuke Inoue (@a_know) 2018年6月11日 趣味開発用途として手軽にあれこれ試すことができて、それでいてできるだけ安くあがるコンテナオーケストレーション環境（k8s環境）がほしい。 k8sそのものを運用したい・そのノウハウを学びたいというわけではないのでマネージドサービスがいい 「k8s上でアプリケーション・サービスを運用する経験」がしたい その上で、できるだけ安く
Googleのクラウドサービスは機械的な判断で突然システムを止めることがある | スラド セキュリティ
風力・太陽光発電プラントの監視システムをGoogle Cloud Platform(GCP)上で構築・運営していた企業が突然アカウントを一時停止され、システムを運用できなくなるというトラブルが発生したそうだ(Mediumの記事、 The Registerの記事)。 このシステムは、8か国にわたって設置された数百の設備を1か所で24時間/365日監視するという大規模なもので、状況に応じて発電量を調整するといったクリティカルな作業も行っていたという。 しかし、6月28日に全サイトがダウンしているとUptime Robotからの警告があり、Googleからは「potential suspicious activity (潜在的に疑わしい活動)」を検出したので全システムを停止したと知らせる電子メールが届く。その時点で既にクラウド上のアプリケーションやデータベースに接続できない状態になっており、カス
CloudGarage の無償インスタンスを利用して kubernetes クラスタを構築してみる - えいのうにっき
定額型パブリッククラウド という触れ込みで先日ローンチされたCloudGarage。 cloudgarage.jp そのフレーズのとおり、「1Core/ 1GB/ 50GB なクラウド VM インスタンスが3インスタンスで 1,480円/月 固定（転送量など込み）」という月額定額制のサービスメニューが用意されていて画期的。すでに趣味用途で AWS や GCP などにインスタンスをいくつか立ててる僕にはとても興味深いサービスなわけなんだけど、さらに魅力的なポイントとして、CloudGarage では「Dev Assist Program」なる、開発者向けインスタンス無償提供制度がある。 cloudgarage.jp この申請に通ると、上述の「1Core/ 1GB/ 50GB なクラウド VM インスタンス x3」が1年間無料で利用できる。そして先日、めでたく僕もこの制度の適用申請が通った。あ
GAEのカスタムドメイン無料SSL化で静的コンテンツ配信を試してみた - えいのうにっき
Google App EngineでマネージドSSLが全ユーザーに無料提供、HTTPSの導入が簡単に。証明書の更新もGoogleにおまかせで心配無用 － Publickey というニュースを目にしたのが先週の火曜日・9月19日。 www.publickey1.jp 「GAE 、どんどん便利で最高になっていってるなぁ......」と思わず遠い目をした僕は、おそらく古参GAEユーザーと言っても差し支えはなさそう。記録（このブログ）によると、2009年に GAE を触り始めていた。GAE をメインで扱う Web 起業にエンジニアとして働いていたこともある（2012 - 2013）。なので、昔の不便......いや、荒削りな頃の GAE はイヤというほど触り倒していた。 それもあって、今回の報はとても嬉しかったし、ただでさえ「またそろそろ GAE でおもしろいことやりたいなぁ...」と思っていたと
プライベートな Ruby gem サーバーを GCP にデプロイする | Google Cloud 公式ブログ
Ruby ユーザーに朗報です！ 私たち Google は先ごろ、google-cloud-gemserver gem をリリースしました。これにより、お客様はプライベートな gem サーバーを Google Cloud Platform（GCP）に 1 つのコマンドでデプロイできます。 これは、プロプライエタリなビジネス ロジックを含むライブラリを作成している企業や、パブリック ライブラリを社内で使用するためにミラーリングしている企業にとって大きなメリットです。 こうしたライブラリは、Ruby では gem と呼ばれます。最近まで、gem の優れたホステッド ソリューションは存在しませんでした。そのため、特に Ruby では、多くの開発者が独自のカスタム ソリューションを構築したり、Gemfury のようなサードパーティに頼ったりしていました。 GCP で gem サーバーを運用することに
Visualize GCP Billing Data
GCPのBillingデータをGoogle BigQueryに送り始めました。 Export GCP Billing data to Google BigQuery 早速re:dashで可視化してみます。 可視化する内容 Google BigQueryへ送られるデータの詳細は以下です。この中からてきとうに使えそうなものを拾っていきます。 Billing data in BigQuery - Cloud Platform Console Help 今回は、 X軸は月 Y軸はコストの合計 また、Y軸にプロダクトの種類(BigQuery, Computing Engineなど)も含める みたいな感じで集計してみます。 クエリ こんなクエリでやってみる。 SELECT SUM(cost) AS sum_cost, product, LEFT (FORMAT_UTC_USEC( UTC_USEC_T
Export GCP Billing data to Google BigQuery
Google BigQueryを使うようになって暫く経ちました。 bigquery - Page 1 - ゆるふわキャンパー そこで気になるのはGCPの使用料金です。Billingアラートを5ドルに設定したり、使いすぎないように気を使ってはいますが、どうせならちゃんとトラッキングしたいものです。 というわけでBillingの情報をGoogle BigQueryに記録する設定を有効にしてみました。 Export billing data to BigQuery - Cloud Platform Console Help この機能、割と最近のもの？らしいですね。BillingデータをGoogle BigQueryに送る方法で調べると、いったんバケットにファイルとしてエクスポートしてそれをごにょごにょしてGoogle BigQueryに保存している記事が散見されました。 やりかた 「お支払い」メ
運用フェーズにおけるGCPとAWSの違いについて - Qiita
Google Cloud Platform(2) Advent Calendar 2016 8日目を担当するk-bataです。 Qiitaへ投稿するのは初めてで読みづらい点もあるかと思いますが、最後までお付き合いくださいませ。 今年になってGCPの東京リージョンが発表され、AWSにしか関心がなかった自分がGCPを触ってみたところ、非常に使いやすいと感じました。 特に運用フェーズではGCPの方が使いやすいと感じるところがありましたので、AWSと比較しながら紹介したいと思います。 対象となるかた AWSでたくさんのアカウント（VPC）を管理しているインフラ担当 GCPに興味はあるが、運用で楽できるのか不安に思っている方 ハードウェアメンテナンスで仮想マシンが停止しない AWSで１００台以上のインスタンスを運用していると、月に一度はどこかの仮想マシンがメンテナンス再起動の必要に迫られます。 AW
「Google Compute Engine 入門」を読んで、AWS と GCP の違いをまとめてみた - えいのうにっき
先日発売されたばかりの「Google Compute Engine 入門」（吉積 礼敏 氏 著）を読んだ。kindle版が出ていたので、買いやすかったし、読みやすかった :) 全体を通しての感想は「GCE（を中心とした、GCP）の紹介本みたい」、というかんじ。AWS の現在の状況（隆盛）を考えると、GCP に関しては、このレベルの書籍が今、ようやく出版された段階だということは、厳しいけれどまごうことなき現実なんだよなぁ、と思った。 （ちなみに、gcutil のコマンドリファレンスまであるのはちょっとやり過ぎでは...と思った。Web のリファレンス では不足があるんだろうか？） でも、この本を読むまでは「 AWS ではなく GCP をわざわざ選ぶ理由がわからない（デメリットを上回るメリットが感じられない） 」という気持ちしかなかった自分が、読み終わったときには「 課題はいくつかあるけれど、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud 公式ブログ