Google Cloud Platform (GCP)サービスの正式名称・略称・読み方まとめ#2(AI と機械学習/AI Platform およびアクセラレータ) - Qiita
Google Cloud Platform (GCP)サービスの正式名称・略称・読み方まとめ#2(AI と機械学習/AI Platform およびアクセラレータ)まとめ読み方略語GoogleCloud Google Cloud Platform (GCP)のサービスで正式名称や略称はともかく、読み方がわからずに困ることがよくあるのでまとめてみました。 クラウド コンピューティング サービス | Google Cloud https://cloud.google.com/?hl=ja Amazon Web Services (AWS)のまとめはこちら！ Amazon Web Services (AWS)サービスの正式名称・略称・読み方チートシート - Qiita https://qiita.com/kai_kou/items/cb29d261c8acc49fd22a Amazon Web
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
[Google 認定資格] GCP Professional Data Engineer の勉強方法と対策 | エスタイルAIメディア
[Google 認定資格] GCP Professional Data Engineer の勉強方法と対策 2022 12/30 本記事では、Google 認定資格の 1 つである Professional Data Engineer に一発合格するためにやるべきことをまとめています。Google 公認資格は国際資格ということもあり、国内の出版社から決定版といえる対策本が出ていないのが現状です。私も Professional Data Engineer を受験するにあたり、参考となる書籍の少なさから、受験対策として何をすべきか非常に迷いました。この記事では、そんな私がお勧めする効率的な Professional Data Engineer のための勉強方法についてまとめています。 ちなみに、私の簡単なプロフィールは次の通りです。 新卒 1 年目 大学で Deep Learning の研究に
![[Google 認定資格] GCP Professional Data Engineer の勉強方法と対策 | エスタイルAIメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/09ca6d2cef1092d567ed8b8440dd7f2f165717b8/height=288;version=1;width=512/https%3A%2F%2Festyle.co.jp%2Fmedia%2Fwp-content%2Fuploads%2F2020%2F06%2F1a1b6b6c416fa0e83c5039642bbcaf6a.png)
Mockun_JPNと申します。ITコンサルタント/エンジニアとして活動しています。肩書は仕事内容や相手によって使い分けてます。IT、旅行、投資が好きです。アイコンは妻が描いたカワウソです。 以下の記事の最初の一文に共感したので、自分も書いてみることにしました。 公営競技を題材にGCPを勉強する 直接的にお金が絡まないと中々やる気が出ないため、公営競技を題材にしてGCPをざっくり勉強する。 この記事について Google Cloud Platformについて、COURSERAで学んだ内容を使ってみようと思い立って作ったFX自動取引システムについての記事です。主にGCPのサービスを組み合わせればこんなこともできるよ、というアーキテクチャ寄りの内容になっています。 売買判定には、Scikit-learn、XGBoost、Optunaなどのライブラリを使った簡易な機械学習を用いていますが、この記
AWS・Azure・GCPのSLAを徹底分析、共通して役立つ大規模障害への3つの備えとは（ビジネス＋IT） - Yahoo!ニュース
DX（デジタルトランスフォーメーション）の推進などで、クラウドサービスの導入が加速している。コスト効率や柔軟性、可用性の観点で好まれている一方で、クラウド障害によるリスクも拡大。クラウドサービスの提供会社はSLA（サービス品質保証）で高い可用性を保証しているが、実際は大小さまざまな障害でサービスの停止が起きている。しかしサービスが停止してもSLA違反として一部料金が返金されるのみで、さらには提供者側の障害に利用者が気付かなければSLA違反による補償を受けられない危険性がある。本稿では、そんなクラウド障害による影響と対応策について解説する。 【詳細な図や写真】クラウド障害の際にSLAの保証を受けるために必要なこととは（Photo/Getty Images） ●クラウド障害を見逃せば「SLA」の補償は受けられない？ 大規模なクラウドサービスの障害が国内外で相次いで発生している。AWS（Amaz
GCP A100GPU-VMでKaggle-Docker環境を構築（2023年3月版） - Qiita
この記事は kaggle用にNVIDIA A100 GPUを使いたかったので、 GCP&kaggleコンテナイメージを用いた環境構築に挑戦したところ、 思ったより難しくて数日を費やしてしまったので、備忘録として手順を整理しました。 GCPに手を出してみたいけど躊躇している方や、今現在同じように苦労している方の助けになれば幸いです。 （注意事項） あくまでkaggle用学習環境の構築方法であることにご注意ください。例えばプロダクト用のGPU環境が欲しい場合は、より適切な手順があると思います。 本記事では(筆者がPyTorchユーザーのため)Tensorflowはサポートしていません。 ただし、kaggleコンテナを開始するところまでは同じ進め方のはずなので、参考にはなると思います。 手順 (事前準備)GPUの割り当て申請 GCPでGPUを使用するためには、割り当ての申請を事前に行う必要があり
GCP 素人の私と、心優しい同僚たちが、デプロイエラーに立ち向かった覚書です。筆者が GCP 素人なので、語り口が素人くさいのはご容赦ください。 3 行まとめ 2023 年 1 月 14 日以降しばらくの間、GitHub Actions を用いて Cloud Run 等へデプロイする際に「コンテナイメージが見つからない」といった類のエラーメッセージが出たら、 docker/build-push-action@v3 の利用を疑ってみる provenance に未対応のレジストリを使っているのがわかったら、 provenance: false をインプットとして指定すると、治るかもしれない Cloud Run の場合、エラーメッセージが出た時点で異常な状態のリビジョンを作成してしまっている場合があるので、念のためチェックして、必要であれば異常なリビジョンを削除するとよい 2022.2.9 追記
関連キーワード 仮想マシン（VM） | Amazon Web Services | Microsoft Azure | クラウドコンピューティング Amazon Web Services（AWS）の同名サービスやMicrosoftの「Microsoft Azure」、Google「Google Cloud Platform」（GCP）など、各社クラウドへのシステムの移行手法は多様化している。本稿では「オンプレミスからクラウドへの移行」「クラウド間の移行」「サーバレスアプリケーションの移行」という3つのトレンドを踏まえ、移行時の留意点を説明する。 併せて読みたいお薦め記事 クラウド同士の移行について考える クラウドから別のクラウドへのデータ移行を容易にする手段10選 AWSからAzure、AzureからAWSへ移る「クラウド移行ツール」の魅力と注意点 「クラウド間の容易なシステム移行」は幻想
やりたいこと タイトルのとおりだが、Cloud FunctionsだとデフォルトでUTCなのでJSTにしたい 方法 環境変数を設定すればおｋ 日本時間に変更したいfunctionの編集画面に行き、 名前：TZ 値：Asia/Tokyo して保存すれば完了
GMOアドマーケティングのT.Cです。 2021年7月にGCP Professional Cloud Architect取得のブログを執筆しましたが、 今回(2022年1月)はProfessional Cloud Developerを取得したお話をいたします。 GCPの経歴 ■ 経歴: 約3年半 GCP経歴は年数として3年半ぐらいとなります。 元々、バックエンドエンジニアですが、業務で使っていたHadoopクラスターの勉強を初めてインフラにも興味を持ち、GCP移行のメイン担当をするなど、現状はアプリケーションの開発と一緒にインフラの業務もしています。 試験の準備 ■ 復習 前回のProfessional Cloud Architectの受験準備をしながら作った、各種DBの特徴やGKEなどをメモしておいた個人用のノートをみて復習しました。 ■ Professional Cloud Devel
GCP（Google Cloud Platform）でSelf-Hosted Sentryを立てることがあったのでメモとして残します。 構成 Cloud Load Balancing（GCLB） マネージド SSL 証明書を使いために設定 Let's Encrypt などで運用するなら不要 Cloud Armor DDOSやSQL Injectionなどの攻撃から守る Compute Engine Sentry を立てている Docker Compose で複数の Docker コンテナが起動している リバプロ用の Nginx も常駐 Cloud SQL for PostgreSQL Sentry のデータなどを保存 Docker Compose でも作成できるがデータを永続化したかったため外出しした 前提 VPC ネットワーク、Firewall 作成済 Cloud NAT およびルーティ
データエンジニアの遠藤です。 TVer Advent Calendar 2023の24日目の記事になります。 はじめに 本年（2023年）、Google Cloudのビッグデータ基盤として展開されるBigQueryでは、データガバナンスツールであるDataformがGA（Generally Avaialble）になりました。 cloud.google.com このDataformの登場により、BigQuery上でデータを利活用しやすいように変換する（データマートを生成する）システムの構築が容易になりました。 本記事では、Dataform上において、定常実行やリトライ実行を容易にするために、冪等性が担保される設計のテクニックを3点紹介します。（Dataformの基本的な使い方については触れませんのでご注意ください） 1. SQLX内のクエリに変数を用いる DataformはSQLXと呼ばれる
Go+GCP+Kubernetesを活用したクラウドネイティブなゲームサーバ開発/運用事例【DeNA TechCon 2022】
GCP上で Go や Kubernetes, Spannerを活用した開発や運用を、大規模なサービス、チームで実現するにはどうすればよいのか？本セッションでは、DeNA のクラウドネイティブなゲームサーバの開発と運用の取り組みや体制づくりについて紹介いたします。 まず、社内ゲームサーバー基盤Takasho(Go+GCP)を活用し、Kubernetes上にコンテナベースのゲームサーバを構築した開発/運用事例を紹介します。またさまざまな共通部門と協力しつつゲームサーバ開発を行っているため、それらの組織体制なども併せて紹介できればと思います。 データベースにはグローバル規模のRDBであるSpannerを採用しています。Spannerはシャーディング不要でどこまでもスケールさせることができるため、従来のゲームサーバ開発で問題になっていた運用負荷を軽減させてくれています。そんなSpannerの特性を
【祝GA】 Lambda ExtensionsでLambdaのログをGCPのCloud Loggingに送信してみた | DevelopersIO
CX事業本部@大阪の岩田です。先日Lambda ExtensionsがGAされました(東京リージョンはまだですが)。Lambda ExtensionsはLambdaのモニタリング、可観測性、セキュリティ、ガバナンスのための運用ツールをLambdaに統合する機能で、Lambda実行環境のライフサイクルと連動して外部のサードパーティ製品に直接ログやメトリクスを送信するといったことが可能です。 パブリックプレビュー自体は半年以上前から利用できる状態だったのですが、これまでちゃんと触れていなかったので自分の理解を深めるために簡単なExtensionを実装してみようと思い立ちました。何を作るか考えたのですが、今回はLambdaのログをGCPのCloud Loggingに送信するExtensionを作ることにしました。なおLambdaのランタイムにはPython3.8を利用しています。 Lambda
はじめに 注意： GCPを利用するため、費用が発生します。この記事を再現される場合は「お支払い」＞「予算のアラート」から請求額に対するアラート通知を設定することをお勧めします。 概要 BigQuery ML Matrix Factorizationでレコメンドエンジを実装し、レコメンドリスト（ユーザ x アイテム）を作成してDatastoreに登録します。K8s上に実装したAPIサーバーからユーザIDをキーにレコメンドリストを取得するレコメンドAPIを実装します。 GCPの学習のため、Cloud Buildを使ってCI/CDのパイプラインを構築してBuildとDeployプロセスの自動化も試します。 システム構成 目次 レコメンドエンジンを実装してDatastoreにレコメンドリストを登録 BigQuery ML でレコメンドエンジンを実装 Datastoreにレコメンドリストを登録 Go
コピペだけでRailsをKubernetes上で動かすためのガイド。GCP、AWS依存なしで始める。 - Qiita
Kubernetesは今日のWebにおいて最もホットな技術であることは間違いありません。コンテナの本番運用面だけでなく、コードベースでアプリケーションを柔軟に操作できることに驚かされます。 Kubernetesは公式ドキュメントが充実しているほか、最近は日本語情報も広まったことで敷居は下がりましたが、それでもインフラ自体に馴染みがない方も多く、その点ですぐに始めづらいというイメージがあるかもしれません。 そこで今回はコピペでRuby on Railsのアプリケーションを最短でKubernetesを動かすまでの道のりを紹介していきます。 Kubernetesが取っつきづらく感じるのはPodやServiceなど独自の用語が登場するためですが、それらのフレーズにはあまり囚われず、手を動かしながらどこがどのように作用しているかを感じ取ってみてください。 はじめに これから動かしていく環境はGKEや
GCPとDockerでKaggle用計算環境構築 - Qiita GCEインスタンスの作成、Dockerでの環境構築、環境構築済みのイメージをGCRにプッシュという流れが綺麗にまとまっている。 Kaggle用のGCP環境を手軽に構築 - Qiita １つ上のの記事をDockerを使わないでGCP環境を構築する GCPを使ったKaggleのデータ分析 導入編 - Qiita インスタンス作成、Anacondaの導入、GCSバケットのマウントがわかりやすくまとまっている。 GCP outdated docs checker - Chrome ウェブストア GCP の翻訳されたドキュメントを読んでる時に、英語の方が新しかったら警告を出してくれる Chrome 拡張 https://twitter.com/furuyamayuki/status/1014844334066188293 重めのデータ
GCPのCloud Spannerで、東京・大阪の高可用性構成が実現：「Google Cloud Day: Digital」で発表 Google Cloudは2020年6月9日、Cloud Spanner日本におけるマルチリージョン構成をサポート開始したと発表した。東京・大阪間での同期複製によって可用性を高めることができ、金融などのアプリケーションに採用しやすくなるメリットがある。 Google Cloudは2020年6月9日、同日より開催のオンラインイベント「Google Cloud Day: Digital」で、Cloud Spannerの日本におけるマルチリージョン構成のサポート開始を発表した。東京・大阪間での同期複製によって可用性を高めることができ、金融などのアプリケーションに採用しやすくなるメリットがある。 Cloud Spannerは、Google Cloudが2017年2月に
業務都合で GCP を使う機会が増えたけど、サービスアカウントってなんかわかりにくいなぁってずっと思ってた。でもそれは AWS の考え方を引きずっていたからだと気づいたので、両者の権限付与について違いをまとめる。ざっくりしたまとめなので、詳細な仕様は公式を参照。 権限そのものの考え方は大体同じ Policy: 権限そのもの。基本的にサービスごとのAPIに対する権限と考える。細かいことを書き出すときりがないので割愛。 Role: 権限をグループ化したもの。細か(略 PolicyやRoleの付与対象 違いは一番下。人以外に対する権限付与のアプローチが違う。 AWS IAM User IAM Group Resource GCP Google Account Google Group Service Account 違いは「何を抽象化したか」 AWS リソース(=プログラム)を人に見立てて権限を
はじめにはじめまして。2023年1月キャリア入社の添田です。1月から参画させていただいているプロジェクトでGoogle Cloud PlatformのPubSub(以降PubSub)を使用した開発を行うことになり、苦戦した部分が多々ありました。そこで今回はPubSubについて噛み砕いて説明していきます。今後PubSubを使用した開発をする方の助けになれればと思います。 (Google Cloud Platform PubSubについての公式ドキュメントはこちらです。) 目次 そもそもPubSubとは何か PubSubを理解する上で重要な単語の解説 実際の処理の流れの解説 PubSubを使用したユースケース考えてみた まとめ 最後に 1. そもそもPubSubとは何かPubSubとは、非同期型のメッセージングサービスです。つまり、異なるコンポーネントやアプリケーション間でデータを非同期的に送
2022/11/7追記 2022年10月のGCP料金改定で、asia.gcr.ioのcontainer registryからのimage pullが課金されるようになりました（月額3000円ほど) artifact registryに移行して、東京リージョンにimageを配置することで転送料金は掛からなくなりました。 この記事はGoogle Cloud Platform Advent Calendar 2021の19日目の記事です。 この記事では、ラズパイk8sクラスタで運用してたアプリをGCPに移行した話を書きます。 なるべく利用料金を抑えるための構成を頑張ってみたので、そのポイントを書いていこうかと思います。 最終的には 4円/日 程度で運用できてます。 （もっと安くできるぞ！って部分あれば是非コメント等で教えていただけると嬉しいです） 記事としては 元々自宅のk8sで動かしていた時の
GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる | フューチャー技術ブログ
GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる GCP集中連載の7回目です。 TIGのDXチームに所属している加部です。入社してからは主にインフラやデータベースを中心に仕事をしており、現在はGOでバックエンドのAPIの開発なんかもしています。 突然ですがAWSを利用しているけどビッグデータの蓄積や解析はBigQueryで実施したい、なんて意見も最近多くなってきているようですね。実際にS3からBigQueryのデータ転送について検索すると、自前でデータ転送を作成してみましたや、データ転送をサービスとして販売しているような会社もあります。そんな中GCPが提供しているBigQeryへのデータ転送サービスDataTransferServiceのソース元としてS3が追加され、簡単にS3からBigQueryのデータ転送のジ
背景 IAMはアクセス制御をする上で非常に重要な仕組みですが、一方で複雑になりがちです。 間違った理解のままだと必要以上の権限を与えてしまい、事故の原因となるので押さえておくべき点をいくつかまとめてみます。 リソース階層 GCPのIAMにはリソース階層があり、それぞれの階層を意識した上でIAMポリシーを設定する必要があります。 ref: リソース階層を使用したアクセス制御 | IAM のドキュメント | Google Cloud リソース階層は４つのレベルがあります。 組織レベル フォルダレベル プロジェクトレベル リソースレベル（一部のサービスのみ） IAMポリシーは階層構造になっていて、最終的にリソースで有効なポリシーは、そのリソースに設定されたポリシーとその上位レベルから継承されたポリシーの和となります。 このような考え方はReBAC(Relationship-Based A
GCPの基本を学べるCourseraのGoogle Cloud Platform Fundamentals: Core Infrastructureをやってみた | DevelopersIO
Google Cloudのオンライン学習環境に関する当ブログの記事を見たことをきっかけにGCPについて学べるCourseraのArchitecting with Google Cloud Platformを受講してみました。 ゴールデンウィークは自宅で学習だ！Google Cloud のトレーニングラボが30日間無料で利用できます！ #うちで過ごそう | Developers.IO GCPの概要を掴みつつQwikLabsで実際に触れる良い講義だったので修了したついでにレビューとして記事を書くことにしました。 Architecting with Google Cloud Platform について Architecting with Google Cloud Platform 日本語版 | Coursera - Gyazo Google Cloud Platformが提供する各種サービスの概
[GCP] Cloud Deployment ManagerでCloud Functionsをデプロイしてみた | DevelopersIO
Google Cloud Deployment ManagerでCloud Functionsのデプロイをやってみました。Cloud Functionsにコードをデプロイするため、Pythonテンプレートを利用してCloud BuildでCloud StorageへのZIPファイルのアップロードを実装しています。 事前準備 Cloud Deployment Managerでリソースをデプロイする際にgcloudコマンドを使用します。gcloud CLIはCloud SDKをインストールすることで利用できるようになります。Cloud SDKの導入方法は次のブログが参考になりました。 環境 項目 内容 ディレクトリ構成 ディレクトリ構成は以下の通りです。Cloud Functionsのソースコードと構成ファイルやPythonテンプレートを分けています。 ・ ├─ src │ ├─ hello-
![[GCP] Cloud Deployment ManagerでCloud Functionsをデプロイしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/12ff051e47579f5bd123668c6a9e87000e5bec27/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2Fgcp-eyecatch-deployment-manager_1200x630.png)
はじめに GCPのCloud Firestore Datastoreモードを使用してサーバレスのWebサービスPocを実現しました。 その際に、FirebaseのCloud FirestoreとGCPのCloud Firestoreがネットで情報が混在していた為、その部分についてまとめてみました。 何か間違っている場合、また意見があれば募集中です Cloud Firestoreの概要 GCPのCloud Firestoreは2019年2月1日に正式リリースされた、FirebaseとGCPからのモバイル、Web、サーバー開発に対応した柔軟でスケーラブルな NoSQL クラウド データベースです。 まとめると、Firebase の技術をベースにして、Google Cloud Platform に統合されたサービスです。 Cloud Firestoreには2種類のネイティブモードとDatasto
AutoML Tables を使うなら Google Cloud 公式ドキュメントのAutoML Tables 初心者向けガイドがとても親切なのでこれを読めば良いです。 ...が、適合率と再現率の詳細が解説へのリンク貼ってあるだけでちょっと突き放した感があるので、この辺について自分用に調べた時のメモです。 具体的には、↓この画面の見方についてです。 なお本稿のスクリーンショットにはAutoML Tables のクイックスタートにあるBank marketing Dataset の deposit の予測結果を使っています。実際に試してみると似たような結果が出ると思いますが、AutoMLは結果にブレがあるので必ずしもスクリーンショット通りの結果が出るとは限りません。 GCP AutoML Tablesとは何か 機械学習モデルをほとんど自動で作ってくれるクラウドサービスです。 「モデル」が何な
週刊Railsウォッチ（20200309前編）Webpackerに乗り換えるべき理由25、Railsのindex_byとindex_withは有能、GCPはやっぱりスゴいほか｜TechRacho by BPS株式会社
2020.03.09 週刊Railsウォッチ（20200309前編）Webpackerに乗り換えるべき理由25、Railsのindex_byとindex_withは有能、GCPはやっぱりスゴいほか こんにちは、hachi8833です。生まれてはじめてRailsにプルリク投げて一瞬でマージいただきました😂。 PR: [ci skip] Security guide: change raw HTML elements and signs to backquoted ones by hachi8833 · Pull Request #38610 · rails/rails つっつきボイス:「お、ついにRailsにプルリク🎉」「土曜に投げたんですが、数分もしたらkamipoさんがマージしててたまげました😳」「kamipoさんの常駐率スゴそう⛩」「セキュリティガイドのmarkdownに>
入門編はこちら murabo.hatenablog.com 制限 詳細はオフィシャルのこちらを参照してください。 気をつけるものをピックアップして記載します。 標準テーブル 1 日あたりの最大テーブル オペレーション数 - 1,000 1テーブルに対して、 読み込みジョブ、コピージョブ、クエリジョブ を組み合わせた合計数となります。 分割テーブル 分割テーブルとは、取り込んだ日、または指定した日付カラムを元に、デイリー毎にテーブルが分割されます。 分割テーブルあたりの最大パーティション数 - 4,000 4000日分まで保有することができる 1 つのジョブで変更される最大パーティション数 - 2,000 ジョブ オペレーション（クエリまたは読み込み）ごとに対象にできるパーティションは最大 2,000 です。2,000 を超えるパーティションを対象とするクエリまたは読み込みジョブは、Goog
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
Google Cloud（GCP）にGPUつきプリエンプティブインスタンスVMを格安で借りた話 - orangeitems’s diary
Google Colabが気に入って Google Colabがあまりにもフレッシュな体験だったので使い倒していたのですが、12時間に一度初期化されるのはあまりに大変でした。 12時間おきにまっさらになる仮想マシンのようなものです。ただその仮想マシンは高性能。2vCPUに13GBのメモリー。ハードディスクも50GB（場合による）。GPUがデフォルトでついていて、少なくともTesla K80は使えます。 また、Ubuntuは18.04 LTSです。 素晴らしい・・。のですが、さすがに12時間に一度まっさらにされるのはしんどかった。対応策としては、 ・Google Driveをマウントして、永続データを定期的にエクスポートしておく。 ・初期化されたら、Google Driveを再マウントして、永続データをインポートする。 とやっていました・・が、やっぱり環境は一度構築したらずっと使いたいもので
AWS を使うことが多かった自分が GCP をさわったところ、Cloud IAM に登場する用語が AWS の IAM と違うことで非常に混乱しました。 そこで、過去に AWS の IAM1 や Kubernetes の RBAC2 についてまとめたのと同じように、GCP の Cloud IAM に登場する基本概念をまとめました。 ※ 基本を理解するための記事なので、厳密ではない表現をしている箇所があります ※ Cloud IAM 初心者のため、間違いがあるかもしれません。見つけた方はご指摘ください Cloud IAM に登場する基本概念の全体像 整理した概念の全体像は以下の通りです。 AWS と比べながら順に説明していきます。 各概念の説明 メンバー GCP では IAM によって権限を付与できる対象を「メンバー」と言います。 「メンバー」には、 Google アカウント サービスアカウ
apache-beam-pythonを用いてGCP dataflowでmecabを使い形態素解析をする話 - Qiita
概要 BigQueryに保存されたtweetを形態素解析したい。BigQuery単体では形態素解析出来ないし、mecabの新語辞書を使ったりも出来ないのでdataflowを利用することで形態素解析を行う。 twitterでは、常に最新の言葉が使われる。そのためmecabの辞書は neologd を利用して最新の状態の言葉で形態素解析ができるようにする。 通常のdataflowのサンプルと異なるのはmecabで使う辞書ファイルをどのように配布するかという問題だ。今回は、パッケージ等は作らなず、インスタンスが生成された後、GCSにおいたmecabの辞書ファイルを読んでいる。 今回はtwitterで使われる人名は誰が多いのかをサンプルとして調べることにする。 shibacow@xxxx~$ mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ip
はじめに こんにちは、情報システム部 SRE 橋本です。 今回は我々のチームで運用効率化として構成しているVMインスタンスの自動的・自律的な構築を行う仕組みについて紹介したいと思います。 昨今、クラウド・プラットフォーム上で様々なマネージド・サービスが利用可能になっていますが、10年スパンで継続運用されているシステムでは移行難易度的にそれらのサービスを使うことが難しく、従来構成を維持してVMインスタンスを大量に構築する機会があります。我々の運用システムでもフロントエンドはGKE/コンテナ化が進みつつありますが、DBやKVSなどのデータストアはVMインスタンスで構築しています。 またMySQLなどのデータベースサーバではパフォーマンス等の要件により垂直・水平分割がすすんだ結果、構築台数が多くなるというケースはしばしば発生すると思われます。このようなサーバを構築・運用する場面で以下のような経験
![[概要編] GCPでVMインスタンスを自動・自律的に構築する仕組み](https://cdn-ak-scissors.b.st-hatena.com/image/square/b6c83e0da9cd9453ec981b33d979f2fba9e9457b/height=288;version=1;width=512/https%3A%2F%2Fblog.jp.square-enix.com%2Fiteng-blog%2Fposts%2F00053-overview-of-autonomous-instance-setup%2Feyecatch.png)
【合格体験記】 GCP Associate Cloud Engineer（ACE）の難易度や模擬試験、勉強方法を解説｜Google Cloud Platform - Compass note
※2023/11/12 最新情報にアップデート GCP Associate Cloud Engineer（ACE）の勉強方法 GCP Associate Cloud Engineer 模擬試験（公式：無料） Associate Cloud Engineer 模擬試験の概要 Associate Cloud Engineer 模擬試験の注意事項 Google Cloud（GCP）Associate Cloud Engineer（ACE）のUdemyを受講してみた Udemy：Associate Cloud Engineer 模擬問題集 Udemy：最速で学ぶ - Google Cloud Platform（GCP）入門完全攻略コース Google Cloud（GCP）Associate Cloud Engineer（ACE）を Qwiklabs で学ぶ Google Cloud（GCP）Ass
【トップゲート主催】ゲーム業界様向けGCP活用のポイント〜Firebase / Firestore編〜 | 株式会社トップゲート
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
既存環境のTerraformコード化は面倒 最近Infrastructure as Codeの考え方が浸透してきました。 そんな中、手動で管理していた環境をコードで管理できるようにしたい！ と思っている方も多いはず。 ただ、既存環境をTerraformコード化するのはなかなか大変な作業です。 具体的には以下の手順が必要になります。 作成した既存のGCPリソースを把握 リソースをインポートするためのTerraformコードを記述 リソースごとにterraform importコマンドをひたすら打ってtfstateを作成 コードを書いて、ひたすらterraform planでコードが正しいか確認 GCP環境の規模が大きくなればなるほど、手間のかかる作業となります。 辛い作業をなんとかしたい、、、という思いから開発されたのがterraformit-gcpです。 terraformit-gcpはオ
Motivation 年末に購入した Google Pixel Watch 2 であるが、それまで使用していた Apple Watch との違いを特に感じず、モヤモヤしていたのだが、Pixel Watch には Fitbit アプリがデフォルトで入っており、睡眠データなどのヘルスデータや歩数などのアクティビティデータを取得してくれるので、それを使って何かしたいと考えた。 Fitbit アプリや web のダッシュボード(https://www.fitbit.com) では各日のデータを確認できるが、複数日にまたがって一覧でまとめてデータを俯瞰したり、他の記録（e.g. 習慣トラッカーなど）と合わせて記録を残したい場合にはそれがなかなか難しいので、それらを全て Notion に突っ込むことで自分だけの活動記録テーブルを作ろうと考えた。 TL;DR タイトルにあるツール群を用いて、ヘルスデータ
【合格記】GCP Professional Cloud Architect認定資格を振り返る | フューチャー技術ブログ
GCP Professional Cloud Architectって？公式ホームページにも記載があるように、GCPのアーキテクチャ・インフラストラクチャに関する知識を有していることを客観的に証明するための資格です。 ポイントは、ビジネス目標を実現するためにという点で、架空の事業者に対するソリューション提案を行うのような設問が多く出題されていました。 筆者について元々はオンプレミスのネットワーク屋さんで、クラウドはAWSでの構築経験がそれなりにありました。 GCPについては半年ほど、設計や実現可能性を確認するための検証を実施していました。 試験までに何をしたかあまり勉強時間が取れなかったため、しっかり座って紙に書いて・・・といったことは基本的に行っていません。 出張など移動のスキマ時間に教材を読みこみました。 # 私は仕事でGCPを触っていましたが、触ったことのない方は画面ポチポチで構築する
こんにちは、GMOアドマーケティングのS.Rです。 前回は機械学習開発の標準戦略MLOpsを皆さんへ紹介しました。 今日はKubeflowを実践する為にGoogle Cloud のMLOps サービスAI platform pipelines で 簡単に手書き数字の分類システム（MNIST）を開発する例を紹介させていただきます。 ※なお、この記事中の図示は、特に断りが無い限り筆者が作成したものです。 AI platform pipelinesとは AI platform pipelinesはGoogle Cloudが提供している、機械学習開発の標準戦略MLOpsを自動化するクラウドサービスです。 AI platform pipelinesとKubeflow AI platform pipelinesはKubeflowに基づいて開発されたクラウドサービスです。AI Platformを利用する
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料でここまでできる！GCPの無料枠を使いこなして、ランニングコストを最適化しよう！ | 株式会社トップゲート
GCPでFX自動取引システムを作った話 - Qiita
docker/build-push-action@v3 + GCP のデプロイエラーを何とかした覚書
AWSからAzure、GCPに移る際にも役立つ クラウド移行術3つのトレンド
GCPのCloud Functionsでタイムゾーンを日本時間に設定する - 動かざることバグの如し
GCP Professional Cloud Developerに合格しました
GCPでSelf-Hosted Sentryを構築する
GCP版Dataformで冪等性を担保する設計ポイント3つ - TVer Tech Blog
GCP x GO x Datastore x BigQuery でレコメンドAPIを作成 - Qiita
GCPの使い方関連リンク集 - kaggle-friends
GCPのCloud Spannerで、東京・大阪の高可用性構成が実現
権限付与から見たAWSとGCPの違い - public note
GCP Pub/Subの概念をかみ砕いて説明してみた | フューチャー技術ブログ
お家ラズパイk8sクラスタで動かしてたアプリをGCPに移行した話
GCPのIAMを使う上で理解しておくこと - Carpe Diem
GCPのCloud FirestoreのネイティブモードとDatastoreモードの違い - Qiita
GCP AutoML Tablesでバイナリ分類するなら知っておいたほうが良いこと - Qiita
GCP BigQuery 応用編 ~制限について~ - 自称フルスタックエンジニアのぶろぐ。
ゼロからわかる！GCPのネットワークセキュリティの全体像 | 株式会社トップゲート
GCP の Cloud IAM に登場する基本概念まとめ + AWS IAM との対応 - Qiita
[概要編] GCPでVMインスタンスを自動・自律的に構築する仕組み
コマンド一発でGCP環境のTerraformコード生成！terraformit-gcp
GCP + Fitbit + Notion でお手軽健康管理 - Qiita
GCP:AI platform pipelinesで MLOpsを実践した