Google Cloudのサーバレスなイベント駆動処理 - Cloud Runアプリをいい感じにTerraformで管理する - Lean Baseball
元・野球エンジニア*1, 現・Google Cloud Partner Top Engineer 2024*2の人です. 相変わらず仕事も趣味もGoogle Cloudで何かをやっているのですが, この年末年始に以下の絵のようなシステムを作りました（正確には「元々あった別システムを作り直しました*3」）. この記事の全体像 Baseball Savantから取得*4した投打のデータ（トラッキングデータ）のCSVをBigQueryのテーブル（事前に定義済み）に突っ込むシステムなのですが, こちらを作る過程で, Cloud RunをPub/Subのメッセージをトリガーとしたイベント駆動で動かす アプリケーション（Goで実装）を純然たるWeb APIとして実装（Pub/Sub専用のアプリではない） 上記の構成をサービスアカウントなどの権限設定含めてTerraformでIaC（Infrastruc
[PHP]BigQueryのデータを取得する | yyuuiikk blog
BigQuery コンソール上での実行コンソール上の「クエリエディタ」でSQLを実行することができる。 コンソール上で結果確認もできるし、結果テーブルをcsvやスプレッドシートとしてGoogleドライブ上に保存することも可能。 またJSON形式で扱うこともできる。 PHPでデータを取得する手順としては大きく2つのことを行う必要がある。 GCPサービスアカウントキーの作成PHPプログラムの作成GCP サービスアカウントキーの作成phpでGCPを扱う上でサービスアカウントキーを発行し認証を行う必要がある。 GCPの「APIとサービス」>「認証情報」から「認証情報を作成」を選択してサービスアカウントキーを発行する。キーの形式はJSONを選択。 役割はここでは「BigQuery管理者」を選択。 操作が完了するとキーファイルが端末にダウンロードされる。 phpでの実行composerでGCPを扱うた
[Google + DeepL + Twitter]中国野球協会の画像アナウンスを翻訳してツイートするまで
データ分析基盤を作り上げたMLBと並行して、実は中国の野球もカバーしようとしています。Zennで野球トークを書くのもよろしくないので、詳しくは省きますが、実は着々と力を付けている国で、依然国内ではマイナースポーツ扱いですが、それでもプレーヤー人口は4000万人と言われる程、巨大なベースを誇る、ロマンの大きなトピックです。 しかし、情報を収集する上で、ちょっとだけ中国語が分かる（とりあえず、中国語検定3級はゲットしました）ものの、サクサクと文を読めるレベルでは全く無い身なので、やはり言語のハードルに悩みます。 特にメインソースにしている中国野球協会のオフィシャルサイトは、公式アナウンスを全てPDFのキャプチャでリリースするので、サクッと翻訳して、文意を汲むフローが行えず、中文弱者としてはちょっとばかり辛い点でした。 私の中国語スキルを上げていくことは並行して行うとして、とは言えハマっているう
![[Google + DeepL + Twitter]中国野球協会の画像アナウンスを翻訳してツイートするまで](https://cdn-ak-scissors.b.st-hatena.com/image/square/632c822c12e02c8310e7532872e08105fa1a31a0/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--FEMJ_X0X--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGoogle%252520%25252B%252520DeepL%252520%25252B%252520Twitter%25255D%2525E4%2525B8%2525AD%2525E5%25259B%2525BD%2525E9%252587%25258E%2525E7%252590%252583%2525E5%25258D%252594%2525E4%2525BC%25259A%2525E3%252581%2525AE%2525E7%252594%2525BB%2525E5%252583%25258F%2525E3%252582%2525A2%2525E3%252583%25258A%2525E3%252582%2525A6%2525E3%252583%2525B3%2525E3%252582%2525B9%2525E3%252582%252592%2525E7%2525BF%2525BB%2525E8%2525A8%2525B3%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252583%252584%2525E3%252582%2525A4%2525E3%252583%2525BC%2525E3%252583%252588%2525E3%252581%252599%2525E3%252582%25258B%2525E3%252581%2525BE%2525E3%252581%2525A7%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ahctaw_srp%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzEwMjc3YmUxYjQuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
野球のビッグデータをGCPとPySparkでいい感じに使いやすくしてみた - DataprocとGCFを使った緩いデータ基盤 - Lean Baseball
最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform
Google Cloud FunctionsがPHPをサポート開始。PHPでサーバレスの関数が記述可能に
Google Cloud FunctionsがPHPをサポート開始。PHPでサーバレスの関数が記述可能に Google Cloud Platformにおけるサーバレスコンピューティング環境を提供するGoogle Cloud Functionsで、PHP言語のサポートがプレビューとして開始されることが発表されました。 Today we’re bringing support for PHP, a popular general-purpose programming language, to Cloud Functions. With the Functions Framework for PHP, learn how you can write idiomatic PHP functions to build business-critical applications & integra
ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2020年版
クラウドの多くでは、1年程度の無料トライアルやクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスも提供されています。 こうした無料枠は開発環境やテスト環境としてクラウドを試すうえで非常に有効です。ここではクラウドのFree TierやAlways Freeとして提供されているおもなサービスをまとめました。 Amazon Web Services（AWS） 「AWS 無料利用枠」のWebページを開き、左側にあるフィルター条件で「無期限無料」をチェックすることで、無期限に無料で提供されるサービスの一覧を見ることができます。 おもに次のようなサービスが無期限無料で提供されています。 AWS Lambda サーバレスコンピューティングの実行環境を提供します。 1カ月あたり100万リクエスト、最大320万秒コン
Google Compute Engine を用いた機械学習モデル学習バッチのスケジュール実行 - MicroAd Developers Blog
こんにちは、機械学習エンジニアの河本 (@nnkkmto) です。マイクロアドのシステムにおいて、機械学習が必要な部分の研究開発及び実装を担当しています。 この記事では GCP (Google Cloud Platform)、特に GCE (Google Compute Engine) を用いた機械学習モデル学習バッチのスケジュール実行について紹介できればと思います。 はじめに 前提 全体の流れ 各処理の詳細 スケジューリング Cloud Scheduler Cloud Pub/Sub Cloud Functions インスタンス起動による学習バッチの実行 preempted 時のリトライ処理 終わりに はじめに 現在マイクロアドでは、以下にあるようにGCP を用いた機械学習基盤の構築を進めていて、Kubeflow を用いた実行環境へ移行予定です。 オンプレ×Google Cloud Pl
[GCP] GCPサービスを勝手にまとめてみた - Qiita
GCPって Google Cloud Platform。 Googleアカウントがあれば使用でき、世界中に多くのデータセンターを持つGoogleの大規模なインフラをCloudサービスとして提供している。 何のメモ GCPには数多くのサービスがあり、ちょっとまとめてみようと思った。 どんな時に役立つ？ GCPのこのサービスって何だっけ？どんなんだっけ？と思った時に。 あくまで自分がどんなサービスだったかを思い出すためのメモ。 サービスの分類 おおまかにはこんな感じ。（一部省略してます） ※2019年8月末時点のもの。 ※α版、β版を含む。 https://cloud.google.com/products/?hl=ja よりいろいろ引用してます。 分類 サービス例
![[GCP] GCPサービスを勝手にまとめてみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/85a711bc7cc8a82a3906f4c100d7f5885d75d7e5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCR0NQJTVEJTIwR0NQJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkzJUUzJTgyJUI5JUUzJTgyJTkyJUU1JThCJTlEJUU2JTg5JThCJUUzJTgxJUFCJUUzJTgxJUJFJUUzJTgxJUE4JUUzJTgyJTgxJUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xZTg1OWViMmRkNzg3ZDM3MGFmYjRiY2FkNDUzMjAwZA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcmlzYTAzMjAmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWZhMjA1YjhiYzdmZDI4ZWQxMTAzOTQxY2FhOTdhOGNm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3De0c9e4242ec43ce2e8a0437854280654)
【GCP】遠隔からの疎通に向けた任意ポートの開放/確認手順 - (O+P)ut
はじめに GoogleCloudPlatform(GCP)ではファイアウォールルールを使用して、仮想マシン(VM)インスタンスとの間のトラフィックを制御できます。 本記事ではGoogleCloudPlatformの特定VMインスタンスに対して任意のポートを許可(開放)し、sshコマンドを利用して疎通を確認する手順を解説します。 今回は外部IPアドレスが12.34.56.78のVMインスタンスのポート8888を開けるとして話を進めます。 手順 事前確認 「ssh -v -p」を利用して疎通確認を行います。 $ ssh -v -p 8888 12.34.56.78 ... ssh: connect to host 12.34.56.78 port 8888: Operation timed out ポートを開ける前はOperation timed outとなるはずです。 ファイアウォール設定
GCPで永久無料枠を利用してサービスを立ち上げたときにしたことの備忘録 - Qiita
はじめに 最近GCPでWebサービスを立ち上げたので、そのときに実施したことをメモとして残しておきます。 今回はGCEで Debian + Nginx + Railsで環境を作りました。 ドメイン取得以外は終始無料で進めるための努力をしました。 また、今回はRailsアプリケーションを作成することは目的としていませんので、そこについてはあまり触れません。 やったこと GCEでインスタンスを立ち上げる アカウント作成時に貰える無料トライアル枠とは別に、無料で利用できるリソースがあります。 Always Free と呼ばれていて、GCEの場合は以下の要件を満たすインスタンスのみ永久に無料でインスタンスを立てることができます。 リージョンをus-*1から選択する 1つのf1-micro VM インスタンス 30GB以内 の永続ストレージ ※無料対象リージョンはus-*1のみというご指摘を受けまし
AWSとGCPを運用してみてわかったこと | CyberAgent Developers Blog
はじめまして。 アドテクスタジオ インフラエンジニアの村井翔太朗(@Show_murai)です。 本記事は CyberAgent Developers Advent Calendar 2017 の 8 日目の記事となります。 私はアドテクスタジオのインフラ横断組織のCentral Infrastructure Agency(以下CIA)に所属しています。 CIAからアドベントカレンダーには6人参加しているので、 是非他のメンバーの記事も合わせてお読み下さい。 アドテクスタジオではパブリッククラウドのメインストリームの2つである、 Amazon Web Service(以下AWS)とGoogle Cloud Platform(以下GCP)を主に利用しています。 はじめに この記事を書こうかと思ったモチベーションとしては、 アドテクスタジオで利用しているパブリッククラウドとしてAWS、GCPを
どちらが全体的に優秀なのか、AmazonとGoogleのクラウドのパフォーマンスを比較した結果 - GIGAZINE
by Jason Blackeye マルチクラウドで利用できる「Cockroach DB」などを提供しているCockroach Labsが、クラウドベースのプラットフォームやインフラなどを提供してくれる「クラウドプロバイダー」のうち、Amazon Web Services(AWS)とGoogle Cloud Platform(GCP)の性能比較を行い、レポートを公開しています。 AWS Outperforms GCP in the 2018 Cloud Report | Cockroach Labs https://www.cockroachlabs.com/blog/2018_cloud_report/ テスト環境として、GCPはこれまでもパフォーマンスのベンチマークとして利用してきたという「16基のvCPUと60GBのメモリを備えた標準マシンタイプ」である「n1-standard-16
機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャのお話 - ZOZO TECH BLOG
はじめに こんにちは、CTOの今村です。 先日弊社のiQONが3年連続でGoogle Play「2016年ベストアプリ」に選ばれました。また、今回ベストイノベーティブ部門の大賞を受賞しました。 イノベーティブ部門ということなので、Androidアプリの品質だけでなく、アプリの中にある様々な機能の技術的な取り組みも評価してもらった背景があるのかなと個人的には感じています。 さて、ちょうど先日Minami Aoyama Night #1にて、弊社のデータまわりのアーキテクチャについてお話させていただく機会がありました。 今回は2016年12月時点での、機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャについて紹介したいと思います。 最近のデータまわりの取り組み 今年になってからVASILYは過去のテックブログでも紹介したように、データまわりの取り組みを一層強化して
Google Cloud Platformに東京リージョンが追加されたようです | DevelopersIO
[2016/10/25 17:50更新] Stackdriverが対応したようなので、説明を変更しました。 ども、大瀧です。 まだGoogle Cloud Platform Blogや公式Twitterなどでのアナウンスが無いのですが、GCPのWebコンソールから東京リージョンが選択できるようになっていたので、その様子をレポートしてみます。 東京リージョン GCP東京リージョンのリージョン名はasia-northeast1、ゾーンはa、b、cの3つです。GCEのインスタンス作成画面では、以下のようにリストされます。 対応するサービスは、手元で確認した限りでは以下がゾーン/リージョン一覧から選択できました。 Compute Engine Container Engine ネットワーキング 負荷分散、VPN、クラウドルーター Cloud Storage Cloud Dataproc 一方で、一
【2022年】AWS と Google Cloud の利用料金を徹底比較 | クラウドエース株式会社
【2022年】AWS と Google Cloud の利用料金を徹底比較 こんにちは。クラウドエース編集部です。 クラウドサービスの導入を考えるにあたり、重要な検討項目となるのが料金です。クラウドサービスは数多くあり、それぞれで同じような機能が提供されていますが、その料金は異なります。各社の料金をしっかりと理解した上で利用するサービスを決定したいですよね。 今回は、クラウドサービスの中でも高い人気と知名度を誇る、AWS と Google Cloud (旧 Google Cloud Platform / GCP) の利用料金について、徹底的に比較していきます。 また、Google Cloud・AWS・Azure 3大クラウドサービス比較表 では各社クラウドの料金形態をはじめ各サービスごとの比較も行なっておりますので、より体型的にご理解いただける内容となっておりますので本記事と合わせてご活用く
GoogleComputeEngineでVMインスタンスにSSH接続する。-WordPress作成 GCE編 Part.3
前回はVMインスタンスの作成まで紹介しましたので、次はSSHでの接続についてご紹介します。 SSHでの接続はWEB画面からのSSH接続と独自のクライアント(teraterm)での接続の2種類あります。 ここではTeratermでの接続について説明します。 Puttyなどもほぼほぼ同じ手順で接続できるはずです。 SSHでアクセスするためには、SSHクライアントでRSA鍵を作成して接続する必要があります。 TeraTermでの設定方法を記載します。 SSH鍵の作成TeraTermを起動させ「設定」⇒「SSH鍵作成」をクリックします。 TTSSH:鍵作成のウィンドウがでてきますので、RSAの2048bitを選択し「作成」をクリックします。 次に、コメントにVMインスタンスにログインするユーザ名を入力し「公開鍵の保存」「秘密鍵の保存」をクリックしSSHの鍵を保存します。 (ここで設定した名前が、後
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
UbieDiscovery社内のサービス検証環境dev-n
Pricing | Compute Engine: Virtual Machines (VMs) | Google Cloud
グルーヴノーツ、5億円を調達 - 日本経済新聞
GitHub - kobayutapon/CloudVisionAPI: GDG信州勉強会 CloudVisionAPI ハンズオン用の資料
