Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
個人開発のプロダクトにおけるクラウド料金のはなし - GCPの年間コストをランチ一回分に抑えた話 - Lean Baseball
GCP（Google Cloud Platform）を個人開発プロダクトの中心として使っているマンです. AWSやAzureなど他のクラウドサービスもそうですが, クラウドサービスを自分の財布から使ってる時ってめちゃくちゃドキドキしませんか？特にお金の話💰 gigazine.net 例えばこういう記事が流れてくると, 勉強のつもりでアカウント作ったけどどうしよう🤔 仕事で使ってるけど怖くなってきた😫 などなど, 色々と不安を覚えると思います, 自分も昔はそうでした, クレカの情報入れるのこわいお💳的な. ですが安心してください. 仕組みを正しく理解して使えば個人レベルだとメチャクチャ安く収まります. このエントリーでは, 私が今年（2020年）に使ったGCPの料金をチラ見せしつつ, 目的に合わせたクラウドサービスの使い方をTipsとして紹介し, GCP（に限らず他のクラウドサービス
GCPでのディープラーニング学習環境構築方法 - Qiita
GCP(Google Cloud Platform)でディープラーニング学習環境構築方法 背景 ようやくDockerでのディープラーニングGPU学習環境構築に成功した @karaage0703 。疲れを癒す間も無く、ディープラーニングの帝王Google社のデベロッパーアドボケイトから、新たなる天啓がくだる。 度々からあげさんの記事を引用して恐縮ですが、もしGCPを使う場合は、このあたりをまるっとイメージにまとめたDeep Learning Containersってのもあります。ポチるだけでCUDA/TF/Jupyter/その他全部入りのコンテナをGKEで動かせます。 #gcpjahttps://t.co/tszxsK6sichttps://t.co/VMo9OHBjUp — Kazunori Sato (@kazunori_279) August 7, 2020 CUDAドライバ周り、誰し
AWSエンジニアがGCPメインの会社に転職してみた話
初めまして、GMOアドマーケティング インフラ開発部のhakumaiです。 今年1月にHRTech系企業からGMOアドマーケティングに転職してきました。 現職では、女子向けメディア「めるも」のインフラ業務に携わり、日々業務に励んでおります。 今回は、私が転職してみて感じたインフラ技術のギャップの一部についてお話しいたします。 前職でのインフラ環境・経験について 前職のHRTech企業で触っていたインフラ環境は、ほぼAWSでした。 インフラの保守運用業務に加え、新規プロダクトのインフラアーキテクチャ設計構築を経験したこともあり、 VPCやEC2・RDS・S3・ECSなど基本的なAWSのサービスについての知識はある状態でした。 ちなみに、AWSのソリューションアーキテクトアソシエイトも取得済みです。 また、GCPは全くの未経験でした。 アドマのインフラ環境について 一部オンプレもありますが、環
AWSやGCPといったクラウドサービスのセキュリティ項目を無料で監査できるオープンソースソフト「Scout Suite」レビュー
AWSやGCP、Azureといったクラウドサービスには数多くの設定があり、セキュリティ上の問題に設定画面から気づくのは難しい場合もあります。無料のオープンソースソフト「Scout Suite」では、各クラウドのAPI機能を利用して、クラウド上に構築した環境の設定に対し、セキュリティの問題がないかの監査を行うことが可能です。 GitHub - nccgroup/ScoutSuite: Multi-Cloud Security Auditing Tool https://github.com/nccgroup/ScoutSuite Scout Suiteが記事作成時点で正式に対応しているサービスは、AWS、GCP、Azureの3サービス。Alibaba CloudとOracle Cloud Infrastructureには実験的に対応しています。今回はGCP上のプロジェクトに対し、Scout
Google Compute Engine を用いた機械学習モデル学習バッチのスケジュール実行 - MicroAd Developers Blog
こんにちは、機械学習エンジニアの河本 (@nnkkmto) です。マイクロアドのシステムにおいて、機械学習が必要な部分の研究開発及び実装を担当しています。 この記事では GCP (Google Cloud Platform)、特に GCE (Google Compute Engine) を用いた機械学習モデル学習バッチのスケジュール実行について紹介できればと思います。 はじめに 前提 全体の流れ 各処理の詳細 スケジューリング Cloud Scheduler Cloud Pub/Sub Cloud Functions インスタンス起動による学習バッチの実行 preempted 時のリトライ処理 終わりに はじめに 現在マイクロアドでは、以下にあるようにGCP を用いた機械学習基盤の構築を進めていて、Kubeflow を用いた実行環境へ移行予定です。 オンプレ×Google Cloud Pl
Google Cloud、コンテナネイティブなロードバランス機能を正式版に。Kuberntesとの統合など強化
Google Cloud、コンテナネイティブなロードバランス機能を正式版に。Kuberntesとの統合など強化 Google Cloudは、Google Kubernetes Engine（GKE）でコンテナネイティブなロードバランス機能を正式版としたことを発表しました。 従来、コンテナに対するロードバランス機能は、コンテナが属するインスタンスのiptablesを経由してコンテナに到達していました（下図上）。 コンテナネイティブなロードバランス機能では、KubernetesのIngressコントローラに新しくNetwork Endpoint Groups（NEG）と呼ばれるレイヤが組み込まれ、これがコンテナを直接認識することで、コンテナに到達するまでのホップ数を減らし、効率的なトラフィック分散を実現しています（下図下） また、従来のロードバランサーはコンテナを認識しないため、コンテナに対し
GCEインスタンスはメール送信禁止！直接の送信は、ですけど。 | Exfield
GCEを試してみて、一通りサーバープログラムを設定して起動するところまでやってみているところなのですが、 ほとんど何も考えず普通に設定すれば動くようになっていますが、 メール送信出来ない！！！ あらま。何が起きたのか最初は分からなかったのですが、まずドキュメントを探すと、 公式ドキュメントにちゃんと書いてありました。 Google Compute Engine では、ポート 25、465、587 での送信接続は許可されません。これらの送信 SMTP ポートは、不正使用に利用されることが多いため、デフォルトでブロックされています。また、SendGrid、Mailgun、Mailjet などの信頼できるサードパーティ プロバイダを利用すると、Compute Engine で IP 評価と受信者を管理する必要がなくなります。 ブロックされたポートからのメールの送信は許可されませんが、インスタンス
IIJがGCPとの閉域網接続サービス発表、合わせ技で差別化
IIJがGCPとの閉域網接続サービス発表、合わせ技で差別化：ローカルインターネットブレイクアウトにも対応できる IIJは2019年5月28日、Google Cloud Platform（GCP）と閉域網で接続できる「IIJクラウドエクスチェンジサービス for GCP Partner Connect」の提供開始を発表した。キャリアからの独立性や、顧客の要望に合わせたカスタマイズ性が特徴。 IIJは2019年5月28日、Google Cloud Platform（GCP）と閉域網で接続できる「IIJクラウドエクスチェンジサービス for GCP Partner Connect」の提供開始を発表した。キャリアからの独立性や、顧客の要望に合わせたカスタマイズ性が特徴。 複数クラウドに対する閉域網接続を実現する「IIJクラウドエクスチェンジサービス」では、既に「IIJ GIO」「Microsoft
GCP からの HTTP リクエストをセキュアに認証する
はじめにGCP にはあらかじめ HTTP のエンドポイントを登録しておくと、そこに対して HTTP リクエストが送られてくるようなプロダクトがいくつか存在します。 Cloud Pub/SubCloud TasksCloud Schedulerどれも非同期系の処理を行うプロダクトであり、非同期処理を行う Worker を HTTP の Web サーバとして記述できるのが大きなメリットになっています。 しかしそれらの Web サーバはパプリックなエンドポイントとして用意することも多いことから、送られてきた HTTP リクエストが本当に GCP の特定のプロダクトから送られてきたものなのか？という「認証」をどうやるかが長らく問題になっていました。 既存のやり方としては Web サーバの実装方式によっていくつかありますが、 App Engine (1st gen) を使う場合: “login: a
GCPで永久無料枠を利用してサービスを立ち上げたときにしたことの備忘録 - Qiita
はじめに 最近GCPでWebサービスを立ち上げたので、そのときに実施したことをメモとして残しておきます。 今回はGCEで Debian + Nginx + Railsで環境を作りました。 ドメイン取得以外は終始無料で進めるための努力をしました。 また、今回はRailsアプリケーションを作成することは目的としていませんので、そこについてはあまり触れません。 やったこと GCEでインスタンスを立ち上げる アカウント作成時に貰える無料トライアル枠とは別に、無料で利用できるリソースがあります。 Always Free と呼ばれていて、GCEの場合は以下の要件を満たすインスタンスのみ永久に無料でインスタンスを立てることができます。 リージョンをus-*1から選択する 1つのf1-micro VM インスタンス 30GB以内 の永続ストレージ ※無料対象リージョンはus-*1のみというご指摘を受けまし
クレジットカードは不要 : クエリを無料で試せる BigQuery サンドボックス | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 2 月 8 日に Google Cloud blog に投稿されたものの抄訳です。 BigQuery サンドボックスは BigQuery を無料で試せるオプションです。新規ユーザーや学生の方でも、クレジットカードの情報を入力する必要はありません。 企業によって収集されるデータが増加の一途をたどる中、BigQuery のようなサーバーレス データ ウェアハウスこそが、ニーズに合わせてスケーリングできる唯一のプラットフォームだと、多くの組織は考えるようになっています。BigQuery は、大規模な一般公開データセットに対して高度なクエリを実行するための柔軟なウェブ ベースのインターフェースも提供します。こうした BigQuery のメリットを、BigQuery サンドボックスによって、まったく費用をかけずに体験できるようになりました。 Google のサーバ
AWSとGCPをいくつかの観点で比較してみたメモ - えいのうにっき
Google Cloud の認定資格、Professional Cloud Architect が最近気になっている。 cloud.google.com なぜ気になっているかというと、業務上プラスになることがありそう、ということはさることながら、以下の記事を読み「合格すると認定グッズがもらえる」「リュック（デイバッグ）良さそう！」と思ったこと、というのが実は大きい。物欲。 medium.com この気分がどこまで続くかはさておき、ゆるゆると勉強しはじめたのは事実。勉強も、手元でいろいろと整理しながらやっており、その整理したものについてこのブログにもメモしておきたい。もしかしたら資格取得以外の目的でも誰かの役に立つかもしれない。。ということで書いてる。 今回は、AWSとGCPをいくつかの観点で比較・整理してみたもののメモ。 AWSとGCPの比較 リージョン・ゾーン AWSでは、あるリージョン
Google Cloud Platform ブログの膨大な情報を自分なりに整頓してみた - Qiita
この記事について Google Cloud Platform Japan Blog では日々様々な情報が発信されています。新サービスの発表、事例紹介だけでなく、ポイントを分かりやすく説明した資料、網羅的で重厚な資料、Google の謎テクノロジーについての紹介など、役立つ情報が豊富！ ただ、情報量がとてつもなく多いので、分野ごと、項目ごとに整頓して、後で目当ての記事をすぐ見つけられるようにしたいと思い、この記事を書きました。 今年は Google Cloud Platform 10 周年と節目の年。改めて記事を掘り起こしてみると、新たな発見があるかも知れません。 また、時代ごとの変遷を感じ取れる資料として、記事後半にはサービスが公開された時期を年表にしたもの、Google が公開している論文リンク集も付録として作成しました。 各分野の記事 サービス全体を俯瞰する記事 Google Clou
GCPにおける踏み台サーバの構築メモ - 本日も乙
GCPでNATインスタンスを構築する で書いたように、外部ネットワークへの通信をNATインスタンス経由にする場合、GCEインスタンスにグローバルIPアドレスは付与できないため、踏み台サーバ経由でログインすることになります。 blog.jicoman.info 本記事は踏み台サーバの構築メモと踏み台サーバ経由でGCEインスタンスにログインする方法を紹介します。 踏み台サーバの要件 Firewallルールの作成 サーバ作成 タグ付け 設定 SSHポート番号変更 踏み台サーバへのログイン Linux / Mac: Windows: 踏み台経由でLinuxサーバにログインする場合 踏み台経由でWindowsサーバにログオンする場合 Linux / Mac Windows 最後に 踏み台サーバの要件 オフィスからのみログインさせる(IPアドレス制限する) デフォルトのポート番号(22)から変更する。
Google App Engine/Python で無料でAIサービスをホストする - Qiita
前書き 今更GAE/pかよ！ って感じですが、これがやっぱり良くできてるのですよ。 自分用に作ったAI論文検索ツールをGoogle App Engine/pythonでウェブサービス用にしてみたら結構さくっと動いてしまったので、またやる時のためにメモ書きとして残しておきます。 TL DR; Facebook fasttext を使ったディープラーニング論文の検索／クラスタリングツールをwebサービスにする手順。使ったものは fasttext, scikit-klearn, GAE/p, jinja2です。無料でまずはパパッと公開しようぜ！ ＞＞ サービスサイトはこちら。コードはgithubに。 AI系論文のサイトがとても使いにくいポンコツ ってこと、ありますよね。CVPR2018という画像処理のトップ学会があります。ディープラーニングブームを盛り上げて来た学会で、東京では毎年論文読み会が開
【AWSしかやったことない人向け】AWSとGCPのネットワークの違いを理解してみよう - まーぽんって誰がつけたの？
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Run: コンテナを秒単位で本番環境にデプロイ | Google Cloud
GCPで行動ログ基盤 を開発している話
hawksnowlog: GCE の無料枠 f1-micro インスタンス作成メモ