GCPのバッチ処理サービス「Batch」を試してみる
それぞれ微妙にできることや制限に違いがあり、ここを捉えた上で選択する必要があります。 Batchの強みはおそらくタイムアウトがないことによって長時間実行ができ、かつシンプルに実装できることだと思います。 （タイムアウト最大値に関して、Batchにおいては存在しないと公式動画の方で説明していますが、Cloud Composerについては不明でした。） Batch単体でもジョブ定義ファイル内で各タスクの依存関係（順次実行、並列実行）はできますが、Cloud ComposerやWorkflowsのように複雑なジョブネットを書くことは難しそうです。 ジョブネットのように動かしたい場合には公式ドキュメントにもあるようにWorkflowsなどからBatchジョブを実行するのが良さそうです。 動かしてみよう 実際にジョブを作って動かすまで試してみたいと思います。 GCP公式がBatchのサンプルコードを
VSCodeでプロジェクトを開くとき、ついでにいろいろやる方法
この記事は GMOアドマーケティング Advent Calendar 2023 16日目の記事です。 こんにちは。GMOアドマーケティングのK.Mです。 VSCodeでプロジェクト（ワークスペース）を開くとき、その開発をするために必要となるいろんなこと（サーバー起動やらログtailやらブランチ整備やら…）をついでに自動でやれたら良いなと思います。 そんなときは tasks.json です！ というわけで今回は tasks.json を試してみます。プロジェクトを開くだけで周辺のいろんな準備もまとめてやってしまえるよう効率化したいと思います。 let’s try! VSCodeを開いてメニューの ターミナル > タスクの構成 から適切なものを選んで進みます。シンプルなテンプレートが得られるので、必要に応じてカスタマイズしていきます。 例として開発用サーバーを起動するようにしてみます。 { "
GMO SSPのCloud(Google Cloud Platform)移行の失敗と成功のまとめ
この記事はGMOアドマーケティング Advent Calendar 202219日目の記事です。 こんにちはGMOアドマーケティングのy.yです。 今回は2022/12/06, 07に開催されたGMO Developers Dayで発表をした 『「GMO SSP」のクラウド移行(GCP)、失敗と成功をまとめてみた！』の内容になります。 時間の関係上で発表できなかった内容も少しだけ追加しています。 SSPというのは広告をリアルタイムにWebコンテンツに配信するシステムです。 接続しているDSPやアドネットワークの広告の中で、一番単価が高く ユーザーにマッチした広告をリアルタイムに配信します。 GMOSSPというのはGMOアドマーケティングにて提供している インターネット広告を配信するSSPプロダクトです。 GMOSSPは自社運営にてコンテンツ集客に特化した 広告配信DSPの「ReeMo」と国
GCPサービスで構築したインフラをAWSと比較してみる
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアから見たGCPサービス(コンピューティング編)」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... 今回は「GCPサービスで構築された
golang gopkg.inからpackageがinstallできなくなって個人の開発環境へdeployできなくて困ったけど解決した話
# go run app.go go: finding github.com/census-instrumentation/opencensus-proto v0.2.1 go: finding github.com/prometheus/client_model v0.0.0-20190812154241-14fe0d1b01d4 go: finding golang.org/x/sys v0.0.0-20190624142023-c5567b49c5d0 go: finding golang.org/x/tools v0.0.0-20191119224855-298f0cb1881e go: finding golang.org/x/tools v0.0.0-20191216173652-a0e659d51361 go: finding google.golang.org/api v0
MySQLのテーブル定義変更の並列性
GMOアドマーケティングのT.Kです。 ALTER TABLE 実行時に排他的ロックが発生する事を見落とし、パーティション削除を実行したら、Waiting for table metadata lockを大量発生させてしまいました。 対象テーブルが別セッションで参照されていない時なら、きわめて短時間で終わる処理でしたが、重いクエリの実行中だったのでロック取得待ちになりました。 その間の新しい参照はWaiting for table metadata lockでブロックされました。 忘れないために、ここに再現手順を残します。 前に触れた例外とは、ALTER TABLE が、テーブルの .frm ファイルの新しいバージョンをインストールし、古いファイルを破棄して、テーブルおよびテーブル定義キャッシュから古くなったテーブル構造をクリアする準備ができた時点で (書き込みだけでなく) 読み取りをブロ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
