GCP | Terraform | HashiCorp DeveloperGet Started - Google CloudBuild, change, and destroy Google Cloud Platform (GCP) infrastructure using Terraform. Step-by-step, command-line tutorials will walk you through the Terraform basics for the first time.
Google Cloud Fundamentals: Core Infrastructure 日本語版
This course is part of multiple programs. Learn more
What makes TPUs fine-tuned for deep learning? | Google Cloud Blog
The Tensor Processing Unit (TPU) is a custom ASIC chip—designed from the ground up by Google for machine learning workloads—that powers several of Google's major products including Translate, Photos, Search Assistant and Gmail. Cloud TPU provides the benefit of the TPU as a scalable and easy-to-use cloud computing resource to all developers and data scientists running cutting-edge ML models on Goo
How to test Google Cloud services locally in Docker
The “gcloud” command-line tool is amazing, it is super simple and works without problems and you authenticate with that it opens a browser window that then sets the correct values, something that is much easier than generating access and secret token that you have to manually set in your bash config. However with that comes the question, how do you get that auth inside a docker container running l
BigQuery and Dataproc shine in independent big data platform comparison | Google Cloud Blog
I'm a big fan of Mark Litwintschik's latest series of blog posts. He's been measuring every big data platform he can find using the billion taxi trips made available as open data by the NYC TLC. Spoiler alert: I love the stellar results for Google BigQuery and Google Cloud Dataproc — but before we get there, here’s my visualization of Mark’s findings in a nutshell: ">I'm a big fa
Spark を使うにあたり Google Cloud Dataproc を利用する５つのメリットと注意点 - Qiita
はじめに iQONでは、アイテムのレコメンドといった大規模データの計算が必要な際には、Spark の MLlib という機械学習のライブラリを使っていますが、その際に Google Cloud Platform (GCP) のマネージド Hadoop & Spark サービスである Dataproc で計算を行っています。 本記事では、実際に業務で使ってみた上で、Dataproc にどのような特徴があり、他の類似サービスと比べてどのようなメリットがあるか、また利用する際にどのような点に気をつけるべきか、といった点について説明したいと思います。 Dataproc とは？ Dataprocは、Hadoop & Saprk のマネージド サービスです。類似サービスとしては、AWS の Elastic MapReduce (EMR) や Azure の HD Insight がありますが、それらの
Google Cloud Next'17 で GCP の中の人達と話してきた | BLOG - DeNA Engineering
こんにちは。村田 (yuichi1004) です。スマホアプリが PC でプレイできるプラットフォーム AndApp の開発に携わっています。App Engine + Go が好きです。 この度、3/8-10 にサンフランシスコで行われた Google Cloud Next'17 (Next) に参加してきました。その中で、『Next は GCP の中の人と話をする絶好の機会である』ことが分かったので、その話をしようと思います。 Nextとは 各地で開催される Google Cloud Platform (GCP) の技術発表会です。昨年までは GCP 中心のイベントでしたが、今年からは GSuite を中心としてエンタープライズ系の技術発表も兼ねたイベントとなりました。その関係もあってか、昨年の 2,000 人を大きく上回る 10,000 人規模で開催されました。 我々 DeNA は、積
SRE の教訓 : Google におけるインシデント管理とは | Google Cloud 公式ブログ
Google で何かおかしなことが起こったらどうなるか、考えたことはありますか？ この業界は面白い比喩を使うのが好きで、何か起こった際に対処することを「火消し」と呼んだりします。 上の写真に写っている実際の消防士の場合とは異なり、Google で起こった事故で生命の危険にさらされることは通常はありません。つまり完璧な比喩にはなっていないのですが、Google の Site Reliability Engineer（SRE : サイト信頼性エンジニア）の 1 次対応は、他の分野での 1 次対応と共通点が多いのです。 他分野での 1 次対応と同様、Google の SRE は定期的に緊急時対応の訓練を行い、迅速かつ効率的に目の前の問題が解決できるよう、スキルやツール、テクニック、態度に磨きをかけます。 緊急時のサービス対応チームおよび Google では、何かが起こったときのことを「インシデン
Cloud Functionsの紹介
Takuya UedaSouzoh, Inc. (affiliated by Mercari, Inc.) - Go Engineer
MAGELLAN - モバイルアプリケーションを生み出すクラウドプラットフォーム
事業運営に立ちはだかる 最大の難問を 解決するために 事業変革と働き方改革の両立、限られた資源と急激な需要変化への対応など、 企業は今、相反する難題に直面しています。 さまざまな問題に折り合いをつけながら、これまでの限界を突破して、最善の解を導き出していく。 持続的な企業の成長と価値向上を図るため、 一層に複雑化した課題を解決する次なる一手が求められています。
謎の新RDB「Google Cloud Spanner」について聞いてきた - 451 Unavailable For Legal Reasons
Google Cloud Spannerの情報目当てで下記のイベントに言ってきたのでメモ。 イベントページ connpass.com ついに出た！Google虎の子のNewSQL RDB「Spanner」 by Google Spannerに関する技術メモ from Etsuji Nakai ACID特性 信頼性のあるトランザクションシステムの持つべき性質にACID特性があります。 ACID (コンピュータ科学) - Wikipedia スライド5ページ目でVertical Consistencyと書かれているのは同一Zone内でのACID特性。Horizontal Consistencyと書かれているのはZoneをまたぐACID特性の事のようです。 ACID特性のうち独立性（isolation）には、その独立性のレベル応じて「トランザクション分離レベル」というものがあります。 gyouz
Google Spanner のアーキテクチャを知る - Yuichi Murata's Engineering Blog
最近 Cloud Spanner のベータ公開によって話題の Spanner。 気になっていたので論文を読んだり勉強会などで情報収集していました。日本語のリソースもそこまで多くないので、調べてわかったことを纏めておきます。 簡単にまとめると特徴は以下のとおりです。 Bigtable / Datastore と類似したアーキテクチャをとっており Tablet 群にデータを分散保存している ↑の仕組みであるの上に Lock Table を実装して同期処理のためのロックを処理している さらに↑の仕組みの上に分散トランザクションマネジャーを実装し、グループ横断のトランザクションを管理する 以下で、細かい説明を続けていきます。 Spanner の全体構成 Universe と Zone Zone と Spanserver Spanserver の構成 Spanserver と Replica Rep
Spanner - Qiita
これまで多くのトランザクションの要素技術を説明してきた。 Googleの公開している論文Spanner: Google's Globally-Distributed Database は公開当初、要求される専門技術の多さからよくわからないと言っている人が多かったが、これまでに説明した要素技術をベースにすると理解しやすい。 Spannerとは 複数のデータセンターに跨ってデータベースの内容を複製し続ける事で高い可用性を実現するという構想は数多くあった。 しかしそれらの分散データベースは実用的な速度を実現しようとすると、データモデルがただのRDBより単純化して使いにくかったりトランザクションをサポートしなかったりと、アプリケーションの一貫性を実現するのが難しい。 現にGoogleの社内でもBigtableなどを用いたアプリケーションは複数あるものの、それぞれでそのデータモデルの上で無理やりトラ
Dataflow documentation | Google Cloud
Stay organized with collections Save and categorize content based on your preferences. Dataflow is a managed service for executing a wide variety of data processing patterns. The documentation on this site shows you how to deploy your batch and streaming data processing pipelines using Dataflow, including directions for using service features. The Apache Beam SDK is an open source programming mode
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Associate Cloud Engineer Training Courses
Data Analytics | Google Cloud Blog
https://research.google.com/archive/spanner-osdi2012.pdf
GCP は新たなステージへ : エンドユーザーが 10 億人を突破し、機能やサポートは一段と拡充
Free Trial and Free Tier Services and Products