Google Cloud Next 2019 in SF が 4 月 9 - 11 日で開催されました。その中での BigQuery 関連の発表をまとめました。 BigQuery だけでも盛り沢山ですね。 BigQueryBigQuery では複数の関数が追加されたほか、 Partition の新しい型のサポート、定額プランがより使いやすくなるなどの発表がありました。BigQuery Storage API は BigQuery に格納されたデータのバルクでの取り出しが高速になり、projection などにも対応しています。Dataflow や Hadoop/Spark のマネージドサービスである Dataproc などでもより高速に BigQuery のデータが処理できるようになりました。これにより、 BigQuery は単なるデータウェアハウスとしてだけではなく、 BigQuery
つい先日（2017年3月9日頃）Google Cloud Platform の常時無料枠が拡大され、トライアル期間が終了しても Google Compute Engine（仮想サーバー） の f1-micro インスタンスが、USリージョンに限り月1台無料で使えるようになりました。Google Cloud Platform をこれから試そうと思っている人にも、すでに使っている人にも嬉しい仕組みですね。 そこで今回は、はじめて Google Cloud Platform を使う方向けに、Google Cloud Platform の利用登録から Compute Engine で作成したサーバーにログインするところまでの手順をまとめてみました。 Compute Engine の常時無料枠拡大された Google Compute Engine の常時無料枠は、以下の通りです。（2017年6月24
「Google Compute Engine Autoscaler」が正式版に。1000ノードへのスケールが5分以下で実現する高速なオートスケーラー
「Google Compute Engine Autoscaler」が正式版に。1000ノードへのスケールが5分以下で実現する高速なオートスケーラー Googleは、Google Compute Engineで負荷に応じてインスタンス数を増減させるオートスケーラ―「Google Compute Engine Autoscaler」を正式版として公開したと発表しました。 Autoscalerは、2014年11月に発表された機能。これまでベータ版として提供されていました。 最大の特徴は、すでにGoogleのサービスで使われて実績のあるオートスケーラーと同じものをユーザーが利用できるという点で、高いスケーラビリティを備え、ずか数分で千インスタンスを起動するといった、迅速な伸長、縮退が特長。
Twelve-factor app development on Google Cloud | Cloud Architecture Center
Accelerate your digital transformation Whether your business is early in its journey or well on its way to digital transformation, Google Cloud can help solve your toughest challenges.
Azure、AWS を使って不幸になっている方々は今すぐ GCP を使うと幸せになれる - クラウドは GCP 一択 - 強まっていこう
シリアルコンソール接続が無いクラウドなんてゴミだと思っています。どうも皆さん、元気ですか、僕です。 AWS、Azure で何かしらトラブルが起こると完全に詰むんですよね、コンソール接続が無いばかりに。 起動に失敗したら、もうサポートセンター行きですもの。AWS、Azure どちらとは言いませんが、サポートと何時間もやり取りした結果、イメージをコピーして、VM を作り直してくれ、なんてこと言われるんですよ。 ゴミみたいに呪われた、どう頭をこじらせたらこんなもの作れるんだ？と開発者の脳みその出来を疑う人類史上最低の Shell、Power Shellを叩きまくることになるんですよ。あ、どっちかバレた。 GCP にはコンソール接続があります。iptables で変な設定を入れて SSH が切断されたとしても、どうにでもなります。 昔はさくらインターネッツにもコンソール接続がなくて「再起動してくだ
こんにちは。データ分析担当エンジニアの島田（@smdmts）です。 今回は弊社の事業である「DELISH KITCHEN」で行われている分析基盤について紹介したいと思います。 分析基盤が目指す方向性 みなさんは「信頼できるの単一の情報源（Single source of truth(SSOT))」という言葉をご存じでしょうか？「信頼できる単一の情報源」とはアプリで発生したデータを一元管理することで、迅速にデータ分析を可能として意思決定に活かすための条件を指します。 弊社では「信頼できる単一の情報源」を前提として、エンジニア以外の職責でも意思決定の材料となるデータを自由に参照できるよう、以下の方針を満たす分析基盤の構築を目指すこととしました。 職責を問わず可視化されたデータを意思決定の材料とできること全てデータを結合可能で様々な軸から洞察可能であること非エンジニアでもSQLを発行して分析出来
Google Cloud Platformの利用者やデベロッパーのコミュニティ「GCPUG」（Google Cloud Platform User Groupの略、読みは“ジーシーパグ”）の活動が始まり、1月14日に第一回のユーザー会が六本木ヒルズのGoogleオフィスで開催されました。 写真左はコアメンバーの1人であるトップゲートの加藤昌樹氏。右はGoogle Developer Advocate, Cloud Platformの佐藤一憲氏 Google Cloud Platformには、IaaS型クラウドサービスの「Google Compute Engine」、PaaS型クラウドサービスの「Google App Engine」、大規模なデータ分析が行えるBigQuery、データベースサービスのGoogle Cloud SQL、コンテナサービスのGoogle Container Engi
武闘派CIOが見どころをチェック 情シスのみんな、「Google Cloud Next '18」に行く準備はできてるかー！
武闘派CIOが見どころをチェック 情シスのみんな、「Google Cloud Next '18」に行く準備はできてるかー！：武闘派CIO友岡賢二のサムライ日記（1/2 ページ） 2018年7月24日から26日までサンフランシスコで開催されたGoogle Cloud Next '18。今回のイベントには、情報システム部門が注目すべきソリューションが幾つも登場しています。見どころを武闘派CIOが解説！ 2018年7月24～26日にサンフランシスコで開催されたGoogle Cloud Next '18に参加しました。 このイベントは、G SuiteやGCP（Google Cloud Platform）といったエンタープライズ系ITサービスを中心に、Googleの最新のテクノロジーやユーザー事例を紹介するもので、東京でも9月19日、20日に開催されます。 既にさまざまなメディアがイベントの様子や新
GCP Shared VPCを利用した全社共通ネットワークの運用におけるDedicated Interconnect利用設定の最適化手法 - ZOZO TECH BLOG
はじめに こんにちは。気がつけば4月でZOZOTOWNに関わって9年目を迎えるSRE部の横田です。普段はSREとしてZOZOTOWNのリプレイスや運用に携わっています。 本記事ではGoogle Cloud PlatformでShared VPCを採用し全社共通ネットワークを構築した背景とその運用方法について説明します。 ZOZOTOWNとパブリッククラウド専用線 まずはZOZOTOWNとパブリッククラウドを接続する専用線について説明します。 数年前まではZOZOTOWNを支える基盤は、ほぼ全てがオンプレミス環境で稼働しており、以下の課題がありました。 システムが密結合であること アジリティの低さ これらを解決するためにパブリッククラウドを活用したマイクロサービス化が日々進んでいます。 現在パブリッククラウドはAmazon Web Services（以下、AWS）とGoogle Cloud
Evernoteが、これまで自社の仮想サーバに保存していたユーザーデータを、Googleのクラウドサービス「Google Cloud Platform」に移行すると発表した。10月に作業を開始し、年内に完了する見込み。 米Evernoteは9月13日（現地時間）、これまで自社サーバに保管してきたユーザーデータを、米Googleのクラウドサービス「Google Cloud Platform」の仮想サーバに移行する計画を発表した。 10月10日から作業を開始し、2016年の年末までに完了する見込み。移行作業中にユーザーに影響が出ることはほとんどないが、30分以内のサービス一時停止を2回行うとしている。 Evernoteはこれまで、自社サーバおよびネットワークですべての設定と保守を行うことで思い通りのサービス構築が可能だったが、その半面、維持費が割高で、アップグレードに時間がかかり、拡張性も低か
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
｜DMM inside
今回は以下の本の紹介をいたします。 加嵜 長門 田宮 直人 丸山 弘詩 マイナビ出版 2017-03-27 「ビッグデータ分析・活用のための」と描かれている通り、文中は大規模データを想定したSQL文が並びます。このビッグデータな時代、色んなSQL本が出版されていますが、ここまで実用的で、かつサンプル例が揃った本に初めて出会いました。 著者はDMM.comラボに勤められているエンジニアの方だそうですが、この書籍の元ネタは現場で実際に使っているSQL文か著者の個人的なメモなのではないでしょうか。それくらい「痒い所に手が届く」「困った時に知っておきたい」サンプル例ばかりです。 今回は、この本で着目すべき3つの注目点を簡単に纏めてみました。 その1：非エンジニア向けの易しい解説書スタンス そもそもビッグデータと一口に申しても、データを管理しているエンジニア、データを分析するデータサイエンティスト、
エムスリーに入社しました｜yukinagae
本日7月1日にエムスリーにデータエンジニアとして入社しました。「入社っぽいモチーフと言えば桜だな」と思ったので、季節外れですがアイキャッチ画像に使いました。 なぜ入社（転職）ブログを書くのか？なぜこのような文章を書くかというと、自分が入社する時に考えていたことを記録して、言語化しておきたいからです。 今回この記事を書く個人的な目的をまとめると、以下のとおりです。 ・言語化しておくことで自分の考えを客観的に見ることができる ・言語化しておかないと当初やりたかったことや初心を忘れてしまう ・読んだ人が一人でも参考にしてくれたり、「いいね」してくれると嬉しい入社・転職など人生の中でも大きな決断だと思います。しかし、入社してから仕事を一生懸命やればやるほど、数ヶ月・数年後に「なんでこの会社に入ったんだっけ？」とか「どういう仕事をやりたかったんだろう？」というように当初考えてたこと・やりたかったこと
Google Cloud Platform Qualif ication Training and Exams
「Google Cloud Platform 認定トレーニング＆認定試験」は、 Googleが開発者向けに提供しているGoogle Cloud Platform のトレーニング制度と資格試験です。 国内では、株式会社トップゲートが初の提供企業となります。 高いスケーラビリティと信頼性を誇るGoogleのコンピューティング、ストレージ、アプリケーションなどのインフラを利用できるPaaSおよびIaaS形式のサービスです。 また、Google App Engineでホストされているアプリケーションは、トラフィックに合わせて自動的にスケールアップ＆スケールダウンされるので、サービスのスタートアップ時などトラフィックが集中する時期、または、ある程度アクセスが落ち着く時期など、そのサービスのステージに合わせた運用が可能です。 さらに、世界中のユーザーに迅速なレスポンスを提供しているGoogleのネ
こんにちは、みかみです。 やりたいこと BigQuery では他のデータベースサービスと同等の SQL 構文がサポートされているのか確認したい BigQuery でサポートされていない SQL と同等の処理を行うにはどうすればよいか知りたい 前提 BigQuery の標準 SQL を対象とします。 標準 SQL への移行 ｜ BigQuery ドキュメント BigQueryにおける「標準SQL」と「レガシーSQL」の立ち位置について把握する ｜ Developers.IO また、SQL の検証には GCP 管理コンソール、bq コマンドまたは Python クライアントライブラリを使用しています。 bq コマンド、Python クライアントライブラリは、CLOUD SHELL から実行しました。 コマンドライン ツール リファレンス ｜ BigQuery ドキュメント Python Cli
Google Cloud の無料プログラム
フィードバックを送信 Google Cloud の無料プログラム コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google Cloud のご利用が初めてで基礎を学ぶ必要がある方も、すでにご利用中で新しいプロダクトのイノベーションを試したい方も、Google Cloud の無料プログラムをお役立ていただけます。 Google Cloud の無料プログラムは、以下で構成されます。 90 日間 $300 相当の無料トライアル: Google Cloud と Google Maps Platform の新規ユーザーは、$300 相当の無料の Cloud Billing のクレジットを含む 90 日間の無料トライアルをご利用いただき、Google Cloud と Google Maps Platform のプロダクトとサービスを検討、評価できます。クレジットは、
Googleが「大阪GCPリージョン」開設を発表、2019年から。東京GCPリージョンに次いで国内2カ所目 Google Cloud Platformは、2019年に「大阪GCPリージョン」を開設すると発表しました。すでに稼働している東京GCPリージョンに次いで国内でカ所目のGCPリージョンです。 日本で 2 か所目となる 大阪 GCP リージョンを 2019 年に開設！ 低レイテンシ、高可用性の環境で迅速にクラウドベースの作業が行えるようになります。 新規リージョンへの早期アクセスの申込フォームもご用意しています。https://t.co/5o1iwaTHjq #GoogleCloud #gcpja — Google Cloud JP (@googlecloud_jp) 2018年2月8日 Google Cloud Platformの「クラウドのロケーション」ページでは、すでに開設予定の
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行 Googleは、Google Kubernetes Engineの新機能として、Kubernetesの運用を自動化する「Google Kubernetes Engine Autopilot」（GKE Autopilot）の正式リリースを発表しました。 #Kubernetes の革新的な運用モードである GKE Autopilot をリリース。GKE ユーザーは 2 つの異なる運用モードを選択できるようになりました。Autopilot は GKE の幅広い既存機能だけでなく、パートナーのソリューションとも互換性が維持されるよう設計されています。https://t.co/Dyhj0V4lU7 #gcpja pic.twi
GitHub - google/go-cloud: The Go Cloud Development Kit (Go CDK): A library and tools for open cloud development in Go.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
トップ ニュース 注目・速報 新着一覧 相場分析 プレスリリース 銘柄情報 BTC ETH SOL BNB ASTR OAS PLT BNB DOT ADA AVAX APT SUI XYM NEAR HBAR MATIC OP ARB AXS GMT SAND MANA ENJ GALA MONA DOGE SHIB BONK WIF RNDR LINK WLD TON JUP 学習 ビットコインの買い方 NFTとは 取引所診断 取引所おすすめランキング 仮想通貨IEO投資の稼ぎ方 注目プロジェクト 移動平均線とは MACDでトレンドを読む トレンド転換点の見極め方 抑えておきたいチャートパターン 分散投資のすすめ 税理士が解説する、仮想通貨の税金 お得情報 ビットコインを無料で入手する方法5選 ふるさと納税でビットコインを得る 楽天ポイントで始める仮想通貨 ステーキングで仮想通貨を増や
iret.media | クラウドを使って、もっと世界を楽しくしたい。クラウドの活用方法から新サービスの裏側、さらには新しい働き方のご提案まで。
データ×テクノロジーの力で、オフィス構築を進化させる。イトーキ、Google Cloud、アイレットで開発に挑む革新的なデータ分析サービスとは？
ProductGitHub Packages Container registry is generally availableThroughout the beta, we added features to improve the experience of using the Container registry. Today, we’re excited to announce that the Container registry is generally available as part of GitHub Packages! Last year, we introduced the Container registry to GitHub Packages and saw developers utilize it as a way to publish, manage,
gcp ja night #28 に参加してきたので、色々まとめるよー。スライド資料を見ればわかるようなことは書かない方向で。 懇親会の場で、Googler の佐藤さんに、前から気になってたことをいくつか質問できたので、その内容もこのエントリの最後にメモっとく。 イベントページ gcp ja night #28 - connpass 各種まとめ 2014.09.16 gcp ja night #28 #gcpja - Togetter gcp ja night #28 - 資料一覧 - connpass Managed VMのDocker対応とKubernetes最新動向 @briandorsey by Brian Dorsey, Developer Advocate, Google Inc. 僕の観測範囲では、スライド資料の公開はなし GAE などのような PaaS を使いつつ、IaaS
Databricks ＋ BigQueryでSSOTを実現しようとしている話 - バイセル Tech Blog
テクノロジー戦略本部データサイエンス部の近藤です。 バイセルはリユース事業を営む会社で急激な成長を遂げていますが、どちらかというと今まではテクノロジーにあまり頼ることなく成長してきました。 そんな中、テクノロジーをちゃんと導入していけばどこまで成長するのか試してみたく、2022年7月にバイセルに入社しました。 バイセルではSSOTの実現のために、RDBのデータをBigQueryにニアリアルタイムで同期する実装を進めていますが、 新たにDatabricksの導入を決めました。 バイセルにどういう課題があり、なぜDatabricksを導入するのかをお話しします。 SSOTとは バイセルの今の課題と未来 どうやって課題を解決するのか なぜApache Sparkなのか Databricksの利点 Databricks導入後の世界 データサイエンス部の野望 SSOTとは データマネジメントでは「S
さくらのクラウド + Kubernetesでマネージドなロードバランサを使う - febc技術メモ
さくらのクラウドのマネージドなL4ロードバランサーをKubernetesから使えるようにCloud Controller Managerを実装してみました。 Kubernetesでserviceを作成する際にtype: LoadBalancerと指定することで動的にマネージドロードバランサーを作成してくれます。 GitHub: sacloud/sakura-cloud-controller-manager 今回はこの仕組みをどう実現しているか/どう使うのかについてご紹介します。 3/30 追記: コメントで「ループバックへのVIP設定は不要」とのご指摘をいただきました。 改めて0からクラスタを再構築して試したところ上手くいきましたのでVIP関連の記述を修正しました。 id:masaya_aoyama さんご指摘ありがとうございました！ Kubernetesでtype: LoadBalanc
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
NTT ドコモ「AIタクシー」を支える TensorFlow と需要予測モデル | Google Cloud 公式ブログ
Google Cloud デベロッパーアドボケイト 佐藤一憲 Google Cloud マシンラーニング スペシャリスト 大薮勇輝 NTT ドコモ（以下、ドコモ）は今年 2 月、タクシー需要予測サービス 「AIタクシー」の運用を開始しました。このサービスでは携帯電話ネットワークから得られるリアルタイムの人口統計情報を利用し、TensorFlow で構築したディープラーニング モデルとの組み合わせにより、500 m 四方のエリアごとの 30 分後までの乗車数を 93〜95% の精度で予測します。 このサービスは現在、東京と名古屋で徐々にサービスを拡大し、2,500 台のタクシーに順次導入を進めています。その結果、1) 乗客の待ち時間の短縮、2) 急な需要変化へのすばやい対応、そして 3) ベテランドライバーと新人ドライバーの経験差の緩和が実現。タクシー事業者の売り上げの顕著な向上として、その
AWSとGCPのVPN接続を複数パターン試してみる（高可用性（HA）VPN編） | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 AWSとGCPをセキュアな環境で接続してそれぞれのサービスを相互に利用できないか検証するためそれぞれのVPC間をVPNで接続してみました。 前回はGCPのVPNオプションにはClassic VPNでの接続方法をまとめましたので、今回は高可用性（HA）VPN接続の方法をまとめます。 Cloud VPN の概要 | Google Cloud 前回の記事 接続パターン Classic VPN接続 AWSでAWS VPN connectionを作成すると2つのIPSec tunnelが利用できます。 上のパターン（以降パターン1）ではそのうちの1本を利用するパターン、下のパターン（以降パターン2）は2本とも利用してフェイルオーバーに対応するパターンになります。 前回のエントリーではこのパターン1、パターン2の接続方法をまとめまし
FAANSにおけるCloud RunからGKE Autopilotへのリプレイス事例 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの笹沢（@sasamuku）です。 FAANSはショップスタッフの効率的な販売をサポートするスタッフ専用ツールです。FAANSの一部機能は既にリリースされており全国の店舗で利用いただいております。正式リリースに向け、WEARと連携したコーディネート投稿機能やその成果をチェックできる機能などを開発中です。 FAANSのコンテナ基盤にはCloud Runを採用しており、昨年にSREとしての取り組みをテックブログでご紹介しました。しかし、運用していく中で機能需要や技術戦略の変遷があり、Cloud RunからGKE Autopilotへリプレイスすることを決めました。本記事ではリプレイスの背景と、複数サービスが稼働している状況下でのリプレイス方法についてご紹介します。 目次 はじめに 目次 リプレイスの背景 なぜCloud R
プレイドのCTOが登壇しました！ 〜Google Cloud Next '19 in SFレポート〜 | PLAID engineer blog
今回は、先週にかけて行われたGoogle Cloud Next '19に「PLAIDのメンバーがどういった動きをしたのか」を中心として、PLAIDがGoogleと深く関わりながらGoogleの技術を生かしてKARTEを実現している理由について説明していきます。
What is Micronaut? Micronaut(まいくろのーと)とは、JVMベースのフルスタックフレームワークです。 2018年5月にOSSとして公開され、先日最新バージョンの1.1がリリースされました。 Java/Groovy/Kotlinで実装することができ、テストしやすくコンテナ化も容易、 クラウドネイティブなアプリも簡単に構築できるようです。 Features of Micronaut Micronautの主な特徴について、ここで説明している内容から抜粋して紹介します。 Fast start up & low memory consumption リフレクションベースのIoCフレームワークだと、 すべてのフィールドやメソッドのリフレクションデータをロードしてキャッシュしますが、 Micronautではアプリケーションのコードベースのサイズに左右されないので、 起動が速く、
WIASのシステムの様子 こんにちは、メルペイSREチームのkekeです。新型コロナウイルスの感染拡大を懸念し、先週から株式会社メルカリ(以下、メルカリ)では原則として在宅勤務（リモートワーク）が導入されています。そのため、私も含めて多くの社員が自宅で業務を行っています。 以前、社内で使われているWi-Fi勤怠打刻サービスWIASについて紹介させていただきました。その投稿ではサーバーレスアーキテクチャの採用や保守・運用の話を中心にしました。 本記事では、今回のリモートワーク化でのWIASの活躍とこの半年間のWIASの技術的進化を取り上げたいと思います。 以前の紹介記事はこちらです。 WIASのおさらい きっと前回の投稿を読まれてない方もいらっしゃっると思うので、WIASが何なのか軽くおさらいをします。 WIASとはWi-Fiの接続情報を使って、勤怠管理システムであるKing of Time
Linux Daily Topics 2018年6月26日Kubernetesこそ未来 ―GitLab、プラットフォームをAzureからGCPへ移行 GitLabのGCPプロジェクトマネージャを務めるAndrew Newdigateは6月25日（英国時間）、同社が展開するGitリポジトリのホスティングプラットフォーム「GitLab.com」をMicrosoft AzureからGoogle Cloud Platformへと移行することを同社のブログで発表した。6月上旬に発表されたMicrosoftによるGitHub買収のニュース以来、GitHubからGitLabへと移行する開発者は急速に増えているが、今回の移行によりその数はさらに増えることになりそうだ。 We're moving from Azure to Google Cloud Platform | GitLab AzureからGC
Google Cloud のログ管理サービスである Cloud Logging は JSON で出力されたログを構造化ログとして認識します。その際に特別な JSON フィールドを使うとログに特別な属性を与える事ができます。本記事ではそれらの特別な JSON フィールドを用途ごとにまとめて紹介します。 本記事の技術的な内容はほぼすべてこのドキュメント 1 ページに書いてありますが、「実際に UI でどう表示されるのか」と「その特別な JSON フィールドにどんな価値があるのか」はドキュメントにないので参考にしていただけると思います。 Cloud Logging へのログ書き込み Cloud Logging へログを書き込むには大きく 2 つの方法があります。API で LogEntry を直接書き込むか、それ以外かです。 API で直接書き込む方法の場合、メジャーな言語であれば各言語のライブ
IoT はデバイスからデータを取る存在から、様々な解析をしたりエッジ側でよりインテリジェントな処理が求められる存在へと変化してきています。この記事では、 Edge TPU で複雑でインテリジェントな処理をエッジ側で実行し、GCP でその結果をリアルタイムに可視化、解析する方法を紹介します。 TL;DR — 以下のリポジトリの手順に従うと、Edge TPU と GCP上の IoT データ分析基盤を構築できます。 https://github.com/google-coral/project-cloud-monitor Edge TPU とはEdge TPU は、Google が開発した TensorFlow Lite 形式の機械学習モデルを高速に演算（推論）するための ASIC のことです。2018年に発表されるまで、 TPU (Tensor Processing Unit) というとクラウ
複数の AWS アカウントの AWS Security Hub 検出結果を Google BigQuery と Google DataPortal(DataStudio) により可視化した話 - Adwaysエンジニアブログ
こんにちは、インフラの天津です。今日は 複数アカウントの AWS Security Hub 検出結果の可視化についてお話したいと思います。 前提 モチベーション AWS Security Hub とは 構想 ツール・サービスの選定 検出結果データのエクスポートについて 可視化用データベース（またはクエリサービス）と可視化ツールについて 構築 全体像 検出結果データエクスポート 検出結果データの S3 -> GCS への転送と BigQuery へのインポート Security Hub からエクスポートしたデータには BigQuery のカラム名に使用できない文字(以下禁則文字)が使用されている件 自動判別で生成されたスキーマでインポートした際に INTEGER 型のカラムに STRING 型のデータが入ってくることがありインポートエラーが発生する件 AWS アカウントデータの S3 ->
こんにちは、10月後半の2週間、エムスリーのAI・機械学習チームでインターンをしていた後藤です。 今回は私の行ったタスクと、インターン生からみてエムスリーはどのような会社なのかについて書いていこうと思います。 他の学生の方々のインターン選びやBigQueryのテスト手法に悩んでいるエンジニアの方々の参考になれば幸いです。 BigQueryのローカルテスト基盤を作った話 背景 BigQuery Emulatorの登場 bqemulatormanagerの作成 スキーマの自動取得 並列処理への対応 テストコードの導入 BigQuery Emulatorを使用する際に気をつけるべきポイント インターンの話 進め方について AI・機械学習チームについて 終わりに BigQueryのローカルテスト基盤を作った話 背景 AI・機械学習チームでは、BigQueryに日々蓄積されている大規模データから所望
Google Cloud、エンタープライズ向け高性能DB「AlloyDB for PostgreSQL」正式サービスとして提供開始、Amazon Aurora対抗の位置づけ
Google Cloud、エンタープライズ向け高性能DB「AlloyDB for PostgreSQL」正式サービスとして提供開始、Amazon Aurora対抗の位置づけ Google Cloudは、エンタープライズ向けの高性能データベースサービス「AlloyDB for PostgreSQL」を正式サービスとして提供開始しました。 AlloyDB for PostgreSQL is generally available Modernize your enterprise database workloads and build new, scalable applications. AlloyDB combines full PostgreSQL compatibility with the best of Google. Read more https://t.co/NFFBSMz
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Next 2019 in SF , BigQuery 関連発表まとめ
いつでも無料！Google Compute Engine 常時無料枠の使い方
ファミリーマート、機械学習でおむすびの発注を改善、「Google Cloud」で企業改革【Google Cloud Next ’17 in Tokyo】
DELISH KITCHENの分析基盤について | エンジニアブログ
Google Cloud Platformのユーザー会「GCPUG」が始動
Evernote、ユーザーデータを「Google Cloud Platform」に移行へ
TechCrunch | Startup and Technology News
構造化されたデータをGCPでMachine Learning - DMM inside
マーケターもクエリ言語をやりましょう！2017初夏 「ビッグデータ分析・活用のためのSQLレシピ」 - マーケティングメトリックス研究所/MARKETING METRICS Lab. – コミュニケーションの最適化を考える。マーケティングメトリックス研究所
BigQuery で実行できる SQL と実行できない SQL | DevelopersIO
Googleが「大阪GCPリージョン」開設を発表、2019年から。東京GCPリージョンに次いで国内2カ所目
グーグルクラウドへのサイバー攻撃、「クリプトジャッキング」が大半
GitHub Packages Container registry is generally available
gcp ja night #28 に参加してきたので色々まとめるよ #gcpja - えいのうにっき
Cloud Firestore のご紹介: アプリ用の新しいドキュメント データベース
Micronautフレームワークを使ってみよう | DevelopersIO
リモートワークも支えるWIASの半年間の技術的進化 | メルカリエンジニアリング
2018年6月26日 Kubernetesこそ未来 ―GitLab、プラットフォームをAzureからGCPへ移行 | gihyo.jp
Cloud Logging 構造化ログの特別な JSON フィールドまとめ
GCP と Edge TPU でつくるインテリジェント IoT 基盤
AI・機械学習チームでのインターンでBigQueryのローカルテスト基盤を作った話 - エムスリーテックブログ