BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場
BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。 オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。 To stay compet
ブラウザで動くサービスを作るときの技術選定
はじめに 私の仕事は、新規サービスをまるっといい感じに開発するのを委託されることがほとんどです。最近はネイティブアプリを作ることよりもブラウザで動くWebサービスを開発することが多いのですが、案件の規模感や要求によって技術選定を少し変えるようにしています。「こういうときはこう」みたいに一概には言えないのですが、普段使う構成を紹介します。誰かの参考になれば幸いです。 2022/02/10 現在での内容です。 前提 開発を委託される場合の運用費をどうするの問題があります。クライアントにクレカ登録をしてもらうか、こちらで支払って毎月請求するかになります。僕は毎月やるのがめんどくさいのでできるだけ前者に倒している関係上、あまりいろいろなSaaSを組み合わせて作ることをなるべく避けています。 規模感によらず使っているもの 私の場合、以下が使えるとめちゃくちゃ効率よく開発できます。 GCP 好きだから
Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
Androidアプリのインストール数をGCPに自動収集させる - Qiita
はじめに Androidアプリのインストール数をGCPのBigQueryに自動収集するようにしました。 これまで、Androidアプリのインストール数を確認するときは、Google Play Consoleを開き、アプリを選択し、レポートをcsv形式でダウンロードし、、、といった作業が必要でそれが面倒でした。 この面倒な作業をなくすために、Google Play から取得できるアプリのインストール数をGCPのBigQueryに毎日自動転送するよう設定した流れが以下の通りです。 GCPのBigQueryにデータを格納する Google Cloud PlatformのメニューからBigQueryを開く 転送を選択して、+転送を作成ボタンを選択する ソースタイプを選ぶところがあるので、「Google Play」 を選択します。 設定画面が表示されるので、項目を埋めていく 「転送項目名」と「スケジ
ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2021年版
いくつかのクラウドサービスでは、1年程度の無料トライアルや一定額のクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスが提供されています。 こうした無料枠は試行用の環境や一時的なテスト環境などとして、期間を気にせずサービスを試すうえで非常に有効です。 もちろん、無料提供サービスは提供側の都合によってある日突然終了することもあり得ますが、いまのところ1年前の記事「ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2020年版」で紹介したサービスで終了したものはないようです。 本記事では期限の制限なくFree TierやAlways Freeとして提供されている主なサービスを、2021年版としてまとめました。 Amazon Web Services（AWS） 「AWS 無料利用枠」のWe
ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2020年版
クラウドの多くでは、1年程度の無料トライアルやクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスも提供されています。 こうした無料枠は開発環境やテスト環境としてクラウドを試すうえで非常に有効です。ここではクラウドのFree TierやAlways Freeとして提供されているおもなサービスをまとめました。 Amazon Web Services（AWS） 「AWS 無料利用枠」のWebページを開き、左側にあるフィルター条件で「無期限無料」をチェックすることで、無期限に無料で提供されるサービスの一覧を見ることができます。 おもに次のようなサービスが無期限無料で提供されています。 AWS Lambda サーバレスコンピューティングの実行環境を提供します。 1カ月あたり100万リクエスト、最大320万秒コン
ネットワーク図・システム構成図作成に使えるアイコン集 - Qiita
トポロジー図作成などに使ったりするアイコンは、結構サービス側で提供していたりする。 そう、よく目にするであろう、あのアイコンたちである。 リンクとともにまとめてみた。 Cloudサービス AWS AWSの公式アイコン集です。 2019/1/31からリリース2が公開されデザインが一新されました。PPT形式のドキュメントには、GroupsやIcons, Arrowsの使い方指南（すること、やってはいけないこと）が書かれています。このガイドにしたがって使いましょう。 また。この新しいバージョンの他に従来の旧バージョンも公開されています。 新バージョン 旧バージョン Google Cloud Platform 以前リンク切れていたのですがいつの間にか復活していました。アイコンが一新されたようです。 （ページには「図の例」があるよ、と言っているものの、2021/5/11現在まだ準備されていないようで
AWS＆Azure＆GCPの凄腕エンジニアが激論！「雲の中心で愛を叫ぶ！ クラウド横断パネルディスカッション」レポート(完全版) #devsumi | DevelopersIO
2020年02月13日(木)〜14日(金)の2日間、目黒雅叙園で開催された『Developers Summit 2020』。 通称"デブサミ"と呼ばれているこのカンファレンスイベントには、私自身2013年から参加しており(この時は一般枠として)、翌2014年からはいわゆる『プレス枠』として参加させて頂き、翔泳社様のメディアサイト『CodeZine』にレポートを寄稿させて頂いていました。(※これまでの寄稿情報については以下ページをご参照ください) そして今年2020年も、引き続きプレス枠として参加しました！ 当エントリは寄稿エントリとして聴講したものの中から、Developers.IOでも是非レポートしておきたい！というセッションについてレポートしたいと思います。同僚の濱田孝治が登壇した「雲の中心で愛を叫ぶ！ クラウド横断パネルディスカッション」です。 目次 セッション概要 セッションレポー
Google Cloud Skills Boost
Hey there! Choose your learning path, build your skills, and validate your knowledge. All in one place. Get started by selecting a learning path Learning paths are guided journeys through several learning activities that will help you gain the skills you need to help you grow your career. Click on the cards to learn more about each path.
配車アプリ「JapanTaxi」を支える分析基盤--マルチクラウドで直面したデータ連携課題
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます タクシー配車アプリを展開するJapanTaxiは、タクシー業界にデジタル技術を取り入れることで変革を起こしている。 2011年に提供を開始した「JapanTaxi」アプリは2019年8月に800万ダウンロードを超えた。タクシーの手配や予約から料金の支払いまでをアプリだけで利用できる点が特徴だ。当初は全国10都道府県からスタートし、現在は全国47都道府県を網羅。約900のタクシー会社・約7万台のタクシー車両でネットワークを形成している。 2017年には、タクシーの後部座席に設置する車載端末「JapanTaxiタブレット」の展開を始めた。タクシーの乗客への広告配信のほか、QRコード決済を可能とし、2018年からはクレジットカードや交通系IC
【ノーカット掲載】オンプレミスかクラウドか。社内を二分する論争にDeNA南場智子が出した"答え" | フルスイング by DeNA
コスト・品質ともに最高レベルを実現していた、DeNAのオンプレミス。しかし2018年6月、DeNAは全社方針としてそのオンプレミスを捨て、3年の移行期間をかけクラウドに全面移行することを決定しました。 なぜDeNAは経営の意思決定として、当初「3倍のコストになる」と言われたクラウド全面移行に踏み切ったのか？ 本記事では「クラウドシフト決定の判断」に至る経営者の思いを語った『Google Cloud Next ’19 in Tokyo』でのDeNA代表取締役会長 南場 智子（なんば ともこ）講演内容をノーカット掲載します！ 「経営の言語」と「技術の言語」両方話せる人材を信頼する 私がDeNAを立ち上げたのは、1999年。今からちょうど20年前です。もともと、経営コンサルタントをしていました。得意なのは戦略や提携。それからマーケティングや分析などですね。一緒に起業した仲間も、同じファームから連
［速報］Google、新サービス「Anthos」公開。Kubernetesをベースにオンプレミスやマルチクラウドを実現するプラットフォーム。Google Cloud Next '19
［速報］Google、新サービス「Anthos」公開。Kubernetesをベースにオンプレミスやマルチクラウドを実現するプラットフォーム。Google Cloud Next '19 Googleはサンフランシスコでイベント「Google Cloud Next '19」を開催。4月9日（日本時間4月10日未明）に行ったオープニングキーノートで、Kubernetesをベースにアプリケーションのマルチクラウド対応を実現する新サービス「Anthos」の提供開始を発表しました。 Anthosは、昨年7月のGoogle Cloud Next '18で発表された「Cloud Services Platform」の名称を変更し、正式サービスとしたもの。コンテナ化したアプリケーションをオンプレミスとクラウドのどちらでも実行可能にする、ハイブリッドクラウドおよびマルチクラウドのためのプラットフォームです。
アメブロ2019: こえのブログでのPWA | CyberAgent Developers Blog
こえのブログは「声で書くブログ、声で聴くブログ、声で観るブログ」をコンセプトに書き手、読み手双方にバージョンアップしたブログを提供するアメブロの新機能です。 投稿者は端末に向かって喋るだけで、その音声が活字化されブログとして公開できます。閲覧者は活字化された文字を通常のブログと同じように読めるほか、音声を聴きながらでもコンテンツ消費できます。 モバイル端末、テレビ端末やスマートスピーカーなどの普及により、今後ますます増えると予想される利用形態に対して、それぞれに適した形でコンテンツを提供できるように挑戦しています。 この記事では、技術的な側面を中心にこえのブログを紹介します。 こえのブログは、文字でも音声でもコンテンツ消費できるのが特徴です。読者の方へのメッセージや質問に回答など利用法は様々です。龍玄としさんやクロちゃんさんなど著名人の方の声も聴けます。 できる限りサーバーにアクセスしない
Qwiklabs
実践的なトレーニングで、クラウドのエキスパートになりましょう。 Google Cloud Platform と アマゾン ウェブ サービス への一時的な認証情報が提供されるため、実際にサービスを使いながらクラウドについて学ぶことができます。30 分間のラボから数日間にわたるコース、入門レベルから専門家レベルまで幅広い選択肢があり、クラスルーム型とセルフペース型から選択できます。機械学習、セキュリティ、インフラストラクチャ、アプリケーション開発などのトピックが用意されており、あらゆるニーズにお応えします。 BigQuery For Data Analysis Want to learn the core SQL and visualization skills of a Data Analyst? Interested on how to write queries that scale t
Connecting BigQuery and Google Sheets to help with hefty data analysis | Google Workspace Blog
Try Google Workspace at No CostGet a business email, all the storage you need, video conferencing, and more. SIGN UP Analyzing petabytes of data just got easier, with Google SheetsAnnouncing the general availability of Connected Sheets, which provides the power and scale of BigQuery in the familiar context of Sheets. By Ryan Weber • 3-minute read As enterprises amass terabytes of complex data, the
GoogleクラウドのPaaS「App Engine」を使ってオートスケールするWebサーバーをNode.jsで書いてみた
Googleが提供している「Google App Engine」は、PaaS(Platform as a Service)に分類されるクラウドサービスで、サーバーなどのインフラ設定を何もしなくてもアクセス数に応じてスケールするアプリケーションを設置できるサービスです。このGoogle App Engineの標準環境が2018年6月にNode.jsに対応したとのことで、早速Node.jsを使ってWebサーバーを設置してみました。なお、今回はmacOSを使用していますが、Windowsでも同様の手順でサーバーを設置できます。 App Engine - Build Scalable Web & Mobile Backends in Any Language | App Engine | Google Cloud https://cloud.google.com/appengine/ まず
Google Cloudの障害レポートを読んだ - jtwp470’s blog
つい最近、Google Cloudを利用しているサービスで大きな障害が発生していました。有名なサービスとしてはポケモンGoやSpotifyなどがサービス不可の状況になっていたようです。日本国内ではインシデント発生時刻が早朝のためあまり大きな障害はなかったようですが、米国時間ではちょうどお昼ごろのため大きな影響があったと推測されます。 障害と影響範囲 障害自体は2018/07/17 12:17 - 12:55 (PDT) です。日本時間だと 7/18 の早朝 5時台に障害が発生した模様です。 日本時間2018年7月18日(水) 05:04:30 致命的 [更新あり] Cloud Networking - We are investigating a problem with Google Cloud Global... https://t.co/S6Lxr1BPfI— GCP障害情報(全リー
【AWSしかやったことない人向け】AWSとGCPのネットワークの違いを理解してみよう - まーぽんって誰がつけたの？
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
diagrams/README.md at master · mingrammer/diagrams
Cloud OnBoard