プレイドのCTOが登壇しました！ 〜Google Cloud Next '19 in SFレポート〜 | PLAID engineer blog今回は、先週にかけて行われたGoogle Cloud Next '19に「PLAIDのメンバーがどういった動きをしたのか」を中心として、PLAIDがGoogleと深く関わりながらGoogleの技術を生かしてKARTEを実現している理由について説明していきます。
大規模解析サービスを支える監視サービスと監視構成のポイント
大規模解析サービスであるKARTEでは、できるだけ「データの抜けがないこと」「リアルタイムに解析を行い、それを利用したアクションが提供できること」というシビアな要件が求められます。この要件を満たし続けるためには、素早く問題に気づき対応する仕組みがとても重要になります。KARTEでは複数のサービスを組み合わせて監視の仕組みを構築しており、本稿ではその監視構成とポイントについて紹介します。 何を監視するのか？ サービスを提供する際にはSLO（Service Level Objective）を設けることが一般的です。 KARTEではサービス利用者に向けたSLO（外部SLO）の他に、よりシビアに設定した内部向けのSLO（内部SLO）も定義しており、後者の内部SLOを基準に監視を行っています。 監視は以下の情報などを利用して、さまざまな角度から行っています。 OSから見えるサーバのメトリクス CPU
GCPとAWSのマルチクラウドで構築する、大規模解析サービスのシステム全体像
大規模解析サービスの構成要素 大規模解析サービスは一般的に、以下の要素から構成されます。 ログ情報等のデータの送信 データの受信 データの保存 保存したデータの解析 解析データの閲覧などができる管理画面の提供 KARTEはユーザのWebアクセスデータをリアルタイムに解析し、アクションまでつなげることができるサービスであり、先ほど説明した5要素は、以下の5種類のコンポーネントによって実現しています。 trackerコンポーネント：エンドユーザで実行されるtracker[1]をエンドユーザに配布するためのコンポーネント trackコンポーネント：エンドユーザからデータを受信するコンポーネント。とくにKARTEでは解析データに基づいてエンドユーザへのアクションを返す役割も持つ dbコンポーネント：解析データなどのさまざまなデータを格納するコンポーネント analyzeコンポーネント：エンドユーザ
大規模データ解析サービス実現のために、Google Cloud Platformが果たす役割
この連載では、最近盛り上がりを見せているGoogle Cloud Platform（GCP）の実践例を、大規模データ解析サービスでの実際の利用例、ノウハウなどを中心に解説していきます。「KARTE」というリアルタイム解析サービスを提供している、PLAIDのエンジニア陣が、KARTEの実現を例にとって説明します。第1回である今回は、大規模データ解析サービスを提供するにあたり、どのようなGCPのサービスが必要となるのか、GCPの果たす役割などを説明します。 大規模データ解析サービスを実現する、とは？ 今この文章を書いているMacBookで、Webサイトのアクセスデータを解析するサービスを実現するとしましょう。現在は技術が発展し、少し前に比べたら、PCの処理能力、データの保存領域の大きさは格段に向上しています。また、ものすごく解像度が高い映画を簡単に再生できるようにもなっています。このような環境
Bigqueryの内部処理について徹底解剖してみた| PLAID engineer blog
プレイドで使い倒しているBigqueryの内部構造について徹底解剖してみました！
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Next '18でSpinnakerのセッションを聞いてきました! | PLAID engineer blog
