redash + Google Colabによる分析環境 - KAYAC engineers' blog
ゲームコミュニティ事業部のデータエンジニア（β版）の池田です。 この記事は、Tech KAYAC Advent Calendar 2019 の7日目です。 今回もredash周りの話で、Lobiでの分析事例の話をしていきたいと思います。 （本ブログではredashおじさん化していますね。 ） Lobiでの分析環境の概要 ゲームコミュニティ事業部では主要サービスとして Lobi を開発・運営しています。 現在のLobiにおける分析環境は、以下の図のようになっています。 分析環境の図 アプリケーションが行動ログやアクセスログを出力し、それをFluentdやKinesis Data Firehoseを使ってS3バケットへ転送しています。その後@fujiwaraさんのrinを使ってRedshiftにロードしています。この周辺に関しては、ソーシャルゲーム事業部での記事と同様ですので、詳しくはそちらを
redash-dynamic-query v1.0.4をリリースしました - アルパカDiary Pro
github.com pypi.org 今回のリリースで以下の改善が行われています。 1.datasource_idを指定しなくても自動で設定するように 今まではdatasource_idが必須だったのですが、これ自動で取得するMRをいただいたので基本指定しなくても良くなりました。わいわい 2.cliコマンド追加 rdq というコマンドが利用できるようになりました。 これにより、今まではpython前提だったのですが、shellからも気軽に利用できるようになっています。 helpはREADME に記載されているので詳細はそちらをご参照ください。 フォーマットは csv / tsv / json が指定できるので様々な用途でご利用いただけるかと思います。 shellだとjsonフォーマット＋jqでゴニョゴニョできそうですね！
Redash APIで動的クエリ発行するモジュール - Qiita
Redashで動的にパラメータ指定してクエリ発行したかったんですが、なんとAPI一発では出来ないということが発覚… issue には上がっているのでそろそろ実装されそうですが、今すぐ欲しかったのでモジュール書いてみました。 https://github.com/toritori0318/redash-dynamic-query 使い方 SYNOPSYSそのままです。 from redash_dynamic_query import RedashDynamicQuery redash = RedashDynamicQuery( endpoint='http://myredash-host', apikey='secret_apikey', data_source_id=2 ) query_id = 111 bind = { "start_date": '2017-01-01T00:00:00
ソーシャルゲームのカスタマーサポートを支える行動ログとredash - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2016の21日目の記事です。 こんにちは、ソーシャルゲーム事業部のぼくらの甲子園！ポケットのサーバサイド開発・運用を担当しておりますマコピーことid:mackee_wです。 ↑のヘッダ画像の人物はワタクシ、という噂があります。みなさま答えはあっていましたでしょうか。 ぼくらの甲子園！ポケットとは 2014年9月にリリースされた共闘スポーツRPGのスマートフォン向けゲーム 現在3年目でございます！！！ 甲子園をモチーフにしてプレイヤーとプレイヤーが協力して別のチーム(CPUではない)と対戦して甲子園の頂点を目指す チーム(高校)の部員がプレイヤー9人揃わなければ試合が始まらない縛りとかも特徴です そんな感じで運営しておりますので興味を持たれましたらこちらからダウンロードのほどよろしくお願いしますm( )m。 ちなみにこの記事は
【Slack×Re:dash】リアルタイムKPI通知をコード0行で実現する - Gunosyデータ分析ブログ
データ分析部で部長をしている@cou_zです。最近はLIBROのマイクロフォンコントローラーをよく聴いています。 Gunosyにおけるプロダクト改善は、データ可視化による現状把握から始まると考えています。 ログを収集して、ダッシュボードでKPI(重要業績指標)を可視化することは、今では当たり前のことになっていると思います。深夜バッチでKPIを集計して、翌朝に確認することは重要ですが、KPIをリアルタイムに知ることによって、現状把握がさらに進むことがあります。 しかし、リアルタイムにKPIを集計できたとしても、実際にそれらを確認するとは限りません。頻繁にダッシュボードを見るのはとても億劫で、次第に見なくなってしまいがちです。そこで、日常的に開いているチャットにKPIがリアルタイムに通知されると、確認の際の負担を軽減することができます。 Gunosyでは、チャットツールにSlackをダッシュボ
BigQuery, MySQL, PostgreSQL, Redshift, MongoDBのダッシュボードとしてredashが良さそう | Ore no homepage
BigQuery, MySQL, PostgreSQL, Redshift, MongoDBのダッシュボードとしてredashが良さそう ところで最近割と暇。そんな話をみんなにしたら「それ良いことじゃん」と突っ込まれた。たしかに前職とかだとちょっとした”戦場”が多かったような気がする。それがあってか手が空くと少し不安になってしまうw 実際冷静に考えると、暇があるということは、空いた時間で技術的な検証をしたり、好きなことをする余裕があるってことだ。まあもう良い年なので、余裕をもって生活したいね。それと、老害にならない程度に、良い意味で手を抜くようにもしたいと思っている。肩の力を抜くっつーか。 redashというものをたまたま見つけてよさそうなので触ってみた。簡単に言うと、データストアに投げるクエリを書いておくとその結果をグラフ化してくれる。今回は例としてBigQueryとのインテグレーション
Re:dashをつかって、Prestogres経由でTreasureDataにクエリを投げる。 - Qiita
NOTE: 現在はこちらをご利用ください。http://qiita.com/toru-takahashi/items/9f1f425a1474d1f2c6da Re:dashとは、Open Source Data Collaboration and Visualization Platformらしいです。 クエリを登録していろんなデータソースからデータを取得して可視化できるダッシュボードにできるオープンソースです。 データソースとしては、今の所下記があり、今どきのデータ分析エンジンは、可視化エンジンはついてないので、嬉しいですね。 PostgreSQL / Redshift MySQL Graphite Google BigQuery MongoDB URL Script セットアップ Google Compute EngineとAWSのテンプレートがありますが、今回はgithub上にある
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hatena ID
Jupyter + redash + Docker + git で作るデータ分析の知見をチーム内で共有しやすい環境