GitHub - yamitzky/redashbot: Open Source Slack Bot for RedashYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
Redash上からBigQueryスクリプトを利用してみた - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
この記事は Akatsuki Advent Calendar 2019 - Adventar 4日目の記事です。 こんにちは！ suwahime です。 昨今どの業界を見渡しても、アクティブユーザー数や入会数といったデータは、当たり前のように日々追っているかと思います。 私の所属するチームでは、主にRedashを用いてKPIを可視化しています。 今日は、先月BigQueryにBetaリリースされたスクリプトとプロージャ機能を使って、RedashのQuery作成を、よりシンプルに、管理しやすい形で書いてみたことをお話しさせていただきます。 RedashはQueryごとに定義が分散してしまいがち 例として、「期間内にサービスを訪れたユーザー」の利用デバイスを調べる、以下のようなQueryをRedashに作成していたとします。 SELECT B.device_name, COUNT(DISTIN
OSS 版 Redash を Docker と AWS でセキュアに運用する - JX通信社エンジニアブログ
VPoEの小笠原(@yamitzky)です。 JX通信社では、NewsDigest や FASTALERT の KPI 管理や、データ分析の用途などで、 Redash を活用しています。 ただしセキュリティ上の観点から、Redash の OSS 版をプライベートなネットワーク内で運用しています。セキュリティ的には良いのですが、機能的な面ではマネージド版に劣る部分があります。例えば、Slack の bot や、Google Spreadsheet との連携などはできなくなってしまいます。そこで、新しくOSSを作ってこれらの課題を解決しています。その他にも、通常のマネージド版にはない機能を拡張したりもしています。 ２年半 Redash を運用して溜まった知見を紹介します。 Docker クラスター上での Redash のホスト JX通信社のインフラは、基本的には AWS 上にあります。 Red
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
Redash パラメータ一覧 - Qiita
はじめに Redash では環境変数として設定すると動作を変更できるパラメータがたくさん存在します。 公式ドキュメントと実際のコードを確認しながらどんなパラメータがあるのかを調べてみました。 注意として Redash でパラメータという用語はクエリ内に {{name}} のように記述することで変数になるパラメータ付きクエリを指しますが、ここでは動作を変更するための値を表す用語としてパラメータと呼ぶことにします。 パラメータ付きクエリについては次の資料が参考になります。 kakakakakku/redash-hands-on: Redash study materials for beginners 📊 また、開発中の最新（master ブランチ）を対象としています。そのため、バージョンによっては指定しても反映されない可能性がありますのでご注意ください。 基本 サイト全般に関わるパラメータ
Jupyter Notebook でとりあえず Redash へクエリを投げておけばデータソースはなんでも良い状態にする - CARTA TECH BLOG
こんにちはこんにちは！株式会社 fluct で Web 広告配信のお手伝いをしている @jewel_x12 です！ 本記事は Redash が便利という内容です。 Redash とは redash.io Redash とは Web ブラウザから様々なデータソースに対するクエリを投げて、結果を可視化する OSS になります。 Redash には便利な機能がいくつか機能があるのですが、数点挙げると 様々なデータソースへの対応 クエリの定期実行とアラーティング Slack などへの投稿 クエリ結果のキャッシュ Google OAuth などいくつかの認証サービスでユーザー管理ができる あたりです。 弊社では Redash が広く導入されており、エンジニアなどの職種に関わらず利用者がいます。BigQuery のクエリへ Quota をかけられたり、機微な情報のあるテーブルへアクセス制限できるところ
New Relic で取得したデータや独自に集計したパフォーマンスログを Re:dash で可視化する - freee Developers Hub
こんにちは、エンジニアの foostan です。 freee では法人向けの決算や申告まわりの開発を主に行っています。 先日「【AWS・New Relic・freee】合同セミナー AWSで実現するクラウド・ネイティブ ITサービス」というイベントに登壇して来ましたのでまずはその報告をさせて頂きます。 私の発表内容の概要は以下のとおりです。 freeeのクラウドサービス活用術とパフォーマンス改善活動のご紹介 freeeでは会計freeeや給与計算freeeなどのクラウドサービスを開発・運営していますが、実際にはAWSやNew Relicといった様々なクラウドサービスを活用しています。freeeでのクラウドサービス活用術として、いくつか事例を交えながら紹介したいと思います。またサーバのレスポンスタイムの改善にフォーカスして、どのように行っているかをより具体的に、技術的な観点と組織的な観点でご
ソーシャルゲームのカスタマーサポートを支える行動ログとredash - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2016の21日目の記事です。 こんにちは、ソーシャルゲーム事業部のぼくらの甲子園！ポケットのサーバサイド開発・運用を担当しておりますマコピーことid:mackee_wです。 ↑のヘッダ画像の人物はワタクシ、という噂があります。みなさま答えはあっていましたでしょうか。 ぼくらの甲子園！ポケットとは 2014年9月にリリースされた共闘スポーツRPGのスマートフォン向けゲーム 現在3年目でございます！！！ 甲子園をモチーフにしてプレイヤーとプレイヤーが協力して別のチーム(CPUではない)と対戦して甲子園の頂点を目指す チーム(高校)の部員がプレイヤー9人揃わなければ試合が始まらない縛りとかも特徴です そんな感じで運営しておりますので興味を持たれましたらこちらからダウンロードのほどよろしくお願いしますm( )m。 ちなみにこの記事は
Superset vs Redash - Qiita
こんにちは。リブセンスで分析基盤エンジニアをやっている @hiro-koba と申します。 この記事はLivesense Advent Calendar 2016 その3の11日目となっています。 弊社Advent Calendarはその3以外にその1、その2もございますので、併せてご覧くださいませ。 はじめに 弊社では分析基盤を自社開発しており、サイト上の行動データを、コンバージョンデータや属性データ等と紐付けて分析可能な環境を持っております。 そこで貯まったデータを利用し、以下のような用途で使用しております。 KPIモニタリング 流入数・CV数などの達成状況把握 異常値の発見 探索的分析 サイト上等に問題があった場合、ユーザーのPV単位まで遡って調査 レコメンデーション 行動ベースでの求人レコメンド 特に1のような用途において、「ダッシュボードツール」と呼ばれる、データをグラフなどで可
re:dashの権限管理とその活用事例 - Qiita
Full Access と View Only の違いは 新規クエリが発行できるかどうか 。 データソースに対する書き込み権限の制御はre:dash側ではできないので データソース側で権限管理しましょう。 View Only はいつ使うのか View Only は「新規クエリは発行できないがクエリの結果は見られる」という権限です。 例えば以下のような場面で必要になります。 ダッシュボード閲覧のみができればいい センシティブな情報が格納されているデータソースに対する集計結果のみ見たい ダッシュボードに閲覧の制限はかけられるか できません。 対象ダッシュボード内の一つでも自分がアクセスできるデータソース関連のウィジェットがあれば一覧に表示され、閲覧も可能です。 (閲覧権限がない他ウィジェットの内容は見られない) 事例： 営業メンバーがSQLを使うチームの re:dash 権限管理 何をしたかっ
Re:dashで異なるData Sourceのクエリ結果をJOINできるようになったので試してみた - Query Results (Alpha) - Gunosyデータ分析ブログ
こんにちは。グノシー開発部で部長をしている@cou_zです。最近はDJ RYOWのビートモクソモネェカラキキナ 2016 REMIXをよく聴いています。11/23のライブが楽しみですね。 Gunosyにおけるプロダクト改善は、データ可視化による現状把握から始まると考えています。Gunosyではデータ可視化にいくつかのツールを利用していますが、その中でも最近はRe:dashを用いることが多くなってきました。 先日、Re:dashを用いたリアルタイムKPI通知について紹介しました。 data.gunosy.io 今回は、Re:dashの新しい機能である Query Results (Alpha) Data Source を紹介します。 この機能により、複数Data Sourceのクエリ結果のJOINが可能になりました。アルバイトで分析を担当している松嶋も「ついに使えるようになったんですね！！r
Google Analyticsの情報をダッシュボード「Re:dash」で可視化する - Qiita
追記 Re:dashのデータソースとしてGoogle Analyticsが正式に追加されるようです。リリースされた暁には、本記事にあるような面倒な手順を踏む必要はなくなりそう？ re:dashのGoogle Analyticsデータソースを試す 初めに Re:dashはオープンソースで提供されている、ダッシュボードツールです。サーバー構築の手間はかかりますが、超簡単にさまざまなデータソースから、自由にダッシュボードが作れるようになります。 今回は、おなじみGoogle Analyticsの情報を、Re:dashでダッシュボード化する方法を解説します。 追記 twitterを見ていて。 Treasure Dataでは、GAのレポートを突っ込む方法があるようです。 http://blog-jp.treasuredata.com/entry/2016/09/13/163306 Google Bi
re:dash の requirements.txt を覗いてみる - Qiita
re:dash については説明を省く、そのくらいメジャーだと思っている Re:dash - Make Your Company Data Driven re:dashは何が良くて、何が足りないのか - Qiita 目的 いろいろなライブラリを見ておくのはとても大事だと思うが、何を見たらいいのかはわからないのでうまく行っている OSS のライブラリを見てみる。 re:dash は Python の Flask を利用して作られている。 Flask は個人的にとても好きなのだが、実際アプリ作るときは Django を使ってしまうこともあり、 re:dash でどんなライブラリが使われているのかを書き出していきたい。 間違っていたりした場合は、是非編集リクエストを。 httplib2==0.9.2 https://github.com/httplib2/httplib2 http のクライアント
Digdag schedulerで定期実行するプロジェクトを作ってみた。 - Qiita
はじめに Digdagで定期実行するプロジェクトを作ってみました。 (表記ゆれというか用語間違いがあるかもしれませんのでお気づきの際はご指摘ください) 疑問 誰か教えてください。 セッションとアテンプトの違い？ 1回のセッションで実行されたそれぞれのタスクの実行結果は確認できるのか？ 現在はスケジューラを停止すると結果が消えてしまうが、結果を永続化するにはどうすれば良いか？(PostgreSQLを使う？H2でも永続化可能) スケジューラはスケジューラだけさせて別プロセス(別ホスト)でタスクを実行するには？ プロジェクトの作成 foo.digを作成します。1分毎に現在時刻を表示します。その後"Hello"と出力します。 timezone: "Asia/Tokyo" schedule: minutes_interval>: 1 +current_date: sh>: echo `date` +
digdagのコンフィグについて（~/.config/digdag/config） - Qiita
Digdagではデフォルトのパラメータを~/.config/digdag/configに保存しています。 例えば下記のように設定しておくことで、digdag serverのendpointをデフォルトで指定できます。 client.http.endpoint = https://example.com client.http.headers.authorization = TD1 APIKEY params.td.apikey = APIKEY まず、digdag clientに設定するserverのendpointはclient.http.endpointになります。そこで認証が必要であれば、client.http.headers.authorizationなどを付与します。（TDの場合には認証が必要なのでdigdag serverに若干+αしている） また、digdagのタスクで利用す
ワークフローエンジンDigDagのサーバ/クライアント構成を試してみる - techium
ワークフローエンジンというのを知っていますか。 申し訳ないのですが私は全く知りませんでした。 ワークフローエンジンの定義は仕事の流れをツールが回してくれるツールのことが一般的のようです。 幾つかそういったワークフローエンジンがあるようですが今回はTreasure Data社がOSSとして公開し始めたDigDagをご紹介いたします。 DigDagとは 目的は手動でできる仕事をすべて自動化する目的で開発が進められているようです。 そのため用途はタスクを実行した時にエラーが発生した場合にリトライを何回実施するかをyamlに記述しておけば同じタスクを何度も実行できたり、失敗を何度も繰り返したらメールを送信をさせたりなどが実施できるようなことができます。 現在はタスクとして実行できる言語はRuby、ShellScript、Pythonとなりますが拡張性が高いアーキテクチャになっており、プラグインを追
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Walkthrough for using RDS as a backend
Slack Bot (posting visualizations to Slack)