近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
はじめに 初めまして、バックエンドエンジニアの伊藤皓程です。2015年にサイバーエージェントに入社してからソーシャルゲーム2本、その後アドテクで広告配信システムの開発に携わりました。以前のプロジェクトではデイリーで数TBのログを収集と分析を行なっていた経験があり、また個人でAWS AthenaのTypeScript・Node.js用のクライアントライブラリ1を公開しています。今回は今年にリリースしたアプリボットの新データ分析基盤についてご紹介したいと思います。 経緯 アプリボットではゲームの運用の改善のためにユーザの行動ログの分析に力をいれており、Redshiftを利用したデータ分析基盤2がありました。一方でゲームの運用年数や運用タイトルの増加などにより以下のような課題がありました。 Redshiftのストレージ容量の枯渇 デイリーのレポート集計バッチの実行時間の増加 データ分析基盤の運用
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
BIツールとは、蓄積されたデータを集約し、レポーティング機能により共有・比較・分析などを行い、データを有効活用することができるツールです。企業内でも、このBIツールのデータをチェックすることで、スムーズな意思決定に役立てることができ、最近では、営業部門から経営戦略等のさまざまな分野で活用されています。また、データを自動で分析してくれるためDXとしても活躍しています。ここでは、BIツールの概要から、BIツールのメリット、ソフトウェアごとの特徴を紹介します。 ＋ 目次 BIツールとは？ BIツール導入のメリット BIツール導入のデメリット BIツール選定のポイント オープンソースのBIツール Apache Superset Grafana Metabase Graylog OpenSearch Dashboards Re:dash どのBIツールを選ぶのか？ デージーネットの取り組み BIツー
ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。 今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。 なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンｍｍ) 移行の規模はどんなもんか ボリューム的にはざっと下記の通りです。 テーブル数: 約2,000テーブル データ量: 約180TB(snappy) クエリ数: 約500件 移行期間: 約1年4ヶ月(準備期間含む) そもそもなんで移行したの？ 大別すると移行を決めた理由は3つほど。 パフォーマンス向上が見込めた 手段を多様化したい エンジニアリソースの最適化 以下にそれぞれ細かく記述します。 1. パフォーマンス向上が見込めた SQLによりますが、それまで使っていたRedshift環境と比べて平均5〜6
ゲームコミュニティ事業部のデータエンジニア（β版）の池田です。 この記事は、Tech KAYAC Advent Calendar 2019 の7日目です。 今回もredash周りの話で、Lobiでの分析事例の話をしていきたいと思います。 （本ブログではredashおじさん化していますね。 ） Lobiでの分析環境の概要 ゲームコミュニティ事業部では主要サービスとして Lobi を開発・運営しています。 現在のLobiにおける分析環境は、以下の図のようになっています。 分析環境の図 アプリケーションが行動ログやアクセスログを出力し、それをFluentdやKinesis Data Firehoseを使ってS3バケットへ転送しています。その後@fujiwaraさんのrinを使ってRedshiftにロードしています。この周辺に関しては、ソーシャルゲーム事業部での記事と同様ですので、詳しくはそちらを
これはエムスリー Advent Calendar 2023の9日目の記事です。 前日の記事はSREチーム後藤の「共有会をより効果的にするために考えたあれやこれ」でした。 エムスリーエンジニアリンググループ データ基盤チームの木田です。 師走です。12月といえば年末に向けて大掃除の季節です。 古来日本では12月に宮中で「煤払い」という行事を行う風習があったことが、今日年末の時期に大掃除をする由来とされているそうです。 私の自宅はまだ何も手をつけられていませんが、せめてBIツールの中だけでもということでRedashのクエリ棚卸しをした話*1をご紹介します。 エムスリーにおけるRedashの活用状況 長年の運用の結果起きた性能問題 問題の特定と発生原因 Workerの増設 クエリの棚卸しと改善 使われていない定期実行クエリの停止 サンプル1 直近参照なしかつ定期実行クエリ クエリの実行時間改善
システム開発における業務分析 - Qiita
前提 本記事では弊社で業務分析の内容を記載します。 Redmineをお使いの方は、redashを準備頂ければSQLを記載しますので、そのまま同じ分析を行う事が出来るかと思います。 但し、マスターの値をそのまま記載しているので、そちらは変更頂く必要があります。 全てのタスクがRedmineで管理されている 予定工数と実績工数が正しく登録されている redashがインストールされている Dockerでインストール出来る為、VPSのレンタルサーバーに数時間でインストールできます 上記の前提で業務に滞りがないか、改善点がないかを分析しています 分析内容 作業実績の記録が正しいか gitのコミットメッセージからRedmineに自動的に実績時間が登録されるようになっています。 その情報から人・日のマトリックス表を作っています。 こちらの表からスタッフの作業状況を判断しています。 また、給料の査定基準に
ランサーズ Advent Calendar 2020 24日目の記事です。 昨日は まなみん さんの 「思考発話法でUXリサーチをしてみた話」 でした。 概要 社員ではなく、1人のフリーランス人材（ランサー）として、ランサーズ社を手伝っています。 「こんなことをやってきたよ！」という話を、書ける範囲で書きます。 CRM（顧客管理）x データ活用 の案件を主に担当しています。 注意 本稿は筆者個人の見解に基づく内容であり、関係組織を代表するものではありません。 不適切・考慮不足だと感じさせてしまう点があれば、それは筆者個人の責任によるものです。 どうぞ筆者個人宛てにご指摘のコメントをいただけますと幸いです。 もくじ 概要 注意 もくじ きっかけ 案件1:顧客セグメント可視化 案件2:社内システム改善 案件3:オープンデータ活用 その他:データプラットフォームのメンテナンス性向上 意識している
SQLは口ほどにものを言うーRedashによるクエリ共有、監視、データ連携によるチーム効率化ー - LayerX エンジニアブログ
こんにちは。DX事業部の花村(@naomasabit)です。先日の投稿でユーザーの利用状況確認のためにAWSのQuickSightを利用していると書きましたが、並行して分析ツールのRedashも利用しています。Redashの良い点としてクエリベースでの分析、監視アクション、スプレッドシートとのデータ連携が存在します。 SaaSチームの運営において、これらを活用したユースケースについて伝えていきます。 アドホックな分析クエリの共有によるコミュニケーション効率化 監視アクション設定によりデータ不整合にすぐ気づける体制整備 複数チームからのデータソース連携によるヘルススコアダッシュボード作成 最後に - Redashと他の分析ダッシュボードツールの併用について アドホックな分析クエリの共有によるコミュニケーション効率化 Redashでは、まずクエリベースでアドホックな分析クエリの共有が可能です。
Misoca開発メンバー/SREチームの id:mizukmb です。今年も最高気温40度超えの名古屋の夏を乗り切る事ができて安心しています。 今回はSREチームとしてMisocaのパフォーマンス計測を行い、開発向けのサービスレベル目標 (以下、SLO) を設定した話をしようと思います。 実際に計測をはじめる前に すべてを計測できることは理想ではありますが、闇雲に計測するだけではどこを改善するべきか見えにくくなってしまいます。 そこで、実際に計測をはじめる前にSREとしてどこに着目するべきなのかをSREチーム内で認識合わせをするためにSRE本読書会を実施しました。 SRE本読書会の実施 SRE本とは SRE サイトリライアビリティエンジニアリング――Googleの信頼性を支えるエンジニアリングチーム の事です。 Google - Site Reliability Engineering で
マーケターがredash&スプレッドシートでKPI管理してみた - SMARTCAMP Engineer Blog
スマートキャンプでマーケターをしている佐々木です。 最近は自販機でペットボトルを購入することにハマっています。 私は弊社の運営する資料請求サイト「ボクシル」のマッチング最適化を生業として生きているのですが、追うべきKPI・可視化したデータの共有にはスプレッドシートを好んで使っています。 SQLで取り出したデータであればRe:dashで共有するのがライトなのですが、 SQLでとってきたもの以外のデータを上手く組み合わせられない 様々なアレルギー反応を起こす人がいる（英語UIがダメな人、クエリ見ると卒倒しちゃう人etc...） 権限管理が大変 などダッシュボードとして利用していくにあたって、特に非エンジニアに浸透しづらいというのがあります。 そこでスプレッドシートをダッシュボードとして活用していく方法を紹介したいと思います。 概要 ツールごとの役割分担 使った技術 流れ 全体 1. Re:da
概要 ミラティブではデータ分析用ツールとしてRedashのSaaS(redash.io)を使用している。(Lookerと併用) 2021年11月末で redash.io のサービスが終了する。そのため、自前のGCP環境にRedashを移行した。 Redash謹製の移行ツールが提供されているが、いくつかハマったポイントがあった。 本記事では、GCP環境への移行手順・移行時のハマリポイント・移行後にあると便利なものを紹介する。 はじめに 初めまして、ミラティブでデータ分析基盤を担当している芝尾です。データ分析チームは5名のチームになっており、日々ユーザーの皆様のデータを分析してサービスの向上に努めています。今回はミラティブで使用していたデータ分析可視化ツールの移行を行いましたのでそのやり方を共有します。 背景 Redash hosted サービスが終了します。この記事 によると 2021/11
京都研究所・TechLabの田中です。 マイクロアドでは、主にエンジニア以外のメンバーが広告配信実績などの各種データにアクセスする際にRedashを利用しています。 Redashから接続しているデータソースには、以前このブログでも紹介した分析用Hadoopクラスタ*1に加えて、MySQLのレプリやBigQueryなどがあります。 これらの異なるデータソースに対してRedashからは同じインターフェースでアクセスでき、手軽にデータの抽出や可視化・分析などが可能です。 また、クエリで抽出したデータを利用して、Redash上にダッシュボードを作成することもできます。 本稿では、そんなRedashの活用方法の1つとして、 スケジューリング機能とキャッシュ機能を利用した簡易的なデータパイプラインを使ってダッシュボードを作成する例をご紹介します。 なお、この記事で扱うRedashの説明はバージョンv1
RedashをFargate, Datadog, Terraformで構築/運用する - Timee Product Team Blog
こんにちは、タイミーSREチームの宮城です。 今回は弊社がRedashをFargateで構築/運用している話を紹介します。 背景 タイミーでは、CSやセールスのKPI策定から毎月の事業数値に至るまで、Redashが様々な用途で活用されています。 Fargateで構築する以前はEC2上のdocker-composeで運用されていましたが、以下の課題がありました。 オートスケールできないため、クエリが詰まってCPUが100%になってサービスが停止する。 その度slack上から再起動していた セットアップしたエンジニアが退社しており、インフラ構成図やノウハウの共有、IaCによる管理ができていない。 クエリやダッシュボードなどのデータの定期的なバックアップができていない。 v7系からv8系へのアップデートがしたいが、アップデートによる影響範囲がわからず恐怖感がある。 事業に大きく関わるサービスなの
こんにちは、SRE部の谷口（case-k）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozotechpress-tech.zozo.com 目次 目次 運用しているRedashの紹介 役割 インフラ構成 クエリ実行の流れ EC2インスタンス起動時の処理 Redashの運用課題 EC2 Image Builderによる課題解決 EC2 Image Builderの紹介 各リソースのTips 事前準備 コ
秘伝のredash v1.0.3 から redash v8.0.0 on ECSになるまで - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2019 Update/MigrationTrack 3日目の記事です。 昨年のAdvent Calendarで闇のredash の記事を書いていたゲームコミュニティ(Lobi)事業部の自称データエンジニアの池田です。今回も、redashについて記事を書いていきたいと思います。 redashは様々な種類のデータソースにアクセスできる、OSSの素晴らしいダッシュボードツールです。 2017-01-31にv1.0.0-rc.1のリリースされて以来開発が続けられており、この前の2019-10-27にv8.0.0 がリリースされました。 今後もビジネスインテリジェンスの現場でのダッシュボードツールの選択肢として利用され続けることでしょう。 ゲームコミュニティ事業部でのRedashの課題 私の所属するゲームコミュニティ事業部でも、以前本
はじめまして。 dely, Inc. の @sakura です。 本記事では、Redash の使用状況及び便利なTipsを3つ紹介します。 この記事はBIツール研究所 Advent Calendar 2019 - Qiitaの19日目の記事です。 社内のBIツール使用状況 誰が使用するか どのくらいのペースでクエリが増えるか Redashのここが便利 クエリパラメータ ダッシュボード クエリのお気に入り登録 まとめ さいごに 社内のBIツール使用状況 Redash公式のトップページ 社内のBIツールは主に Redash を使用しています。 バージョンは7系を使用しています。 過去には Metabase と併用していたこともあるのですが、同じ用途のものが複数あることで「どんな時にどっちを使用するの？」など利用者の混乱を招いてしまっていたため現在は Redash のみを使用しています。 誰が使
EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する - Koichi Ishida blog
目次 ワーカーノードの作成 DigdagとEmbulkのDockerビルド KubernetesにDigdag/Embulkをデプロイ Redashの導入 まとめ Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエ
Site unavailable
Site unavailable. If you're the owner, email us on support@ghost.org
Redashから別のAWSアカウントのDBに繋がらない際に確認するポイント3つ - Link and Motivation Developers' Blog
こんにちは。リンクアンドモチベーション SRE グループの綿引と申します。 今回はRedashから別AWSアカウントのDBに対してアクセスできない際に確認するポイントをご紹介したいと思います。 ただ以下の背景の関係上 「Redashサーバが存在するAWSアカウントと参照したいDBが存在するAWSアカウントは VPCピアリングで接続されている 」 という前提で進めさせて頂きますので、その点はご容赦頂ければと思います。 背景 先日 「ある AWS アカウントの Redash から、別アカウントの Aurora に対しアクセスを可能にしたい」 という話があったので対応したのですが、このナレッジを残しておきたいと思ったことが背景となります。 尚、構成に関して次項に記載しているのですが、本記事を見て頂いている方の担当システムで全く同一の構成というケースは少ないかとは思いますのでご参考程度に見て頂けれ
LWC SOQL Builder 百聞は一見。こんなツールを作りました↓ 名前は「LWC SOQL Builder」です。Lightning Web Componentsのオープンソース版で作ったSOQL構築ツールなので、LWC SOQL Builder… 最初（仮）でつけてた名前なんですが他の名前が思いつかず、そのままリリースまで変わらずに来てしまいました。 社内ハッカソンで作っていたんですが、作っていたら楽しくなってしまって、自分が欲しい機能を詰めに詰め込んでしまいました。 https://lwc-soql-builder.github.io/ ツールはこちら↑で公開しています。ソースコードもMITで公開しています。 せっかくだから海外の人にも使ってほしいなと（適当な）英語で作ったので、サイトにはあまり説明を書けませんでした（英語がおかしいところがあったら教えてもらえると非常に助かりま
「Redash v8.0.0」で気になった新機能と機能改善 - kakakakakku blog
2019年10月末に Redash の最新バージョン「Redash v8.0.0」がリリースされた．Change Log を読むと機能改善が多くあり，今回は「個人的に気になった Redash v8 新機能と機能改善」を「計10点」紹介しようと思う．Change Log は以下の CHANGELOG.md で確認できる． redash/CHANGELOG.md at master · getredash/redash · GitHub 目次 ドロップダウンで複数値を選択できるようになった クエリ名を日本語で正しく検索できるようになった ダッシュボードがグリッド表示になった データソース追加／削除 データソース設定画面の UI 改善 クエリ画面にデータソースのアイコンが表示されるようになった カスタムアラート機能 Query API Key を作り直せるようになった アラート送信先から Hip
What is happening? We are shutting down the hosted Redash service at app.redash.io, effective November 30, 2021. No new customer sign ups are allowed. Existing customers can continue to use the service free of charge until November 30, 2021. Why are you doing this? In order to focus our efforts on establishing best in class experiences for SQL analysts within Databricks as our paid offering. How w
Hosted Redash(app.redash.io) から Self-Hosted Redash(GKE) への移行 - CADDi ENGINEER Tech Blog
こんにちは。Platform チームの飯迫 (@minato128)です。 CADDi ではこれまで Hosted Redash(app.redash.io) を利用していたのですが、残念ながら 2021/11/30 に End of Life になるので、10 月末に Self-Hosted Redash 環境を構築して移行しました。今回はそのときやったことを紹介します。 移行の流れ 新しい Redash 環境を v10 で構築する 公式の移行ツールを利用してデータ移行する 監視を追加する 新しい Redash 環境を v10 で構築する まず、移行ツールは移行先として v10 を前提としているので、新しい環境は v10 である必要があります。ちなみに、v10 は 10/2 にリリースされた現時点の最新版です。 v10 であればどんな方法で構築しても問題ないのですが、今回は社内用 GKE
自分のデータ分析のためにRedashを構築した話 - 個人開発におけるデータ分析環境つくりとコストについて - Lean Baseball
久々に個人開発のはなしです. 昨年（2020）の話になりますが, 自分が気になる世の中のニュース（野球とかグルメとかいろいろ）だけをいい感じに集めてまとめて読みたい その中でも特に⚾, 速報とかいい感じに通知させたい ...という目的でデータ収集と通知の仕組みを自分用のプロダクトとして構築・運用をスタートしました. shinyorke.hatenablog.com 今年も上記のプロダクトをいい感じに運用しているのですが, 毎日見るのにGUIが欲しくなってきた 複数のデータソース（BigQuery, 生のCSV/JSON, Spreadsheet, etc...）を一つにまとめて見たい 毎日Slackなどに通知するようなモノもほしい という要望が出てきたので, これらの要望に応えるためRedashを使うことにしました. redash.io このエントリーでは, 個人開発に使える無料データ可視
はじめに Looker Advent Calendar 2019 兼 YAMAP エンジニア Advent Calendar 2019 1日目の記事です。 （元々 Qiita に書いていたもの を、こちらに引っ越しました） こんばんは、🔺YAMAP 分析チームの松本です。好きな山は赤岳（八ヶ岳）です。 YAMAP は 2019-11 から、次世代 BI ツール Looker を導入しました。 この記事では、YAMAP で導入前に感じていた課題とその解決方法を中心に、Looker の素晴らしさを紹介したいと思います。 参考までに、YAMAP の概況 Looker をはじめ、 BI ツール導入を検討している方の参考になればと思い、会社の規模などを共有してみます。 社員数: 50 くらい（開発メンバーは半分くらい） 分析チーム: 2019-01 に発足、現在 2 人 主な事業: 有料会員 ,
バクラクのお客様状況把握への取り組み - LayerX カスタマーサクセスチーム｜Takayuki Suzuki
こんにちは。LayerXの鈴木（@suuu）と申します。 この記事は、6月から始まっている #LXベッテク月間29日目の記事です。 前日の記事はy_matsuwitterさんの「Be Animalな縦とBet Technologyな横の組織づくり、これからのLayerX開発チームの目指すところ」でした。 https://tech.layerx.co.jp/entry/2022/07/08/080000 私は現在バクラク事業部 カスタマーサクセスという、バクラクサービスをご契約いただいたお客様が実際に業務がバクラクになっていただくための各種支援を行うミッションのチームに所属しています。 その中でCS Opsと呼ばれるカスタマーサクセスチーム全体の生産性向上にむけたシステム設計、オペレーション構築、データ分析などの活動を主務としております。 カスタマーサクセスはお客様の状況を的確に捉え、状況に
カンムではredashを使い倒している。とにかくお世話になっているredashではあるけど、特にマーケティングチームはかなりお世話になっている。最近、3テーブル+1 Google Spreadsheetあればとりあえずオンライン広告を利用したプロモーションのDashboardの大本になるようなものはできることに気がついたので以下に簡単にまとめる。かなり簡素化して書く予定なので身構えず読んで欲しいし、みんなもどうやってるのか教えて欲しい。 前提 まずは現在の前提から整理する。 プロダクト バンドルカード 180万DL以上 マーケティングチーム CRM: 1名 広報: 1名 広告: 1名 責任者: 1名(achiku) オンライン広告代理店 1社とお仕事させていただいている 単語の定義 Paid広告 (CPM/CPI/CPA/CPV/CPE等の指標で配信もしくはアクションに費用が発生するオンラ
Redash Meetup v7.0.0 の発表資料です https://redash-meetup.connpass.com/event/211861/
AI・機械学習チームの丸尾 @snowhorkです。 今回は業務改善（＋趣味）で作ったRedash権限管理ツール rdiam について紹介したいと思います。 github.com エムスリーにおけるRedashの利用 まずはこのツールができる以前のエムスリーにおけるRedash*1の活用の経緯を紹介したいと思います。 Redashは様々なデータソースに対して、SQLによる分析結果を可視化・共有ができるBIツールです。エムスリーではデータソースとして、ほぼBigQueryを対象にして活用しています。 背景としては、ここ数年で、オンプレのDB、AWSのDB、そのほか各種データソースをデータマートとしてBigQueryに集約していることがあります。現在では、エンジニアのみならず、ビジネスサイドのメンバーもRedash経由でSQLを書いたり、ダッシュボードでKPIの追跡したりしています。 Reda
Redash上からBigQueryスクリプトを利用してみた - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
この記事は Akatsuki Advent Calendar 2019 - Adventar 4日目の記事です。 こんにちは！ suwahime です。 昨今どの業界を見渡しても、アクティブユーザー数や入会数といったデータは、当たり前のように日々追っているかと思います。 私の所属するチームでは、主にRedashを用いてKPIを可視化しています。 今日は、先月BigQueryにBetaリリースされたスクリプトとプロージャ機能を使って、RedashのQuery作成を、よりシンプルに、管理しやすい形で書いてみたことをお話しさせていただきます。 RedashはQueryごとに定義が分散してしまいがち 例として、「期間内にサービスを訪れたユーザー」の利用デバイスを調べる、以下のようなQueryをRedashに作成していたとします。 SELECT B.device_name, COUNT(DISTIN
この記事はテックタッチアドベントカレンダー23日目の記事です。 分析チームでエンジニアリングマネージャーをしている takeshi です！ 入社して1年が経過しました。 今回は、分析チームの日々の業務の中で活躍してくれているRedashとTableauについて、経験したことを紹介したいと思います。分析関連の業務をされている方に、少しでも参考になれば幸いです。 RedashとTableauとは Redashの場合 Tableauの場合 RedashとTableauを比較して シンプルな比較 データ接続 変数利用 Redashの場合 Tableauの場合 複数データソースを結合して扱う Redashの場合 Tableauの場合 大量データの扱い Redashの場合 Tableauの場合 実行ファイルの管理のしやすさ Redashの場合 Tableauの場合 探索的分析 redashの場合 Ta
Keeping up with an industry as fast-moving as AI is a tall order. So until an AI can do it for you, here’s a handy roundup of recent stories in the world…
[ データ可視化ツール]MetabaseをDocker上で構築してRedshiftへ接続する | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 前回の記事でRedashを調査している際に同じOSSとしてMetabaseと比較される情報が多く見つかりました。Metabaseは気になっていたのですが今まで触れたことがなかったので前回と同じくDocker環境で新規インストールして動かしてみました。またデータソースも前回と同様にMetabaseとRedshiftを接続してみたのでまとめます。 以前の記事 [ データ可視化ツール]RedashをDocker上で構築してRedshiftへ接続する 環境 macOS Mojave Docker version 19.03.1 docker-compose version 1.24.1 Metabase v0.33.4 Metabase Metabaseは「Metabase is the easy, open source way
![[ データ可視化ツール]MetabaseをDocker上で構築してRedshiftへ接続する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1a571ac8238b9005bf9f6a214ab2b1492a06c8e0/height=288;version=1;width=512/https%3A%2F%2Fcdn-ssl-devio-img.classmethod.jp%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_developers.io_1200x630.jpeg)
EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する | wapa5pow blog
Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエクスポートします。Digdagと同じDockerコンテナでDigdagのタスクから実行されます。 BigQuery: すべてのエクスポートされたデータをここに集約さ
前提 本記事では、BIツール導入の際に考慮した方が良いポイント（比較軸）を紹介します。 投稿者が業務で実際に使っており、お手頃価格で導入可能という観点で、以下３つのBIツールに比較軸を当てはめてみて、各々のユースケースを考えます。 Tableau GoogleDataPortal Redash (※比較軸とBIツールの対応表は細かいので最後の章にしました。) (※他のBIツールも、使用次第追加していきたいと思います。個人的にLookerは試してみたいものの。。。) モチベーション BIツール導入に良く関わるので、BIツールを完全に理解した！時点での知見を整理しておきたい。 BIツール導入に関する議論に向けて、自分の考えをまとめておきたい。 特に、直近の「2020/2/20に#1 BIツール徹底討論」など。 内容 用語集（一部のみ） 登場人物 一般ユーザ 一般ユーザは、作成されたダッシュボー
![[各論]BIツール導入のための比較軸をまとめてみた。 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/71c6a27132c5d9b68d93d13c358229cf1b8a0b99/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCJUU1JTkwJTg0JUU4JUFCJTk2JTVEQkklRTMlODMlODQlRTMlODMlQkMlRTMlODMlQUIlRTUlQjAlOEUlRTUlODUlQTUlRTMlODElQUUlRTMlODElOUYlRTMlODIlODElRTMlODElQUUlRTYlQUYlOTQlRTglQkMlODMlRTglQkIlQjglRTMlODIlOTIlRTMlODElQkUlRTMlODElQTglRTMlODIlODElRTMlODElQTYlRTMlODElQkYlRTMlODElOUYlRTMlODAlODImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTgzYmFjN2ViYTQ1ZjczM2JjMDY3YzA4NWZhMThlOGRj%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwdG9tb193aWxsJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iM2RjMTU4NjdjZGVkM2I1MDE3OTg5NDMwODBiOGM3NA%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0d5c9d025ff1328ac61cb6b9bd5d5564)
「Redash v10.1.0」で気になった新機能と機能改善 - kakakakakku blog
2021年10月に Redash の最新バージョン「Redash v10.0.0」がリリースされた．そして現在は「Redash v10.1.0」まで出ている．また Redash 界隈ではよく知られた「正式リリースまで到達しなかった v9.0.0」という話もあり，実に2年振りの正式リリースとなる．Redash を使っている会社だとでは「v8 → v10」にアップデートする機会が多いと思う． バージョン リリース日 v9.0.0-beta 2020-06-11 リリース v10.0.0-beta 2021-06-16 リリース v10.0.0 2021-10-01 リリース v10.1.0 2021-11-23 リリース 今回は Change Log を確認しつつ，「個人的に気になった Redash v10.1.0 新機能と機能改善」を「計5点」紹介する．全ての変更点は以下に載っている． gi
RedashをECS Fargate構成にしてv7からv10へアップグレードする - NIFTY engineering
最近カービィシリーズの動きが活発で嬉しい 会員システムグループでエンジニアしている石川です。 弊社にはDWHのBIツールとして5年ほど前から使っているRedashがあります。 公式のAMIから作ったEC2単体構成で立ち上げてから、v1からv7までアップグレードしたりスケールアップで負荷に対応してきました。 v8からDocker必須となり移行が手間でアップグレードを見送っていたのですが、利用者も増えてきたのでちゃんとしようと思い 今回ECS Fargate構成にしてv10までのアップグレードを行いました。 構成図 可用性はそこまで高くする必要はないので、拡張性は担保しつつもシングルAZ構成。 安く組みたいのでAuroraではなくRDSを利用しています。 Fargate化とアップグレード手順 Redashの移行に関してDBデータ移すだけでいいため、まずFargate化から行いました。 Farg
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソーシャルゲームの運用に欠かせないデータ分析基盤の作り方
データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
BIツールとは？無料で使えるおすすめOSSの比較6選（2023年版） | OSSのデージーネット
ありがとうRedshift よろしくBigQuery - freee Developers Hub
redash + Google Colabによる分析環境 - KAYAC engineers' blog
年末だしRedashのクエリ棚卸しでもしましょう (調査用サンプルクエリ付き) - エムスリーテックブログ
ランサーズのデータ活用を手伝っている話 - 下町柚子黄昏記 by @yuzutas0
Misocaのサービスレベル目標 (SLO) を設定するまでの道のり - 弥生開発者ブログ
Redash SaaSサービスから自前ホストへの移行した話 - Mirrativ Tech Blog
効率的なダッシュボードの作成 - MicroAd Developers Blog
EC2 Image Builderを用いたRedashの運用改善 - ZOZO TECH BLOG
Redashを便利に使うためのTips3選 - dely Tech Blog
俺が考えた最強のSOQL実行ツールを作りました - Qiita
Hosted Redash End of Life
Looker ノススメ - fisherman’s note
カンム流redashを使ったプロモーションDashboardの作り方 その1
Redash のいま / Redash in 2021
Redash権限管理のための独自CLIツールを作りました - エムスリーテックブログ
RedashとTableauを比較してみた - Techtouch Developers Blog
TechCrunch | Startup and Technology News
[各論]BIツール導入のための比較軸をまとめてみた。 - Qiita
mainichi.jp
www.wantedly.com
b.hatena.ne.jp
www.kokuchpro.com
minkara.carview.co.jp
www.qab.co.jp