データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
[レポート]データ活用推進の取り組みとポイント #Looker #BEACONJapan | DevelopersIO
この記事は、2021年6月22～23日開催の Looker BEACON 2021: Japan のオンラインセッション『データ活用推進の取り組みとポイント』に関するセッションレポートです。 セッション概要 データ活用推進の取り組みとポイント 登壇者： ・山崎 彩世 氏 - 株式会社スペースマーケット プロダクトマネジメント部 データアナリスト 発表内容： データ利活用を推進するためには、現状の課題を整理し、最適なソリューションを選択し、適切に実行していくことが大切です。限られたリソースの中でどのように課題にアプローチし、どのような変化が起こったかを事例と合わせてご紹介します。 会社・サービス紹介 あらゆるスペースを手軽に貸し借りできる「SPACEMARKET」のサービスを運営している。 Looker導入前の状況と課題 導入前の組織の状況 組織 65~70名（開発メンバーが約半数） データ
![[レポート]データ活用推進の取り組みとポイント #Looker #BEACONJapan | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2c42614f7779790c0eefc04adc1250dde9f0bebf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F06%2Flooker-beacon-japan-2021_1200x630.jpg){kind=tracking}
Looker ノススメ - fisherman’s note
はじめに Looker Advent Calendar 2019 兼 YAMAP エンジニア Advent Calendar 2019 1日目の記事です。 （元々 Qiita に書いていたもの を、こちらに引っ越しました） こんばんは、🔺YAMAP 分析チームの松本です。好きな山は赤岳（八ヶ岳）です。 YAMAP は 2019-11 から、次世代 BI ツール Looker を導入しました。 この記事では、YAMAP で導入前に感じていた課題とその解決方法を中心に、Looker の素晴らしさを紹介したいと思います。 参考までに、YAMAP の概況 Looker をはじめ、 BI ツール導入を検討している方の参考になればと思い、会社の規模などを共有してみます。 社員数: 50 くらい（開発メンバーは半分くらい） 分析チーム: 2019-01 に発足、現在 2 人 主な事業: 有料会員 ,
「Redash v8.0.0」で気になった新機能と機能改善 - kakakakakku blog
2019年10月末に Redash の最新バージョン「Redash v8.0.0」がリリースされた．Change Log を読むと機能改善が多くあり，今回は「個人的に気になった Redash v8 新機能と機能改善」を「計10点」紹介しようと思う．Change Log は以下の CHANGELOG.md で確認できる． redash/CHANGELOG.md at master · getredash/redash · GitHub 目次 ドロップダウンで複数値を選択できるようになった クエリ名を日本語で正しく検索できるようになった ダッシュボードがグリッド表示になった データソース追加／削除 データソース設定画面の UI 改善 クエリ画面にデータソースのアイコンが表示されるようになった カスタムアラート機能 Query API Key を作り直せるようになった アラート送信先から Hip
Redash v6 で追加されたオートコンプリートの無効化について挙動とコードを追ってみる - ariarijp’s blog
この記事は Redash Advent Calendar 19日目の記事です。勤務先でも師走ムードを感じ始めました。 adventar.org お題 Redash、入力補完（スニペットとか）が出てこなくなってしまって困った...シークレットモードだとちゃんと動く！キャッシュクリアとかスーパリロードしても出てこない...謎 😢（解決方法知っている人いたら、教えてください...）— mario (@mario_kada) 2018年12月17日 この問題と関係あるかどうかはわかりませんが、オートコンプリートと聞いて、先日リリースされた Redash v6 (正確には 6.0.0-beta から追加)で以下の機能が追加されたことを思い出しました。 If the live autocomplete in the code editor annoys you, you can disable it
クエリ結果がクリーンアップされる仕組み - ariarijp’s blog
この記事は Redash Advent Calendar 2018 20日目の記事です。 adventar.org お題 discuss.redash.io フォーラムでクエリ結果を使ってごにょごにょされている方の投稿がありました。 私もコメントしてみましたが、Redash のクエリ結果はあるルールで定期的に削除されています。 この記事では、その動きを追ってみようと思います。使用するバージョンは v6.0.0 ブランチです。 動きを追ってみる server と worker まず、Redash は大きく server(Flask) と worker(Celery) のプロセスがあります。 クエリ結果を削除する仕組みは worker 側で実行されています。 worker が実行される仕組み Redash の worker プロセスは Celery を使って実行されます。 エントリポイントは
Redash CLIで役立ったコマンド - りんごとバナナとエンジニア
この記事は、Redash Advent Calendar 2018 18日目です。 データ活用を全社的に推進するために、今年から社内にRedashを導入しました。 幸いにもカスタマーサポートチームにSQLの経験者がいたため、比較的スムーズに普及し、多くのメンバーに毎日よく使っていただけています。 Redashのユーザ数が増えてくるにつれ、通常よりも細かい設定や、各グループの詳しい情報の確認など、ブラウザだけではできないことをやる機会も多くなりました。 こんなときに役立つのがCLI機能なのですが、どういうわけか公式サイトには全くドキュメントがないため、Redashを使い始めたばかりの方はCLIの存在すら知らないかもしれません。 そこでこの記事では、Redash CLIで特によく使っているコマンドをまとめてみたいと思います。 なお会社で使っているバージョンは4.0.1です。 もう6.0が出ちゃ
Release v6.0.0 · getredash/redash · GitHub
Before upgrading to v6.0.0 make sure to clear out the Celery queue (unless upgrade from v6.0.0-beta). This is the final release of v6.0.0. See v6.0.0-beta for details of what's new in v6.0.0. This release includes only fixes from regressions introduces in the beta version. This release had contributions from 5 people: @rauchy, @denisov-vlad, @arikfr, @ariarijp, and @gabrieldutra. Thank you, everyo
redashの導入、運用で得た知見、改善まとめ | @19840209 T&T
はじめに redashは去年の年末頃Version 4が出て、夏にVersion 5、そしてVersion 6が近日リリースというスピードで、どんどんメジャーバージョンアップを繰り返し、機能が拡充されています。 レアジョブではDocker版 redash Version 1.03で初めてredashを導入し、何度もVersion UPを繰り返し現在は最新版(5.02)を使っています。 そこで得た知見についてはメモを書いていましたが、( https://tsukada.sumito.jp/category/tech/redash/ ) あくまでもメモベースなので、これを機にちゃんとブログとしてまとめたいとおもいます。 弊社での利用者 アルバイトから役員まで、様々なロールを持ってる人が使ってます。 Botも動いており、一部APIを使い、Chatに通知する仕組みも取り入れています。 SQLを書け
RedashをFargateで立ち上げる - tjinjin's blog
About こちらはRedash Advent Calender 2017 19日目の記事です。 qiita.com ノリでFargateを使ってRedashを構築してみました。 もともとのdocker-compose.yml version: '3' services: server: image: redash/redash:${REDASH_VERSION:-latest} command: server command: create_db depends_on: - postgres - redis ports: - "5000:5000" environment: PYTHONUNBUFFERED: 0 REDASH_LOG_LEVEL: "INFO" REDASH_REDIS_URL: "redis://redis:6379/0" REDASH_DATABASE_URL: "
minne のマーケティングダッシュボードを Redash に移行しました - Pepabo Tech Portal
技術部の @gyugyu と @zaimy です。 データ分析の必要性が叫ばれており、様々な分析手法やノウハウが広がっている昨今ですが、分析に際してはその前段階として、いかにデータを効率よく集め分析可能な状態に置くかということに関する課題解決、すなわちデータエンジニアリングも必要です。 今回、このデータエンジニアリングにおいて課題を抱えていた minne のマーケティングダッシュボードを Tableau ワークブックから Redash に移行したので、その対応の一部をご紹介します。 移行の背景 minne では BI ツールの Tableau を導入しており、分析担当者はワークブックの編集が可能な Tableau Desktop を、分析担当者以外のパートナー (ペパボでは一緒に働く仲間のことをパートナーと呼んでいます) はビューワである Tableau Reader を利用しています。マ
Visualize GCP Billing Data
GCPのBillingデータをGoogle BigQueryに送り始めました。 Export GCP Billing data to Google BigQuery 早速re:dashで可視化してみます。 可視化する内容 Google BigQueryへ送られるデータの詳細は以下です。この中からてきとうに使えそうなものを拾っていきます。 Billing data in BigQuery - Cloud Platform Console Help 今回は、 X軸は月 Y軸はコストの合計 また、Y軸にプロダクトの種類(BigQuery, Computing Engineなど)も含める みたいな感じで集計してみます。 クエリ こんなクエリでやってみる。 SELECT SUM(cost) AS sum_cost, product, LEFT (FORMAT_UTC_USEC( UTC_USEC_T
re:dashからAmazon Athenaにクエリを投げる - Qiita
2016/12/01に、Amazon S3上のデータにアドホックにSQLクエリを投げられるサービスであるAmazon Athenaがリリースされました。 Athenaの概要に関しては以下をどうぞ。 Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを Amazon Athenaを使ってみました #reinvent Amazon AthenaをBigQueryと比較してみた 自分で軽く使ってみた感じだと、SaaSなので管理コストが低い上にクエリのパフォーマンスもかなり良く、非常に可能性を感じるサービスだという印象です。 というわけでAmazon Athenaをもっと使っていきたいので、OSSのBIツールであるre:dashからAmazon Athenaにクエリを投げられるようにしました。皆さんも良かったらやってみてください。 コメント欄にもありますが、re:d
BigQuery の標準 SQL モードで日付テーブルのフィルタリング、または Re:dash の Query Snippets を活用する話
BigQuery の標準 SQL モードで日付テーブルのフィルタリング、または Re:dash の Query Snippets を活用する話 Dec 4, 2016 要は Legacy SQL モード で FROM (TABLE_DATE_RANGE(dataset.table_, TIMESTAMP('2016-01-01'), TIMESTAMP('2016-01-14'))) とか書いていたのを標準 SQL でどう書くか、という話です。 すぐ忘れるのでメモ。 テーブルは以下のような名前になっている前提です。 table_20160101 table_20160102 table_20160103 … これで例えば直近 14 日分のテーブルを対象にしたい場合はこんな感じ。 SELECT time FROM `dataset.table_*` WHERE _TABLE_SUFFIX >
ディレクターがSQLを使えてよかった話 - クックパッド開発者ブログ
こんにちは。ディレクターの川原田です。 クックパッドでお気に入りレシピを保存する「MYフォルダ」のサービス開発や、保存・記録に関する新規サービスの検討・開発を担当しています。 ディレクターの仕事は様々ありますが、今回は私が身につけたことで仕事領域が広がった！と感じているSQLについてお話ししたいと思います。 いきなりですが、SQLが使えてよかった点をまとめると以下です。 よかったこと 数値抽出から分析まで自己完結 エンジニアとのコミュニケーションがスムーズに 仕事が増えていそうで実は効率アップ 周囲の知的好奇心を刺激 それぞれ具体例を交えてお話します。 数値抽出から分析まで自己完結 事例１：ログ構造を理解でき後の仕事がスムーズに 昨年、アプリのサービス開発を担当した際、エンジニアの設定したログが、実際に送信されるかどうかを事前チェックをしました*1。 アプリのリリースはタイミングが決められ
re:dashをdocker-composeで動かしたら簡単だったぜ 2016年6月 - パラボラアンテナと星の日記
この記事では、re:dashをdockerで一通り動かすことをやってみます。 re:dashとは こんな感じでデータをビジュアライズできるツールです。 (↑公式ドキュメントより拝借) re:dashの特徴は以下のとおりです。 取り込むことのできるデータの形式が豊富!! BigQuery, TD, ElasticSearch, GoogleSpreadSheet, 任意のURL, etc. アラート機能(メール)もある!! 動かす AWS, GCEで専用マシンイメージが配布されているようですが、 今回はdocker composeを使って自分のOSX内で実行してみました。 docker compose Setupを読んで手順通りにやっていきます。 1. Make sure you have a Docker machine up and running. 2. Make sure your
Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。 今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。 事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と 分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DataDNA | Heroku Dev Center