Looker Studioで組織内に魔境を作らないための裏技的Tips集 - Qiita
はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる（かもしれない）Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサービスでは、こうした組織管理を円滑にするような機能拡充がされています。 とはいえ、実は様々なデータをフル活用すると無料版でもできることは多くあります。今回は、そんな裏技的Tipsを5つ紹介しようと思います。 こんな方におすすめ Looker Studioの組
分厚いjoinを複数のexploreに継承して保守性を高める - Qiita
TL;DR 以下の手順を踏むと、元のexploreの全てのjoinを継承し、ベーステーブルのみを差し替えられる いずれかを選択する a. 継承元のexploreにおいて、ベーステーブルをview_nameで指定する b. 継承元のexploreにおいて、ベーステーブルをfromで指定し、独自のview_name名を定義する 継承先のexploreにおいて、extendsで継承元のexploreを指定し、fromでベーステーブルのみを差し替える はじめに Lookerでは、「ベーステーブル」（Exploreのベースとなる、最初に指定するテーブル）に様々なテーブルをjoinしてExploreを作ります。 似たようなベーステーブルが複数存在することはよくあります。例えば、分析のユースケースに従って似たようなサマリーテーブルを複数作成する場合などです。 大量のテーブルによる分厚いjoinがある場合
エンジニア向けのBIツール、QuaryをBigQueryに接続して使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 Quaryというエンジニア向けのBIツールが気になったので使ってみました。 GitHub - quarylabs/quary: Open-source BI for engineers VSCodeの拡張機能やCLIが準備されており、以下のことができます。 データベースへの接続 dbtに類似した機能 sqlファイルとしてmodelを記述可能、schemaもyamlファイルで記述可能 schemaはGUIで操作もでき、リネージも表示可能 また簡単なグラフなどもyamlファイルで管理可能 対応ソースはBigQueryやSnowflakeなどとなっていますので、今回はBigQueryで試してみようと思います。 BigQuery側の準備 前準備として、以下のページにある ml-latest-small.z
Hayabusaの検知結果をElastic Stackで可視化してみた - Qiita
$ ./target/release/hayabusa -h hayabusa 1.0.0 Yamato-Security(https://github.com/Yamato-Security/hayabusa) Hayabusa: Aiming to be the world's greatest Windows event log analysis tool! USAGE: -d --directory=[DIRECTORY] 'Directory of multiple .evtx files' -f --filepath=[FILEPATH] 'File path to one .evtx file' -r --rules=[RULEDIRECTORY] 'Rule file directory (default: ./rules)' -o --output=[CSV_TIMELI
MicrosoftにおけるBIの歴史 - テクテク日記
歴史というと、実は学生の時に殆ど興味がなかった分野だったのですが、今思えば自分が歴史よりも現在・将来について興味があったのが原因だったのかもしれません。ただし、例外として自分が今最も活用しているテクノロジーについての歴史は面白くて堪りません。今回はMicrosoftのBIに関する歴史について簡単に紹介してみようと思います。Power BIの登場背景、MicrosoftのBIテクノロジーの登場逸話等に興味がある人は最後まで読んでみて下さい。 凄い人達 当時のBIテクノロジー 混沌の2000年代 セルフサービスBIの登場 MicrosoftのBIに対する戦略 凄い人達 MicrosoftのBIテクノロジーを開発した人たちがいます。有名なところでAmir Netz氏とChristian Wade氏が挙げられます。Amir氏はTechnical Fellowというタイトルを持っており、Micros
redashmanを使ってRedashのクエリをお手軽にバックアップする - ariarijp’s blog
今日はRedash Advent Calendar 16日目ですが、この記事はAdvent Calendarの記事ではありません。 qiita.com 12/16の記事はvankobeさんによる、Redashの結果をGoogleスプレッドシートで扱う事例の記事です。 qiita.com Redashの便利さと、その裏にあるつらみ Redashを活用しはじめて1年半ほど経ちますが、今ではRedashなしで業務が回らなくなるほどに使い倒しています。 しかし、Redashの活用が進んだことによって「Redashが落ちたら全てが止まる」といった状況になりつつあることも事実で、たまにRedashの収容サーバーからアラートが飛んでくると、背筋が凍る思いをしています。 それだけでなく、Redashの利点でもある「誰でもクエリを実行・編集できる」というのが、運用上問題になることも何度か経験してきました。
SnowflakeとMetabaseで作る格安データ分析基盤 - Qiita
導入の背景 Snowflakeを導入し、Talendと各種バッチ処理を作成してデータ分析基盤を構築しましたが、肝心のBIがコストの関係でストップとなりました。当初はPowerBIを導入する予定でしたが、BIをQuickSightに変更してコストを約半分にまで下げる案に変更しても予算がおりませんでした。コスト問題をクリアする為に仕方なくOSSであるMetabaseで構築した環境でしたが、思った以上に低価格で高性能な環境ができあがり、PowerBIに負けてないどころか、こちらの方が使い勝手が上だと思う環境ができましたので、紹介したいと思います。 ###おすすめしたいポイント ■Snowflake ・クエリが投げられた間だけの課金(停止中は課金されない) ・停止中でも瞬間に起動するので、遅延は感じない ・控えめに言っても超高速 ・スタンダード契約なら、最小サイズのXSサイズで1クレジット$2.8
年間200名採用のSmartHRが実践する「中途採用レポーティング」のクフウ｜ひな
こんにちは。SmartHR 採用ユニットの日永と申します。 SmartHRでは、年間200名程度を目標とした中途採用を行なっています。その採用活動については色々なところでオープンにしていますが、この記事では、中途採用のレポーティングにおける工夫について書きたいと思います。 数値の集計やレポートは作って満足しがちですが、正しい情報を必要に応じてさくっと取得して、本来時間を割くべきものに集中できるのが理想ですよね。私自身、「これ完璧なのでは...？😳 」という解はまだまだ見つけられていないのですが、ちょうど1年前の自分の悩みが少しだけ改善されてきたので、このタイミングで書いてみることにしました。 日々募集ポジションがオープンしたりクローズしたり、目標人数が変わったり、社外に出している求人票と社内の管理上のポジション名が違ったり、各ポジションで採用フローが違ったり、中途採用の目標管理が複雑すぎ
Looker Studioのデータ抽出（Extract data）機能を利用してスキャン量を減らす - LayerX エンジニアブログ
こんにちは！LayerX バクラク事業部 機械学習・データ部 データチームの石橋（@saaaaaaky）です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
QuickSightでの分析の幅が広がるレベルアウェア計算（LAC）を理解する | DevelopersIO
データアナリティクス事業本部コンサルティングチーム・新納（にいの）です。 低コストでシンプルに可視化が行えることが強みのQuickSightですが、「もう少し踏み込んで分析をしたい…」と思う方もいらっしゃるのではないでしょうか。そんな方に朗報のレベルアウェア計算（level-aware calculations - LAC）について解説していきます。 レベルアウェア計算（LAC）を理解する 実際に試してみる前に、まずはレベルアウェア計算について理解することで今回のアップデートの嬉しさを100％フルパワーで享受できるようになります。 レベルアウェア計算とは レベルアウェア計算とは、ウィンドウ関数と集計関数を使う際に関数を適用する粒度を指定できるQuickSightの機能です。集計関数に使えるLAC-A関数とウィンドウ関数に使えるLAC-W関数の二種類あります。LAC-W関数はこれまでLAA（
少人数制でLookerの講習会をやってみた話 - Timee Product Team Blog
はじめに こんにちは！タイミーでデータアナリストをしているhatsuです。 私は普段、タイミーの営業戦術などについての分析に携わるほか、社内でのデータ利活用を推進する取り組みを行っています。 今回は、社内のデータ利活用推進に取り組む中で、これまで定期的に開催していたBIツールの社内講習会の運営方法を見直した話をご紹介したいと思います。 従来のLooker講習会における問題点 タイミーでは、社内のデータ利活用推進のため、LookerというBIツールを導入しています。 このLookerというツールをより多くのメンバーに活用してもらうため、これまでにも社内でLookerの使い方をレクチャーする講習会、通称「Looker講習会」を定期的に実施してきました。 従来のLooker講習会はオンラインのウェビナー形式で、40~90人ほどの人数を対象に実施していました。 しかし、講習会実施時にとったアンケー
Redash で踏み出す BI 導入はじめの一歩 / DataEngineeringStudy Redash
Data Engineering Study #8「BIツール特集－OSS・商用の上手い使い分け」の発表資料です https://forkwell.connpass.com/event/209803/
有料版Looker Studio Proと無料版の違いとは？導入で気をつけるべき3つのポイント
Googleが提供する新しいデータ可視化ツールであるLooker Studioの有料版、Looker Studio Proがリリースされました。 現在Looker Studioを使って可視化をしている方も、これから活用したいとお考えの方も、有料版と無料版の機能の違いについて興味があるのではないでしょうか？ 今回は、この有料版であるLooker Studio Proと無料版との違いと、Looker Studio Proを導入する際に注意するポイントを3つご紹介します。 ※イー・エージェンシーは、「Google マーケティング プラットフォーム（GMP）」「Google Cloud」の認定パートナーです。 Looker Studioとは？ Looker Studioは、Googleが提供する高機能なデータ可視化ツールです。Google アナリティクス 4 プロパティ（以下GA4）やスプレッドシ
AWS Quicksight Q で Generative BI（生成系 BI）機能 を使ってみる - Qiita
基本的な使い方 トピックの選択 ページ上部にあるQバー（検索窓）でトピックを選択します。 サンプルを作った状態では「Software Sales」が選択されています。 質問する Qバーに質問を入力します。 対応するのは基本英語のみです。（一部日本語が可能で後述します。） 例として「What country did we make the most sales last year?（昨年最も売上が多かった国はどこ）」と入力すると、数秒でグラフがビルドされます。 解釈の確認 Qがどのように文章を解釈したかQバーの下で確認できます。 質問の主要用語にアンダーバーで強調され、解釈したフィールド名とマッピングされていることが分かります。 例では以下のようにマッピングされています。 sales ＝ sum of sales（salesフィールドの合計） country = countryフィールド y
スマキャンが新データ分析基盤のBIツールにLookerを選んだ理由 - SMARTCAMP Engineer Blog
こんにちは！スマートキャンプエンジニアの井上（エース）です！ 皆さんは自社プロダクトに対してどのようにデータ分析をされていますか？ データ分析基盤は構築されているものの、少なからず課題を抱えている企業も多いかと思います。 今回は弊社のBOXIL SaaSに新しいデータ分析基盤を導入することになったので、その背景や導入にあたって課題だったこと、その対策などを書いていこうと思います。同じようにデータ分析基盤を導入しようとしている方の参考になれば幸いです。 元の基盤の課題 クエリの乱立とデータ定義のバラつき クエリ作成依頼についてのエンジニアの対応コストが高い データ分析ツールの統一 パフォーマンス 新しいデータ分析（BI）ツールに求められたもの Lookerの選定理由 LookMLによる統一的な管理 ドキュメントの充実度 プルリクベースでの開発 実際のアーキテクチャの紹介 導入にあたって課題だ
統計ダッシュボード機能を BigQuery と BI Engine で実装する
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
読書メモ: ビジネスダッシュボード 設計・実装ガイドブック 成果を生み出すデータと分析のデザイン - Secret Ninja Blog
昨年度出版された「CDP活用の最適解を導く事例から見えてくる、人材、プロジェクト、組織の在り方」では、CDPにおける組織設計やプロジェクトの全体設計の話を中心としたコンサルティング的な側面の知識を補完するための書籍でした。 CDP活用の最適解を導く 事例から見えてくる、人材、プロジェクト、組織の在り方 作者:トレジャーデータ,重原 洋祐,冨田 恭平,阪口 暁,小暮 和基,矢戸 政法翔泳社Amazon 一方で、今回出版された「ビジネスダッシュボード 設計・実装ガイドブック 成果を生み出すデータと分析のデザイン」は、トレジャーデータのプロフェッショナルサービスチームが中心となって書いたデータ分析のために構築されるビジネスダッシュボードの設計・デザイン・データ準備に焦点を当てた解説書になってます。特にビジネスダッシュボードを通した可視化は、プロジェクトが進み、実際に現場や役員など様々な協力者に対
Lookerから、dbtと相性のよいLightdashに移行してみた話
CI/CDがあたりまえの今の時代にAPIテスティングツールに求められていること / CI/CD Test Night #7
BigQueryでカラム名に日本語が使えるようになってますやん！あれ、LookerStudioさん…！ - Qiita
BigQueryでカラム名に日本語が使えるようになってますやん！あれ、LookerStudioさん…！BigQueryLookerStudio BigQueryでカラム名に日本語が使えるようになっていたよ こんにちは、見習いデータエンジニアのつざきです。 変なタイトルですみません。 たまたま気がついたんですが、 2023年3月22日に行われたリリースによってカラム名でUnicode文字が使えるようになっていました。 （今更かよ！ 知ってたよ！ って方はそっと閉じて） https://cloud.google.com/bigquery/docs/release-notes#March_22_2023 より まだプレビュー版なので正式な機能ではなく、本番環境で使うのはよした方がよさそうです。 とはいえ、問題なければ数ヶ月のうちに正式にサポートされるようになるでしょう（たぶん） 社内ユーザーが使
分析基盤BIツールにQuickSightを選んだ理由 - エス・エム・エス エンジニア テックブログ
医療・介護・ヘルスケア・シニアライフの4つの領域で高齢社会に適した情報インフラを構築している株式会社エス・エム・エスのAnalytics&Innovation推進部（ 以下、A&I推進部）でデータ分析基盤開発を担当している長谷川です。 A&I推進部はエス・エム・エス社内のデータを横断的に収集し、データの分析や加工から、データに基づく施策までを行う部門で、現在は介護事業者向け経営支援サービスである「カイポケ」や、介護職向け求人情報サービスである「カイゴジョブ」のデータ分析やレコメンドシステムの開発を行っています。 エス・エム・エスは多くのサービスでAWSを採用しており、A&I推進部においてもAWSのマネージドな機能を活用してデータ分析やサービス開発を行っています。 A&I推進部とは エス・エム・エスは主に医療・介護領域を事業のドメインとしていますが、それらのうち特に介護領域は労働集約型の事業
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
