Snowflake×Tableau：パフォーマンス・コストの最適化テクニック集
この記事は何 代表的なデータウェアハウスの１つであるSnowflakeと、代表的なセルフBIツールの１つであるTableauのコラボレーションはとても強力です。 一方で、SnowflakeにTableauから大量アクセスされることへのコストの懸念を抱えたり、ライブ接続の環境下でダッシュボードのパフォーマンスを出すことに苦戦する方もいると思います。 そこで、今回はSnowflakeとTableauを最大限活用するために、Tableau側・Snowflake側両方の視点から、パフォーマンスとコストの最適化に使えるテクニック集を紹介します。 1. Tableau側で出来る対策 まず最初は、Tableau側で出来る対策です。Tableau側は、Snowflake側へのクエリの実行数を減らすことが基本的な対策と言えます。 1-1. 抽出を利用する まず最初は Tableauの抽出の利用です。ライブ接
えっTableauってMOD関数ないんですか？という痒いところを解決する話
はじめに こんにちは。整数を整数で割った余りを求める剰余演算ことMOD関数を，Tableauで全関数探したけどありませんでした。 どうして… 一方で，整数を整数で割った商を求める関数ことDIV関数はあったので，それを使って余りを算出する関数を調べたので，記録として残しておこうと思います。 過程を省くとこれで書ける 詳細は後述しますが，日本で教わったような正の値としての余り(ユークリッド除法) を実現するには，少し工夫が必要でした。 分かりやすさも兼ねて，以下2式で実現できます。ここで，[mod number]は割る数として整数型のパラメータを使っています。 // [DIV (remainder: positive)] = IF [mod number] >= 0 THEN FLOOR([X]/[mod number]) ELSE CEILING([X]/[mod number]) END
Tableau の行レベルのセキュリティ オプションの概要
データのフィルターリングを、データを必要としているユーザーに基づいて行いたい場合があります。例えば、次のような場合です。 地域の営業担当者に、自分の地域の売上高のみを表示させたい。営業マネージャーに、自分の部下の営業担当者の統計のみを表示させたい。生徒に、自分の成績に基づいたビジュアライゼーションのみを表示させたい。データをこのようにフィルターリングするアプローチは、行レベルのセキュリティ (RLS) と呼ばれます。行レベルのセキュリティを実現する方法は Tableau の内部と外部で複数あり、それぞれに長所と短所があります。 手動でユーザー フィルターを作成し、ユーザーを値にマッピングするTableau で行レベルのセキュリティを実現する最も簡単な方法は、ユーザーを手動で値にマッピングするユーザー フィルターを使用することです。たとえば、「Alice」という名前のユーザーを値「東部」に手
データポリシーによる行レベルのセキュリティを使用する #tableau | DevelopersIO
データポリシーによる行レベルのセキュリティ機能の概要をまとめておきたく記事としました。 仮想接続とデータポリシー Tableau Cloud または Tableau Server では、Tableau Data Management アドオンを利用することで、仮想接続とデータポリシーという機能を使用することが可能です。 Tableau Cloud Tableau Server 仮想接続 仮想接続は、Tableau コンテンツ タイプの 1 つで、これによりデータソースへの認証情報を一元管理することができます。 具体的なメリットとして、以下が挙げられます。 ダッシュボード開発者に認証情報を渡さずにすむ Creator は仮想接続経由でデータソースにアクセスすることが可能となります。サイト管理者が仮想接続を作成し、ある Creator ユーザーに接続を許可することで、Creator ユーザーは
2週間(30h)でTableau Desktop Specialistに合格した方法 - Qiita
この度、Tableau Desktop Specialistに合格しました。 2週間という短い対策期間ではありましたが、サクッと（とはいえ点数ギリギリ）終えることができたので、今後本試験を受験される方に向けて記事化しました。 この記事からわかること ・合格までの対策が明確になる ・試験概要をつかむことができる ・試験を通して得られることがわかる ・合格後の方向性がなんとなく把握できる 著者スペック ・エンジニア歴半年 ・前職でTableauを売っていたので出来ることくらいは知ってた ・最近社内勉強会で使い始めた程度で素人同然 という感じで、ご覧になっている方のほうが理解度が高いなんてこともあるかと思います。 試験概要 点数 800/1000でした。 合格基準が750なので、おそらくあと数問くらい間違えていたら落ちていたと思います。 使用方法や設定に関するこまかーーい問題が多く、正直「いやそ
Tableau Serverにおけるコンテンツ管理をどう行なうべきかという話
はじめに こんにちは。 いま所属している楽天という会社では，出店いただいている店舗様への提案を行なうECコンサルタントが数百人単位で所属しています。また，そのほとんどがTableau Serverを利用した分析結果をもとに提案を行なっています。また，ECコンサルタント以外にもユーザがいて，ひとつのサイトの利用者は1000人を超えます。そんなサイトの管理者(Site Administrator)として，ユーザたちに心おきなくTableau Serverを使ってもらうべく，ここ1年くらい頑張っています。 解決したかったこと ともなれば，大変なのはTableauユーザーたちが各々Publishするコンテンツの整理整頓です。 ここでコンテンツとしているのは，おもにワークブックとデータソースです。 ある時点までは，とくにルールを設けず，そのときどきの個人の判断でコンテンツをプロジェクト(Tablea
Tableauのパフォーマンスを速くするための基本
Tableauのダッシュボードを速くするための基本は、データの接続方法を「ライブ」接続ではなく「抽出」にすることです。 「ライブ」接続にしなければいけない要件は主に2つです。 リアルタイムのデータを表示する必要がある時 扱うデータ量が多すぎて抽出ができない時 この2点にあてはまらない場合は「抽出」に切り替えましょう。「ライブ」接続を「抽出」に変更するだけで、多くの場合は速く表示されるようになります。 逆に、「2. 扱うデータ量が多すぎて抽出ができない時」に当てはまる場合は、今一度設計を見直してみるのがいいと思います。 私が設計段階でデータソースのレコード数とパフォーマンスの考え方を以下にまとめてみました。 レコード数 パフォーマンスの考え方
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
[Tableau]拡張機能を使って、 日付フィルターをわかりやすくする | DevelopersIO
皆さんはTableauのダッシュボード拡張機能を使ってみたことはあるでしょうか？今回は、『Date Range Picker』というダッシュボード拡張機能を試してみました。 まずは普段通りにダッシュボードを作成 サンプルスーパーストアのデータを使用して、売上実績をウォッチするためのダッシュボードを作成 この際、すべてのワークシートにはオーダー日で共通のフィルタを適用しています 通常の日付のフィルタオプションは以下の通り 日付の範囲 開始日 終了日 期間を参照 相対日付 日付を絶対指定するものについてはスライダーの日付の他、日付をクリックすることでカレンダーから指定することも可能です このままでも不便ではないのですが、保持データの日付が多かったりするとスライダーが使いづらくなったりします Date Range Pickerを使ってみる ダッシュボードに拡張機能を追加 オブジェクトから『拡張機
Tableau 勉強方法のすすめ 2024年版｜杉村麟太郎
私がTableauを使い始めて約8年になります。TableauはBIの中でもユーザーのコミュニティや使い方のナレッジが豊富でGoogleで検索をすると、大抵のことは調べることができます。ユーザーコミュニティが充実していて、多くの技術の解決方法やtipsを発見することができますが、初めてTableauを使ったユーザーはナレッジが多いからこそ、何から学べば良いのかわからない方は多いのではないかと思いました。この記事では、以下を満たした勉強方法を紹介していきます。 Tableauを8年以上使ってみて、今からまた学び始めるときにおすすめの勉強方法 Tableauの最新バージョンも反映できている できるだけ無料かつハンズオンをベースに学べる おすすめの勉強方法個人個人に勉強方法の好みがあります。ここでは人と学ぶ場合と個人で学ぶ場合を分けて紹介します。 1. 師匠を見つけて学ぶTableauを学ぶとき
[2024.1新機能]TableauもとうとうMetricsファーストなBIツールに！？データを用いた指標をMetricsとして定義し分析を行えるTableau Pulseを試してみた | DevelopersIO
[2024.1新機能]TableauもとうとうMetricsファーストなBIツールに！？データを用いた指標をMetricsとして定義し分析を行えるTableau Pulseを試してみた さがらです。 先日Tableauの2024.1がリリースされました！ 2024.1のリリースに併せて、Tableau CloudでTableau Pulseが使用できるようになりました。そこで早速Tableau Pulseを試してみたので、その内容を本記事でまとめてみます。 Tableau Pulseとは Tableau Pulseですが、売上や利益などデータを用いた指標を「Metrics」として定義し、各ユーザーがそのMetricsの動きをウォッチ出来る機能となります。 Tableau Pulseの公式ドキュメントは以下になるので、こちらも併せてご覧ください。 事前準備：検証に使用するデータ 今回検証に使
【Tableau】日本の全市区町村をジオコーディングしたい - Qiita
背景 Tableauはジオコーディングに対応しているが… 日本の都道府県のジオコーディングはうまくやってくれますが、市区町村はところどころ認識不可となってしまいます。 どういった場所がうまくジオコーディングできていないか、検証していきます。 そもそもジオコーディングとは何ぞや？という方はこちらを参考に 検証方法 今回の検証環境、検証使用データ Tableau Desktop Public Edition 2024.1.0 (20241.24.0208.0337) 全国地方公共団体コード | 総務省（令和6年1月1日更新） 市町村データシート（現在の団体）と区データ（政令指定都市）は、あらかじめユニオンしておきます。 Tableauでのジオコーディング方法 地理的役割を指定します。市区町村名は「市区町村」ではなく「郡」を指定します 都道府県レベルのデータ（≒市区町村名がNULLの行）をフィル
tableau cloudのワークブックをS3にバックアップする
はじめに いろいろなBIツールがありますが、その開発や運用時どのような管理をされていますか？ Lookerはgit管理できますが、tableauやPower BIはgit管理にあまり向いていない印象です。 ワークブックをgoogle drive等のツールで管理したり、tableau cloud上のみで管理するという方法もとりえますが、誤操作により予期せず削除等をしてしまうかもしれません。特にtableau cloudでは、現存しているワークブックの履歴管理はできますが、ワークブックを削除してしまった場合、元に戻すことはできないようです。意図せぬ操作をしてしまっても復旧できる準備しておく目的で、本記事ではtableau cloud上のワークブックをAWS S3にバックアップする方法を紹介します。 アーキ図 AWSのEventBridgeをトリガーに、Lambdaでサーバレスにtableau
Snowflake×Tableau：クエリ履歴にダッシュボードのメタデータを紐付ける
この記事は何 TableauのデータソースでSnowflakeをライブ接続で利用し、従来では考えられなかった規模感のデータをTableauで扱うことが増えてきました。しかし、そのような利用が進むと、コスト管理やガバナンスの観点から、各クエリの発生元のワークブックなどをなるべく詳細に把握しておきたくなるケースがあると思います。 そこで、今回は、Snowfalkeのクエリ履歴テーブルSNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORYにあるQuery Tagの情報を使って「各クエリがTableau Cloudのどのダッシュボードやワークブックから発行されているのか」をQuery IDレベルで分かるようにする方法を紹介します。 TableauのQuery TaggingとSnowflakeのQuery Tag 今回は、Tableauのネイティブ機能であるQuery Tagg
Tableau Bridge で Snowflake に PrivateLink を使って接続してみた | DevelopersIO
Snowflake は SaaS 製品ですが、各クラウドサービスとのプライベート接続にも対応しており、AWS であれば AWS PrivateLink を利用できます。Tableau Cloud と組みあわせて使用する場合、プライベートネットワークからアクセスするために Tableau Bridge を使用できます。Tableau Bridge を使用したデータソースのパブリッシュまで試してみましたので、記事にしました。 前提環境 以下の環境と構成で検証しています。 Snowflake：Business Critical エディション ※PrivatLink の設定には Business Critical 以上のエディションが必要 Tableau Cloud Tableau Bridge：2023.2.3 Tableau Desktop：2023.2.3 AWS リージョン：ap-nort
Snowflake と Tableau を使った BI によるデータ分析基盤のデプロイを継続的に改善した
本記事は、Snowflake Advent Calendar 2021 の12日目です。 本記事の概要 2020年の6月に、当時、データ分析基盤が一才なかった現在所属企業（在シンガポール）に初のデータエンジニアとして入社し、データ分析基盤をスクラッチで構築することになりました。まずは BI とアドホック分析をやりたいとなり、データサイエンティストと二人三脚で小規模な BI システムを構築し、デプロイ周りも改善し、最終的にはデータウェアハウスとして Snowflake も導入しました。 本記事では、筆者の知識や経験の棚卸しと整理を目的に比較的小規模に始まったデータ分析基盤の特にデプロイ周りをどう改善したか紹介します。 なお、現在は、大手金融企業と合併し、先方のオンプレ環境の大規模な BI システム（利用者数百名）のマイグレをやっていますが、それはまた別の機会にノウハウを紹介しようと思います。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
