Snowflakeの論文「The Snowflake Elastic Data Warehouse」を読んでみた_Part1
Snowflakeの論文「The Snowflake Elastic Data Warehouse」を読んでみた_Part1 目次 はじめに 注意事項 1. INTRODUCTION 2. STORAGE VERSUS COMPUTE 3. ARCHITECTURE 3.1 Data Storage 3.2 Virtual Warehouses 3.3 Cloud Services 感想 はじめに この記事は、最近読んだSnowflakeの論文「The Snowflake Elastic Data Warehouse」の内容を備忘的に残したものです。 ※ Part2も近いうちに公開予定 論文は以下にて公開されていますので、誰でも読むことができます。 この論文を読んだ動機としては、「Snowflakeってなんで早いの？」とか「他のDWHやDBとどう違って何が優れているの？」という問いに対して
TerraformでS3オブジェクトを作成する方法いろいろ | DevelopersIO
TerraformでS3オブジェクトを作成する方法がいくつかあったので まとめてみます。 以下3通りで aws_s3_object を作成してみました。 方法1: source を指定する 方法2: content を指定する 方法3: content_base64 を使う 方法1: source を指定する source 引数を使う方法です。ローカルにあるファイルのパスを指定します。 以下サンプルになります。 ローカルにある "src/clanyan.json" を S3オブジェクトとしてアップロードしています。 resource "aws_s3_object" "clanyan_source" { # アップロード元(ローカル) source = "src/clanyan.json" # アップロード先(S3) bucket = "DOC-EXAMPLE-BUCKET" key = "
そうだ、インド・ネパール料理店へ行こう！『カレー難民の謎 日本を制覇するインネパ』 - HONZ
カレー移民の謎 日本を制覇する「インネパ」 (集英社新書) 作者: 室橋 裕和 出版社: 集英社 発売日: 2024/3/15 不思議だと思っていた。にぎやかな下町に住んでいるとはいえ、徒歩圏内に「インド料理店」が五軒もある。うち一軒はビリヤニなどもメニューにあるホンモノのインド料理店だけれど、他の四軒は「インド・ネパール料理店」で、メニューも値段もえらく似通っている。 さらに不思議に思ったこともある。ちょうど5年前、トレッキングでネパールへ行った時にわかったのだが、カレーがほとんど出てこない。代わりによく食べた、というより食べさせられたのはダルバートだ。豆（ダル）のスープと米（バート、もちろんインディカ種）がメインで、そこにカレーに似た、といってもそれほどスパイシーではないタルカリというのがついていて、アチャールという漬物や薬味が添えられている。トレッキングのガイドさんたちは毎食ダルバー
Tableau の行レベルのセキュリティ オプションの概要
データのフィルターリングを、データを必要としているユーザーに基づいて行いたい場合があります。例えば、次のような場合です。 地域の営業担当者に、自分の地域の売上高のみを表示させたい。営業マネージャーに、自分の部下の営業担当者の統計のみを表示させたい。生徒に、自分の成績に基づいたビジュアライゼーションのみを表示させたい。データをこのようにフィルターリングするアプローチは、行レベルのセキュリティ (RLS) と呼ばれます。行レベルのセキュリティを実現する方法は Tableau の内部と外部で複数あり、それぞれに長所と短所があります。 手動でユーザー フィルターを作成し、ユーザーを値にマッピングするTableau で行レベルのセキュリティを実現する最も簡単な方法は、ユーザーを手動で値にマッピングするユーザー フィルターを使用することです。たとえば、「Alice」という名前のユーザーを値「東部」に手
社内向けStreamlitのデプロイの現実解
結論 社内データを扱うアプリケーションを安全にデプロイするならCloudflare Tunnel,Cloudflare Accessを使う。要件次第ではStreamlit in Snowflakeも使える。 はじめに Streamlitはデータアプリケーションを短時間で作成できる便利なツールですが、社内データを扱うアプリケーションをデプロイする際は外部からの不正アクセスを防ぐように厳重な注意が必要です。 にもかかわらず、Streamlitを安全にデプロイする成熟した方法はまだありません。 本記事では、最も単純なStreamlitのデプロイ構成の例から問題点を再確認し、それらを解決する方法を順に説明します。ただし、本記事で紹介する構成を使うにはドメインのネームサーバーがCloudflareである必要があることに注意してください。 単純な構成はどう危険なのか？ まずは非常に単純なStreaml
データポリシーによる行レベルのセキュリティを使用する #tableau | DevelopersIO
データポリシーによる行レベルのセキュリティ機能の概要をまとめておきたく記事としました。 仮想接続とデータポリシー Tableau Cloud または Tableau Server では、Tableau Data Management アドオンを利用することで、仮想接続とデータポリシーという機能を使用することが可能です。 Tableau Cloud Tableau Server 仮想接続 仮想接続は、Tableau コンテンツ タイプの 1 つで、これによりデータソースへの認証情報を一元管理することができます。 具体的なメリットとして、以下が挙げられます。 ダッシュボード開発者に認証情報を渡さずにすむ Creator は仮想接続経由でデータソースにアクセスすることが可能となります。サイト管理者が仮想接続を作成し、ある Creator ユーザーに接続を許可することで、Creator ユーザーは
仕事の人間関係で心を疲れさせないために、いますぐ「やめる」といい3つのこと - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
「あらゆる悩みの原因は人間関係にある」とは、アドラー心理学の根底に流れる概念とされます。しかし、苦手な人とも付き合っていかなければならないビジネスパーソンにとって、人間関係の悩みは尽きないもの。そして、人間関係によって心が疲れてしまう人はあとを絶ちません。 そんな人たちに向けて、一般社団法人感情マネージメント協会代表理事の片田智也さんが、心を疲れさせないために「やめたほうがいいこと」を解説してくれました。 構成／岩川悟 取材・文／清家茂樹 写真／玉井美世子 【プロフィール】 片田智也（かただ・ともや） 1978年生まれ、和歌山県出身。一般社団法人感情マネージメント協会代表理事。公認心理師。産業カウンセラー。大学卒業後、20代で独立するがストレスから若年性緑内障を発症、視覚障害者となる。同年、うつ病と診断された姉が自死。姉の死の真相を知るため、精神医療の実態や心理療法を追求、カウンセラーに転
Github Action workflow_runトリガーでファイル差分に応じてjobを動かす
タイトルは正しいと思うんですがわかりくいですね。まずはworkflow_runについて簡単な説明を。 workflow_runって何 Github Acitonではworkflow(＝yml)を連携させる方法が2つあります。1つはreusable workflowで、もう1つはworkflow_runイベントです。前者はメインのworkflowから別のworkflowを呼び出すものであくまでメインworkflowの一部のタスクを別ymlファイルに切り出す、というものです。 一方、workflow_runイベントは1つ目のworkflowが終わったら2つ目のworkflowを開始する、というものなので、たとえ2つ目のworkflowが失敗しても1つ目のworkflowの結果には影響しません。 Reusable Workflow workflow_runイベント で、今回は後者のworkflo
Snowflakeでリソースモニターを設定してみた - Qiita
・消費されたクレッジット数に、クレジット価格を掛けて計算される ・クレジットを消費するリソースは下記の通り ・仮想ウェアハウスコンピューティング ・サーバレスコンピューティング ・クラウドサービスコンピューティング 概要 Snowflakeでのコスト管理を元に整理します。 コスト管理のフレームワーク Snowflakeのコスト管理は、下記の3つに分けられるとのことです。 Control Visibillity Optimization ※ 出典：コスト管理のフレームワーク 総コストについて 総コストについてを元に整理します。 コストの発生について Snowflakeを使用する総コストは、データ転送、ストレージ、およびコンピューティングリソースを使用するコストの合計です。Snowflakeの革新的な クラウドアーキテクチャ は、タスクを達成するためのコストをこれらの使用タイプのいずれかに分類
列ストア形式のDBはなぜ分析ワークロードに適しているのか
行ストアの場合 テーブルが行ストア形式で書かれている場合、各行のデータは一緒に保存されます。この図では、2019年シーズンの0~17歳のグループのデータをブロック1に配置しています。この形式は、コンピュータ・システムが新しいデータを新しいブロックに書き込むことでテーブルに追加できるため、トランザクション作業には最適です。しかし、「2019年シーズン、全年齢層の平均入院率はどのくらいか」という質問に関心がある場合、システムは2019年のデータを含む各ブロックを読み込む必要があります。この単純化した例では、3ブロックのデータを読み込む必要があります。この保存方法は、多くのデータ行の要約を必要とすることが多い分析ワークロードでは、比較的時間がかかる可能性があります。 列ストアの場合 カラム・ストア形式では、カラムのデータをまとめて保存します。例えば、年の列のデータは図のブロック1に示されています
[アップデート]TerraformのProviderが関数を定義できるようになりました | DevelopersIO
2024/4/10にGAになったTerraformのVersion1.8にて、Providerが関数を定義できるようになりました。各Providerの開発者はそのProvider固有の問題解決に特化した関数を作成できるようになりました。 本エントリでは新関数たちを触ってみてレポートします。 Providerって？ Terraformをあまりご存じない方向けに説明すると、ProviderはTerraformのプラグインです。実はTerraform単体ではAWSのリソースなどをプロビジョニングすることはできません。AWSリソースをプロビジョニングしたい場合はAWS provider、Google Cloudのリソースをプロビジョニングしたい場合はGoogle Cloud providerなどといったように、対応するproviderと組み合わせてTerraformを使うことではじめてリソースをプ
Prompt Engineering Guide – Nextra
Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること
2週間(30h)でTableau Desktop Specialistに合格した方法 - Qiita
この度、Tableau Desktop Specialistに合格しました。 2週間という短い対策期間ではありましたが、サクッと（とはいえ点数ギリギリ）終えることができたので、今後本試験を受験される方に向けて記事化しました。 この記事からわかること ・合格までの対策が明確になる ・試験概要をつかむことができる ・試験を通して得られることがわかる ・合格後の方向性がなんとなく把握できる 著者スペック ・エンジニア歴半年 ・前職でTableauを売っていたので出来ることくらいは知ってた ・最近社内勉強会で使い始めた程度で素人同然 という感じで、ご覧になっている方のほうが理解度が高いなんてこともあるかと思います。 試験概要 点数 800/1000でした。 合格基準が750なので、おそらくあと数問くらい間違えていたら落ちていたと思います。 使用方法や設定に関するこまかーーい問題が多く、正直「いやそ
分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか？それぞれの特徴をまとめてみた
X(旧Twitter)の仕様変更などを受けて、BlueskyやMastodonなどの分散型SNSに注目が集まっています。そこで、分散型SNSプロトコルの代表的存在である「AT Protocol」「ActivityPub」「Nostr」の特徴をまとめてみました。 Docs | AT Protocol https://atproto.com/docs ActivityPub https://www.w3.org/TR/2018/REC-activitypub-20180123/ GitHub - nostr-protocol/nostr: a truly censorship-resistant alternative to Twitter that has a chance of working https://github.com/nostr-protocol/nostr Nostrの仕組
slackとAWSでLLM ChatbotをServerlessで運用する
組織内のデータを使ってLLMによるチャットシステムを導入したいと考えたとき、ある程度実データを集めて関係者に実際に使ってもらいながら検証やチューニングを進めるのが良いのではないかと考えています。 そこで、すぐに組織内で運用を始められるよう、導入に関して敷居が低い構成を考えプロトタイプ実装してみたので紹介します。 チャットシステムの実装 アプリケーションはChatGPT/LangChainによるチャットシステム構築［実践］入門を参考に実装しています。 以下は、プログラミング言語MojoのREADME.mdを補足情報として参照可能な状態にしてgpt-3.5-turbo-16k-0613に質問をしています。 実際の利用イメージ 全体の処理の流れは次のようになります。 システムの特徴 検証開始時点から組織内のユーザーがサービスとして利用できる。 運用コストを最低限に抑えるためServerlessな
多要素認証を私物スマホでやっていいのか問題
Hello,World! gonowayです。 弊社がご支援するお客様とお話するなかで、多要素認証のためにIDaaSが提供しているアプリケーション（以降、認証アプリ）を私物モバイル端末にいれていいのか？という疑問に、わたしたちが普段お客様にご案内していることをざっくりまとめてみました。 3行まとめ 現代では外部の不正ログインから守るために多要素認証が必須になってきている。 多要素認証の実現のため、会社モバイル端末であれ私物モバイル端末であれ認証アプリはインストールしてほしい。 私物モバイル端末にインストールしてもらう場合、エンドユーザーへの説明を行うことが必要。また、ガラケーしか持っていないような例外措置への対処を考えることも必要。 前提 認証要素について 認証要素は下記の3種類です。NIST SP800-63を参考にしています。 記憶によるもの：記憶(Something you know
ディメンション・モデリング
VOYAGE GROUP Techlog Advent Calendar 2020 13日目 ディメンション・モデリングとは ディメンション・モデリング Wikipediaには以下のような説明がある。 Dimensional Modeling (DM) is a data structure technique optimized for data storage in a Data warehouse. データウェアハウスにデータを格納するために、最適化されたデータ構造の手法。 背景 情報システムは2つの大きなカテゴリに分類される。1つはビジネスプロセスの実行支援する業務システム、もう1つはビジネスプロセスを分析支援する分析システム。それぞれ根本的に異なる目的があるため、異なる原則に基づき設計が進化してきた。 業務システムの目的は、ビジネスプロセスで発生した重要な事実や行動を記録する。一
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
K-12 Prompt Engineering
パスキーについて今日時点の僕が知っていること / What I Know About Passkeys as of Today
Snowflake Access Management - Titan