Snowflakeでリソースモニターを設定してみた - Qiita
・消費されたクレッジット数に、クレジット価格を掛けて計算される ・クレジットを消費するリソースは下記の通り ・仮想ウェアハウスコンピューティング ・サーバレスコンピューティング ・クラウドサービスコンピューティング 概要 Snowflakeでのコスト管理を元に整理します。 コスト管理のフレームワーク Snowflakeのコスト管理は、下記の3つに分けられるとのことです。 Control Visibillity Optimization ※ 出典：コスト管理のフレームワーク 総コストについて 総コストについてを元に整理します。 コストの発生について Snowflakeを使用する総コストは、データ転送、ストレージ、およびコンピューティングリソースを使用するコストの合計です。Snowflakeの革新的な クラウドアーキテクチャ は、タスクを達成するためのコストをこれらの使用タイプのいずれかに分類
列ストア形式のDBはなぜ分析ワークロードに適しているのか
行ストアの場合 テーブルが行ストア形式で書かれている場合、各行のデータは一緒に保存されます。この図では、2019年シーズンの0~17歳のグループのデータをブロック1に配置しています。この形式は、コンピュータ・システムが新しいデータを新しいブロックに書き込むことでテーブルに追加できるため、トランザクション作業には最適です。しかし、「2019年シーズン、全年齢層の平均入院率はどのくらいか」という質問に関心がある場合、システムは2019年のデータを含む各ブロックを読み込む必要があります。この単純化した例では、3ブロックのデータを読み込む必要があります。この保存方法は、多くのデータ行の要約を必要とすることが多い分析ワークロードでは、比較的時間がかかる可能性があります。 列ストアの場合 カラム・ストア形式では、カラムのデータをまとめて保存します。例えば、年の列のデータは図のブロック1に示されています
[アップデート]TerraformのProviderが関数を定義できるようになりました | DevelopersIO
2024/4/10にGAになったTerraformのVersion1.8にて、Providerが関数を定義できるようになりました。各Providerの開発者はそのProvider固有の問題解決に特化した関数を作成できるようになりました。 本エントリでは新関数たちを触ってみてレポートします。 Providerって？ Terraformをあまりご存じない方向けに説明すると、ProviderはTerraformのプラグインです。実はTerraform単体ではAWSのリソースなどをプロビジョニングすることはできません。AWSリソースをプロビジョニングしたい場合はAWS provider、Google Cloudのリソースをプロビジョニングしたい場合はGoogle Cloud providerなどといったように、対応するproviderと組み合わせてTerraformを使うことではじめてリソースをプ
![[アップデート]TerraformのProviderが関数を定義できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
Prompt Engineering Guide – Nextra
Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること
2週間(30h)でTableau Desktop Specialistに合格した方法 - Qiita
この度、Tableau Desktop Specialistに合格しました。 2週間という短い対策期間ではありましたが、サクッと（とはいえ点数ギリギリ）終えることができたので、今後本試験を受験される方に向けて記事化しました。 この記事からわかること ・合格までの対策が明確になる ・試験概要をつかむことができる ・試験を通して得られることがわかる ・合格後の方向性がなんとなく把握できる 著者スペック ・エンジニア歴半年 ・前職でTableauを売っていたので出来ることくらいは知ってた ・最近社内勉強会で使い始めた程度で素人同然 という感じで、ご覧になっている方のほうが理解度が高いなんてこともあるかと思います。 試験概要 点数 800/1000でした。 合格基準が750なので、おそらくあと数問くらい間違えていたら落ちていたと思います。 使用方法や設定に関するこまかーーい問題が多く、正直「いやそ
分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか？それぞれの特徴をまとめてみた
X(旧Twitter)の仕様変更などを受けて、BlueskyやMastodonなどの分散型SNSに注目が集まっています。そこで、分散型SNSプロトコルの代表的存在である「AT Protocol」「ActivityPub」「Nostr」の特徴をまとめてみました。 Docs | AT Protocol https://atproto.com/docs ActivityPub https://www.w3.org/TR/2018/REC-activitypub-20180123/ GitHub - nostr-protocol/nostr: a truly censorship-resistant alternative to Twitter that has a chance of working https://github.com/nostr-protocol/nostr Nostrの仕組
slackとAWSでLLM ChatbotをServerlessで運用する
組織内のデータを使ってLLMによるチャットシステムを導入したいと考えたとき、ある程度実データを集めて関係者に実際に使ってもらいながら検証やチューニングを進めるのが良いのではないかと考えています。 そこで、すぐに組織内で運用を始められるよう、導入に関して敷居が低い構成を考えプロトタイプ実装してみたので紹介します。 チャットシステムの実装 アプリケーションはChatGPT/LangChainによるチャットシステム構築［実践］入門を参考に実装しています。 以下は、プログラミング言語MojoのREADME.mdを補足情報として参照可能な状態にしてgpt-3.5-turbo-16k-0613に質問をしています。 実際の利用イメージ 全体の処理の流れは次のようになります。 システムの特徴 検証開始時点から組織内のユーザーがサービスとして利用できる。 運用コストを最低限に抑えるためServerlessな
多要素認証を私物スマホでやっていいのか問題
Hello,World! gonowayです。 弊社がご支援するお客様とお話するなかで、多要素認証のためにIDaaSが提供しているアプリケーション（以降、認証アプリ）を私物モバイル端末にいれていいのか？という疑問に、わたしたちが普段お客様にご案内していることをざっくりまとめてみました。 3行まとめ 現代では外部の不正ログインから守るために多要素認証が必須になってきている。 多要素認証の実現のため、会社モバイル端末であれ私物モバイル端末であれ認証アプリはインストールしてほしい。 私物モバイル端末にインストールしてもらう場合、エンドユーザーへの説明を行うことが必要。また、ガラケーしか持っていないような例外措置への対処を考えることも必要。 前提 認証要素について 認証要素は下記の3種類です。NIST SP800-63を参考にしています。 記憶によるもの：記憶(Something you know
ディメンショナル・モデリング
VOYAGE GROUP Techlog Advent Calendar 2020 13日目 ディメンショナル・モデリングとは ディメンショナル・モデリング Wikipediaには以下のような説明がある。 Dimensional Modeling (DM) is a data structure technique optimized for data storage in a Data warehouse. データウェアハウスにデータを格納するために、最適化されたデータ構造の手法。 背景 情報システムは2つの大きなカテゴリに分類される。1つはビジネスプロセスの実行支援する業務システム、もう1つはビジネスプロセスを分析支援する分析システム。それぞれ根本的に異なる目的があるため、異なる原則に基づき設計が進化してきた。 業務システムの目的は、ビジネスプロセスで発生した重要な事実や行動を記録する
xzパッケージに仕込まれた3年がかりのバックドア、スケール直前に見つけたのはMicrosoftの開発者 | gihyo.jp
Linux Daily Topics xzパッケージに仕込まれた3年がかりのバックドア、スケール直前に見つけたのはMicrosoftの開発者 “アップストリームのxzリポジトリとxz tarballsはバックドア化されている（The upstream xz repository and the xz tarballs have been backdoored）”―2024年3月29日、Microsoftに所属する開発者 Andres Freundが「Openwall.com」メーリングリストに投稿したポストは世界中のオープンソース関係者に衝撃を与えた。 backdoor in upstream xz/liblzma leading to ssh server compromise -oss-security 主要なLinuxディストリビューションにはほぼ含まれているデータ圧縮プログラ
Terraform 公式がスタイルガイドを出したので読んで要約した - Qiita
3/30 に X で Terraform がトレンド入りしていて何事かと思ったら Terraform が公式ドキュメントとしてスタイルガイドを出したようです。 Terraform Style Guide いままで Terraform のスタイルに関して信頼できるドキュメントといえば Google Cloud の Terraform を使用するためのベスト プラクティス ぐらいしか知らなかったのですが、 Terraform 公式がようやく出してくれてありがたい限りです。 これでわざわざ社内の Terraform 規約を設けずとも「公式ドキュメントに従いましょう。」の一言で済みます。 ということで一通り読んだのでまとめました。 原文だと構文の簡単な使い方なども書いてありますが以下の要約ではだいたい省略しています。 詳細は原文を読んで確認してください。 要約 スタイルガイドについて コードのスタ
Tableau Serverにおけるコンテンツ管理をどう行なうべきかという話
はじめに こんにちは。 いま所属している楽天という会社では，出店いただいている店舗様への提案を行なうECコンサルタントが数百人単位で所属しています。また，そのほとんどがTableau Serverを利用した分析結果をもとに提案を行なっています。また，ECコンサルタント以外にもユーザがいて，ひとつのサイトの利用者は1000人を超えます。そんなサイトの管理者(Site Administrator)として，ユーザたちに心おきなくTableau Serverを使ってもらうべく，ここ1年くらい頑張っています。 解決したかったこと ともなれば，大変なのはTableauユーザーたちが各々Publishするコンテンツの整理整頓です。 ここでコンテンツとしているのは，おもにワークブックとデータソースです。 ある時点までは，とくにルールを設けず，そのときどきの個人の判断でコンテンツをプロジェクト(Tablea
Tableauのパフォーマンスを速くするための基本
Tableauのダッシュボードを速くするための基本は、データの接続方法を「ライブ」接続ではなく「抽出」にすることです。 「ライブ」接続にしなければいけない要件は主に2つです。 リアルタイムのデータを表示する必要がある時 扱うデータ量が多すぎて抽出ができない時 この2点にあてはまらない場合は「抽出」に切り替えましょう。「ライブ」接続を「抽出」に変更するだけで、多くの場合は速く表示されるようになります。 逆に、「2. 扱うデータ量が多すぎて抽出ができない時」に当てはまる場合は、今一度設計を見直してみるのがいいと思います。 私が設計段階でデータソースのレコード数とパフォーマンスの考え方を以下にまとめてみました。 レコード数 パフォーマンスの考え方
SnowflakeのDynamic Table（プレビュー機能）でドツボにハマった話 - Qiita
はじめに お世話になっております。primeNumberの庵原です。 三寒四温の候、皆様いかがお過ごしでしょうか。 今回はSnowflakeの利用でDynamic Table（動的テーブル）の仕様をちゃんと理解せず安易に利用した結果、クレジットを浪費してしまった話を共有できればと思います！この話を持ってDynamic Tableと正しく付き合っていただきたいと思い、啓蒙の意味も含んでおります🙇♂️ ※注意点として、SnowflakeのDynamic Tableは2024年3月現在プレビュー機能であるため、今後のアップデートによっては仕様が変更される可能性がある点はご留意ください。 （プレビュー機能を色々試してみたかったんじゃぁぁ） そもそもDynamic Tableって何？ （少々長いので、すでに知ってるよ〜という方は読み飛ばしていただいて問題ないです！） データ基盤を構築している際に
XZ Utilsの脆弱性 CVE-2024-3094 についてまとめてみた - piyolog
2024年3月29日、Linux向け圧縮ユーティリティとして広く利用されているXZ Utilsに深刻な脆弱性 CVE-2024-3094 が確認されたとして、研究者やベンダがセキュリティ情報を公開しました。この脆弱性は特定の条件下においてバックドアとして悪用される恐れがあるものとみられており、当該ソフトウエアのメンテナのアカウントにより実装されたソフトウエアサプライチェーン攻撃の可能性が指摘されています。ここでは関連する情報をまとめます。 脆弱性の概要 xzとは主要なLinuxディストリビューションに含まれる汎用的なデータ圧縮形式で、今回問題が確認されたのはその圧縮・解凍ユーティリティであるliblzma(API)を含むXZ Utils。CVE-2024-3094が採番されており、Red Hatによって評価されたCVSS基本値はフルスコアの10。影響を受けたライブラリをリンクしているssh
元神奈川民、念願のハングリータイガーのハンバーグステーキをようやく食べる - I AM A DOG
以前から一度食べてみたいと思っていた「ハングリータイガー」に行ってきました。 静岡のハンバーグファミレス「さわやか」が話題になると、併せて名前が上がることの多い神奈川の「ハングリータイガー」（あと埼玉の「フライングガーデン」とか）。神奈川県の出身ですが、さわやかを知る以前には名前すら全く知らなかったんですよね。相模原市民だったので、近くに店舗もなかったのですけども。 さわやか（左）と長野のドンキホーテ（中央、右）特急踊り子に乗って早川で海鮮ランチ、小田原城、三島泊、そしてさわやかへ… - I AM A DOG 長野の絶品ハンバーグレストラン「ドンキホーテ」で念願の俵ハンバーグを食べてきたよ - I AM A DOG 浅間山登山を終えてからの温泉、そして大浅間爆裂ハンバーグ - I AM A DOG ハングリータイガーの存在を知ってからは気にはなっていましたが、週末などは混雑すると聞きますし
RFC の URL はどのドメインで貼るのが良いか | blog.jxck.io
Intro IETF の RFC は、いくつかの場所で同じものが公開されている。 どの URL が最適なのか、という話。 結論は www.rfc-editor.org だ。 RFC Hosting Site 例えば RFC 9110 - HTTP Semantics で言うと、以下の 4 つがある。 https://tools.ietf.org/html/rfc9110 https://datatracker.ietf.org/doc/html/rfc9110 https://www.rfc-editor.org/rfc/rfc9110.html https://httpwg.org/specs/rfc9110.html まずは、これらの違いを簡単に解説する。 tools.ietf.org IETF がホストする RFC は、 tools.ietf.org だった。 RFC 2616: H
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
K-12 Prompt Engineering
パスキーについて今日時点の僕が知っていること / What I Know About Passkeys as of Today
Snowflake Access Management - Titan