Snowflake を使うときに初心者に気をつけてほしいこと - Qiita
この記事はSnowflakeアドベントカレンダーの10日目の記事です。 今日は私が Snowflake を使いはじめて失敗したことを中心に、不幸な事故を繰り返さないために初心者の方に気をつけてほしいことを書こうと思います。 スピル見てない Snowflake ってとっても高速にクエリを実行してくれるので、ついついプロファイルを見るのをサボったりしてしまいますよね？ これは架空の話なんですが… あるとき、めっちゃクエリが遅かったんです。 あー、遅いねーって思ってた。 よーく、プロファイルを見ると、スピルの数字がめっちゃ増えていたわけですよ。 うーん？スピルってなんだっけ？ When Snowflake cannot fit an operation in memory, it starts spilling data first to disk, and then to remote sto
減点主義の完璧主義の毒親かよ まず治安維持に実際に貢献してるおとなしく..
減点主義の完璧主義の毒親かよ まず治安維持に実際に貢献してるおとなしくかしこい日本人男性を褒めろよ 治安っていう成果出してるのに褒めないんだったら、わずかばかりの自尊心を保つために自分で自分褒めるしかねーだろ 馬鹿じゃねーのか 毒親か 俺は別に日本ホルホルをめっちゃ好きではないし、むしろ嫌いだが、とはいえお前みたいなのがいるから日本ホルホルが流行るんだわ たとえばだよ 日本くんの治安はテストで90点相当だとする。満点100点。確かに満点ではない 世界の治安の平均は50点とする。イギリス君は70点くらいだとする 50点しか取れてない同級生や、70点のイギリス君に比べれば、40ないし20点分の才能ないし努力ないし運があるのは間違いない。 俺なら日本くんには「平均が50なのに90点も取れたの？凄いね！」と言うだろうが お前は「満点に10点足りん。そんな点数誇るな。90点程度で誇る態度なさけない。
『【Excel】パスワードロックを強制的に解除する方法』へのコメント
そういや昔、埋め込まれているパスワード部分がハッシュ化されてるが、固定長だから自分で用意したデータに置き換えて開けるみたいなやつもあった記憶
行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏
今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP
やはりお前らの「公開鍵暗号」はまちがっている。
※タイトルの元ネタは以下の作品です。 はじめに この記事は、公開鍵暗号の全体感を正しく理解するためのものです。数学的な部分や具体的なアルゴリズムは説明しません。気になる方は最後に紹介するオススメ書籍をご覧ください。 少し長いですが、図が多いだけで文字数はそこまで多くありません。また、専門的な言葉はなるべく使わないようにしています。 ただしSSHやTLSといった通信プロトコルの名称が登場します。知らない方は、通信内容の暗号化や通信相手の認証（本人確認）をするためのプロトコルだと理解して読み進めてください。 公開鍵暗号の前に：暗号技術とは 公開鍵暗号は暗号技術の一部です。暗号と聞くと、以下のようなものを想像するかもしれません。 これは情報の機密性を守るための「暗号化」という技術ですが、実は「暗号技術」と言った場合にはもっと広い意味を持ちます。まずはこれを受けて入れてください。 念のため補足して
Teradataの文字コード(Unicode)でのコードページの違いに注意: ITコンサルとは名ばかりのエンジニアのブログ
Teradata DBMSでの文字コードの取り扱い、ひと癖あり少々ハマりました。 インサート/ロード時にUTF16セッション、エクスポート時にKANJISJISセッションとすると、以下の文字について変換不能となる様子。 UTF8/UTF16 セッションでInsertした場合、格納コードはMS932ベースのエンコーディングに、 KANJISJIS_0SセッションでInsertした場合、格納コードはCP943ベースのエンコーディングになるため、 このため、異なるソースから取り込んだデータをごっちゃにして取り出せなくなりました。 異なる文字コードリスト [S_JIS] 0x5C (\) [CP932] 0x005C (REVERSE SOLIDUS) [CP943] 0x00A5 (YEN SIGN) [S_JIS] 0x7E (~) [CP932] 0x007E(TILDE) [CP943]
日記/2017/10/09/MSYS2,MinGW64,Cygwinの違い - Glamenv-Septzen.net
id: 1422 所有者: msakamoto-sf 作成日: 2017-10-09 21:51:48 カテゴリ: Cygwin MSYS,MSYS2,MinGW,MinGW64 会社のPCを入れ替えることになり、Windows上のunixツール環境、今度はどうしようかと考えた。 今まではCygwin使いだったが、apt-cygの動向があるのと、QiitaなどでMSYS2の記事が増えてるので、MSYS2に乗り換えてみようか、とも思う。 実は一度新PCにMSYS2とCygwinを入れてみたのだが、MSYS2はそもそもスタートアップメニューのショートカットがMSYS2とMinGW64/32で分かれてるのがそもそも理解不能だったし、Cygwinのsetup-x86_64.exeの使い勝手も相変わらず悪かった。 とはいえ、apt-cygが一向に公式に取り入れられないなどCygwinに頼り切るのはど
上野家のホームページ - 資料室 : PC/Windows/WindowsのバッチファイルでECHOを改行なしで出力WindowsのバッチファイルでECHOを改行なしで出力
何をしているかというと，環境変数Xに対し，「テスト」というプロンプトを表示してユーザに入力をさせるのだが，入力はNULデバイスから行う事により，本来，プロンプトを表示し入力待ちとなるところを，プロンプトの表示だけさせるという，こんなので良いのか・・・っていうような方法。 出力をリダイレクトによりファイルに書き出せば，改行が入らないで出力させることが出来ます。 関係ないけど，空行を出力するには，
BigQuery で ROW_NUMBER(), RANK() を使うな！
どういうことか たとえば created_at が最も新しいレコード 1 件だけ取ってきたいとか、成績のよいレコード上位 5 件を取ってきたいといったとき、よくある方法として RANK() や ROW_NUMBER() のような番号付け関数を使う方法が思い浮かぶと思いますが、BigQuery ではこれらの関数ではなく ARRAY_AGG() 集計分析関数を使うことが推奨されています。 先に結論を ARRAY_AGG() を使うことでクエリの計算を最適化でき、スロット使用量（計算量）が少なく済みます。スロット使用量の上限を定めている場合、非効率なクエリがいくつも実行されるとキューイングされる可能性があるため理由がなければ ARRAY_AGG() を使いましょう。 ドキュメントによれば ORDER BY 句が各 GROUP BY 句のトップレコードを除くすべてを捨てることができるため効率がいい
Snowflakeに中森明菜データレイク（通称NADL）を構築しました | DevelopersIO
大阪オフィスの玉井です。 題名の通り、極めて先進的な（？）データレイクの構築に成功したので、当記事にて詳細をお伝え致します。 概要説明 NADL（Nakamori Akina Data Lake）とは？ 日本が誇る歌姫である中森明菜氏の（ほぼ）全ての楽曲に関するデータを保存したデータレイクです。 SnowflakeはDWHのイメージが強いですが、データレイクを構築・運用する機能を備えています。今回、Snowflakeのデータレイク周りの機能を活用して、NADLを構築しました。 構築作業の流れ SpotifyのAPIから中森明菜の楽曲データを取得する 楽曲データの取得には Get Track’s Audio Analysisを使用 取得した楽曲データをGoogle Cloud Storage（GCS）にアップロードする 上記のGCS（のバケット）をSnowflakeの外部ステージとして連携す
カメに「変身」した官僚 恥を捨てて訴えたかった命のはなし | 毎日新聞
顔にアカミミガメを模したペイントを施し、新たな外来種規制について説明する環境省の奥田直久・自然環境局長＝環境省の公式ユーチューブチャンネルから 環境省の公式ユーチューブチャンネルに、顔を緑、耳などを赤くペイントした省幹部が登場する動画がある。本人は「恥ずかしいという思いもあった」と話すが、そうまでして画面に出たのは「新たな外来種規制をより多くの人に知ってもらわなければ」という思いからだった。 「ミドリガメ」ペイントで新規制を解説 「法律がどう変わったか、解説してくれるのがこちらの局長」。司会役の環境系ユーチューバー、WoWキツネザルさんの紹介を受けて登場したのは、同省で外来種規制を担当する部局のトップ、奥田直久・環境省自然環境局長（60）だ。 顔や耳のペイントは「アカミミガメ（ミドリガメ）」を模したもの。WoWキツネザルさんが本物に似せて、しま模様も丁寧に描き込み、30分ほどかけて仕上げた
[正規表現] .*?は最短マッチではない - Qiita
# Ruby 2.4.2 "<<<hoge>>>".match(/<.*?>/)[0] #=> "<<<hoge>" なぜこうなるのか .*?は、 最短マッチ 最左マッチ の2つの原則に従い、しかも最左マッチの原則の方が優先順位としては高いからである。 より嚙み砕いて言うと <.*?>は先頭の<がマッチした後に、そこからマッチする部分をできるだけ最小化しようと試みる。 <<<hoge>>>に対して<.*?>をパターンマッチさせる際に行われる実際の処理の流れは、次のようなイメージになるだろう。 < # <までマッチ << # <>のマッチに失敗、.の数を増やしてリトライ << # <.までマッチ <<< # <.>のマッチに失敗、.の数を増やしてリトライ <<< # <..までマッチ <<<h # <..>のマッチに失敗、.の数を増やしてリトライ <<<h # <...までマッチ <<<ho
![[正規表現] .*?は最短マッチではない - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cc1023ba3f0a12c4673c2278bded8efe28942cb5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU2JUFEJUEzJUU4JUE2JThGJUU4JUExJUE4JUU3JThGJUJFJTVEJTIwLiUyQSUzRiVFMyU4MSVBRiVFNiU5QyU4MCVFNyU5RiVBRCVFMyU4MyU5RSVFMyU4MyU4MyVFMyU4MyU4MSVFMyU4MSVBNyVFMyU4MSVBRiVFMyU4MSVBQSVFMyU4MSU4NCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODQzNTNkOTFmZDE2M2U0ZTA2ZjMyOTNkZTcxY2E4NDc%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwYW5xb29xaWUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ5M2QwYTkxMTg2OTExM2YwNTYzZDZkNGJlOTIxZmRm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D5b0ddb1a18aeb27c362f508b1324d60d)
mklink - Windowsコマンド虎の巻
解説 mklinkコマンドは、シンボリックリンク（ショートカット）を作成します。 構文 （構文） MKLINK [オプション] ＜リンク名＞ ＜ターゲット＞ 【オプション】 オプション説明
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/Knjshiraishi/status/1622709014068072449
ザ・キンクス - 榎本俊二 / 第１話 うれいらずたのぼー | コミックDAYS
OpenSSL gives "iv undefined" for AES-256-ECB
Teradata: Split String into table rows
- How to add CRLF (carriage return line feed) character at the end of each record in tpt exported data file? - Community
How can I escape an exclamation mark ! in cmd scripts?
- Utility Session Management - It's Inside the Database in Teradata 13.10! (UPDATED) - Customer Support