Snowflake で1万"列"データを扱う技術 - Qiita
そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな
ISUCONの問題作成の舞台裏を2020年の出題チーム・白金動物園に聞いてみた - エンジニアHub｜Webエンジニアのキャリアを考える！
インフラにもアプリケーションにも最適化の余地あり。多様化するISUCONの出題傾向 「過去問に出ていないボトルネック」をいかに作るか。知られざる「ISUCONの問題」の作り方 工数管理、設計ミス……挽回すべきISUCON4の後悔 言語特性を考慮するのか？作問プロセスと、そこから見える「やるべき対策」 変化するISUCON。学生参加者はなぜ躍進したのか ISUCONは「学ぶ必要性」を作り出す場 インフラにもアプリケーションにも最適化の余地あり。多様化するISUCONの出題傾向 ── チーム白金動物園はISUCON常連チームのひとつですが、前回のISUCON9が初めての優勝なんですね。 mirakui はい。チーム白金動物園はISUCON3で参加者として初参加し、それから毎年ISUCONに顔を出していますが、優勝は前回が初めてです。ISUCONでは、予選を勝ち抜いたチームが本選に出場できること
Linuxバイナリを最適化して性能を向上させる「BOLT」、Facebookがオープンソースで公開。言語やコンパイラに依存せず高速化
Linuxバイナリを最適化して性能を向上させる「BOLT」、Facebookがオープンソースで公開。言語やコンパイラに依存せず高速化 Facebookは、Linuxバイナリの内部配置を最適化することによりCPUのキャッシュ効率などを向上させ、実行速度を改善する「BOLT」をオープンソースで公開しました。 BOLTは「Binary optimization and layout tool」の略とされています（もしかしたら、より速く走るという意味でウサイン・ボルト氏にかけているのかもしれません）。 BOLTは言語やコンパイラに依存せず、ソースコードも不要 BOLTのおもな効果は、Linuxバイナリの実行状況をperfコマンドで取得し、高頻度で実行されている部分などを判別した上で、そうした部分がCPUキャッシュにヒットしやすいようにバイナリの内部配置を改善することなどで実行速度を向上させることと
Geekなぺーじ : みんなが知らずに使ってるAkamai
Akamaiさんでのセミナーに参加してきました。 個人的にはAkamaiさんと言えば「あまり一般的には知られていないけど使っていない人はほぼいない」企業というイメージがあります。 あまりに内容が楽しかったので、セミナーで色々質問しまくって聞いてしまいました。 想像以上に色々凄いと思いました。 ブロガーのyasuyukiさんが企画し、Akamaiさんにお願いして実現したプライベートセミナーでした。 元々はyasuyukiさんがAkamaiさんのセミナーを聞いて「面白い」とtwitter上で囁きまくっていて、その後「プライベートなセミナーやったら来ますか？」とのオファーを頂きました。 昔からAkamaiさんのCDN技術には非常に興味があったので「是非お願いします」とお願いしました。 セミナー参加者募集はyasuyukiさんのブログとtwitter上で行われ、16人の参加者がいました(アカマイさ
グーグル、自社設計のサーバを初公開--データセンターに見る効率化へのこだわり - CNET Japan
カリフォルニア州マウンテンビュー発--Googleは、自社のコンピューティングの運用については多くを語らない。しかしGoogleは米国時間4月1日、当地で行われた、注目度が高まっているデータセンターの効率性に関するカンファレンスで、そのインターネットの力の中枢にあるハードウェアを初めて公開した。 ほとんどの企業は、DellやHewlett-Packard（HP）、IBM、Sun Microsystemsのような企業からサーバを購入している。しかしGoogleは、何十万台ものサーバを保有していて、そのサーバを稼働させることが自社の中心的な専門技術の一部だと考えており、自社独自のサーバを設計および構築している。Googleのサーバの多くを設計したBen Jai氏は、高度な技術を持つ、非常に熱心な聴衆の目の前で、現在のGoogleサーバを公開した。 Googleサーバで非常に驚くのは、サーバ1台
「最速ブラウザ」争いは無意味だ
米Microsoftが最近実施した一連のテストによると、Internet Explorer 8（IE 8）は現在市場に出回っているブラウザの中で最速だという。もっとも、Google ChromeやFirefox、Safari、Opera、WebKitといったブラウザについて同様の主張を展開している調査結果を探すのは、そう難しい作業ではないはずだ。 それならば、こうした最速ブラウザに関するテストの数々をどう解釈すればいいのだろう？ どのテストが最も妥当なのだろう？ まあ、本当を言えば、映画『ミートボール』でのビル・マーレイの口グセと同じで「そんなのどうでもいい！」といったところだ。 まったくその通りなのだ。最近のWebやWebブラウザに関して言えば、ブラウザを選ぶ際に速度を気にする人など、ほとんどいない。 確かにかつてはブラウザの性能が重視された。わたしも実際1990年代にブラウザの比較を行
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
技術的負債は開発者体験を悪化させる / Technical Debt and Developer Experience
