サブクエリの書き方を2万文字弱かけてすべて解説する
これはなに ども、レバテック開発部のもりたです。 今回はSQLのサブクエリについてまとめます。仕事でクエリを書く際、サブクエリは頻出の構文だと思うんですが、同時にサブクエリの書き方を完全に理解しているよという人は案外少ないのではないでしょうか？[1] 実際、MySQLの公式ドキュメントを見ると12ページくらいを割かれており、意外と奥深いのがサブクエリです。使いこなせると便利ですし、何よりちょっとSQLのコツみたいなのがわかって面白いよ、ということで記事にしてみました。 前提 この記事は以下の前提を含んでいます。 環境 MySQL8.0系 読者の知識 なんとなくサブクエリが書ける けど相関サブクエリとかになると「あーっ」つってGoogle meetを閉じてしまうくらいのレベル感 記事のボリューム 18,000文字 おれの卒論が20,000文字だった マサカリ 間違ってたら投げてくれ〜〜 それ
FreeNAS のディスクはどう構成すればいいか (きりしま屋)
現在はパーソナルユース程度なら、RaidZやRaidZ2構成にするより、Mirrorセットを作って複数Stripeにしたりするのがいいかと思っています。 FreeNASのディスク構成をもう一度考える FreeNAS は ZFS による、ソフトウェアRAIDがあるおかげで、特殊なハードウェアを持たないお下がりのパソコンみたいなのをNAS化できるという寸法なワケですが、メモリがあんまり積めない場合だと、ZFSはキツイという記述を見ることがあります。（実際大量のファイル転送をするとメモリ食いつぶすので、メモリは積めるだけいっぱい積んだ方がいい、っていうのはその通りなのですが。ドキュメントによると、ZFSを使うには最低8GBで、ホーム／SOHOユースには16GBが適当、2GBとか4GBの場合は、UFSの利用を検討、1GBとかしかない場合はもっとパワフルなハードウェアにするべき、だとか） 実際にはお
GPT HDD に grub2 をインストールする際の tips — MIRACLE LINUX サポート&テクノロジー | サイバートラスト株式会社
GPT フォーマットの HDD を BIOS モードで使う際、grub2 をインストールするには、ちょっとしたコツが必要です。 若葉が萌えている松江からこんにちは。 エンジニアの押田です。 松江ラボの共用 PC をセットアップしていて「これはメモしておくか」という事があったので、ブログに残します。 GPT フォーマットされた HDD を BIOS モードで利用し、ブートローダである grub2 をインストールする際の tips です。 果たして現実にそんなケースがあるか、というと、あります。Windows と Linux を共存させる場合です。 昨今 Windows がプリインストールされた PC は基本的に EFI モードで出荷されています。当社の共用 PC も同様です。この Windows を残したまま Linux を利用したいのですが、操作ミスで Windows を起動させてしまうこ
FreeBSDでZFSを使用するときに気を付けたいこと - レンコン畑でつかまえて
はじめに 弊社ではFreeBSD（をベースとしたアプライアンスであるXigmaNAS）とZFSを使用してどの逸般の誤家庭にもあるようなファイルサーバを運用しています。 構築する際に参考になるようなページがもっと増えればいいかなと思いまとめておこうと思います。 ZFSの概要 ZFSは頂点にzpoolが存在し、このストレージプールを用途に合わせて分割して使用します。 zpoolは複数のvdevから構成され、vdevに複数のHDDが属するイメージですね。 さて、ZFSはその堅牢性を強調されることが多いですが、その冗長性がどこで担保されているかというとvdev単位で担保されています。 イメージとしてはvdevをストライピングしてzpoolを構成している感じです。 そのため、zpoolを構成するvdevが1つでもアクセス不可能になるとプール全体が崩壊します。 プールのエクスポートとインポート ZFS
ストレージのライフサイクルとZFS | 株式会社ナベインターナショナル
zfs on linuxのversion 0.8.0が5月末にリリースされました。新しいFeatureはReleaseページにあるのですが、今回は新しい機能であるzfs Device Removal(#6900) の挙動を確認しつながら、ロングスパンでのzfsの拡張可能性について考えてみたいと思います。 zfsは、ストレージプールに新たなボリュームをコマンド一発($ zpool add [pool] [device])で追加することができます。お客様の中にもこのようにしてストレージを拡張されている方は多いのですが、何度も拡張を繰り返していくと最初のボリュームを構成しているハードウェア、ディスクは当然古くなっていくわけで、10年も20年も拡張し続けることはできません。 また、どこかのタイミングでこれを一気にリプレースするとなると、既存のストレージより大きなサイズのストレージが必要になり、多く
開発メモ その210 CentOS7 on Gen2 Hyper-V VM のディスクをリサイズする · A certain engineer "COMPLEX"
検索してもなかなか出てこない+ビクビクしながら実施するのは嫌なので Introduction掲題通りなんですが、Ubuntuだとここまで面倒ではなくて、手順は広まっている。 けど、CentOS7のファイルシステムにXFSが採用された事で色々変わったのでしょう。 インストール後、rootまたはhomeが小さくて困った、サイズを変更したい 拡大は良いが縮小するために一度パーティションの削除が必要で困った こういう事例があります。 はい、私です。業務ではまりました。 忘れないように、見返せるようにメモをとります。 How to?まず直前の状態。 # df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 1.9G 0 1.9G 0% /dev tmpfs 1.9G 0 1.9G 0% /dev/shm tmpfs 1.9G 8.4M 1
UbuntuでZFSを使ってみよう 第16回 遠隔地へバックアップしてみよう | 株式会社デジタル・ヒュージ・テクノロジー
前回は、スナップショットを使用したバックアップ/リストア方法について説明しました。今回は、ZFSを遠隔地へバックアップ・リストアする方法を説明します。 sshを使用したZFS ファイルストリームのバックアップ・リストア 前回説明したとおり、ZFSのバックアップは zfs sendで標準出力として出力されます。このファイルストリームを利用して、以下のようにssh接続先へファイルストリームをバックアップ可能です。スナップショット間の差分も同様にバックアップ可能です。 $ zfs list -rt all rpool/USERDATA/user1 NAME USED AVAIL REFER MOUNTPOINT rpool/USERDATA/user1 296K 780G 104K /home/user1 rpool/USERDATA/user1@aaa 64K - 104K - rpool/U
データを活かしたままZFSプールサイズを拡張する - Qiita
はじめに ZFSには保存済みデータに影響なくプールサイズ(パーティションサイズ)を拡張する機能が用意されていて、autoexpandプロパティを設定して拡張できます。これを実際に操作してみます。 ここでは1台のディスク内でプールサイズを20GBから30GBに拡張します。 テスト環境 以下のテストは手元の実験用サーバーで、内蔵120GBのSSDの前半(60GB程)にWindowsがインストールしてあるものを使いました。 ディスクはGPTでパーティション管理を行なっていて、FreeBSDのデータ用に20GB確保しました。パーティションインデックスは 6 です。 $ gpart show ada0 => 34 250069613 ada0 GPT (119G) 34 2014 - free - (1.0M) 2048 102400 1 ms-basic-data (50M) 104448 121
ザコ園芸家の3月
3月。園芸を趣味とする人びとが待ちわびた季節。 柔らかな日差しに誘われて、国道沿いのホームセンターにカチコチに乾燥した水苔を買いに園芸趣味者たちが群がる季節。 大小さまざまな植物の即売イベントがいたる場所で開催されて、奇妙な蘭に、雄々しいユーフォルビアに、グルメな食虫植物に、大いなる眠りから目覚めた塊根植物に、それから…なんだかよくわからない多肉植物にも、冬の間に貯めこんだ札束が飛び交う季節。 園芸趣味者のXを見れば氷漬けだった2月の頃が嘘のような狂乱騒ぎが繰り広げられている。 だがタイムラインの百花繚乱をよそに、ザコ園芸趣味者はボサッとしていた。ザコ園芸趣味者だからだ。 ザコ園芸趣味者の朝は遅い。 起きたらベランダの窓を開け、曇天の続く空をギラリと睨みつけ、空気の匂いを疑わし気に嗅いだあと「まだ寒い」と一言つぶやいて窓から顔を引っ込め、布団に再び潜り込む。 たしかに、背後ではいよいよ植え
iTermをやめてVSCodeのターミナルに寄せる - yasuhisa's blog
背景 担保したいこと 1: ホットキーで一撃で呼び出せる 2: ウィンドウを透過させてターミナルと他のウィンドウを同時に眺められること 調査したこと & 解決方法 ホットキーで呼び出せるか => hammerspoonで割り当てで対応 ターミナルの透過 => 無理そうなので、代替手段で対応 メモ: ターミナル関係のキーバインド tmuxっぽくしたい その他キーバインド 背景 iTermをずいぶん長く使ってきたけど*1、VSCodeのターミナルが急速に進化しているので、乗り換えを検討した。 VSCodeが色々便利になってきた 自分が使っている範囲だと、vimキーバインドも特に問題ない*2 普段のコーディングはVSCode、コマンド操作くらいしかiTermは使っていない 特にCopilot系の進化は目覚ましい、長い物には巻かれろというか長期的にはエコシステムに乗っておきたい エディタだけでなく
もはや稀少種だけど根強い人気の16：10ディスプレー、選ぶなら2万円台でUSB Type-C給電対応のコレ (1/5)
現在発売している液晶ディスプレーの多くは、解像度が1920×1080ドットや3840×2160ドットなどのアスペクト比16：9のモデル。これは動画やゲームといったコンテンツの多くがその比率であることが多く、それに呼応する形で液晶ディスプレーも増えてきたからだ。 しかし、動画やゲーム以外の用途では、16：9が最適と感じないこともある。例えば、オフィスアプリケーションで、画面の縦方向が少し足りないと感じたことはないだろうか。その不満にこたえてくれる製品が、今回紹介するJAPANNEXTの24型ディスプレー「JN-IPS24WUXGAR-C65W-HSP」だ。 駆動方式はIPSを応用したADS、sRGBカバー率は99％ JN-IPS24WUXGAR-C65W-HSPは光沢のない、いわゆるノングレアタイプで、アスペクト比は16：10、解像度は1920×1200ドットとなる。駆動方式はIPSだが、正
dbtで見やすいER図を生成する - yasuhisa's blog
背景: dbtを使っていてもER図は欲しい! どうやってER図を生成するか どうやってER図を見やすくするか まとめ 背景: dbtを使っていてもER図は欲しい! dbtはモデル間のリネージなど可視化が得意なツールではありますが、万能なわけではありません。モデルの生成過程などはリネージで担保できますが、分析時に「どれとどのモデルがJOINできて、JOINする際のキーはこれを使って」というER図で扱うような可視化はディフォルトではできません。 DWHを作っている側からすると「このテーブルはあの辺のテーブルと一緒に使うと便利で、いつもあのキーでJOINして」というのが頭の中に入っていることが多いため、ER図がなくてもどうにかなることも多いでしょう。しかし、分析に慣れていない人や分析に慣れている人であっても、普段と異なるドメインのテーブルを触るときはER図が提供してくれる情報は有用です。ちなみに
BigQueryとDocumentAIを使ってスタバのレシートを読み取ってカロリー計算してみた話 - Qiita
これを元にフィールドを作成すると以下のようになります。 ここでitemというラベルの配下にamount〜priceまでありますが、1つの親フィールドに対して、複数の子フィールドを関係付けることができます。これにより、データ項目をまとめて扱うことができるようです。 2. データセットの作成・アノテーション 次にCloud Storageから画像をデータセットとして扱えるようにDocumentAI側にインポートします。 今回はあらかじめ写真で撮っておいたレシートの画像をCloud Storageに配置してあります。 DocumentAIの左のタブの「ビルド」を押すと以下のような画面に遷移します。 青ボタンの「ドキュメントをインポート」を押すとインポートする際の条件を指定することができます。 事前に用意したバケットを指定します。この段階ではデータ分割（トレーニング用データかテスト用データか）の選
検索エンジン最適化（SEO）スターター ガイド
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 検索エンジン最適化（SEO）スターター ガイド ウェブサイトの構築時には、ユーザーを念頭に置き、見つけやすく閲覧しやすいサイトになるよう工夫するのが普通です。検索エンジンもユーザーの一種ですが、コンテンツを見つけるためにユーザーの手助けをします。SEO（検索エンジン最適化）では、検索エンジンにコンテンツを理解させることで、ユーザーが検索エンジンからサイトを見つけてアクセスすべきかどうかを判断できるようにします。 検索の基本事項では、ウェブサイトが Google 検索の表示対象となるために特に重要となる事項を説明しています。Google のインデックスに確実に登録される方法はありませんが、検索の基本事項に沿って作成したサイトは Google の検索結果に表示されやすくなります。SEO とは
小売のベイシアGはなぜエンジニアが採用できる？年収アップよりも大切だったこと
1985年、福島県生まれ。慶應義塾大学文学部卒業。IT系ニュースサイトを運営するアイティメディアで情報システム部に在籍し、エンタープライズIT領域において年間60本ほどのイベントを企画。2018年10月、フリーに転向。現在は記者、広報、イベント企画、ブランドアンバサダー、マネージャーとして、行政から民間まで幅広く記事執筆、企画運営に奔走している。著書『ルポ 日本のDX最前線』（集英社インターナショナル） Twitter：https://twitter.com/sakaisaketen 酒井真弓のDX最前線 2018年に経済産業省のレポートが「DXの壁」を指摘したように、日本では、DX（デジタルトランスフォーメーション）が遅れているとよく言われている。また、「日本はもはやIT後進国」「なぜアメリカのGAFAや中国のBATHと渡り合える企業が日本では生まれないのか」などの悲観的な意見もしばしば
dbtのモデルとLooker Studioのレポートの依存関係をexposureで表現して、データ管理を効率的に行なおう - yasuhisa's blog
シリーズの第三弾です。読者の宿題にしてたけど、誰も書いてくれなさそうだったので結局自分で書きました。 背景 Looker StudioはGoogle Workspaceを使っていれば基本的に無料で使えますし*1、権限管理にGoogle Groupとも連携できるので、人気のBIの一つだと思います。私が初めて触ったBIもLooker Studioだったので、(API強化して欲しいとか不満は山のようにありつつも)何だかんだで憎めないし、さっとダッシュボード作りたいときはLooker Studioを使うことが多いです。会社によっては社内の公式のダッシュボードをLooker Studioで作っているところもあると思います。 dbtで作ったテーブルがConnected Sheetsから参照されている場合、一定程度利用されているスプレッドシートからのテーブルの参照状況はデータ基盤を管理する人間としては把
My Predictions for Data Engineering in 2024
My prediction for 2024 and data engineering is this… Who cares! Seriously. You can’t control what happens, so instead of worrying about what will happen, focus on the things you can control. Like… Photo by Xan Griffin on Unsplash1. Building a Learning Habit.This year, make learning a priority. Try your hardest to establish a solid learning habit. If you don’t have time for it, MAKE TIME! No one el
What is Analytics Engineering?
Claire Carroll As the sole analyst of a fast-growing Sydney startup, Claire experienced the pain of the traditional analyst workflow—stuck on a hamster wheel, an ever-growing backlog, and numbers that never quite matched up. So she taught herself dbt, the command line, version control and brought all the rigor of analytics engineering to her team. Along the way, she fell so in love with dbt that s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CentOS 6 の root ファイルシステムに ZFS を使う
The Data ROI Pyramid: A Method for Measuring & Maximizing Your Data Team