なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する

なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決するShellScriptUNIXSQLitePOSIXQiitadelika 「利用者は数十億人！？ SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える（やらなければいけない）のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれるデータや複雑な構造のデータ扱うのは苦手です。またシェル

[mattn]

SQLite3 の方が楽やし便利やんで済む話をここまで書けるの凄い。

[xlc]

シェルに限らずSQLを扱えた方がデータ処理には便利なので軽いDBMSのSQLiteはいろんな局面で使われるのだと思ってる。なので近頃のNoSQLの濫用は全く理解できない。何でハッシュに戻すかね。

[n314]

内容は正しいんだけど、ここまで執拗に書かれると「そんなに複雑で大量のデータをファイルで管理しようとする人いる…？」ってなるな。wikiとかgitとか、昔の掲示板はファイル管理だな。よくデータ飛んでた。

[aa_R_waiwai]

いいたいことは分からんでもないが、自分なら「DBで管理したい」って時点でシェルスクリプトは候補から外し、PHPかPythonで組んで、mariaDBとかにするかなあ。シェルスクリプトはテストもしにくいし、DBもdockerがあるし。

[OkadaHiroshi]

そもをも標準POSIXコマンドだけで完結させないのだったら、シェルスクリプトでなくPython, Ruby 等で書けば良いのにと思う、PythonだとSQLiteは標準ライブラリだし、rails アプリケーションならSQLite入っているだろう。

[mrmt]

csvをいじるときとか、awkでアレコレしだすと闇しかないので、SQliteに突っ込んでSQLでいじるほうがまだ分かりやすいよね。

[imasugu-call]

SQLite触れたことがないけど、awkでcsv化するワンライナーを泥臭く作りがちな自分にはいいかもしれない

[ppppchan]

今のコンテナ時代に、Unix コマンドのポータビリティを最重視してSQLiteを使って作業しようとは思わないわ。冪等性も崩れるし。

[fhvbwx]

高度なデータ管理にRDBMSとSQLに異存はないが、いきなりシェルスクリプトからRDBMS設計は飛びすぎでは？

[masatomo-m]

「ちょっとしたデータ処理」が肥大＆複雑化していくのは良くある話なので悪くない方向だと思う。バッチ処理とかだとWebシステムほど同時実行制御を考えなくて良いのでファイルロック周りの問題は無視できるしね

[yarumato]

“Unixコマンドによるデータ管理は欠点多い。ランダムアクセスできない（大ファイルも全て読み込む）から検索・更新・ソートが遅い。テキスト形式は（1GBの）データ管理に適切ではない”　←UNIX哲学の否定

[ikajigoku]

すごい

[nakamura-kenichi]

むかーし、winアプリのDBにSQLite使ったけど、すぐ壊れるんで最終的には自動リカバリーの為に何重にもバックアップ取る羽目になったなあ。あれから使ってないけどもう安定してんだろうか。

[masatotoro]

RDBMSへの熱い想いを感じた。シェルスクリプトからヒアドキュメントでSQLiteにアクセスしてたけど、ここまで考えたことなかったです。

[noname774300]

SQLiteを使いたいなあと思ったときに、はたして私はここまでSQLiteのメリットを説明できるだろうか（できない）（説明能力を見習いたい）

[prjpn]

USPの人が反論しそう

[kkobayashi]

DBMSが必要になる場面でシェルスクリプトという選択肢がそもそもないような

[rawwell]

でもAIではpandasばっかりなんだよねあ

[mezamashi0540]

id:aa_R_waiwaiの言う通り。DBを使うくらいのプログラムにシェルスクリプトは適してない。

[kaputte]

タイトル見て「なるほどその発想はなかった便利そう」と思って本文行ってみたら「なにこの分量 こわ……」となりすぐ閉じた

[send]

なんだろ。ユニケージに親でも殺されたんかな

[khtokage]

shellに限らず、SQLなり簡易的にでもO/Rマッパー使えるようになるのでSQLite使うのは便利だよね。記事にあるように in memory にザッと入れてSQLで処理する、はスクリプトでもよくやる。

[tettekete37564]

ちょっとシェルスクリプトとSQLite と言う組み合わせを考えた事ないから後で読む。最近はJSONが多いからシェルスクリプトで扱うならjqかjp 必須だよね

[fashi]

アツく語られているSQLiteの話よりSQLite使わない場合はこうするだろうって考え方やbusybox等の余談の情報が参考になる記事

[mobits]

無印良品情シスの反論が待たれるな

[uva]

熱量がすごい

[hiroomi]

お気軽にコメント書ける量じゃなかった。

[m50747]

要は適材適所。ブログ程度のWEBアプリならMySQLよりSQLiteでもいいのかと思う。組込みやスマホアプリならSQLite一択だし。CSV扱うならqコマンドオススメ。

[zoidstown]

“一千万件のデータから、目的のデータを検索する例です。この例では Unix コマンド（awk）は sqlite3 に比べると 233 倍も遅いです。データの件数が増えれば増えるたびに Unix コマンドでは検索速度が遅くなってしまいます。

[HHR]

邪道だけどランダムアクセスが簡単にできるファイルとも考えられるのか。