タグ

SQLとCSVに関するiwwのブックマーク (2)

  • シェル上からSQLを実行して簡単に集計できるライブラリ「sssummary」を作った - 世界中の羊をかき集めて

    シェル上からSQLを実行して簡単に集計できる「sssummary」というライブラリを作った。 rubygems -> https://rubygems.org/gems/sssummary github -> https://github.com/akira-kuriyama/sssummary ログファイルとかCSVとかTSVとか、フォーマットされたファイルに対してシェル上から集計したいことあるよね? その場合、だいたいgrepとかwc -l, uniq -c, sort, awk とかで頑張るんだけどもっとカジュアルに集計したいと思うよね? そう、SQLSQLで集計したい!! 例えば以下のようなテキストファイルがあるとする。 1カラム目がアクセス時間、2カラム目がレスポンスタイム、3カラム目がユーザエージェント。 $ cat test.tsv 2013/07/01 23:08 0.

    シェル上からSQLを実行して簡単に集計できるライブラリ「sssummary」を作った - 世界中の羊をかき集めて
    iww
    iww 2014/11/27
    『sqliteにデータを突っ込んでSQLの実行』 なるほど!
  • SQL*Loaderメモ(Hishidama's sqlloader for Oracle9i Memo)

    CSVファイルからOracleのテーブルへデータを流し込むツール。 大量のinsert文を発行するよりは、断然高速。 データであるCSVファイルや固定長ファイルと、ロード方法を指定するコントロールファイルを用意 して実行する。 (CSVファイルからのロードはこのSQL*Loaderが使えるが、CSV出力には標準的な方法は無いらしくて、select文で加工する方法がよく使われるらしい。 このSQL文をいちいち書くのは少々面倒なので、SQL生成用Excelマクロを作ってみました) コントロールファイル CSVファイルの各項目とテーブルの項目との関連付け等を指定する。 (コントロールファイルをテキストエディタで書くのはけっこう面倒なので、コントロールファイル作成用Excelマクロを作ってみました(CSVファイル用、固定長ファイル用)) 例)emp.ctl: OPTIONS(LOAD=100,SK

  • 1