CSVの処理で使えそうなコマンドラインツール（column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview） - もた日記
column textql csvkit xsv visidata csvtotable daff tabview CSV（またはTSV）を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel column以外はGitHubのスター順で紹介している。 column stackoverflow.com columnはLinuxコマンドだが検索で結構ひっかかったので紹介。 以下のように見やすいように揃えて出力してくれる。 $ head -n5 test.csv id,fi
CSV ファイルを Parquet ファイルに変換してクエリを高速化 - nagix
この記事は Apache Drill Advent Calendar 2015 の8日目の記事です。 Apache Drill では Apache Parquet という大規模データの分析に適したデータフォーマットを利用することができます。Row-oriented フォーマットにカテゴリ分けされる CSV、TSV といったテキストファイルや伝統的なリレーショナルデータベースのテーブルでは、データは行方向に沿って格納されますが、Column-oriented フォーマットにカテゴリ分けされる Parquet、ORC といった形式のデータは列方向に沿って格納されます。 データ分析用途には Column-oriented フォーマットが向いているとよく言われますが、データ分析では特定の列の値を集計したり、特定の列の条件を元にフィルタリングやジョインが行われることが多いため、列方向にデータが連続し
CSV に SQL でお手軽に問い合わせたい - 2016 年、冬（JOIN なども交えつつ）
お手元の CSV ファイルを手軽に加工しようと思った場合、EXCEL 等のアプリケーションに取り込んで利用するのが一般的かと思います。 まぁ、ほとんどの場合はそれで十分なのですが。 「65,536 行までしか扱えない古いバージョンを考慮しなくてはいけない環境なので、そもそも EXCEL に取り込む為のデータを CSV から必要な分だけ抽出したい」 ですとか、 「こっちとあっちの CSV を結合した結果を加工して出力したい」 ですとか、 「てゆうか、 直接 CSV に SQL で問い合わせたいんじゃー」 みたいな欲求が、この記事を開いたような方には稀に良くあるのだと思います。 そこで、今回は CSV に SQL で問い合わせる方法について、JOIN 等も考慮しつつ、なるべく色々なケースを見た上で、最後に簡単な比較をしてみようと思います。 また、GUI アプリケーションを使った方法も、少しです
Super CSV – Welcome
POJO support Read or write using any old Javabean. Perform deep mapping and index-based mapping using the new Dozer extension! For the old-fashioned, you can read or write with Lists and Maps as well. Automatic CSV encoding Forget about handling special characters such as commas and double-quotes - Super CSV will take care of that for you! All content is properly escaped/un-escaped according to th
q - Text as Data
q - Run SQL directly on CSV or TSV files¶ Overview¶ q's purpose is to bring SQL expressive power to the Linux command line by providing easy access to text as actual data, and allowing direct access to multi-file sqlite3 databases. q <flags> <sql-query> q allows the following: Performing SQL-like statements directly on tabular text data, auto-caching the data in order to accelerate additional quer
Redmine importer - らむだ畑でつかまえて (catcher in the λ)
Redmine importer とはチケットをCSVファイルから一括でimport（インポート）する Redmine のプラグイン。 現在 Redmine importer にはいろいろな版があってどれがよいのか混乱していたが IdlySphere版 redmine importer というのを教えてもらってなかなかよかったのでさらにいじってみた。 確認は redmine-1.2.0 にて。 追記： redmine-1.1系では私がいじったパッチをあてると多国語対応に問題が出てうまくいかないことがわかりました。次のパッチを config/initializers/30-redmine.rb にあてるとうまくいきます。（パッチの出典は http://www.redmine.org/projects/redmine/repository/revisions/4679） --- config/
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ExcelのCSVインポート・エクスポート機能を強化する「Excel CSV I/O」NOT SUPPORTED
PerlによるCSVファイルの高速集計 2
MySQLの小技