オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援
オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、3人が所属するTreasure Dataも開発を支援しています。 古橋氏はEmbulkについて「簡単に言うとfluentdのバッチ版です」と説明。1月27日に行われた「データ転送ミドルウェア勉強会」で、Embulkの紹介を行いました。 Embulkはプラグインベースのバルクデータローダー 古橋氏はまず、例えばCSVファイルをPostgreSQLに読み込ませようとすると、CSVの日付のフォーマットが
C# で CSV を扱うのに CsvHelper を使う - dunno logs
TextFieldParser を使って CSV を読み込むのが割りと多いのかなと思います。かくゆう私も C# の仕事をしだしてから自前の CSV ファイル用のライブラリ使ってましたが、読み取りは TextFieldParser を内部で使ってました。ついでに言うと、そのライブラリはまだ .NET 2.0 が仕事のメインだった時代だったので、DataTable を経由して CSV の読み書きを行うようなデザインにしてました。 ただ、今や時代は (とっくにですが、、) 変わり、DataTable よりもオブジェクトでやり取りできないと立ちいかなくなったので、作りなおそうかなーとか思ってた所で、「いやいや、もうあるでしょ」と NuGet 探してたらよく使われてるっぽいのがあったという。 TextFieldParser の問題 単にオブジェクトとやり取りするインターフェースのが欲しかったのもある
CSVのライブラリを調べてみた。: へなちょコネコ総合研究所
以前までの記事で、とりあえずCSVの定義のようなものは解説しました。 ここで一つ問題です。 CSVの読み込み用のライブラリは存在するでしょうか？ …… って、あまりに簡単過ぎて問題にならないですね。答えはYes。いくつかあります。 とりあえず自分で調べた限りで3つほどあったので、ざっくりと紹介します。 ●CSVTokenizer 国産のライブラリ。 名前の通り、StringTokenizerみたいに使えるように作っているらしい。 バージョンは1.1以上ならOKということでかなり古いものでも使えます。2008年現在ならほとんどの環境で動作可能と言っても良いでしょう。 ただし、既に取得した1行分のデータをCSVTokenizerにかけて解析するので、論理行を与えないとちゃんと解析できません。 論理行が2行以上の物理行からなるデータについては、予め2行分の物理行を取得しないと使えません。 という
honeplusのメモ帳 [Java]CSVライブラリの比較
※ 上記はこの記事を書いている2010年10月時点の内容です。 このうち、実際に使おうと試してみたのは「opencsv」と「Super Csv」、「OrangeSignal CSV」の三つ。 他は、情報収集の時点でいまいちピンと来なかったり、環境面で使えなかったりしたので、除外した。 他にもまだまだありそうだが、調べてて名前を見かけるのはこれぐらいかと思われる。 （その他、Commons LangのStringEscapeUtilsにもCSV関係のメソッドがあるが、エスケープ／アンエスケープしか出来ないので問題外。） で、使ってみた感覚としては・・・結論として「Super Csv」が一番使い勝手がよさそうだった。 いろいろと高機能ではあるらしいものの、単純にCSV→Mapのように読み込むだけであれば簡単なコードでさくっと書くことができる。 こういう使い方ができれば、多くの場合目的をカバーで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
