PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
[PHP] SJISのCSVファイルの文字化けせずに読み込む方法（SplFileObject） | インソースマーケティングデザイン | ホームページ制作・リニューアル・運用改善で課題を解決
2016.5.16システム開発 インソースマーケティングデザイン 2021年8月1日「マリンロード」は「インソースマーケティングデザイン」へ社名を変更いたしました [PHP] SJISのCSVファイルの文字化けせずに読み込む方法（SplFileObject） こんにちは。エンジニアの高田です。 今年のゴールデンウィーク驚異的な10連休でした！ やっとGWボケが抜けつつあります。 先日はまったPHPでのCSVファイル読込時の文字化け問題。。。 いや文字化けではなく項目の区切りがうまく判断されずに、隣りの項目とくっついちゃう現象。。。 どんな現象？ CSVファイルは「SJIS」で「タブ区切り」、「囲み文字(ダブルクォテーション)つき」でした。 PHPの文字コードは「UTF-8」。 分かりやすく、「タブ区切り」を「カンマ区切り」にして表現すると 「”ID”, “代表者”, “代表者カナ”, “電
![[PHP] SJISのCSVファイルの文字化けせずに読み込む方法（SplFileObject） | インソースマーケティングデザイン | ホームページ制作・リニューアル・運用改善で課題を解決](https://cdn-ak-scissors.b.st-hatena.com/image/square/d96c8f2a78220ceecc7bd0f1eb8753d26e1203bb/height=288;version=1;width=512/https%3A%2F%2Finsource-mkd.co.jp%2Fwp_corp%2Fwp-content%2Fuploads%2F2021%2F08%2Flogo_back_wh.png)
cakePHPでCSV取込 - 困ったこといろいろ - あずきみるくのあずきはニガテ - for Engineer
PHPにはCSVを取り込む便利な関数がいろいろあるようで。 最初は定番と言われるものを使ってたのですが・・・ いろいろ問題が発生してきました。 その流れとともに、解決方法をメモメモします。 ＜環境＞ PHP 5.4 cakePHP 2.5.8 １）そもそも、どの関数を使うのがいいの？ あずきは最初、何も考えないまま定番？の「fopen して fgetcsv」を使ってました。 これ → PHP: fgetcsv - Manual だって、検索したら最初に出てくるんだもん。 が、しかし、、、 「CSVの区切り文字をスペース区切りやタブ区切りにも対応したい」 となったとき、fgetcsvの第3引数、「delimiter」には１文字しか指定できないのです。 fgetcsv(ファイルポインタ, length, delimiter（ここ、ね）); 「\s」とか「\t」とか、書けないんですよ。 これを指
【PHP】その CSV 変換、本当に「fgetcsv」でいいの？
こんにちは。ウェブ開発担当の木戸です。 突然ですが、PHP で CSV ファイルを連想配列に変換してゴニョゴニョ…ってよくやりますよね？ 私も先日開発中に、CSV の関数なんだったかなーと思って「php csv」で検索していたのですが、ファーストビューが定番の fopen して fgetcsv の公式サンプルや記事ばかりでタイトル通り「？」だったので、調査してみたところ、意外と面白いことがわかりました。 やっぱり fgetcsv だけじゃなかった 似たような機能を持つ関数が複数あり、公式ドキュメントを見てもどれを使っていいかわからない、なんてこと PHP ではよくありがちです。CSV 変換もやっぱりいろんな方法がありました。 そこで今回は、あらゆる CSV 変換処理を検証し、処理時間とメモリ使用量を比較します。処理はレコードごとの連想配列に変換するのみで、よくセットでやる文字コードの変換や
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KEN_ALL.CSV (郵便番号検索)の落とし穴 - Qiita
https://github.com/FriendsOfCake/cakephp-csvview/blob/master/tests/TestCase/View/CsvViewTest.php