go-sql-driver/mysql のバッファサイズが4KiBなのは小さすぎる？？ - methaneのブログ

テクノロジーカテゴリーの変更を依頼記事元:

methane.hatenablog.jp

19 usersがブックマークコメント

記事へのコメント1件

注目コメント
新着コメント

kazuhooku pipeだとすると両プロセスは別コアになって並行動作するからそれぞれのプロセスにおけるワークセットサイズ問題になるんだろうか

2020/12/17 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fmethane.hatenablog.jp%2Fentry%2F2020%2F12%2F17%2Fgo-sql-driver%2Fmysql_%25E3%2581%25AE%25E3%2583%2590%25E3%2583%2583%25E3%2583%2595%25E3%2582%25A1%25E3%2582%25B5%25E3%2582%25A4%25E3%2582%25BA%25E3%2581%258C4KiB%25E3%2581%25AA%25E3%2581%25AE%25E3%2581%25AF%25E5%25B0%258F%25E3%2581%2595%25E3%2581%2599%25E3%2581%258E%25E3%2582%258B%25EF%25BC%259F%25EF%25BC%259F" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://methane.hatenablog.jp/entry/2020/12/17/go-sql-driver/mysql_%E3%81%AE%E3%83%90%E3%83%83%E3%83%95%E3%82%A1%E3%82%B5%E3%82%A4%E3%82%BA%E3%81%8C4KiB%E3%81%AA%E3%81%AE%E3%81%AF%E5%B0%8F%E3%81%95%E3%81%99%E3%81%8E%E3%82%8B%EF%BC%9F%EF%BC%9F">go-sql-driver/mysql のバッファサイズが4KiBなのは小さすぎる？？ - methaneのブログ</a><a href="https://b.hatena.ne.jp/entry/s/methane.hatenablog.jp/entry/2020/12/17/go-sql-driver/mysql_%E3%81%AE%E3%83%90%E3%83%83%E3%83%95%E3%82%A1%E3%82%B5%E3%82%A4%E3%82%BA%E3%81%8C4KiB%E3%81%AA%E3%81%AE%E3%81%AF%E5%B0%8F%E3%81%95%E3%81%99%E3%81%8E%E3%82%8B%EF%BC%9F%EF%BC%9F">はてなブックマーク - go-sql-driver/mysql のバッファサイズが4KiBなのは小さすぎる？？ - methaneのブログ</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

go-sql-driver/mysql のバッファサイズが4KiBなのは小さすぎる？？ - methaneのブログ

qiita.com そもそも fetchall があればパフォーマンスが上がるわけでは無いので。https://t.co/O4u3zZcn... qiita.com そもそも fetchall があればパフォーマンスが上がるわけでは無いので。https://t.co/O4u3zZcnYx これを16KiBにしたらパフォーマンス上がるはず。— Inada Naoki (@methane) December 17, 2020 go-sql-driver/mysql のバッファサイズは4KiBで、大きいクエリを送るなり大きいパケットを受信すれば自動的に増えますが、小さいrowを大量に受信する場合は4KiBのバッファを使って何度もReadをしてしまいます。これを大きくすればReadの回数が減って高速化できそうな気がします。ということで、話題のリポジトリをforkして、DBからselectしてCSVを書き出す部分だけを100回ループしてみました。CSVの書き出しがネックにならないようにbufio.NewWriterSize()を使ってバッフ