Go言語のio.Pipeでファイルを効率よくアップロードする方法
パイプ（土管）をGo言語でも楽しめるはじめに前回はGo言語のmime/multipartパッケージによるファイルのアップロードを見ましたが、パフォーマンスの特徴にはあまり触れませんでした。 大規模なETLジョブや、制限の厳しいサーバーレスの環境などでは、ファイルを扱うプログラムのリソースを慎重に考える必要があります。本記事ではメモリ使用量を大幅に減らすio.Pipeの使い方を見ていきます。 全てのコードはサンプルレポジトリにあります。 同期処理にある問題前回のコードをもう一度見てパフォーマンスを考えてみましょう。 // ファイルを開く file, _ := os.Open(filename) // リクエストボディのデータを受け取るio.Writerを生成する。 body := &bytes.Buffer{} // データのmultipartエンコーディングを管理するmultipart.W
I/O負荷の正確な状況はiowaitでは分かりません - Qiita
さくらインターネットのアドベントカレンダー9日目として、サーバ屋らしく、運用に関するコマンドの使い方を紹介します。 サーバの負荷が高まってきたときに、vmstatやtopなどのコマンドで調査する事が出来ますが、I/O負荷をwa(iowait)によって判断する人も多いと思います。 ただ、結論から言うと、iowaitは正確にI/Oの負荷を表しているわけではありません。 これらを、実際に演習をしながら見ていきたいと思います。 iowaitとidle iowaitとはあくまでも、CPUが空いているのにI/Oがボトルネックになっているプロセスを示しているだけで、CPUの利用率が高いときにはI/Oがボトルネックになっていてもiowaitが上がりません。 同様に勘違いされがちなのが、id(idle)はCPUの空きを示しているというものですが、idleは必ずしもCPUの空き時間を示しているものではありませ
karky7のブログ: iotopが意外といいんじゃないか
IOのread、writeがプロセスごとに取れる ゴールデンウィーーークもそろそろ終了、アルチューハイマーになったこの体を元にもどすのに、リハビリが必要な時期に...どうでもいいですが... いきなり話、違う話 iostatとかでも取れるんだけど、デバイスごとのIOの統計が上がってくるので、もうちょい細かいレイヤーでそれが見たいときがある。なんか無いかとportageツリーをさまよっていたら、iotopなるものをを発見。 カーネルのオプションが多分必要なので、確認してね CONFIG_TASK_IO_ACCOUNTING CONFIG_TASK_DELAY_ACCT CONFIG_TASKSTATS CONFIG_VM_EVENT_COUNTERS で、iotopをインストール cuomo@ugui7 ~ $ emerge sys-process/iotop 暇なので、kernelの方も覗
非同期I/OやノンブロッキングI/O及びI/Oの多重化について
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 2017年5月20日追記 本エントリはI/OのOperationとCompletionおよびデータ整合性を混ぜてまとめた一部誤った定義になっているので、正確な定義を日本語で知りたい方は下記にリンクしたエントリを読むことをおすすめします。 非同期とノンブロッキングとあと何か Apache2.4.1のevent_mpmやnginx及びnodde.jsのアーキテクチャを考える上で、非同期I/OやノンブロッキングI/O、I/Oの多重化に関してある程度正確な理解が必要だと思ったのでまとめておく。 ここで「ある程度」といったのは、非同期を表すAsynchronousとノンブロッキングのnon-blockingは曖昧に使われる場合が多いからだ。まず、英語の
Ruby I/O 機構の改善 -stdio considered harmful-
Ruby I/O — stdio considered harmful — akr@m17n.org Ruby (1.9) I/O stdio stdio C nonblocking I/O stdio stdio 1 C stdio (Standard Input / Output) Ruby[rub] stdio I/O Ruby 1.9 stdio 1 Ruby Ruby 1.8 Ruby 1.9.0 Ruby • Ruby (1.8.3) stdio • Ruby (1.9.0) stdio 1 2 Ruby I/O 3 stdio 4 POSIX I/O 5 stdio 6 7 8 9 2 Ruby I/O Ruby I/O IO Unix Ruby 1 stdio stdio Ruby getc, ungetc, fwrite 12005–03 kernel stdio Rub
実行時に標準出力がパイプされているかどうか判断するにはisattyを使う - Qiita
% mysql -e 'SELECT * FROM life;' +------------------------+ | カルマ | +------------------------+ | リア充爆発しろ | | 他人の不幸で飯がうまい | +------------------------+
Goで入力と出力をくっつける練習 - Qiita
具体的には、標準入力を取って、外部コマンド（今回はRuby、まあなんでもいい。docker execとかにつないだら夢がありそう）をそのまま流し込んで、出力を一行ずつ取る。 bufio.Scanner が、node.jsのcarrierみたいな感じで一行ずつ取るのに向いていた。あと、nodeの感覚でパイプをつなげられるgo-pipeを使った。これは便利だった。 スキャンし続けるgoroutineを回す コマンドの終了を監視するgoroutineを回す 標準入力を取るメインループを回す と言う感じでうまく行ったっぽい。 package main import ( "bufio" "fmt" "os" "os/exec" "gopkg.in/pipe.v2" ) func runScanLoop(scanner *bufio.Scanner) { for scanner.Scan() { if
Hijack by raggi · Pull Request #481 · rack/rack
Hi all! I had some time on the plane with no WiFi and some holiday left over, so... @tenderlove please tell me if this matches up with the stuff you were describing to me at rubyconf @tarcieri please take a look as you're also familiar with these things @evanphx as with Tony, if you wouldn't mind @chneukirchen @rkh you know why :-) Please also highlight anyone else who would be worthwhile, or at l
I/Oを多重化するためのシステムコール(select, poll, epoll, kqueue) - $shibayu36->blog;
サーバ周りの勉強していると、たまにselectとかepollとか言葉が出てきて、理解できてなかったので調べてみた。 I/Oの多重化 例えばサーバ周りの実装を、特に何も考えずにやると、I/Oでブロッキングが発生し、一つのクライアントとしか通信できないということが起こります。これを解決するために fork threads I/Oの多重化 非同期I/O といった方法があります。 この中のI/Oの多重化を実装するためのシステムコールとして、select, poll, epoll, kqueueなどは実装されているようです。 少し調べてみると、次のような記述のような機能をそれぞれが実装するようです。 プログラムで複数のファイルディスクリプタを監視し、 一つ以上のファイルディスクリプタがある種の I/O 操作の 「ready (準備ができた)」状態 (例えば、読み込み可能になった状態) になるまで待つ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - seki/bartender: Async I/O using Ruby Fiber
ノンブロッキングI/Oと非同期I/Oの違いを理解する
Rubyで実はwritev(2) が使われているはなし
宁波逼拘旅行社
fluent-plugin-stdinで手軽にローカルのファイルを転送する - Qiita
GitHub - igrep/plock: 'p { 1 + 1 }` prints "(1 + 1) #=> 2". That's all.