巨大テキストファイルをsortコマンドでソートしてみる
巨大なテキストファイルをソートする問題について、sortコマンドの挙動を中心にAmazon EC2インスタンス上で検証を行いました。その結果を記事にまとめたものです。 お題の説明 先日のTwitterでこんな話題がありました。論旨としては、非常に大きくメインメモリに収まらないサイズのテキストファイルをソートしたい場合にどうすればよいか、というものです。 解法はさまざまなものがありえると思いますが、この記事ではsortコマンドによるソートを試してみました。 一般論としての解法 stackoverflowなどを軽く眺める限りだと「普通のsortコマンドが最良ではないか」「GNUのsortは入力が大きい場合は外部ソートをしてくれる」などの回答が見つかります。 https://unix.stackexchange.com/questions/120096/how-to-sort-big-files
Berkeley DB (Hash) の実装 - knqyf263's blog
普段あまりこういう誰の役に立つのか分からない記事は書かないのですが、解析をするまでの背景がOSSに関するとても良い話なので重い腰を上げて書きました。 概要 古のアプリケーション組み込み型のデータベースとしてBerkeley DBがあります。元々はカリフォルニア大学バークレー校によって開発され、その後Oracleによって買収されています。データ操作にSQLは使えず、アプリケーションに埋め込んで使用します。RDBまでは必要ないけどちょっとしたDBが必要みたいな時に使われているようです。機能はシンプルで組み込みのため性能も良いとのこと。詳しくは以下に書いてます。 docs.oracle.com 本記事ではそのBerkeley DBの中身がどのように実装されているのかの雰囲気を記します。Berkeley DBはBtree accessやHash access, Queue/Recno access
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん
Linuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, awk, sed, tr, sort, uniq, wc を取り上げます。 ファイルを縦に結合 ファイルを縦に結合します。 コマンド 説明 cat file1 file2 ... file1, file2, ... を縦に結合 cat file | ... としてファイルの中身をパイプに流すのにもよく使います。 ファイルを横に結合 ファイルを横に結合します。あまり使わない？*1 コマンド 説明 paste file1 file2 .. file1, file2, ... を横に結合 join file1 file2 file1 と file2
SystemTapでMySQLのDisk I/Oを分析する - SH2の日記
実験エントリです。 動機 OracleのStatspack/AWRで取れるファイル単位のDisk I/O情報を、MySQLでも採取したい。これは次に示すようなデータです。 File IO Stats DB/Inst: ORA112/ORA112 Snaps: 6-7 ->Mx Rd Bkt: Max bucket time for single block read ->ordered by Tablespace, File Tablespace Filename ------------------------ ---------------------------------------------------- Av Mx Av Av Rd Rd Av Av Buffer BufWt Reads Reads/s (ms) Bkt Blks/Rd Writes Writes/s Wai
【Linux】 CentOS に MongoDB をインストールする - kzy52's blog
[2015-05-13] 内容が古くなっていますので CentOS に MongoDB をインストールする を参照ください。 MongoDBのリポジトリを設定してインストールします。 リポジトリの追加 64ビットの場合 # /etc/yum.repos.d/10gen.repo [10gen] name=10gen Repository baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64 gpgcheck=0 enabled=1 32ビットの場合 # /etc/yum.repos.d/10gen.repo [10gen] name=10gen Repository baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/i686 gpgcheck=0
mysql-5.5.15をソースからインストール - へきょのーと
テスト用の環境を作るために MySQLをソースからインストールしました。 環境 CentOS 6.0 MySQL 5.5.15 paco 2.0.9（必須ではない） インストール手順 # ソースをダウンロード wget http://www.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.15.tar.gz/from/http://ftp.iij.ad.jp/pub/db/mysql/ tar zxvf mysql-5.5.15.tar.gz cd mysql-5.5.15 # MySQL 5.5ではcmakeを使うようです。 yum install cmake cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8
GDBMであそんでみたよ
僕の主戦場はもっぱらWindowsですけど、Linux由来のコードやライブラリのお世話になることも少なくありません。先日もファイルに保存可能な辞書（key-value store）を探してて、GDBM：GNU Database ManagerのWindows版を見つけました。マジなDatabase使うほど大層なものではなく、キーと値の組をファイルに保存し、キーから値が検索できれば十分というシチュエーションだったので、このWindows-port版GDBM、ありがたく使わせていただきました。 GDBMをハダカで使う GDBMのトリセツはman pageを一読していただくことにして、まずはそのまま、C-interfaceでお試しコードを書いてみましょう。 #include <iostream> #include <cassert> #include <array> #include <cstr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テキストファイルを処理するときのUnixコマンドまとめ - nokunoの日記