タグ

ブックマーク / kuenishi.hatenadiary.jp (5)

  • 消すだけなのに rm -rf がいっつも長くて待ちきれない問題 - kuenishi's blog

    rmコマンドで大量のファイルを削除しようとするとjournaldがめっちゃリソース持っていく件— bokko (@cubicdaiya) 2017年8月3日 今時のファイルシステムはみんなジャーナルもってて何かあったときにそこからリカバリする仕組みになってるので、当たり前といえばそうなんだけども。 (TODO: ここにファイルシステムのツリー+ジャーナルのポンチ絵を手描きでも何でも描く) ご尊のデータのツリーと何らかのWALを1セットで持っておくのはRDBだろうがファイルシステムだろうがそうは変わらない、で、削除についても並行制御をうまくやるために削除フラグをログに入れておいてあとで尊のデータを整理するというのが基的な設計になる。そこで私は立ち上がった(TL;DR: 特にオチとかはないです)。 rm -rf が遅いのは人類にとって損失ではないか。もっと速く完了するようにすれば、 rm

    消すだけなのに rm -rf がいっつも長くて待ちきれない問題 - kuenishi's blog
    katsyoshi
    katsyoshi 2017/10/07
    FS警察にジャーナリングまわりの解説ほしい
  • 日本のデータベース系のコミュニティ、なぜイマイチ盛り上がらないのか - kuenishi's blog

    11月の19,20日に開催されたWebDB Forumに参加してきた。カンファレンスそのものは、いろんな人に久しぶりに会えたり、ネット上でなんとなく知っていても話したことなかった人と話したり、意外な人の意外な一面をみることができたりと、とても楽しむことができた。立場としては所属している会社のスポンサー枠で参加して目的もあって発表もしてきたわけだが、いくつか思うところがあるのでここにまとめておきたい。 現実にアカデミックで起きていること WebDB Forumと銘打ってはいるものの、データベースに関する研究発表は非常に少ない。OSやネットワーク、システム系の研究と併せても、機械学習NLP、Webなどの技術に感心を持つ人は多く数で圧倒されている。体感では 90% だ。それをいえば別に VLDB や SIGMOD などのトップカンファレンスもデータベースの技術を直接扱うことは少ないし、データベ

    日本のデータベース系のコミュニティ、なぜイマイチ盛り上がらないのか - kuenishi's blog
    katsyoshi
    katsyoshi 2014/11/22
  • 遅ればせながら「「特許庁業務・システム最適化計画」の改定について」について - kuenishi's blog

    Slashdotでみた56億円返還の件で興味が湧いて調べていたら、 「特許庁業務・システム最適化計画」の改定についてというやつを見つけたので目を通してみた。一度失敗したプロジェクトをどう再出発させるのかということと、実社会に直接影響を与えるこのシステムがどういう風になっていくかに興味があるからだ。 28枚という短い文書だが、短いだけに情報が凝縮されていてとても面白い。リンクされているPDFの文書は、平成25年3月という、一作年度末に書かれたものであることがわかる。この文書は、改定前の失敗とかそういったことには一切触れない。おそらく改定前のものと比べながら読んだら非常に味わい深いものになること請け合いであるが、ここではとりあえず措くこととする。 まず、特許庁の業務は大きく分けて、受付発送、方式審査、実体審査、登録、公報発行、審判の6種類があること、そのために平成2年に世界で初めて電子化された

    遅ればせながら「「特許庁業務・システム最適化計画」の改定について」について - kuenishi's blog
    katsyoshi
    katsyoshi 2014/08/05
  • メモリリークとは何か - kuenishi's blog

    メモリリークに悩まされている技術者は多いだろう。メモリリークが嫌でGCという技術が開発されたといっても過言ではないし、歴史的にはC++からJavaへシフトが起きた大きな理由のひとつといっていい。Unix系の簡単な定義でいえば、ヒープ領域を指すポインタ(アドレス)をロストしてしまえばそのメモリはもう漏れたといってよい。たとえばこういったコードだ。 struct { int i; char c; } spam; int main(){ void* p; int i; for(i=0; i<1024; ++i){ p = malloc(sizeof(struct spam)); } pause(); } このコードではpause(3)の時点で約5KBのメモリが漏れている。free(3)を使えばメモリをOSに返却できるが、アドレスが分からないので返却できない。 ところが、ここでいいたいのは、メモリ

    メモリリークとは何か - kuenishi's blog
    katsyoshi
    katsyoshi 2013/04/24
  • 東京電力福島原子力事故調査委員会 - kuenishi's blog

    東京電力福島原子力発電所事故調査委員会というものがあるのだそうだ。国会の調査委員会なのだとか。しかもそれが調査報告書を上梓したのだそうだ。私が最初にこの報告書の存在を知ったのはJames Hamiltonのブログ記事が最初なので、まずはそこからご紹介したい。 彼はがっかりするのに1ページもかからなかったと言っているが、我慢強い私はもう数ページ進むことはできた。彼の指摘によれば2ページ目でさらにガックリきたそうで、曰く On the second page of this report, the committee members were enumerated. The committed includes 1) seismologist, 2) 2 medical doctors, 3) chemist, 4) journalist, 5) 2 lawyers, 6) social sy

    東京電力福島原子力事故調査委員会 - kuenishi's blog
  • 1