(This post is also available in English.) この記事は In defence of swap: common misconceptions を 著者の Chris Down さんの許可 を得て Hiroaki Nakamura が日本語に翻訳したものです。 原文のライセンス は CC BY-SA 4.0 であり、翻訳のライセンスも同じく CC BY 4.0 とします。 長文を読みたくない方への要約： スワップを持つことは正しく機能するシステムのかなり重要なポイントです。 スワップが無ければ、まともなメモリ管理を実現することは難しくなります。 スワップは一般的に緊急事態用のメモリを取得するためのものではなく、メモリの回収を平等に効率的に行うためのものです。 実のところ「緊急事態用のメモリ」は一般的に盛大に悪影響を及ぼします。 スワップを無効にすることは

SREの@deeeetです。 新しい機能を素早くリリースしフィードバックを得てすぐにPivotの決定を行う、もしくはリスクを抑え小さな改善を継続的に行うContinuous Deliveryはソフトウェア開発において非常に重要です。 メルカリではこのContinuous DeliveryのためのPlatformにSpinnakerを採用し始めました。現在は主にkubernetes（k8s）へのコンテナアプリケーションのDeployに利用しており、既にいくつかの本番アプリケーションがSpinnakerによりDeployされています。 本記事ではなぜSpinnakerを採用したか、Spinnakerとは何か、実際にメルカリでどのようにSpinnakerを使っているか、について簡単な紹介をします。 kubernetes上でのDeploy問題 k8sへのコンテナイメージのDeployは非常に簡単で

さくらインターネットのアドベントカレンダー9日目として、サーバ屋らしく、運用に関するコマンドの使い方を紹介します。 サーバの負荷が高まってきたときに、vmstatやtopなどのコマンドで調査する事が出来ますが、I/O負荷をwa(iowait)によって判断する人も多いと思います。 ただ、結論から言うと、iowaitは正確にI/Oの負荷を表しているわけではありません。 これらを、実際に演習をしながら見ていきたいと思います。 iowaitとidle iowaitとはあくまでも、CPUが空いているのにI/Oがボトルネックになっているプロセスを示しているだけで、CPUの利用率が高いときにはI/Oがボトルネックになっていてもiowaitが上がりません。 同様に勘違いされがちなのが、id(idle)はCPUの空きを示しているというものですが、idleは必ずしもCPUの空き時間を示しているものではありませ

コンバンハ、千葉（幸）です。 CloudWatch Logsメトリクスフィルターではフィルターパターンで様々な形式に対応することができます。 例えば複数のキーワードのORパターンマッチングや、キーワードの除外に対応しています。ただし、それらを一つのフィルターパターン構文の中で両立させることはできません。そこで試行錯誤することになったので、その結果を書きます。 目次 やりたいこと フィルターパターン構文について ORパターンマッチング 除外キーワード ORパターンマッチングと除外キーワードの組み合わせ ではどうするか 追記：スペース区切りフィルターパターンを使用する 終わりに やりたいこと 「error」もしくは「fail」のキーワードが含まれているログイベントを検知したい ただし、「hoge」ないし「fuga」が含まれているものは検知対象から除外したい つまり、以下のログイベントのうち、★

メルペイ エキスパートチームの@tenntennです。本稿は Merpay Tech Openness Month の11日目の記事です。 「プログラミング言語Go完全入門」の期間限定公開のお知らせでも書いたように、メルペイでは、社外の方向けにGopher道場という体系的にGoを学べる場を無償で提供してきました。Goの普及を目的にこれまでに8回開催し100人以上の方に参加していただきました。 また、Gopher道場の動画や資料はGopher道場 自習室として誰でも利用できるようになっており、現時点で300名以上の方が利用されています。 Gopher道場の資料のベースになっている「プログラミング言語Go完全入門」は、2020年7月31日までの限定公開になっていましたが、本日より公開期限を撤廃し、完全公開することになりました。 また、本日8月31日から始まる「Online Summer Int

ファイルシステムを作成すると、ファイルシステム自体の管理領域などのため、ファイルシステムを作成するデバイス・ボリュームの容量を100%使えるようにはならない。 では何パーセントが減ってしまうのか。10%あれば大丈夫なのか、3%程度でもよいのか、厳密には決まらないのか、そんな疑問・不安を取り除くために検証および論理的な裏取りを行った。 検証環境は CentOS 6.4 (x86_64) で、ファイルシステムは ext4 である。なお、ブロックサイズは 4KB を前提にする。CentOS 7 (RHEL 7) でも考え方は同じだが、計算の元になる基礎値に差があるため注意が必要(「その他」にて触れる)。 検証結果 128M, 256M, 512M, 1024M, 1.5G, 2G, ・・・ と20GまでのLVを作成し、実際にファイルシステムを作成。マウントした際の df -k の Availab

ext3やext4とかのファイルシステムでドライブをフォーマットした場合、標準ではファイルシステムの容量の5%を使用済みということにして書き込めないようにするらしい。 2TBのHDDをフォーマットした場合100GBも使用済みになってしまうので、より多くの領域を使用したい場合は手動で予約領域の比率を変更する必要がある。 予約ブロック数の変更にはtune2fsコマンドを使用する。 sudo tune2fs -m 1 /dev/sda4 /dev/sda4の部分は環境によって異なるので、dfコマンドなどで確認する。-mオプションでは予約ブロック数をパーセンテージで指定できる。ただし2TBもあると1%でも20GBも使えなくなってしまうので、予約領域を確保したくない場合は以下のようにする。 sudo tune2fs -m 0 デバイス名 また、パーセンテージではなくブロック数を直接指定することも出来

要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端 ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある

MySQLの場合、--safe-updatesオプションを利用することでこういった不慮のUPDATE/DELETEを防げるようです

lsyncdで監視できる対象のファイル数は制限されています。lsyncdのlogに以下のようなlogが吐き出されていたら要注意です。 Fri Jan 22 14:11:51 2010: ERROR: Cannot add watch /foo/bar/ (28:No space left on device)このまま読んでしまうと容量が無いのかなーとも思ったのですが、そういうわけではないそうです。lsyncdは、inotifyというAPIを利用してつくられているので、そのあたりの設定ですね。 というわけでドキュメントを調べてみました。 /proc インターフェース 以下のインターフェースは、inotify で消費されるカーネルメモリの総量を制限するのに使用できる: /proc/sys/fs/inotify/max_queued_events このファイルの値は、アプリケーションが inot

こんにちは。Cacooチームのイニエスタこと、とおのぶです。CacooはデータベースのPostgreSQLのバージョンアップを実施しました。基本的には公式のpg_upgradeの手順に従っています。ここではドキュメントには記載の少ない具体的な作業内容の流れを紹介したいと思います。 理由 ユーザアンケートからみる Cacoo のコア・バリューで記されたとおり、全体的なパフォーマンスの向上については重要度の高い課題の一つです。PostgreSQL 9.5ではソート性能の大幅な改善が強化点の一つで、パフォーマンスの改善が見込まれます。またフェイルオーバ後、新しいマスターに追従するスタンバイとして、古いマスターサーバをオンラインに戻すことができるpg_rewindも、PostgreSQL 9.5の魅力の一つです。 バージョンアップ前の構成 構成は、マスタとスレーブのストリーミング・レプリケーション

Help us understand the problem. What are the problem?

Source code: Lib/secrets.py The secrets module is used for generating cryptographically strong random numbers suitable for managing data such as passwords, account authentication, security tokens, and related secrets. In particular, secrets should be used in preference to the default pseudo-random number generator in the random module, which is designed for modelling and simulation, not security o

Elm の文法を勉強をする人の多くは Elm REPL (以下 REPL) を使っている場合が多いと思います。 ただし、型注釈 については REPL 上で記述しても I cannot handle type annotations. というメッセージが出力されて無視されます。 REPL に頼らずコードを書いて都度コンパイルして確認したり、Elm Reactor を使ったりするのも 1つの手です。 ただ、HTML や Elm アーキテクチャを気にする必要があるので、型注釈に集中したい場合は少し不向きでしょう。 この記事ではファイルに型注釈 (と関数定義) を記述し、それを REPL からインポートする方法を紹介します 1 。 「もっと楽な方法があるよ」という場合は、コメントでのフォローや紹介記事の作成をしていただけると嬉しいです。 想定している読者 Elm の文法を勉強中で、Elm アーキテ

はじめに elmは静的型付け言語です。コンパイラで静的にコンパイル時に、型チェックにすることによって、コードの安全性(型安全)が担保されます。このような型の存在のおかげて、プログラムに間違った値が関数に適用されていないかチェックすることができます。 このような「型」とはelmをある程度つかっているユーザであれば、別の見方をすれば「値の限定」と見なすことができるというのはすぐ理解できるんじゃないかと思います。例えば、String型やInt型の区別は、Intという値に限定するという見方ができるという見方をすることができます。型というのは、とある値の集合であり、そのある値が集合に属しているか属していないか?という確認のためのものだと言うこともできるでしょう。 さて、型は「値の限定」と言ったり「値の集合」と言ったりしましたが、たとえばString型などを、「もっと限定」したり、「値の部分集合」をと

この記事は Gunosy Advent Calendar 2017の5日目の記事です。前回の記事はGunosyのパーソナライズを支える技術 -ワークフロー編-でした。 GoでAPIを書くときの問題僕の在籍するGunosyはGoを昔（？）から本番採用しておりまして、ノウハウも潤沢に溜まっている企業だと言えます。 しかし、contextの扱いやベストなパッケージ構成、テスト、net/httpでAPIを書くノウハウなどなど、迷うことは多々あります。 これは弊社特有の事情ではなく、Goのサーバーサイドエンジニア全員にとっての問題です。中でも、パッケージ構成をどうすればいいのか（相互参照せずに快適に開発を進められるパッケージ構成とは）を見つけるのは結構難しく、各々のチームにお任せ、という状況です。 今回は上記の問題のうち、パッケージ構成に踏みこんで見たいとおもいます。会社でもよくパッケージ構成をどう

「ORMがトラブル起こすから嫌い」なんじゃなくて、「ORMが起こすトラブルが解決できないから嫌い」ってのがほんとのところじゃない？だったら解決方法を知ればいいんじゃね？というお話。「N+1問題」もろくに知らずにORMを批判せんでほしい。