PostgreSQL + Rails へ PgBouncer を導入してDBメモリ使用量を大幅に改善した話 - Hello Tech
uiu です。ハローでは普段バックエンド開発をメインに担当していますが、創業以来片手間でインフラも担当しています。 ハローでは、少数精鋭のメンバーの意識をプロダクト開発に集中するため、インフラ面では Cloud Run などマネージドなサービスを最大限に活用しています。 今回は、久しぶりにインフラに意識の一部を捧げ、いくつかの眠れない夜を過ごす機会があったので、インフラ面の話について紹介しようと思います。 スタートアップと PostgreSQL AutoReserve はサービス立ち上げ以来、DB は PostgreSQL、APPサーバーは Ruby on Rails のバックエンド構成で運用してきています。 特に PostgreSQL は立ち上げ以来安心して使い続けられている技術要素です。サービス運用から(ある規模までの)分析まで PostgreSQL だけで回せる点は、少人数でプロダク
PostgreSQLのアーキテクチャー概要｜PostgreSQLインサイド
PostgreSQLには、用途や環境に応じて様々な構成を組み、最適なパフォーマンスで動作させられるよう、設定ファイルpostgresql.confに多くのパラメーターが存在します。そのパラメーターを正しく設定し調整を行うためには、PostgreSQLのアーキテクチャーを理解する必要があります。ここでは、押さえておきたい、PostgreSQLの基本的なアーキテクチャーについて説明します。なお、この記事で対象にしているPostgreSQLのバージョンは9.5以降です。 1. PostgreSQLの基本構成 PostgreSQLの基本的な構成について説明します。はじめに、主なプロセス、メモリー、および、ファイルについての構成図を示します。 図1 PostgreSQLの基本構成 PostgreSQLを構成する主なプロセス、メモリー、ファイルについて、その用語と概要を説明します。 リスナープロセス
DockerでPostgresSQLを動かす (Mac) - nobu blog
手順 Docker for Macをインストール Dockerを未インストールの場合は下記からDockerをインストールする。 (記事作成時には最新の2.2.0.5をインストール) https://hub.docker.com/editions/community/docker-ce-desktop-mac 画面右にGet Dockerボタンからファイルをダウンロードしてインストールする。 docker-compose.yml作成 任意のディレクトリを作成して下記のdocker-compose.ymlを作成する version: '3' volumes: # ※ホストOSで永続化 postgres_data: driver: 'local' services: postgres: build: context: ./postgres dockerfile: Dockerfile conta
大量データ取込のいろいろ PostgreSQL編 | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは村上です。 今日はJavaから離れてDB関連です。 以前はIBMのDB2という製品を使っていましたが、今はPostgreSQLを使うようになっています。 それである案件にて大量のデータを取り込むことがあり、そこでいろいろと大量データ取込のことを調査したのでちょこっと書きたいと思います。 ちなみに案件では数億件のデータを取り込む予定です。 あまり大規模データを扱うことがないので、すごい貴重な案件ですね。 取込調査内容 データを取り込む方法ですが、次の4つでやりました。 男気 Insert Insertをガチで流して行きます！！ 王道 Copyコマンド やっぱPostgreSQLの取込の王道はCopyコマンドっしょ！！ 邪道 Copyコマンド Copyコマンドはインデックスがあった時そんなに速くないからインデックスはとりあえずDropしてCopyコマンドっしょ！！インデックス作成は後
Dockerコンテナのpostgresqlがマルウェアに感染した件について - Qiita
背景 Dockerコンテナを立てたらマルウェアに感染したのでサイバーセキュリティの啓蒙を兼ねてメモ書きしてみました。 注意事項 マルウェアに感染した被害の対処方法を記述しています。マルウェア自体の機能や解析の解説ではなく一般利用者ユーザーの視点から感染経路と対応方法についての記述になります。 マルウェア感染状況 症状 Dockerコンテナを稼働させたホストのロードアベレージ(CPU負荷)が常時4を超える状況になっていました。つまり400%でホストがフル回転してた訳ですな。 例えるならエヴァンゲリオン初号機が暴走してマヤちゃんがコンソール画面に向かって叫んでいるところです（違） こうなるとクラウドサービスのAWSとかだと英文で警告アラートが飛んで来ますし毎日課金されで膨大な利用料金請求が来ることになります。恐ろしい！！ 状況の調査 CPUの利用状況やメモリの使用量などを調査するツール類があり
［速報］Google、Amazon Auroraに対抗する高性能DB「AlloyDB for PostgreSQL」発表。通常のPostgreSQLよりOLTPが4倍高速、OLAPが100倍高速と
Google Cloudは開催中のイベント「Google I/O 2022」で、PostgreSQLフル互換の高性能な新データベースサービス「AlloyDB for PostgreSQL」のプレビューリリースを発表しました。 Google Cloudは以前からPostgreSQLのマネージドサービス「Cloud SQL for PostgreSQL」を提供しています。今回発表された「AlloyDB for PostgreSQL」は、Googleのクラウドインフラや機械学習の技術を積極的に投入し、より高性能かつミッションクリティカル向けのデータベースサービスとして構築したものです。 AWSと比較するならば、一般用途向けのデータベースサービスである「Amazon RDS」に対抗するのがGoogle Cloudの「Cloud SQL」であり、データベースをクラウドネイティブなアーキテクチャとして
PostgreSQLでtimestamp without time zone型のカラムの値をJSTに変換する - Qiita
PostgreSQLのバージョンは9.6, DBのタイムゾーンはUTCとします。 結論 users.created_at のような timestamp without time zone 型のカラムがある場合、次のようにするとJSTの時刻を取得できます。 まず、timestamp without time zone 型のカラムである users.created_at の値を timestamp with time zone 型の略記である timestamptz 型にキャストしています。:: はPostgreSQLにおける型キャストの記法です。そして、タイムゾーン変換の構文 timestamp AT TIME ZONE zone と等価である timezone 関数でJSTに変換しています。 正しくない例 次のようにするとできません。 この場合、 users.created_at が 20
[Rails]ActiveRecordで、whereで指定した順番通りに結果をソートしたい時どうするか
ちょっと調べたのでメモ。試した際のActiveRecordのバージョンは4.2.3で、DBはPostgreSQLの9.4。 例えば、"過去閲覧したページのID"、のように順序に意味のあるID列があったとする。 そのIDの順にデータを取得したいのだが、そのままID列をActiveRecordに渡しても上手くいかない。 ids = %w(12 6 10) Page.where(id: ids).pluck(:id) # => [6, 10, 12] ActiveRecordではなくDBの問題なのだが、どうにかwhere句のINの並び順で結果をソートしたい。 SQLで頑張る(PostgreSQL)色々書き方はあると思うのだが、PostgreSQL限定であれば、intarrayモジュールのidx関数を使うのが一番楽そう。 idx関数を使えば指定した配列から該当のデータの要素番号を取得出来るので、そ
![[Rails]ActiveRecordで、whereで指定した順番通りに結果をソートしたい時どうするか](https://cdn-ak-scissors.b.st-hatena.com/image/square/d6563e7e51788a65e33c04a207b5cc3aadcde521/height=288;version=1;width=512/https%3A%2F%2F64.media.tumblr.com%2Favatar_a6d962e94fd9_512.pnj){kind=avatar}
PostgreSQL 9.5の新機能CONFLICT（UPSERT）を使ってみた。 | DevelopersIO
はじめに UPSERTが採用されたという事で使用方法を調べてみました。 UPSERTとは 「このデータをINSERTしたいけど、同じデータが存在していて制約で弾かれるかもしれない。そうなったらUPDATEしたいなあ。」 と言った場合に使える機能です。 ただし、UPSERT句が作られた訳ではなく「一般的にUPSERTと言われている機能を搭載したよ」と言う事みたいですね。 この後は実際に制約を設定したテーブルにUPSERTを試してみてどうなるかを見ていきます。 検証環境 Mac OSX 10.9.5 PostgreSQL 9.5.1 構文 INSERT INTO テーブル名 VALUES ('値１', '値２', ...） ON CONFLICT ON CONSTRAINT 制約名 DO UPDATE SET カラム１='値', カラム２='値', ...; INSERTとUPDATEでON
RDS for PostgreSQLでデータを暗号化する | DevelopersIO
はじめに RDSに個人情報や機密情報を保存する場合、データの暗号化をしたいという要件はよくあります。RDS for SQL ServerとRDS for OracleはTransparent Data Encryption(TDE)で透過的な暗号化ができるのですが、残念ながらRDS for MySQLとRDS for PostgreSQLではTDEが使えません。 しかし、RDS for PostgreSQLでは拡張モジュールを使うことで、データの暗号化が可能です。今回は拡張モジュールの1つであるpgcryptoを使って、データの暗号化をしてみました。 やってみた 今回使ったRDS for PostgreSQLのDBエンジンはPostgreSQL 9.3.5です。 pgcryptoを使うための準備 まずはEC2からRDSにpsqlコマンドで接続します。psqlコマンドではデフォルトでSSL接
Can't find the PostgreSQL client library (libpq) - からくりがてんこ
bundle install をやろうとしたらPostgreSQLの部分で引っかかった！ エラーはこれだ。 Gem::Ext::BuildError: ERROR: Failed to build gem native extension. /System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/ruby -r ./siteconf20150210-95873-qu3hcp.rb extconf.rb checking for pg_config... yes Using config values from /usr/local/bin/pg_config checking for libpq-fe.h... yes checking for libpq/libpq-fs.h... yes checking for p
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
PostgresSQLチューニング
簡単なチューニングを考えてみる。 以下の方法が考えられる。 shared_buffersの増加(1024から4096くらいに) 同時接続数の増加(max_connections:64から128へ)) sort_memの増加(1024から4096くらいに) shared_buffersを増やす postmaster(postgresのマスタープロセス)が確保するメモリ。いわば作業机で、検索するテーブルが小さくここに収まりきる場合、必要なければいちいち検索のたびに再計算やロードをせずこのメモリ内のものが使われる。よって必要なだけの最低限の値が望ましい。 だが、システムが許容するbufferサイズを越えると致命的なエラーを引き起こしデータベース接続ができなくなる可能性があるので注意が必要である。 shared_buffers=4096の場合の bufferサイズは 40406400 bytes
甘肃空气优良天数逾九成水质土壤环境质量明显提升 爆发勒斯坦人地巴与当冲突-武冈新擞蔬菜行情网
最新文章 2018-12-26 07:29▪ 一男子高速“飙车”后拍视频晒微信群因涉嫌危险驾驶罪被拘... 2018-12-26 07:29▪ 嘉定优化营商环境为企业办事提速增效 2018-12-26 07:29▪ “论证西游记是自己所写”，有些奇葩考题不值得提倡 2018-12-26 07:29▪ ？元旦春节将至干部职工可享有正常福利待遇每人每年可领... 2018-12-26 07:29▪ 网络女主播与“阔绰”粉丝成恋人被骗25万元 2018-12-26 07:29▪ 福建龙岩一公交车被歹徒劫持冲撞行人已致5死21伤 2018-12-26 07:29▪ 雷寒、李洪被撤销重庆市政协委员资格 2018-12-26 07:29▪ 西双版纳公开销毁逾2000件非法枪支、猎具、毁林器具 2018-12-26 07:29▪ “市民云”成全国首个用户逾千万政务APP，有235项服务 2018-12-
[ThinkIT] 第1回：postgresql.confによるチューニング（1） (2/2)
PostgreSQLの設定ファイルであるpostgresql.confには性能に関する項目がいくつかあります。まずはこれらについて見直しましょう。 shared_buffersには、PostgreSQLのデータベースエンジン（バックエンド）が使用する共有メモリ上のバッファ領域を指定します。shared_buffersは大きすぎても小さすぎても性能が低下します。初期状態ではinitdbの自動設定機能により、1000程度に設定されていると思いますが、できれば8000〜10000程度まで引き上げた方がよいでしょう。これ以上の値を指定すると、バッファ管理のオーバーヘッドにより逆に性能が低下します。 shared_buffersを大きくするとpostmasterが立ち上がらないことがあります。その場合はOSの共有メモリ領域を拡張します。共有メモリの拡張方法の詳細は、PostgreSQLマニュアルの「
memcached＋PostgreSQLで実現するハイパフォーマンスWebアプリケーション構築（1/4） ― ＠IT
本稿の前提環境 memcached 1.2.5 データベース：PostgreSQL 8.3.1 OS：CentOS 5（Linux kernel 2.6 ） シェル：bash CPU：Intel Core2Quad 9660 2.4GHz RAM：PC2-6400 8GBytes memcachedは、Danga Interactiveによって開発されたオープンソースのメモリキャッシュサーバです。 メモリ上にデータを保存するのでmemcachedを終了するとデータが失われますが、（OracleやMySQLといった）RDBMSと比較するとけた違いの高速レスポンス性能を有し、数千万件という大量のデータを扱ってもほとんど性能が劣化しないという特徴があります。 機能は限界まで切り詰められ、基本的にはキーとデータの組（以下、itemと呼びます）の保存と検索と削除しかできません。 にもかかわらず、me
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Render.comでRailsアプリの本番環境を作成する方法をどこよりも優しく伝える！ - Qiita
PostgreSQL