100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋
要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端 ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ - エンジニアHub｜Webエンジニアのキャリアを考える！
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット － Publickey
果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「GitLab.com Database Incident - 2017/01/31」で公開しています。また、もう少し整理された情報がブログ「GitLab.com Database Incident | GitLab」にも掲載されています。 これらのドキュメントを軸に、主なできごとを時系列に見ていきましょう。 1月31日16時（世界協定時。日本時間2月1日午前8時）、YP氏（Yorick Peterse氏と思われる）はPostgreSQLのレプリケーションを設定するためにストレージの論理スナップショットを作成。これがあとで失われたデータを救う幸運につながります。 1月31日21時
PostgreSQL 9.5の新機能CONFLICT（UPSERT）を使ってみた。 | DevelopersIO
はじめに UPSERTが採用されたという事で使用方法を調べてみました。 UPSERTとは 「このデータをINSERTしたいけど、同じデータが存在していて制約で弾かれるかもしれない。そうなったらUPDATEしたいなあ。」 と言った場合に使える機能です。 ただし、UPSERT句が作られた訳ではなく「一般的にUPSERTと言われている機能を搭載したよ」と言う事みたいですね。 この後は実際に制約を設定したテーブルにUPSERTを試してみてどうなるかを見ていきます。 検証環境 Mac OSX 10.9.5 PostgreSQL 9.5.1 構文 INSERT INTO テーブル名 VALUES ('値１', '値２', ...） ON CONFLICT ON CONSTRAINT 制約名 DO UPDATE SET カラム１='値', カラム２='値', ...; INSERTとUPDATEでON
AWS再入門 Amazon RDS編 | DevelopersIO
上記の中のRDBMS全てに加えて、クラウド時代に合わせて再設計したAurora、MySQLのフォークであるMariaDBが使用できます。 MySQL：最もシェアがあるOSSのRDBMS。 Oracle：高いシェアがある商用RDBMS。 SQL Server：高いシェアがある商用RDBMS。Windowsとの親和性が高い。 PostgreSQL：機能が豊富なOSSのRDBMS。 Aurora：AWSがクラウド時代に再設計したRDBMS。MySQL 5.6互換でMySQLの5倍高速と言われています。 MariaDB：MySQLからフォークしたRDBMS。MySQL互換。 性能向上が簡単に実施可能 Amazon RDSでは、様々なスペックのインスタンスを使用できます。最大40個のvCPUのインスタンスや244GBのメモリのインスタンスがあります。性能が不足してきたら、インスタンスのサイズを変更す
我々(主語が大きい)は何故MySQLで外部キーを使わないのか
外部キー便利!!! MackerelではPostgreSQLで外部キーあり そのレコードがあることが保証される 各テーブルのidにアプリケーションレベル(Mackerelの場合Scala)で型付けをするとなお便利 MemberID型、MonitorID型 → idで誤ったテーブルを引くとかがない 本日のスキーマ CREATE TABLE `member` ( `id` INTEGER unsigned NOT NULL auto_increment, `earned_item_count` INTEGER unsigned NOT NULL DEFAULT 0, `name` VARCHAR(191) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARACTER SET utf8mb4; CREATE TABLE `item`
PlayアプリをPostgreSQL対応してHerokuにデプロイ＆自動テスト
PlayアプリをPostgreSQL対応してHerokuにデプロイ＆自動テスト：Javaの常識を変えるPlay framework入門（終）（1/4 ページ） サーブレット／JSPを基にする重厚長大なJavaのWeb開発のイメージを変える軽量フレームワーク「Play」について解説し、Webアプリの作り方を紹介する入門連載。最終回は、作成したアプリを簡単にWeb上に公開する方法とPostgreSQL対応、テスト環境の構築と自動テストの実行の仕方を解説します。 前回の記事「Playの充実したテスト環境で行う5種のテスト」では、Play frameworkを使ったアプリのテストを紹介しました。今回はJavaを使ったPlay framework開発の入門連載の最終回として、作成したアプリを簡単にWeb上に公開する方法を紹介します。 アプリの公開には、「Heroku」というサービスを利用します。 フ
Nullのはなし(up用)
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
InstagramのIDシャーディングについて
約1年前の Instagram Engineering Blog で ID のシャーディングについて解説されていたのでメモ。 Sharding & IDs at Instagram http://instagram-engineering.tumblr.com/post/10853187575/sharding-ids-at-instagram 背景 毎秒大量に行われる写真投稿やユーザーの行動をデータベースに保存するために、Instagram ではシャーディングを行なっている。 データベースにデータ格納するにあたり、シャードが別であっても、写真といったコンテンツごとにユニークなIDを振らないといけない。 Before writing data into this set of servers, we had to solve the issue of how to assign uniqu
Sorry, site has been closed
Sorry! This site has been closed by administrator! Please contact administrator!
Ubuntu 11.04にPostgreSQLをインストールする方法 - 小さい頃はエラ呼吸
はじめに このエントリでは、Ubuntu 11.04にPostgreSQLをインストールする方法について書いています。 PostgreSQL徹底入門 第3版posted with amazlet at 11.05.06笠原 辰仁 北川 俊広 坂井 潔 坂本 昌彦 佐藤 友章 翔泳社 売り上げランキング: 145075 Amazon.co.jp で詳細を見る OSとソフトウェアのバージョン Ubuntu 11.04 PostgreSQL8.4 事前準備 以下のコマンドを実行して、apt-getのパッケージリストを最新化します。 sudo apt-get update 1. Ubuntu 11.04にPostgreSQLをインストールする 端末を起動して、以下のコマンドを実行します。 sudo apt-get install postgresql 2. Postgresのパスワードを変更する
Home | pgJDBC
PostgreSQL JDBC Driver An Open source JDBC driver written in Pure Java (Type 4), which communicates using the PostgreSQL native network protocol Why pgJDBC? The PostgreSQL JDBC Driver allows Java programs to connect to a PostgreSQL database using standard, database independent Java code. pgJDBC is an open source JDBC driver written in Pure Java (Type 4), and communicates in the PostgreSQL native n
PostgreSQLの導入と初期設定 — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 この記事は、gihyo.jp & Let's Postgres 連動企画「今こそ！PostgreSQL」の第4回記事です。「PostgreSQLの今を知る」シリーズに続き、今回から 4回に分けて PostgreSQL の使い方を解説していきます。第4回目は、PostgreSQL の導入、管理ツール類、運用を始める前に確認しておくべきポイントについて解説します。 インストール、基本ツール、追加の GUI ツールについて解説します。 インストール PostgreSQL はソースコードや実行バイナリの形式で配布されています。32bit版と 64bit版がありますが、OS に併せて選ぶのが適当だと思います。(Windows では 32bit版のみ) インストールの手順は「目的別ガイド：インストール編」に一覧があります。CentOS, Ubunt
"pgAdmin - PostgreSQL Tools" https://www.pgadmin.org/
pgAdmin is the most popular and feature rich Open Source administration and development platform for PostgreSQL, the most advanced Open Source database in the world. pgAdmin may be used on Linux, Unix, macOS and Windows to manage PostgreSQL and EDB Advanced Server 11 and above. Latest Blog Posts Customising your pgAdmin 4 workspace - Part 1: Browser Author: Anil Sahoo, date: Aug. 24, 2023 If you a
cronos feed 2.0::データ型を変更する SQL 文
RDB でテーブルを作成するのは非常に簡単です．例えば，テーブル名:data_table, データ:id,name,password, データ型:int,text,char(32)とする時，SQL文は以下のような感じで問い合わせればいいです． create table data_table (id int not null, name text not null, password char(32) not null); それで，今回プログラムを作成してて，データ型を変更したくなったので，いくつか調べてみました．やりたいことは単純で，password char(32) -> password text です． 動作環境は，Mac OS X 10.4 Tiger, PostgreSQL 8.1.4 server. Web サンプルを漁ったりして調べてましたが，きっちりマニュアルに書いて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webエンジニアに知ってほしいRDBアンチパターン
イミュータブルデータモデル(入門編)
PostgreSQLのinitdbと違うロケールでDB作成
SQLインジェクションでWebサイトをハッキングする方法（超意訳版） - おかねがない(ﾟ∀ﾟ)ｯ!!
TeamPostgreSQL - PostgreSQL Web Admin GUI Tools