Perl DBI と UTF8フラグ と 文字化け問題 (2017/05/31追記) - adiary開発日誌
Perl 5.20にしたら、DBIが何やら不可解な動作をするようになりました。 問題の原因 保存されいてる文字コードがおかしい 解決策 DBD::Pg編 DBD::MySQL 比べると DBIの仕様 DBD::Pgの仕様変更 2017/05/30 まとめ 問題の原因 どうやら UTF8 を扱う機能が増えたみたいです。DBIの接続時のパラメーターにこんなものが増えています。 pg_enable_utf8 => 1 , # 結果をUTF8フラグ付きにする（PostgreSQL） mysql_enable_utf8 => 1 , # 結果をUTF8フラグ付きにする（MySQL） PerlのDBIモジュールで自動的にUTF8フラグを付ける この影響で、PostgreSQL運用のシステムを Perl 5.14 から 5.20 にアップグレードしたところ文字化け発生。また厄介なことをしてくれたものです
超高速のPostgreSQLとしてGreenplumを気軽に使う
はじめに ビッグデータ、データサイエンスという言葉の流行を大きく後押ししたのは大規模なスケールアウト、分散処理を可能としたHadoopの存在です。しかしデータサイエンティストは日々のデータ処理作業において必ずしも複数台のマシンを必要とするような大規模な処理ばかり行っているわけではありません。自身の開発用ワークステーション1台で完結するような処理も多数存在します。 2016年ではもはや当たり前ですが、多くのワークステーションはマルチコアのCPUを搭載しており、CPUがボトルネックになるようなデータ処理をマルチコアを活かして並列処理する重要性は高まっています。しかし、意外に多くのソフトウェアが、この当たり前に期待される「マルチコアを活かして単一ワークステーション上で高速並列処理すること」が出来ていません。 この悩みから、筆者は過去にテキストデータ処理を簡単にマルチコア対応にするJavaフレーム
コマンドラインでPostgreSQLを操作する – psqlで効率を上げる | POSTD
私は、もう4年も毎日のようにPostgreSQLを使用しています。以前はデータベースとやりとりするためにGUIアプリケーションを用いていました。しかし今では、お気に入りのツールを使いながら効率よく作業できる、ビルトインのコマンドラインツールだけを使用しています。 本稿は、 psql というコマンドラインツールを通して実現可能なタスクを複数のセクションに分けて説明します。ここで挙げる項目は次のとおりです。 psqlの設定 ヘルプの使用 データベースが遊び場 データベースの探索 クエリの作成 出力の比較 データベースのクローン作成 データの抽出 psqlの設定 あらかじめpsqlはある程度設定されています。そのため、本稿では提供されているオプションを詳しく説明しません。psqlの使用がより楽しくなる2つのオプションについてのみ説明します。 1つ目は、データが横長でも正しくスクリーンに映し出され
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
pgsqlenvチュートリアル | 独り言v6
このエントリはPostgreSQL Advent Calendar2013のこのエントリはPostgreSQL Advent Calendar2013の19日目になります。今回は便利ツールとして、今年作ったpgsqlenvの解説を書いてみました。 このツールは、いわゆるPostgreSQLに特化したhomebrew環境を構築するもので、コマンドでインストール、初期化、起動、終了そのほかの作業が行えます。githubで公開しています。 インストール インストールは簡単で、gitから取得し、取得したあとでそこにパスを通すだけです。以下の例では、~/git/以下に展開するようにしています。 $ cd ~/git/ $ git clone http://github.com/yutakat/pgsqlenv/ $ export PATH=$PATH:~/git/pgsqlenv 使い方 pgs
pgsqlenvをリリースしました | 独り言v6
mysqlenvというツールがリリースされているのを見て、ふと昔とった杵柄と思って移植してpgsqlenvを作ってgithubに公開しました。 https://github.com/yutakat/pgsqlenv 一応説明すると、自分のユーザーディレクトリの下に、複数のバージョンのPostgreSQLをソースコードから自前コンパイルでインストールし、また起動停止等がコマンドラインから一元管理できるツールです。多分UNIXとMacOSXで動作すると思いますが、さくらVPSでしかテストしていません。 ご存知の人はご存知と思いますが、L.starの昔の仕事は多数のPostgreSQLのバージョンを扱う関連のお仕事で、その関係上、homebrewに近いシステムを自分で作って運用したりしてたのですが、その時のことを思い出しながら作りました。当時の俺得ツールです。そのへんは、「UNIXアカウントと同
Postgres.app – the easiest way to get started with PostgreSQL on the Mac
To connect with psql, double click a database. To connect directly from the command line, type psql. If you’d rather use a graphical client, see below. NOTE: These instructions assume that you’ve never installed PostgreSQL on your Mac before. If you have previously installed PostgreSQL using homebrew, MacPorts, the EnterpriseDB installer, consider removing other PostgreSQL installations first. We
PDO_pgsqlでハマった件 (PHP Advent Calendar 2010 17日目) - Blog::koyhoge::Tech
12/17 が終了して数時間が経ちましたが、16日目「匿名関数と無名関数 (PHP Advent Calendar 2010 16日目) | dogmap.jp」の wokamoto さんからバトンを渡されたPHP Advent Calendarの 17日目です。 さて PHP 5.2.X も終了が宣言された昨今、みなさんの PHP-5.3 への移行は順調に進んでいますでしょうか? 私も自分の環境やメンテナンス対象のコードを徐々に 5.3 対応に修正しているところです。今回はその中で DB アクセスライブラリを Creole から PDO に変更した際にハマった事を書こうと思います。 最近はフレームワークを使ったプログラミングが一般的なので、DBアクセスもフレームワークの Model クラスや、フレームワークがサポートしている Doctrine などの O/R マッパーを使うのが普通でしょ
UbuntuのPostgreSQLでEUC_JPのデータベースを作る - World Wide Wonderful
Ubuntuでポスグレを入れたときにはまったのでメモ。 EUC_JPのデータベースが作れない ポスグレのインストールはすごく簡単で、 $ sudo apt-get install postgresqlインストール、起動までやってくれます。 で、最初はUTF-8のデータベースばっかり作っていて気づかなかったのですが、いざEUC_JPのデータベースを作ろうとすると下記エラーが出ます。 $ createdb -E EUC_JP -U hoge testdb createdb: database creation failed: ERROR: encoding EUC_JP does not match server's locale ja_JP.UTF-8 DETAIL: The server's LC_CTYPE setting requires encoding UTF8.先日のエントリにも
PostgreSQLデータベースにアクセスできないときの対処法 - のほほん徒然
第四十五回 FATAL C28000 MIdent authentication failed for user "rails" Fauth.c L337 Rauth_failedというエラーが出て，MigrationやconsoleからのDBアクセスが失敗したのでいろいろ調べてみると，こんな記述を発見しました． it is due to Rails connecting to PostgreSQL via TCP socket, not UNIX socket, so in the pg_hba.conf you need to setup a “host” line, not a “local” line. どうやらRailsがPostgreSQLにアクセスする際にUNIX socketではなくTCP socketを利用していて，TCPを利用したアクセスではpasswordによるユーザ
PostgreSQLを本当に高速化したい人のための10のポイント | 独り言v6
空気を読まずにPostgreSQLのを高速化する10のポイント - 象と戯れ -空気を読まずにPostgreSQLのを高速化する10のポイント - 象と戯れ - postgresqlグループ.の元エントリを読んで思うところがあったのだが、 PostgreSQLを高速化する16のポイント だからそんなせまっくるしいところでトンチンカンにdisる暇あるんだったら自分のブログでお好みの議論を書くかさもなきゃ/dev/nullにでも吐けとやんわりと言ってるんだよハゲ。 というわけでｗ。 だよねｗ。 まあ正直、上記元ネタのほうには色々突っ込みどころ満載なのだが、それは置いておくとしてL.starなりの高速化ポイントを一度書いておかないと、と思ったので記す。ただ、L.starはもうPostgreSQL界隈から離れて久しいので、必ずしも最新の内容を網羅していないことに注意されたし。また、出来るだけPos
postgresでorder byに複数のカラムを使うとdesc句を使った場合、indexを使用しない件
Postgresqlに限らず、インデックスを利用する/利用しないは、 DBを使ったシステムの速度を決める重要な要件だったりします。 今回は、業務中に突き当たった複数のカラムを指定していた場合 DESCやASCを使っていた場合、indexを利用しなかったpostgresの 対応方法について説明します。 なお、突き当たったバージョンは8.3.5でした。 対象はたいした事は無いsql文なのですが、こういったsql文です。 SELECT entries.id,entries.title, entries.body, entries.entry_type, entries.created_at, entries.updated_at FROM entries ORDER BY entry_type,updated_at DESC indexは、 entry_type, updated_at
Russ のジャーナル - Postgres Connection Pools: Pgpool vs. PgBouncer | Last.fm
2008年 02月 22日 金曜日 02:03 We use Postgres for a lot of stuff here. Since it's a multi-process database server (unlike MySQL which is multi-threaded), creating a direct connection to Postgres is relatively slow. This can be worked around by using a connection pool server in front of the DB. Up until recently we used pgpool for this. But it has a few disadvantages: * It's multi-process itself (althoug
「PostgreSQLは遅い」は本当か？：OSSデータベース比較 - CNET Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます LAMPやLAPPといった言葉が示しているように、オープンソースソフトウェア（OSS）での代表的なリレーショナルデータベース管理システム（RDBMS）といえば、「MySQL」と「PostgreSQL」だ。この2つのRDBMSは同等であるかのように思われているが、しかしPostgreSQLのユーザー団体「日本PostgreSQLユーザ会」で理事長を務める片岡裕生氏によれば、「PostgreSQLはあまり信用されていない」ということがあるそうだ。 「十分にチューニングされたMySQLとチューニングしていないPostgreSQLを比較したり、反対にチューニングされたPostgreSQLとチューニングしていないMySQLを比較したり、あるいは比
PostgreSQLでSQL毎の実行にかかった時間をログに残す方法 - y-kawazの日記
postgresql.conf に以下を設定します。 log_min_duration_statement = 0 これは指定ミリ秒以上時間がかかったSQL文をかかった時間と一緒にログに残すようにします。 0を設定するとすべてのSQL文をかかった時間とともにログに出力します。 ※注意 この設定と log_statement を同時に設定すると、log_statement の設定によるSQL文のログとlog_min_duration_statement によるSQL文のログがそれぞれ出力されてしまう為、同じようなログが2重に出てしまいます。なので log_min_duration_statement=0 を使う場合は log_statement は無効にするべきです。 duration_statementを含んだログファイルを解析して統計情報を表示するスクリプト 以下のような Perl スク
PostgreSQL のデータをCSV出力する - IT革命～
情報技術(アイティー)革命ではなくイット革命！IT化推進に役立つソフトウェアやWeb制作に関するネタを扱います。 psql で出力できます。 ─────────────────────── >psql dbname dbname=# \o tablenams.csv dbname=# \a Output format is unaligned. dbname=# \pset fieldsep ',' Field separator is ','. dbname=# select * from tablename; dbname=# \o ─────────────────────── \o で出力先を指定 \a で桁そろえをしない \pset fieldsep でセパレータを指定 '\t' ならタブ区切り select 文で対象データを抽出 最後の、\o で出力先を戻します。 コマンドライ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLでUNIXタイムをTIMESTAMP型に変換するには - y-kawazの日記
ged / ruby-pg / issues / #12 - to get a column as array — Bitbucket
memo-space :: SQLでIPアドレスから携帯のキャリアを判定する
[pgsql-jp: 25910] テーブル定義書を作成するソフト