基幹系への安易なOSS採用は禁物、バージョンアップ多発で運用保守が重荷に
基幹系システムのような社内システムにおいても、オープンソースソフトウエア（OSS）の利用が当たり前になってきた。クラウドサービスを利用する場合や、開発担当者と運用担当者が連携する開発手法DevOpsを採用する場合など、OSSの利用を避けられない。 多くの企業でOSSの利用が進む中、OSSを採用した当初は想定していなかった誤算に直面するケースが浮上している。商用のソフトウエアに比べてサポート期間が短かったり、サポートが充実していないため脆弱性が見つかっても放置してしまったりといった課題だ。ユーザー企業は安易に導入コストだけを見てOSSを採用するのは禁物だ。その後の長期間の運用・保守も含めた体制の検討が求められる。 「OSSの採用がここ数年で周辺システムから基幹系に広がった。その結果、ユーザー企業からは長期間、同じバージョンのソフトウエアを使いたいという要望が増えている」。OSSのデータベース
PostgreSQLのtimestamp with time zone型とGoのtime.Location | フューチャー技術ブログ
はじめにTIG真野です。育休明けです。 PostgreSQLには timestamp with time zone（timestamptz: 長いので以後こちらで表記します）型が存在します。一見、タイムゾーン付きで日時データを保持してくれそうな名称ですが、そうではないよという話をさせてください。 timestampz の仕様PostgreSQLのドキュメント 8.5.1.3. タイムスタンプ には以下のような仕様が書かれています。 timestampzの内部に格納されている値は UTC である 入力文字列にタイムゾーンが指定されていれば、そのタイムゾーンを元にUTCに変換され保持される timestampzの値を取得すると、UTCから現行のタイムゾーンに変換されて表示される 1,2 は timestamp with time zone という名称から、書き込み時のタイムゾーンも保持している
EmbulkでPostgreSQLをMySQLに移行した話 - LIVESENSE ENGINEER BLOG
こんにちは。マッハバイトを運営するアルバイト事業部エンジニアの mnmandahalf です。 先日、マッハバイトの販売管理システムで使っているデータベースをオンプレPostgreSQLからAmazon Aurora MySQLに移行しました。 本記事では移行に至った背景、吸収する必要があった差分や苦労した点についてお話しします。 環境 移行前のバージョン: PostgreSQL 9.4 ※ドキュメントはバージョン14のものを添付しています 移行後のバージョン: Aurora MySQL 3.02.0 (compatible with MySQL 8.0.23) 環境 MySQL移行の背景 データ移行方法の検討 Embulkの実行で考慮したポイント Embulkの設定 scram-sha-256認証への対応 タイムスタンプが9時間巻き戻る FK制約を無効化できない PostgreSQLとM
Dockerコンテナのpostgresqlがマルウェアに感染した件について - Qiita
背景 Dockerコンテナを立てたらマルウェアに感染したのでサイバーセキュリティの啓蒙を兼ねてメモ書きしてみました。 注意事項 マルウェアに感染した被害の対処方法を記述しています。マルウェア自体の機能や解析の解説ではなく一般利用者ユーザーの視点から感染経路と対応方法についての記述になります。 マルウェア感染状況 症状 Dockerコンテナを稼働させたホストのロードアベレージ(CPU負荷)が常時4を超える状況になっていました。つまり400%でホストがフル回転してた訳ですな。 例えるならエヴァンゲリオン初号機が暴走してマヤちゃんがコンソール画面に向かって叫んでいるところです（違） こうなるとクラウドサービスのAWSとかだと英文で警告アラートが飛んで来ますし毎日課金されで膨大な利用料金請求が来ることになります。恐ろしい！！ 状況の調査 CPUの利用状況やメモリの使用量などを調査するツール類があり
PostgreSQL 15ではpublicスキーマへの書き込みが制限されます | DevelopersIO
PostgreSQLではデータベースを作成すると、デフォルトで public スキーマが作成され、任意のユーザーがこのスキーマにオブジェクトを作成できました。 CVE-2018-1058 でpublicスキーマのこの仕様とsearch_pathを使ったトロイの木馬攻撃の脆弱性(仕様の潜在リスク)が報告されました。 この攻撃から守るために、以下のような方法が推奨されています。 public スキーマの CREATE 権限を REVOKE ユーザーごとにスキーマを割り振る search_path に public スキーマが含まれないように調整 PostgreSQL 15からは、1つ目の回避策がデフォルトで有効になり、データベースのオーナーだけがpublicスキーマにオブジェクトを作成できるようになります。 Remove PUBLIC creation permission on the pu
RailsのJSON生成をPostgreSQLのJSON関数で高速化（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Faster JSON generation using PostgreSQL JSON function | BigBinary Blog 原文公開日: 2018/05/29 著者: Chirag Shah サイト: BigBinary 参考: JSON関数と演算子 -- 本記事で扱われている関数が掲載されています RailsでのJSON生成方法は多種多様です。#to_jsonメソッドはRailsに組み込まれていますし、jbuildergemやactive_model_serializers gemも同じ目的に使えます。 データベースのレコード数が増加するに連れて、Railsのレスポンス生成時間が大きく増大します。このボトルネックを追うと一般にJSON生成部分にたどり着きます。 最近私たちのアプリで、ページ読み込みに異常に時間が
“PostgreSQL互換版”Amazon Auroraの性能はRDSの何倍？ (1/2)
アマゾン ウェブ サービス ジャパン（AWSJ）が7月5日、AWS上でのデータベース（DB）技術をテーマとしたイベント「AWS Solution Days 2017 ～AWS DB Day～」を開催した。基調講演では4名のゲストが登壇し、Amazon Aurora/RDS、PostgreSQL、MySQL/MariaDB、Oracle DB、SQL Server、Kinesis FirehoseなどのAWS上での性能検証結果やDB移行、活用事例などを技術的側面から紹介した。 基調講演レポート前半ではまず、SRA OSS, Inc.の石井達夫氏による「Amazon Aurora with PostgreSQL Compatibility」のパフォーマンス検証結果報告、インサイトテクノロジーの小幡一郎氏によるOSSのカラム型DBエンジン「MariaDB ColumnStore」紹介をお届けする
PostgreSQLでWebサービスを運用するためにやっていること - LCL 開発者ブログ
弊社では、RDBMSにPostgreSQLを利用して数年間サービスを運営しています。 PostgreSQLはMySQLと違って、Webサービスでの運用事例をあまり見かけないので、今回は弊社サービスの「夜行バス比較なび 」でどのように運用しているかを紹介いたします。 システムの特徴 ユーザからのアクセスは、9割が参照処理。 データはバッチ処理で、随時 ( 毎分 ) 更新されている。 参照SQLの結果はmemcachedを利用してキャッシュをしているが、データの更新頻度が高いため長時間のキャッシュはしていない。 参照SQLは、集計処理が多いため比較的重いSQL。 参照対象となるテーブルのデータ量は、最大で数100万レコードと比較的少ない。 24/7で稼働。 構成 AWSのEC2上に、PostgreSQL 9.3を導入しています。c4系のインスタンスを使いたいので、RDSは使っていません。インス
超高速のPostgreSQLとしてGreenplumを気軽に使う
はじめに ビッグデータ、データサイエンスという言葉の流行を大きく後押ししたのは大規模なスケールアウト、分散処理を可能としたHadoopの存在です。しかしデータサイエンティストは日々のデータ処理作業において必ずしも複数台のマシンを必要とするような大規模な処理ばかり行っているわけではありません。自身の開発用ワークステーション1台で完結するような処理も多数存在します。 2016年ではもはや当たり前ですが、多くのワークステーションはマルチコアのCPUを搭載しており、CPUがボトルネックになるようなデータ処理をマルチコアを活かして並列処理する重要性は高まっています。しかし、意外に多くのソフトウェアが、この当たり前に期待される「マルチコアを活かして単一ワークステーション上で高速並列処理すること」が出来ていません。 この悩みから、筆者は過去にテキストデータ処理を簡単にマルチコア対応にするJavaフレーム
QA＠IT サービス終了のお知らせ - ＠IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
「新版リリースのたびに他製品を選ぶ理由が薄れる」--PostgreSQL開発者インタビュー（前編）
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「PostgreSQL」の人気の復活ほど人々を驚かせたことは、そうそうないだろう。PostgreSQLは何年もの間、より新しく魅力的と言われた「MySQL」の影に隠れてきた。しかし、MySQLを新たに管理することになったOracleの一連の失策や、さまざまな製品改善により、PostgreSQLは再びクールな存在になった。実際のところ、DB-Enginesによると、PostgreSQLは現在、4番目に人気の高いデータベースだという。 （編集部注：PostgreSQLのここ数年の人気について、筆者のMatt Asayは過去にReadWriteやThe Registerに寄稿している。ここ数年間のうちにPostgresが復活を遂げたと筆者が考
PostgreSQLはもはやただのデータベースにあらず ─PostgreSQLカンファレンス2013 基調講演レポート | gihyo.jp
PostgreSQLはもはやただのデータベースにあらず ─PostgreSQLカンファレンス2013 基調講演レポート Not so much as a database as a data Platform（単なるデータベースを超えたデータプラットフォームとしての存在） ─11月8日、都内で開催された「PostgreSQLカンファレンス2013」（主催: 日本PostgreSQLユーザ会）の基調講演に登壇したHeroku開発者のピーター・ゲーガン（Peter Geoghegan）氏はPostgreSQLをこう表現しました。 来年には次バージョンのPostgreSQL 9.4のリリースが期待されていますが、ゲーガン氏の言う"データプラットフォーム"としてPostgreSQLはどのような進化を遂げようとしているのでしょうか。本稿ではの基調講演の内容をもとに、PostgreSQLの次なる
PostgreSQL 9.3の新機能: 更新可能VIEW | Let's POSTGRES
SRA OSS, Inc. 日本支社 石井 達夫 現在開発中のPostgreSQL 9.3ですが、徐々に新機能が出揃ってきました。その中の一つに「更新可能VIEW」("Updatable view")というのがあります。これはその名の通り、更新可能なVIEWを作る機能です。 VIEWとは？ VIEWとは、実際には存在しないテーブルのことで、CREATE VIEWというコマンドを使って定義します。VIEWは一種のマクロと考えることができ、よく使うSELECT文をVIEWとして定義することにより、複雑なSELECT文を毎回打ち込む手間を省くことができます。 たとえば、 CREATE VIEW mytable_foo AS SELECT * FROM mytable WHERE id = 'foo'; としておくと、 SELECT * FROM mytable_foo; とするだけで、 SELE
RailsからPostgreSQLに繋がらない〜 - Stellaqua - ＴＯＭの技術日記
RESTfulなWebサービスをサクっと作るのに、何だかんだでRailsが一番手っ取り早いんじゃなかろうか…と思って挑戦していたんですが、ちょっとハマってしまったので備忘録…。 とりあえず、Ruby/Rails/PostgreSQLをインストールしてから、まずはRailsアプリケーションを作成…。 $ rails railstest で、DB作成。 $ createdb -E utf8 railstest で、database.yml編集。(内容はサンプルという事で適当…。test/productionも内容は同じ。) development: adapter: postgresql database: railstest username: user password: pass host: localhost encoding: utf8 で、db/migrate/001_initia
postgresのパスワードを変更する方法 - OKWAVE
postgresのパスワードの変更？ PHP+PostgreSQLで開発しているのですが、PostgreSQLのパスワードがわかりません。 まず、PostgreSQLのユーザー（postgres）を作成して、パスワードも設定しinitdbでデータベースを初期化しDBを作っていました。 そしてそのDBを作っていた人が突然夜逃げしてしまったのでpostgresのパスワードがわからなくなってしまい、そこでroot権限でパスワードをpasswdコマンドで変更したのですがDBにpostgresでアクセスできません。 [admin admin]$ su - postgres Password: [postgres pgsql]$ psql -d test Password:←ここでは新たに変更したパスワードを入力しました psql: FATAL 1: Password authentication f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Joins in Postgres | Tutorials | Crunchy Data
PostgreSQL psqlの「続ける」表示のページャー機能をオフにする方法
postgre で timestamp や interval を秒数に変換 - ritchiekotzen's blog
エンジンPostgreSQLに組み込まれた注目機能解説
データ型