idをautoincrementして何が悪いの？
idをautoincrementしない方が良い理由 こんにちは。株式会社プラハCEOの松原です。 最近プラハチャレンジの参加者とお話している際に 「PKのidはautoincrementするとして...」 とナチュラルにid=autoincrementするものという前提が見えたので、「本当にidをautoincrementしても良いものだろうか？」と気になったことを書いてみようと思います。もしフレームワークが自動的にautoincrementでテーブルを作るからなんとなく使っているという方がいたらご一読いただいた後、それでも連番を使いたい理由があれば教えて欲しいです・・！ 不必要に情報を晒すことになる スクレイピングされたり もしも僕が某大手に勤めているエンジニアで「競合サービスAにのってる物件情報、全部コピーして新しいサービス作ろうぜ」と指示されたらですよ？「人としてそれはやっちゃダメで
RDBの限界とNoSQLの登場
事実世界のインターネット人口が増えたのは1990年代からだ。 [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h10/html/98wp2-3-1f.html [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc144210.html __NoSQL__の登場 1990年に入るとインターネットの利用人口が急激に増加することになる。 この頃からトランザクションに最適化されて設計されたDBでは性能劣化が始まり、システムはデータベースに対しスケール性能を必要とし始める。 多くの開発者は、単一の強力なサーバーでリレーショナル・データベースを実行するのではなく、リレーショナル・データベース管理システム (RDBMS) のパーティショニング (シャー
アマゾンがついにOracle DBを「全廃」、成功のポイントは社内失業対策
米アマゾン・ドット・コム（Amazon.com）がついに米オラクル（Oracle）に「勝利宣言」をした。アマゾンは2019年10月15日（米国時間）、社内からOracle Database（DB）を「全廃」したと発表したのだ。最盛期には約7500ものOracle DBが存在し、eコマースや物流、決済、受発注、広告、動画・音楽配信などのバックエンドで長年使われてきた。それらはほぼすべて姿を消したという。 Oracle DBからの移行先は、アマゾンがクラウドサービスAmazon Web Services（AWS）で提供するDBサービスだ。今後はMySQLやPostgreSQLと互換性のある分散型リレーショナルDB（RDB）サービスのAmazon Auroraをはじめ、NoSQLのDBサービスであるAmazon DynamoDB、データウエアハウス（DWH）のサービスであるAmazon Reds
I/Oとディスクの動作をイメージできれば、Oracleで発生する現象を理解しやすくなる
本記事は『絵で見てわかるOracleの仕組み 新装版』の「第1章 I/Oとディスクの関係」から抜粋したものです。掲載に当たり、一部を編集しています。 ここでは、Oracleの基本機能を「Oracleを理解するための必須キーワード」として取り上げ、これを前提にI/O（Input/Output：入出力）とディスクの関係を詳しく見ていきます。普段は意識することがないかもしれませんが、I/Oとディスクの動作をイメージできれば、Oracleで発生するさまざまな現象を理解しやすくなります。応用力のあるOracleエンジニアになるための第一歩を踏み出しましょう！ Oracleを理解するための必須キーワード まず、筆者が考えるOracleを理解するための3つのキーワードを紹介します。これは本書で出てくるキーワードです。 並列処理を可能にし、高スループットも実現 レスポンスタイムを重視 COMMITされたデ
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
MongoDBの様なNoSQLに勢いがあるのは何故ですか？SQLと比べてどんな利点や欠点がありますか？ - Quora
回答 (3件中の1件目) ハイプサイクルという概念をGartnerグループが提唱してまして、様々な流行りスタリのサイクルを分析する標準的な方法となっています。 ハイプとは過度な期待や熱狂を意味する言葉です。一発屋芸人の人気のカーブみたいなもので、テツandトモみたいに安定する場合と、消えていくものがあります。芸人ではありませんがDA PUMPは一茶の人間性もありまして、次は厳しいけど定着すると思っています。 なんだかのトリガーで評価が上がり始め、ピークを迎える。その後評価が下がっていき、底を打つと少し上がって定着するという経過をたどるとしています。これと同じモデルで、流行りのハイテク...
AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能
Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in
PostgreSQL 20年史｜コミッター石井達夫が振り返る変遷と進化の歴史｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQL 20年史｜コミッター石井達夫が振り返る変遷と進化の歴史 世界中で使用されるRDBMSであるPostgreSQLの長い歴史には、どのような変遷があったのでしょうか。長く、PostgreSQLに関わり続ける石井達夫さんに、同ソフトウェアの進化歴史の中にあるキーワードをもとに振り返ってもらいました。 オープンソースのRDBMSであるPostgreSQLは、いまや世界中の人々が利用するソフトウェアとなりました。その歴史は長く、ルーツは30年以上も前にさかのぼります。 PostgreSQLの前身は、カリフォルニア大学バークレー校で1986年に始まったPOSTGRESプロジェクトです。その後、1994年にAndrew Yu氏とJolly Chen氏がPOSTGRESにSQL言語インタプリタを追加し、翌年にPostgres95をリリース。1996年にようやくPostgreSQLとい
Oracle DBのバグでファイル破損、大阪市がシステム障害の原因を初公表
システム障害を起こしたのは基幹系システム「大阪市統合基盤システム」である。2015年1月に運用を開始し、住民票や税務、国民健康保険、福祉、介護保険など市民向けサービスを提供している。 同システムのOracle Databaseはログイン時の認証に必要なデータや印刷履歴などを管理している。今回の障害により、区役所や出張所などで住民票などの発行ができなくなり、7994件の発行業務に影響が出た。 同システムで2019年6月7日の午後0時5分ごろに発生したシステム障害では、2ノードあるDBサーバーがほぼ同時に停止した。担当者が再起動を試みたが再起動できなかった。 この原因について大阪市ICT戦略室は「Oracle Databaseには（データを格納するストレージとDBサーバーをつなぐ）通信経路で伝送エラーが生じた際、システムファイルが破損するバグが存在していた」と明かす。システム開発を担当したNT
損保料率機構がCOBOL集約推進 DBからCSVに移行しコスト削減
損害保険料率算出機構（以下、損保料率機構）がCOBOLシステムのレガシーマイグレーションに取り組んでいる。OSをWindowsに移行し、COBOL資産はあえて残すことを選択した。 損保料率機構は、2018年2月からレガシーマイグレーションに取り組んでいる。主な目的は、処理性能の向上と保守コストの削減だ。同機構の旧システムには、1000本以上の主にCOBOLのプログラムが存在。SQLでデータベース（DB）のDB2にアクセスしてデータの入出力を行い、保険料率を分析していた。 ところが蓄積するデータ量の増加や分析に必要なデータ量が増えたことで、旧システムの処理速度の遅さが課題になった。「分析担当者がデータを要求してから取得できるまで1日以上かかることもあった」（情報システム部の江崎新システム開発グループリーダー）という。さらにハードウエアの保守コストの高さも問題になっていた。 そこで同機構は、U
なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん
そもそも既存はどんなロジック？ RDBなんだからWhere句使ったら？ なぜファイルにすると速くなるのか？ 並列化と分散処理による高速化の可能性 COBOL使う必要あったの？ Javaとかじゃダメだったの？ まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料会員じゃないと見れないのだけど事例としては以下みたい。 リソース - ユーザー事例 - COBOL製品 ユーザー事例 : マイクロフォーカス さて、この記事の驚きポイントは「１億レコードくらいのDB処理をRDBからCOBOL + CSVに変更してUnixサーバからWindowsサーバに変える事で性能を維持しつつコストを1/5くらいにした」という事でしょう。 「せっかく7割もあったSQLを全部COBOLに変えるとか時代に逆行しすぎ！」
国会図書館の書誌データ、利用目的かかわらず誰でも無償で利用可能に 4月1日から
国立国会図書館は2月19日、同館が提供する書誌データを4月1日から、利用目的にかかわらず誰でも無料で利用できるようにすると発表しました。従来は営利目的での利用や、大量にデータを取得する場合は問い合わせが必要でしたが、申請なしで利用できるようになります。 国会図書館の発表 国会図書館が公開している書誌データの例 書誌データとは、著者名や書名、発行所、発行年、ISBN、DOI、全国書誌番号など、本を探すために必要な事項。書誌や書誌データベースがそれぞれの基準で、1点ごとの資料を識別同定するため記述しており、国立国会図書館でも所蔵する資料の書誌データを作成して「国立国会図書館オンライン」や「NDL-Bib」で公開している他、非営利利用であればNDL-Bibから原則無償でダウンロードできました。 いろんな本の書誌データを閲覧できたが、4月からは営利目的での利用や、大量にデータを取得する場合でも、申
ついに刈り取られ始めたOracle Database - orangeitems’s diary
Oracle Databaseは長い間データベース界の王者である Oracle Databaseと言えば、オンプレミスでの基幹システムにおいては王様のような存在です。以下は15年前の記事です。 www.atmarkit.co.jp 上記のデータベース製品利用状況を、稼働プラットフォーム（OS）別に集計した結果が、図2だ。ご覧のとおり商用UNIX上でOracleが7割のシェアを占める半面、Linux上ではオープンソースDB利用率が65％に達しており、それぞれ各プラットフォームにおけるデファクト・スタンダードとなっている。一方、現在最も普及しているWindowsプラットフォームでは、OracleとSQL Serverのシェアが接近した“一騎打ち”状況を呈している。こうして見ると、UNIXという地盤を維持しながらも、拡大するIAプラットフォーム（Windows／Linux）でそれぞれ一定のシェア
「SQLite」データベースに脆弱性--「Chromium」ベースのブラウザにも影響 - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 広く普及している「SQLite」データベースエンジンにセキュリティ上の脆弱性が発見された。この脆弱性により、膨大な数のデスクトップアプリやモバイルアプリがリスクにさらされているという。 TencentのBladeセキュリティチームによって発見されたこの脆弱性が悪用された場合、被害者のコンピュータ上において悪意のあるコードの実行が可能になるとともに、それほど深刻ではないケースでもプログラムメモリのリークやプログラムのクラッシュが引き起こされる可能性がある。 SQLiteは膨大な数のアプリに組み込まれているため、この脆弱性はIoTデバイスからデスクトップソフトウェア、ウェブブラウザ、「Android」アプリ、「iOS」アプリに至るまでの広範
分類語彙表－増補改訂版データベース コーパス開発センター -Center for corpus development-
国立国語研究所コーパス開発センターでは、 日本語の全貌を把握するための言語コーパス (language corpus)を構築しています。 English 国立国語研究所 分類語彙表とは，「語を意味によって分類・整理したシソーラス (類義語集) 」です。昭和39年 (1964年) に出版された初版『分類語彙表』 (現在は絶版) は，現代日本語の本格的なシソーラスとして幅広く活用されてきました。その後，収録語数を増やした『分類語彙表 −増補改訂版−』が刊行されましたが，研究開発用にそのデータベース版を用意しました。 本データベース版は，書籍版の『分類語彙表 −増補改訂版−』の元となったデータを加工したものです。データベースソフトに取り込めるようCSV形式になっています。レコード総数は，101,070件です (この中には，見出しの併記を分割してできたレコード及び分類項目内の意味的区切りを示すレコ
SQLite4が現れた! • masu-mi's blog(dirty pages)
SQLite3 の勉強を放置しているうちにSQLite4が出ていた。 なので今回はThe Design Of SQLite4の超訳(すっとばし)と補足を書く。 SQLite3 を読んでSQLiteは標準のB-Treeを基盤に仮想テーブルを使って色々なデータ構造をSQLで糊付けする抽象化層ライブラリってイメージを持っていた。 SQLite4 は各コンポーネントの責任範囲を明確にして全体を単純に扱えるようにしている印象を受けた。 例えば、プラガブルなストレージエンジンの採用は、データモデル(トランザクション・データ構造)を処理全体で一貫するように強制させている。 これは元々あったテーブル単位でのデータ構造切り替え(仮想テーブル)よりトランザクションのサポートなどが単純化され扱いやすくなると思えた。 また実行環境オブジェクトは複数のDB接続をユーザー側で明示的に管理しないといけなくしている。 参
怒りを通り越してあきれるOracleユーザー
「Oracle Database（DB）は信頼性や可用性が高く、当社のシステムには欠かせない。しかしここ数年、保守料が右肩上がり。IT予算に占めるOracle DBの保守料金の割合が増えて困っている」。 製造業A社のシステム部長は悩んでいた。会計や販売管理、生産管理など社内の主要なシステムは全てOracle DBを利用している。しかし開発時期はバラバラで、システム構築を依頼したITベンダーもシステムごとに異なっていた。Oracle DBのライセンスはシステム構築に合わせて、その都度購入している。システムごとに同じOracle DBとはいえ、バージョンは異なり、システム部門の保守作業も手間になっていた。 「Oracle DBを使っているシステムの維持費用を削減したい」。こう考えたシステム部長は、安定稼働していて、今後も大きな業務機能の変更もないと想定できるシステムのデータベースの保守契約を止
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
日本オラクルがDBライセンスを変更、費用増迫られる中小規模システムも
日本オラクルが1月30日にデータベース（DB）ソフト「Oracle Database」のライセンス体系を変更した。中小規模システム向けで安価な「Standard Edition One（SE1）」を廃止。「Standard Edition（SE）」のライセンス内容を変更した「Standard Edition 2（SE2）」に一本化した（図）。 同社は2月29日に、旧ライセンスであるSE1とSEの販売を終了。3月1日からSE2と大規模システム向けの「Enterprise Edition（EE）」だけを販売する。 SE2に移行する場合、SE1のユーザーにとっては機能が高まるが、保守料が上がる分、費用増となる。SEユーザーは費用は変わらないが機能面での制約が増す。結果としてライセンスの追加購入やシステム構成の見直しを迫られる可能性がある。特にSE1は国内で中小規模のサブシステムなどで多用されてお
アプリとサーバーの通信にJSONではなくSQLiteを使うと幸せになれるかも知れない条件まとめ - アニマネ開発日誌
軽い気持ちで投稿したら、思わぬ反響を頂いたこの話。 賛否両論で色々な意見を頂きました。 問題点も含めてある程度メリット・デメリットが見えてきたので、最後にまとめてみます。 ブコメ、Twitterで色々と意見を頂いた方々ありがとうございました。 この場を借りてお礼申し上げます。 前回までのおさらい クライアントとサーバー間で何らかのデータの受け渡しをする時に、 よく使われるフォーマットとしてJSONやXMLがあります。 構造がシンプルなテキストで汎用性が高いため、あらゆるプラットフォーム間の差異を吸収するフォーマットとしてメジャーな存在です。 モバイルアプリも例外ではないのですが、JSONなどを使わずにSQLiteのDBファイルを直接渡してやりとりするというのが先日書いた記事です。 SQLiteはクロスプラットフォームな上に1ファイルで完結するので、1つのファイルで様々なプラットフォームから
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
