検索が爆速になるデータベース設計を公開します
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/
もし間違ってDROP DATABASEしてしまったら – area[nothing] : diary
2007/ 01 02 03 04 05 06 07 08 09 10 2006/ 01 02 03 04 05 06 07 08 09 10 11 12 2005/ 01 02 03 04 05 06 07 08 09 10 11 12 2004/ 01 02 03 04 05 06 07 08 09 10 11 12 2003/ 01 02 03 04 05 06 07 08 09 10 11 12 2002/ 01 02 03 04 05 06 07 08 09 10 11 12 2001/ 01 02 03 04 05 06 07 08 09 10 11 12 2000/ 01 02 03 04 05 06 07 08 09 10 11 12 1999/ 01 02 03 04 05 06 07 08 09 10 11 12 1998/ 01 02 03 04 05 06 07 0
【CakePHP3】Entity の機能について(accessor, virtual fieldsなど) - Qiita
【CakePHP3】Entity の機能について(accessor, virtual fieldsなど)PHPCakePHPcakephp3 社内用にまとめた内容の転載。 ココらへんの話をします Entityにキャスト、シリアライズといった「変換」を加えた時に走る処理について アクセサー 仮想フィールド 関連: [【CakePHP3】 `Type` の話 ](http://qiita.com/o0h/items/59772ee4e8eb4c91b26f) そもそも: 配列ではなくオブジェクトを返してくれる有り難さについて CakePHP2時にはモデルから読み取ったデータは全て配列として扱われ、 スカラ値など(というかboolとstringとnull)の集合でしかありませんでした。 例えば、「Userが登録した年を表示する」場合はこんな感じです。
MySQL (MariaDB) データベース定義の差分を取得する方法 - Qiita
MySQL または MariaDB で2つのデータベースの定義がどう異なるのか、調べたいことってありますよね？ mysqldump を使って diff で差分を取得することをまず考えるかもしれませんが、もしその差分をなくす、つまり一方に行った変更を他方に反映したい場合に、まさかそこから手動で ALTER TABLE 文を書こうなんてエンジニアはいないと思います。 そんなわけで mysqldiff コマンドの出番です。 mysqldiff コマンドについて mysqldiff は Python で実装された Oracle 公式の MySQL 向けユーティリティツール群である MySQL Utilities に含まれるツールのひとつです。2つの異なるデータベースを比較し、その差分を出力することができます。 Perl製のツール MySQL::Diff について mysqldiff で検索すると同
MongoDB Moblie発表。フル機能のMongoDBがiOS/Androidに対応、サーバのMongoDBとのデータ同期も可能に
MongoDB Moblie発表。フル機能のMongoDBがiOS/Androidに対応、サーバのMongoDBとのデータ同期も可能に NoSQLデータベースとして知られるMongoDBの開発元であるMongoDB社は6月27日、ニューヨークで開催された同社のイベント「MongoDB World'18」において、MongoDB 4.0の発表と同時にモバイルデバイスに対応した「MongoDB Mobile」を発表しました。 「MongoDBのサーバサイドでの開発の経験と機能がまったく同じように、どのiOSデバイス、Androidデバイスでも使えるのだ」（MongoDB CTO兼共同創業者 Eliot Horowitz氏）
30分間データモデリング ～ER図を描こう！～
30分間データモデリング ～ER図を描こう！～：データベースエンジニアへの道（2）（4/4 ページ）
我々(主語が大きい)は何故MySQLで外部キーを使わないのか
外部キー便利!!! MackerelではPostgreSQLで外部キーあり そのレコードがあることが保証される 各テーブルのidにアプリケーションレベル(Mackerelの場合Scala)で型付けをするとなお便利 MemberID型、MonitorID型 → idで誤ったテーブルを引くとかがない 本日のスキーマ CREATE TABLE `member` ( `id` INTEGER unsigned NOT NULL auto_increment, `earned_item_count` INTEGER unsigned NOT NULL DEFAULT 0, `name` VARCHAR(191) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARACTER SET utf8mb4; CREATE TABLE `item`
CakePHPのbindModelとunbindModel | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
CakePHPで各々のModelにアソシエーションを設定してて、 検索で使いたくないときはunbindModelを使うとはずせる。 Modelに定義してないけど、今回だけアソシエーションにしたい場合はbindModelで設定できる。 それは知っていたんだけど、unbindModelとbindModelを使用して、paginateを使用したら検索がうまくいかなかった。 $this->Model->unbindModel(array('hasOne'=>array('Model_2'))); $this->Model->bindModel(array('hasOne'=>array('Model_3'))); $result = $this->paginate('Model'); paginateはcountのSQLを実行した後、中身を取るSQLを実行してくれるんだけど、 ログを見たらcoun
A5:SQL Mk-2 - フリーの汎用SQL開発ツール/ER図ツール
A5:SQL Mk-2は複雑化するデータベース開発を支援するために開発されたフリーのSQL開発ツールです。 高機能かつ軽量で、使い方が分かりやすいことを目標に開発されています。 SQLを実行したり、テーブルを編集するほかに、SQLの実行計画を取得したり、ER図を作成したりすることが出来ます。 特徴・機能 OCI接続・直接接続・ADOまたはODBCを介したDBへの接続 Oracle DatabaseはOCI経由の接続・直接接続が出来ます。 PostgreSQLとMySQLは直接接続が出来ます。 Microsoft SQL Serverは、OLE DBプロバイダを直接呼び出した接続ができます。 IBM DB2は、ODBCドライバを直接呼び出した接続ができます。 その他のデータベースは、ADOまたはODBCを利用して接続します。 Oracle, PostgreSQL, MySQLは、A5:SQL
MySQL - ユーザの操作（作成、パスワード変更、削除）
MYSQLのユーザ関連コマンドのついて紹介しています。 [toc] ユーザの作成 ユーザ名は半角英数の16文字までです。 構文 GRANT権限 ON *.* TO ユーザ名 IDENTIFIED BY 'パスワード' WITH GRANT OPTION; 全ての権限を与えた場合 ALL PRIVILEGES ＝全ての権限を与える WITH GRANT OPTION ＝権限の書き換えを許可する 使用例 mysql> GRANT ALL PRIVILEGES ON *.* TO sasuke IDENTIFIED BY 'aaa' WITH GRANT OPTION; Query OK, 0 rows affected (0.03 sec) 一部権限、SELECT,INSERTのみ与えた場合 使用例 mysql> GRANT INSERT,SELECT ON *.* TO
PHPからデータベースを扱う時に便利な「PEAR::MDB2」 | バシャログ。
明日から12月ですね、ichikawaです。 今年はサンタさんに「足専用湯たんぽ」をお願いするつもりです。 今回は今さらかも知れませんが、先日マニュアルを読む機会があったので「PEAR::MDB2」をご紹介します。 PEAR::MDB2は、PEAR（PHPのライブラリ）のパッケージの1つで、PHPからDBを扱う際などに使用します。 PEAR::DBをお使いの方もいらっしゃるかもしれませんが、現在はこちらの「PEAR::MDB2」が推奨されています。（参考記事：まだ、PEAR::DBをお使いの方へ） インストール PEAR::MDB2のインストールは以下の通りです。 お使いのDBの種類によって適切なドライバもインストールして下さい。 pear install MDB2 MySQLの場合 pear install MDB2_Driver_mysql PostgreSQLの場合 pear ins
JavaScriptでmySQLサーバーに接続したいです。 - AndroidアプリをHTML５とCSS３とJavascrip... - Yahoo!知恵袋
チェックボックスで「その他」を選択した場合のみテキストエリアを表示させたいです。 以下のように記載して表示・非表示を切り替えることはできたのですが、 一度「その他」を選択してテキストエリアを記入後に「その他」のチェックボックスを外して送信すると、テキストエリアに記入した情報が残ってしまいます。 「その他」のチェックを外した場合にテキストエリアの情報をクリアさせるにはどうするのが良いでしょうか。 【JS】 <script type="text/javascript"> function entryChange1(){ radio = document.getElementsByName('m-q11') if(radio[9].checked) { document.getElementById('firstBox').style.display = ""; } else { documen
さらに怪しい人名辞典 移転しました
さらに怪しい人名辞典 移転先 2022/4/1 共有SSLが使えるサーバーに移転しました。 5秒後，自動的に下記の移転先に移動します。 https://springsnow.sakura.ne.jp/more.htm
NoSQLをRDBの代わりに使うと、どういう恐ろしいことが起こるか。PARTAKEの作者が語る
データベースの世界でいま注目されているのがNoSQL。特にキーバリュー型データストアは、グーグルのBigTable、FacebookやTwitterが内部で利用しているCassandraやAmazonクラウドが提供しているSimpleDBなど、すでに実際に使われ始めています。 ではそのNoSQLをリレーショナルデータベースの代わりに使ってシステムを構築するとどうなるのか？ 身をもって体験したことを記したShinya Kawanaka氏によるプレゼンテーション「間違った方向にCassandraを使ってみた」が公開されています。 NoSQLを用いたシステム構築は、リレーショナルデータベースによる構築どう違うのか？ とても分かりやすくまとめられています。ご本人の承諾もいただいたので、その内容を紹介しましょう。 NoSQLを使ったときに起こる恐ろしい事例 プレゼンテーションのテーマは「NoSQLを
「Linux-DBシステム構築／運用入門」がすごい - あなたのシステム、ガラパゴス化していませんか？ - kazuhoのメモ置き場
松信さんがやってくれました。 ずいぶん前からデータベースの「正しい」構築と運用方法についてまとめた本はないかなーと思ってました。自分はこれまで、様々なネットワークアプリケーションのプログラミングやデータベースの設計、チューニングを行ってきています*1が、問題が解決できたようには見えても、果たしてそれが最適な解決策だったのか不安に感じることがありました。それは、体系的な知識に欠けているからです。だから、網羅的な教科書がほしいなぁって思ってたんです。 とあるインターネットでこの前、松信さんから「いま書いてる」って話を聞いて、一部を見せていただいたりしたんですが、つい昨日、手元に届きました。やったね☆ 名前は「Linux-DBシステム構築／運用入門」。「入門」と銘打たれているものの、基礎的な知識から、なぜそうなるのか、どう応用すればいいのか、といった点まで広くカバーしている*2、全方位的な隙のな
ホカン探
ネット上のツールやサービスの情報を探せるデータベースサイト。更新速報やユーザー参加型機能も搭載Orbit Downloader 分割DLや動画サイト対応など多くの機能を備えたダウンロードソフト 公式サイト [フリーウェア] ver. 2.8.5 (2009/02/20)
窓の杜 - 【REVIEW】大量のテキストをメーラー風の3ペインで効率よく管理「外部記憶データベース」
「外部記憶データベース」は、メールソフト風の3ペインでテキストを管理できるテキストデータベースソフト。Windows 2000/XPに対応するフリーソフトで、編集部にてWindows Vistaでの動作も確認した。作者のWebサイトからダウンロードできる。なお、動作にはフリーのデータベースエンジン「Firebird」v2.0以降が必要だが、本ソフトに同梱されているため別途用意する必要はない。 ローカルのテキストファイルをただ単にまとめて管理するのではなく、データベースエンジンを利用することで大量のテキストを管理しやすくなっている。データベースエンジンには、オープンソースの「Firebird」が採用されているため、高速に検索できるほか、複数のキーワードをスペースで区切ることにより絞り込み検索できるのも特長だ。 本ソフトは、編集機能も備えているが、テキストを管理することに特化しているため、プロ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ドッグフードおすすめ比較ランキング
http://whss.biz/~culdds/index.html