DBMを使った検索エンジンの作り方 - 豪鬼メモ

キーワード検索システムとか全文検索システムとか検索エンジンとか呼ばれる仕組みの肝は転置索引とか転置インデックスとか呼ばれるデータベースである。それは、検索語をキーとして、その検索語に該当する文書のIDのリストを値とする連想配列に他ならない。つまり、検索エンジンの肝はDBMである。この記事では、転置索引の効率的な構築方法について考察する。 基本構造 検索エンジンにおいては、検索対象となる個々の文書は、「文書ID」と「語のリスト」のペアであるとみなせる。また、検索エンジンは複数の文書の集合を扱う。そうすると、文書の集合は、文書IDをキー、単語のリストを値とする、連想配列であるとみなせる。Pythonのコードで表すならこんな感じ。 documents = { 1001: ["She", "is", "Nancy", ".", "I", "love", "her", "."], 1002: ["T