DBからの更新日時に基づく差分データ抽出 - Qiita

（この方法は dbt のincremental modelsに関するドキュメントの models/stg_events.sql を参考にしています） この方法は差分データ抽出する際にデータソース側でデータ変更が発生していなければ概ね問題ないのですが（データソース側でレコードがDELETEされるケースを考慮しなければ）、データソース側でデータの追加・更新が発生している場合は、差分データを抽出し損ねる可能性があります。 例えば以下のようなケースです。 トランザクション①が購入ID=101のレコードをINSERTするが、何かの原因（別の処理をする、ネットワークで少し待たされるなど）でコミットはすぐにはされない。 トランザクション②が購入ID=102のレコードをINSERTし、すぐにコミットされる。 1回目の差分データ抽出の処理が動く。この時点で購入ID=102のレコードはコミット済みのため抽出さ

[tgk]

「同じデータを2回抽出したくない」という縛りがあるときの抽出方法。当然難しい。抽出済みデータのmax(更新日時)を基準時刻として抽出する