AWS Glue Data Qualityを試してみた - Qiita

背景・目的 先日、AWS Glue Data Quality（プレビュー版）が発表されたので、仕様の理解と簡単に試してみました。 なお、現在プレビュー版であるため、GAまでに仕様が変わる可能性があります。 まとめ 2022/12/14現在、プレビューである。 Data Qualityは、OSSのDeequを利用している。 データの品質評価には、DQDLという独自の言語を書いて実装する。 Glueでは、Transformの一つのノードとして実装されている。 概要 AWS Glue Data Qualityとは？ 自動的にデータを分析、データの統計情報を収集 推奨されるデータ品質ルールを設定し、それに基づき検証を開始する。推奨されたデータ品質ルールは変更することも、新しいルールを追加することも可能。 データ品質が低下した場合に、ユーザに警告するアクションを設定することも可能。データ品質ルールと

[sh19910711]

DQDL / "AWS Glue Data Quality: 2022/12/14現在、プレビュー + OSSのDeequを利用 + データの品質評価には、DQDLという独自の言語を書いて実装する / データ品質が低下した場合に、ユーザに警告するアクションを設定することも可能"