Cloud DLPをGolangで叩いて見せられないデータを抽出し秘匿化してみる - SMARTCAMP Engineer Blog

今週末から北海道オフィスに出張でワクワクしている瀧川です。 私はデータ分析基盤の構築をする機会がよくあり、FluentdやEmbulk、Digdag、BigQueryを好んで使っています。 構築する際に気をつけることというと、冪等性やログ欠損(リカバリ)などいろいろあるかと思いますが、その中でも重要になるのが 個人情報などの見せられないデータ(機密情報) の扱いかな思っています。 構造化されたデータの個人情報であれば、そもそも分析基盤に転送しないことや、マスキングして送るなど対策は容易*1ですが、例えば「バグでログの可変な箇所に個人情報が入ってしまった」とか「アンケートの集計をしたいが電話番号など入ってしまっていて隠したい」などの場合、検出や秘匿化はかなり難しいと感じています。 その課題を解決してくれるのがGoogleCloud DLP(Data Loss Prevention) APIで

[rti7743]

これってログの監査ようなんじゃないかと思った。絶対に漏れは出るし、マスクに使うのではなくて、ログの監査に使って、警報がなったらログに書いているルーチンを改善する方がいいんでね？

[yo_waka]

“「あらゆる場所に存在するデータの中から、90種類以上の機密情報を検出し、機密情報に応じた秘匿化を実施できる」サービス”

[ohsawa0515]

すごい。こんなのがあるんだ。

[a-know]

”「あらゆる場所に存在するデータの中から、90種類以上の機密情報を検出し、機密情報に応じた秘匿化を実施できる」サービス”