先日は住所の件でお楽しみでしたね。 私も楽しくなってしょうもないツイートをしたところ、@masanorkさんから有用な情報をいただいてしまいました。 異体字に加えて外字も根深いですし、日付型に収まらない住基の生年月日とか、屋号を含んだ個人事業主の口座名義とか、外国人氏名における住民登録のアルファベットと口座名義のカタカナとの解離とか、旧姓併記の例外処理とか、文字列型に刻まれたバッドノウハウの塊ですね https://t.co/GOaytijfst — Masanori Kusunoki / 楠 正憲 (@masanork) June 6, 2023 このとき、私はごく簡単な「名寄せの難しさ」の社内研修資料を作っている最中だったのですが、この情報が大変参考になりました。 一方、私だけが得をしているのがなんとなくムズムズしてきたので、ここにアウトプットしてスッキリしようと思います。 なお、住所
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
日本における「名寄せ」と「照合」の黒歴史
健康保険証、銀行口座、年金記録――個人のマイナンバーに別人の情報がひも付けられるトラブルが後を絶たない。多くの事案に共通するのは、自治体や関係機関の職員が氏名や生年月日などを基にマイナンバーや住民データを照会した際に、誤って同姓同名の人の情報を引き出してひも付けてしまうというケースだ。 こうした情報のひも付けをする際、職員が住民データの照合や突合、本人確認に使うのが「氏名」「生年月日」「性別」「住所」、いわゆる基本4情報といわれるものだ。 だがこの4情報は、コンピューターによる自動処理とは絶望的に相性が悪い。例えば氏名は「邊」「邉」など旧字・異体字の揺らぎや外字の処理が煩雑なうえ、婚姻による改名もある。よくある氏名の場合、氏名も生年月日も同一というケースが頻発する。住所は時期によって変わるうえ、人によって書き方が「一丁目四番」から「1―4」まで一意ではない。 こうした曖昧な識別符号を代替す
漏洩が問題なのではない、名寄せが問題なのである - 第3回プライバシーフリークカフェ（前編） (1/7)：テクノロジーでビジネスを加速するための実践Webメディア EnterpriseZine (EZ)
ベネッセ事件の功 ―名簿屋問題を考える 山本 はい、ということで第3回プライバシーフリークカフェ開催いたします。よろしくお願いします。今回も、この3人、新潟大学の鈴木先生と、技術者の高木浩光先生、そして私、山本一郎でお送りしたいと思います。 さて、今月先月もいろんなことがありました。その中でも一番冴えたものは、ベネッセ事件がだいぶ続報が報じられて状況がわかるようになってきたかなあ、と。 高木 ちょうど前回、第2回の次の週に報じられましたか、ベネッセ事件は。 山本 はい。突然、ベネッセ大爆発という非常に素敵な話が出ましたけども、実際、事件の概要そのものはもうかなり報じられてきています。 高木 なんか今日も、ドコモの記者会見がさっき4時からあったそうで… 山本 ええ。法人のデータが、1,100人分くらい出ましたっていう話で終わるのかどうかっていうのが非常に微妙なところかと思うんですけれども、出
第1回 データ・クレンジングと名寄せ技術：ITpro
皆さんは，企業のシステムが提供している情報（データ）をどれくらい信用していますか。 例えば，社内の製品担当者に問い合わせをしたい場合，社内システムを使って，製品から担当者を割り出し，担当者名から電話番号を検索，その電話番号に電話をかけてみるでしょう。この場合，社内システムから得られる情報はおおむね信用できるでしょう。製品担当者の変更が更新されていないといったこともあるかもしれませんが，そのような場合は社内であれば引き継ぎ担当者を教えてもらうことで状況を理解できるので，まずは情報を信じて電話をかけてみるのではないでしょうか。 では，社外のお客様へ連絡するときはどうでしょうか。この場合は少し慎重になるでしょう。社内情報を検索するとき以上に各種システムから信用できる必要な情報を慎重に収集し，行動に移すはずです。私の友人のA君もそうでした。 使えないデータたち A君はある電気製品の販売を担当する営
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
「日本の住所のヤバさ」が6月7日朝にTwitterトレンドになっている。住所表記の正規化・名寄せがいかに難しいかを解説した、inuroさんのnote記事「とにかく日本の住所のヤバさをもっと知るべきだと思います」がバズっているためだ。 6月4日のテレビ番組で、マイナンバーカードに記載される住所をめぐり、河野太郎デジタル大臣が「将来的にはAIの技術を使って住所の表記揺れを判断することがあり得るかもしれない」と発言し、住所の正規化についてネットで議論になっていたことがきっかけだ。 記事は、「日本の住所システムがカオスで、その計算機的な処理がいかに困難か」を解説する内容だ。 まず、日本にはそもそも、新旧の2つの住所システム（A町1丁目3番2号／A町1234番地）が併存しており、例えば、「浦安市舞浜2」の住所が「舞浜2丁目」「舞浜2番地」の2系統あるケースを紹介。 さらに、まったく同じ住所表記が異な
もう逃げられない！マイナンバー制度「あなたの財産を丸裸にします」。「恐怖の名寄せ」で一発追徴課税（週刊現代） @gendai_biz
もう逃げられない！ マイナンバー制度「あなたの財産を丸裸にします」。「恐怖の名寄せ」で一発追徴課税 特集！知っておきたいマイナンバーの裏のウラ② ——親の遺産、株の利益から妻の掛け持ちバイト、隠していた小金まで、一つにまとめ上げて、あなたを吊るす 知らず知らずのうちに導入が近づいていたこの制度。役所での手続きが簡単になれば便利だが、人が番号で管理されるというのはやっぱり気持ちが悪い。逃げ道のない監視社会が、まもなく訪れる。 とにかく、やれ! 「遅い!」 首相官邸の5階にある総理執務室。安倍晋三総理の甲高い怒声が響く。連日のように呼び出され、叱責を受けているのは、マイナンバー制度の実務を担当する内閣官房社会保障改革担当室の宮島俊彦室長だ。 いよいよ10月5日から、日本に住むすべての人に一枚のカードが配られる。12ケタの「マイナンバー」が記された、「通知カード」である。 いったい、いつのまに—
名寄せって難しいのよね - novtan別館
同姓同名同生年月日くらいだったら「便宜上」同一人物として扱っているシステムは結構多いと思うよ。 事故の経緯に関し、銀行側の説明をまとめると、次のようになります。 寝屋川支店では、死者の親族からの要請を受けて、死者の銀行口座を閉じた。この際、三井住友銀行の全国の顧客の口座一覧の中で、死者と同姓同名、同じ生年月日の人物を、住所を確認せずに閉じた。 http://21432839.at.webry.info/201601/article_4.html その人がどの支店に属する人かが重要であった時代ならともかく、今銀行にとってリテールのお客さんの住所は富裕層ならともかくそうじゃなければそれほど大きな意味合いを持っていないことも多いでしょう。 銀行についてはペイオフの絡みでずい分昔に名寄せのシステムは整えたんですが、実際のところ、システム的な名寄せを全て信じて何かをすることは難しいので名寄せされた人
覚えておきたい！「名寄せ」の基本 - ITpro
“システムを作成するときには考慮されていなかった観点でデータを使おうとしたとき”に「使えないデータたち」は発生します。しかし，使えないデータだからと言って捨ててしまうことはできないでしょう。なぜなら，そのデータは今まで使っていたデータであり，これからも使うデータだからです。 では，使えないデータを使えるデータにするにはどうすれば良いのでしょうか。その作業は「データ・クレンジング（Data Cleansing）」と呼ばれます。データ・クレンジングに似た言葉として「名寄せ」というものがあります。名寄せはデータ・クレンジングをした結果，データ間の関連性を導き出す行為です。重複データを特定するという観点では，名寄せはデータ・クレンジングの一環です。 この連載は，名寄せ技術について，個人データの例をとりあげて具体的に説明します。データを扱うソフト技術者/開発者にとって，名寄せは必須知識の一つと言って
Wikipediaを元にした日本語の名寄せデータセットを作成しました - Sansan Tech Blog
こんにちは、DSOC 研究開発部の奥田です。以前の私のブログ記事ではコーギーの動画を見ていると書きましたが、とうとうコーギーを家族として迎え入れ、現在生後6ヶ月の子犬と暮らしております。 さて私たちDSOCでは、SansanやEightの価値を高めるために様々な自然言語処理のタスクに取り組んでおります。例えばニュース記事からの固有表現抽出では、私たちのサービスに特化した固有表現を対象に研究開発しています。その他にも様々あるなかで、特に重要かつ困難とされているものの一つに「名寄せ」というタスクがあります。AIや人工知能と呼ばれるものが発達した現代においても、人間には当たり前にできるタスクが機械には難しいことがまだまだ存在します。 今回は、その「名寄せ」というタスクにおける日本語でのデータセットを作成してみました。これをきっかけに、日本語での名寄せというタスクの研究が進み分野が活性化することを
最近、「国民ID制度」やら「番号制度」というキーワードが世間を賑やかせている。この制度の導入によって、年間１兆円の特需が恒久的に続くなどといって、株価が上がる企業まで出る始末だ。 この「番号制度」、番号を人に振って行政効率をあげると共に、必要な人に必要な援助を差し伸べようという大変結構な話だ。IT戦略本部の電子行政に関するタスクフォースなどを見ている限りでは、分野別の利用番号と、名寄せのキーとして使う番号を峻別して、後者は見えない番号にするというような妥当な形で進んでいる。ところが、それを取り巻く報道などを見ると、そうではなくて「見える不変の汎用番号」を人に振ろうという話が散見される。 私自身、業務効率化のために「不変の番号」を導入するのにはやぶさかではない。だが、名寄せによるプライバシー侵害などの副作用を生むから、それは見えてはいけないし、必要ならば変更も可能でなければならないと思
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
基本4情報での名寄せは難しい｜MORIDaisuke
みんなビックデータビックデータって言ってるけど 名寄せとかどうしてんの？
DMPの仕組みを知ろう、オーディエンスデータを統合する「CookieSync」と「名寄せ」
「日本の住所のヤバさ」知れ渡る 正規化・名寄せ問題、Twitterトレンドに
無情社会と番号制度～ビクトル・ユーゴー「ああ無情」に見る名寄せの危険性 | gihyo.jp