杉原航太 @kota_sugihara 河野太郎がマイナンバーカードの住所照合についてデジタル音痴ぶりを如何なく発揮した件 河野大臣『問題は住所が「港区赤坂一丁目2の3」と書く人もいれば、「港区赤坂1-2-3」と書く人もいる…（中略）将来的にはAIの技術を使って表記揺れを判断することがあり得るかもしれない。』… twitter.com/i/web/status/1… pic.twitter.com/aF2jzwtBkN 2023-06-04 22:44:10
住所の正規化は沼である。
杉原航太 @kota_sugihara 河野太郎がマイナンバーカードの住所照合についてデジタル音痴ぶりを如何なく発揮した件 河野大臣『問題は住所が「港区赤坂一丁目2の3」と書く人もいれば、「港区赤坂1-2-3」と書く人もいる…（中略）将来的にはAIの技術を使って表記揺れを判断することがあり得るかもしれない。』… twitter.com/i/web/status/1… pic.twitter.com/aF2jzwtBkN 2023-06-04 22:44:10
「とにかく日本の住所のヤバさをもっと知るべきだと思います」に、住所正規化コンバータはどこまで応えられるのか、やってみた - ジャスミンソフト日記
note.com を読みました。私自身も日本の住所の扱いを何とかしないと業務アプリケーションの運用に支障が出ると感じ、2003年に「住所正規化コンバータ」というソフトウェアをリリースし、20年が経過しました。現在は国際航業株式会社様に取り扱っていただいています。 www.kkc.co.jp このブログにあるような指摘にどこまで応えられただろうかということで、社内で試してみました。利用したバージョンは最新の R7.2.0 で、住所マスタは2022年秋版と組み合わせました。その結果を公開します。 住居表示 丁目表記と地番表記の混在に対応しています。 浦安市舞浜2-1-1 郵便番号 都道府県 市区町村 町域 小字・丁目 番地・号 マッチレベル 2790031 千葉県 浦安市 舞浜 2 1-1 号レベル 浦安市舞浜2-11 郵便番号 都道府県 市区町村 町域 小字・丁目 番地・号 マッチレベル 2
はじめに 数か月ほど前、住所の正規化が話題になりました。こちらの記事が特に有名ですね。 関連して、こちらの記事も話題になりました。 当時はほかにも色々な人が日本のヤバい住所の例をあげてくれて、とても楽しかったです。 実は弊社でもAddressianという住所正規化サービスを提供しています。初めて目にする変わった住所を見かけたら、とりあえず自社のAPIに投げてみて「おお、正規化できた」「すごい！」などといいながら遊んで働いています。 サービスは無料で利用できますが、今までは利用の手順が面倒でした。 ユーザー登録する APIキーを発行する 住所正規化APIを呼び出すプログラムを用意する（サンプルコードあり） プログラムを実行して住所を正規化する そこで、もっと気軽に住所正規化を試してもらえるように、ユーザー登録しなくても使えるデモ機能を作ってみました。 デモ機能の概要 住所正規化デモ画面 こち
ファイルアップロードではNFC/NFD問題に気をつけろ！~MacファイルシステムにおけるUnicode正規化の闇~
NFCではそのまま「パ」として表されますが、NFDでは「ハ」（基底文字）と「゜」（結合文字）の組み合わせとしての「パ(UTF-8でe3 83 8f e3 82 9a)」（合成文字）で表されます。試しにNFDで正規化された「パ(e3 83 8f e3 82 9a)」を任意のテキストエリアに貼り付けて削除してみると、半濁音のみが取れて「ハ」のみになると思います。 このように文字列の正規化形式が異なる場合、単純な比較演算子での評価は困難であり、文字列によっては想定外の挙動を引き起こす可能性があります。 特にMacファイルシステムではNFDを正規化方式と採用しているため、NFC/NFD問題が度々引き起こされています。先日(2023年03月27日)リリースされた「macOS 13.3 Ventura (22E252)」では、ファイル名に濁音や半濁音が含まれるファイルがFinderから開けなくなる
「日本の住所のヤバさ」が6月7日朝にTwitterトレンドになっている。住所表記の正規化・名寄せがいかに難しいかを解説した、inuroさんのnote記事「とにかく日本の住所のヤバさをもっと知るべきだと思います」がバズっているためだ。 6月4日のテレビ番組で、マイナンバーカードに記載される住所をめぐり、河野太郎デジタル大臣が「将来的にはAIの技術を使って住所の表記揺れを判断することがあり得るかもしれない」と発言し、住所の正規化についてネットで議論になっていたことがきっかけだ。 記事は、「日本の住所システムがカオスで、その計算機的な処理がいかに困難か」を解説する内容だ。 まず、日本にはそもそも、新旧の2つの住所システム（A町1丁目3番2号／A町1234番地）が併存しており、例えば、「浦安市舞浜2」の住所が「舞浜2丁目」「舞浜2番地」の2系統あるケースを紹介。 さらに、まったく同じ住所表記が異な
しのゆ🎀うぇぶえんじにゃぁ @shinoyu これ経由で元のコードよんだけどなかなかつらい実装になってて、ないちゃった github.com/IMI-Tool-Proje… 絶対これ以外あるでしょ....うわー twitter.com/yuya_presto/st… 2023-06-06 16:31:52 ypresto @yuya_presto 経済産業省・デジ庁が公開していたものの朽ちてしまっていた住所正規化ライブラリ、いろいろ手直しして動く状態にしました！ 河野大臣が挙げていらした「東京都港区赤坂１丁目２の３」も正規化できます。 ブラウザ上でのお試しにも対応しました！ imi-enrichment-address.vercel.app github.com/ypresto/imi-en… 2023-06-06 16:02:27 リンク GitHub imi-enrichment-a
ガシカ👨💻在庫金額ってなんぞよの件 @skill___up 他部署から要請 「すみませんがうちの課のデータベースに情報入力お願いします」 『とりあえずデータ見させて下さい』 ポチポチ （7000行位か まぁここを絞り込めば…） 💢😑💢 pic.twitter.com/dFAjqMbN0f 2024-03-15 10:47:21
位置情報に関連するクラウド事業を手掛けるGeolonia（東京都渋谷区）は8月16日、住所の表記揺れを正規化できるサービス「クイック住所変換」の提供を始めた。表記ゆれしているExcelデータをアップロードすると、住所を正規化し、緯度経度の情報を付与できる。利用料は1000件まで5000円だが、正規化だけなら半額になる。 クイック住所変換では、番地・号レベルまで住所の正規化が可能。テストデータで検証したところ、約98％の精度で正規化ができたという。デジタル庁のアドレスベースレジストリや法務省の登記所備付地図データ、国土交通省の位置参照情報などを参照し、正規化変換を行っているとしている。
住所の正規化がいかに難しいかが話題になっているが個人的に一番ヤバいと思ったのは『新潟県新潟市北区東栄町』という地域が2つ存在すること
choo @choo_s 住所の正規化がいかに難しいかで盛り上がっていて、なんか嬉しい😊 住所関連の開発、個人的にもかなり長い時間をかけたのですが、一番ヤバいと思ったのは ・新潟県新潟市北区東栄町（とうえいちょう） ・新潟県新潟市北区東栄町（ひがしさかえまち） という２つの「異なる」地域が存在することです。 2023-06-06 14:49:36 choo @choo_s なお、この２つの地域は距離が少し離れているらしく、それぞれ別の郵便番号が振られています…！ ただ、片方は住居地域、もう片方は競馬場の厩舎がある場所らしく「どこまで混同されて重大なミスにつながるかは未知数」(※)らしいですｗ ※Wikipedia：ja.wikipedia.org/wiki/%E5%8C%97…) pic.twitter.com/9rN8Fd0yav 2023-06-06 17:18:32
見落としがちなURL正規化によるパストラバーサル | セキュリティブログ | 脆弱性診断（セキュリティ診断）のGMOサイバーセキュリティ byイエラエ
高度解析部アプリケーションセキュリティ課の金子です。 パストラバーサル（またはディレクトリトラバーサル）はXSSやSQLインジェクションに並んでWebアプリケーションに対する代表的な攻撃手法のひとつです。本記事では、パストラバーサルの中でもURL正規化によるパストラバーサルに焦点を当てて攻撃の発生原理やよくある事例について解説します。関連して、PHP向けのAWS SDKで発見したS3バケットに対するパストラバーサルの脆弱性CVE-2023-51651についても紹介します。 2種類のパストラバーサル パストラバーサルは../のような文字列を含んだ文字列の正規化処理（normalization）を悪用して、アプリケーションが予期しない"領域"に対してアクセスを行う攻撃です。正規化処理を行う対象によって分類することが可能で、次の2種類のパストラバーサルが代表的です: ファイルシステムに対するパス
“鼻血が出た”あの日から早3年、大きく進歩した「日本の住所の正規化」 - グラフィア - 地図や位置情報に特化したWebメディア「graphia（グラフィア）」
SNSで話題になった「日本の住所」問題について、Geolonia代表の宮内が語る第2回は、正しい住所のデータベースである「住所マスタ－」を作るための苦労や、過去から比べて進歩した住所を取り巻く現状について語りました。 第1回：日本の住所は“うまく整備されているほう”!? 大事なのは「地域の多様性」 第2回：“鼻血が出た”あの日から早3年、大きく進歩した「日本の住所の正規化」 第3回：生成AIは「住所の正規化」の救世主になりうるか 自治体や部署ごとバラバラの住所データは突合するのも大変 Geoloniaでは昨年、デジタル庁からの委託で、アドレス・ベース・レジストリのマッチングツールの調査実証業務を行いました。これは自治体が持つ住所マスターを“正”として、デジタル庁が持つアドレス・ベース・レジストリの住所マスターを突合させるという作業なんですが、これは実際にやってみると想像以上に大変でしんどい
【データベース正規化完全ガイド】実務観点での正規化手順やポイントを詳しく解説 | PrAhaENGINEERLAB
何かのアプリケーションを作成する際、その裏側で、データベースを利用することは多々あります。そのデータベースも、キーバリューデータベースや、ドキュメントデータベースなど、いわゆるNoSQLと呼ばれている...
テキストをPDF化した時に、見た目が同じでよりcodepointが先に現れる12215の方になってしまうらしい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
住所正規化のデモ機能を作ったので、日本のヤバい住所を入力してみた
「日本の住所のヤバさ」知れ渡る 正規化・名寄せ問題、Twitterトレンドに
住所の正規化を手直ししたライブラリが涙なしには読めないものだった「エンジニア泣かせの作業だ」
住所の“表記ゆれ”を正規化する自動変換サービス「クイック住所変換」提供開始～Geolonia【地図と位置情報】
他部署から要請「すみませんがうちの課のデータベースに情報入力お願いします」→どう見ても正規化出来ないデータで絶望
“住所の表記揺れ”の正規化サービス登場 Excelファイルをアップするだけ
chooさんはTwitterを使っています: 「住所の正規化がいかに難しいかで盛り上がっていて、なんか嬉しい😊 住所関連の開発、個人的にもかなり長い時間をかけたのですが、一番ヤバいと思ったのは ・新潟県新潟市北区東栄町（とうえいちょう） ・新潟県新潟市北区東栄町（ひがしさかえまち） という２つの「異なる」地域が存在することです。」 / Twitter
ラムダ🥒ラムダ技術部 on Twitter: "辛そうなコメントに笑ってしまった。住所の正規化マジで大変なんやな https://t.co/ncVVQEXCh0"
Elasticsearchでkangxi radicalsを正規化して検索する - 橋本商会
Hal Seki (@hal_sk@fosstodon.org)🛡️ on Twitter: "#住所の正規化 について、皆さんが沼の深さについて理解していただいたところで、次に投下すべきは、「では政府は何をやってきたのか？」という話で、政府相互運用性フレームワーク(GIF)やよみがなとの戦いの話や、地図XMLの話だと思うのだが、書く時間が無い！誰か！"