経産省発の npm モジュール！住所や電話番号の正規化、ジオコーディングなどができる IMI コンポーネントツールを試した！
経産省発の npm モジュール！住所や電話番号の正規化、ジオコーディングなどができる IMI コンポーネントツールを試した！ Code for Japan の関さんが SNS でシェアしてて知ったのですが、経産省さんがなにやらオープンソースで住所や電話番号の正規化などなどをするツールを公開したとのこと。 https://info.gbiz.go.jp/tools/imi_tools/ 経産省が住所変換や法人種別名、電話番号の正規化に使えるIMIコンポーネントツールを公開しました。 ソースコードも公開。README にも使い方が丁寧に書かれていました。https://t.co/fPbV00EgZP 素晴らしい動き。こういう... #NewsPicks https://t.co/bew0qGKMFE — Hal Seki (@hal_sk) May 28, 2020 ぶっちゃけ当初はあまり期待
先日、弊社では Community Geocoder というサービスをリリースしました。 Community Geocoder 紹介記事 さて、このジオコーダーは、住所を正規化してそれを「大字町丁目コード」という12桁の数字に変換し、そのコードをファイル名として GitHub ページ上に大量においた JSON ファイルにアクセスして緯度経度を取得するということをやっています。 つまり、住所の正規化からコードに変換する部分がとても重要で、そもそも正規化に失敗してしまうとどうしようもないという仕様なんです。 さいわい先日経産省が公開した IMI コンポーネントツール である程度のことをやってくれるのですが（というかそうであることを期待したのですが）、いろいろ調べ始めると住所という仕組みはほんとに複雑で、Facebook で絡んでくださった @hfu さんいわくまさに「自然言語処理そのもの」であ
文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ 文字コードには、どのような種類があり、それぞれどのような意味を持つのか、といった、文字コードの基本的な概念、従来の文字コードを紹介し、現在のUnicodeの構成を概説し、プログラミングにおいて注意すべき箇所をいくつか取り上げます。 ソフトウェア開発に携わる方の多くは、何らかの形で文字コードに触れることがあるでしょう。文字や記号をコンピュータ上でデータとして扱うには、文字コードの知識が必要不可欠です。 本稿では、書籍『プログラマのための文字コード技術入門』の著者である矢野啓介さんが、知っておきたい基礎知識を分かりやすく解説します。 文字コードとは？ Unicode以前の文字コード Unicodeとその主な符号化形式 UTF-16 UTF-32 UTF-8 Webで文字コードを指定する仕組み
手取り14万円の劣悪な待遇…非正規化進む地方公務員、15年で1.5倍に「公共サービス持続困難に」：東京新聞 TOKYO Web
地方公務員の非正規化が進んでいる。非正規公務員は15年で1.5倍に増加。4人に3人が女性という割合だ。当事者を中心に昨年設立した支援団体「公務非正規女性全国ネットワーク（通称・はむねっと）」は、自立できない賃金水準にあることなどの実態を明かし、このままでは「公共サービスが持続できなくなる」と警鐘を鳴らす。20日に都内で設立1周年の集会を開く。（畑間香織） 都内の放課後児童クラブで働く女性（48）は3月末で退職することを決めた。女性の給料は手取り月14万円、年収は200万円に満たない。単身のため、収入を増やせないかと、別の仕事を入れることも考えたが、児童の相手をしながら事務作業に追われる状況では体力的に難しく限界だった。女性は「現場を担うのは非正規やパート。行政がこの待遇で仕事をやれる人に甘えている」と憤る。
住所の正規化は沼である。
杉原航太 @kota_sugihara 河野太郎がマイナンバーカードの住所照合についてデジタル音痴ぶりを如何なく発揮した件 河野大臣『問題は住所が「港区赤坂一丁目2の3」と書く人もいれば、「港区赤坂1-2-3」と書く人もいる…（中略）将来的にはAIの技術を使って表記揺れを判断することがあり得るかもしれない。』… twitter.com/i/web/status/1… pic.twitter.com/aF2jzwtBkN 2023-06-04 22:44:10
「とにかく日本の住所のヤバさをもっと知るべきだと思います」に、住所正規化コンバータはどこまで応えられるのか、やってみた - ジャスミンソフト日記
note.com を読みました。私自身も日本の住所の扱いを何とかしないと業務アプリケーションの運用に支障が出ると感じ、2003年に「住所正規化コンバータ」というソフトウェアをリリースし、20年が経過しました。現在は国際航業株式会社様に取り扱っていただいています。 www.kkc.co.jp このブログにあるような指摘にどこまで応えられただろうかということで、社内で試してみました。利用したバージョンは最新の R7.2.0 で、住所マスタは2022年秋版と組み合わせました。その結果を公開します。 住居表示 丁目表記と地番表記の混在に対応しています。 浦安市舞浜2-1-1 郵便番号 都道府県 市区町村 町域 小字・丁目 番地・号 マッチレベル 2790031 千葉県 浦安市 舞浜 2 1-1 号レベル 浦安市舞浜2-11 郵便番号 都道府県 市区町村 町域 小字・丁目 番地・号 マッチレベル 2
異邦人 on Twitter: "第三次ベビーブームの担い手たり得た団塊ジュニア世代を、就職氷河期世代のまま捨て置いた上に、レントシーカー竹中平蔵の望み通りに労働者の非正規化を推し進め、民主党政権が導入した子ども手当てを「そっくり軍事費に回せ」と潰し、少子化問題を… https://t.co/9LeIMmWAUH"
第三次ベビーブームの担い手たり得た団塊ジュニア世代を、就職氷河期世代のまま捨て置いた上に、レントシーカー竹中平蔵の望み通りに労働者の非正規化を推し進め、民主党政権が導入した子ども手当てを「そっくり軍事費に回せ」と潰し、少子化問題を… https://t.co/9LeIMmWAUH
はじめに 数か月ほど前、住所の正規化が話題になりました。こちらの記事が特に有名ですね。 関連して、こちらの記事も話題になりました。 当時はほかにも色々な人が日本のヤバい住所の例をあげてくれて、とても楽しかったです。 実は弊社でもAddressianという住所正規化サービスを提供しています。初めて目にする変わった住所を見かけたら、とりあえず自社のAPIに投げてみて「おお、正規化できた」「すごい！」などといいながら遊んで働いています。 サービスは無料で利用できますが、今までは利用の手順が面倒でした。 ユーザー登録する APIキーを発行する 住所正規化APIを呼び出すプログラムを用意する（サンプルコードあり） プログラムを実行して住所を正規化する そこで、もっと気軽に住所正規化を試してもらえるように、ユーザー登録しなくても使えるデモ機能を作ってみました。 デモ機能の概要 住所正規化デモ画面 こち
先日、ビジネスパーソン向けの Python 本を執筆したことを書きました。 t2y.hatenablog.jp 本稿では本書のことを「できるPy」と呼びます。 Amazon でいくつかカスタマーレビューもいただいて次のコメントをみつけました。 python3.7 対応ということで、pathlib を使ってる点が（古いpython は切り捨てる！的なところは）潔いと言えば潔いし、日本語のファイル名にも気を配っている記述はオライリーに期待するのは酷なところもある。でもこの本でもNFD問題は全くの記述無し。だめだろ、それじゃ。 Amazon CAPTCHA まさに仰る通りです。執筆時にそのことに気づかずご指摘いただいてありがとうございます。 ここでご指摘されている NFD 問題というのは、ファイル名のみに限った問題ではなく、Unicode の文字集合を扱ってエンコード／デコードするときに発生する
ファイルアップロードではNFC/NFD問題に気をつけろ！~MacファイルシステムにおけるUnicode正規化の闇~
NFCではそのまま「パ」として表されますが、NFDでは「ハ」（基底文字）と「゜」（結合文字）の組み合わせとしての「パ(UTF-8でe3 83 8f e3 82 9a)」（合成文字）で表されます。試しにNFDで正規化された「パ(e3 83 8f e3 82 9a)」を任意のテキストエリアに貼り付けて削除してみると、半濁音のみが取れて「ハ」のみになると思います。 このように文字列の正規化形式が異なる場合、単純な比較演算子での評価は困難であり、文字列によっては想定外の挙動を引き起こす可能性があります。 特にMacファイルシステムではNFDを正規化方式と採用しているため、NFC/NFD問題が度々引き起こされています。先日(2023年03月27日)リリースされた「macOS 13.3 Ventura (22E252)」では、ファイル名に濁音や半濁音が含まれるファイルがFinderから開けなくなる
「日本の住所のヤバさ」が6月7日朝にTwitterトレンドになっている。住所表記の正規化・名寄せがいかに難しいかを解説した、inuroさんのnote記事「とにかく日本の住所のヤバさをもっと知るべきだと思います」がバズっているためだ。 6月4日のテレビ番組で、マイナンバーカードに記載される住所をめぐり、河野太郎デジタル大臣が「将来的にはAIの技術を使って住所の表記揺れを判断することがあり得るかもしれない」と発言し、住所の正規化についてネットで議論になっていたことがきっかけだ。 記事は、「日本の住所システムがカオスで、その計算機的な処理がいかに困難か」を解説する内容だ。 まず、日本にはそもそも、新旧の2つの住所システム（A町1丁目3番2号／A町1234番地）が併存しており、例えば、「浦安市舞浜2」の住所が「舞浜2丁目」「舞浜2番地」の2系統あるケースを紹介。 さらに、まったく同じ住所表記が異な
しのゆ🎀うぇぶえんじにゃぁ @shinoyu これ経由で元のコードよんだけどなかなかつらい実装になってて、ないちゃった github.com/IMI-Tool-Proje… 絶対これ以外あるでしょ....うわー twitter.com/yuya_presto/st… 2023-06-06 16:31:52 ypresto @yuya_presto 経済産業省・デジ庁が公開していたものの朽ちてしまっていた住所正規化ライブラリ、いろいろ手直しして動く状態にしました！ 河野大臣が挙げていらした「東京都港区赤坂１丁目２の３」も正規化できます。 ブラウザ上でのお試しにも対応しました！ imi-enrichment-address.vercel.app github.com/ypresto/imi-en… 2023-06-06 16:02:27 リンク GitHub imi-enrichment-a
井上伸@雑誌KOKKO on Twitter: "安倍政権の６年間をグラフにすると、大企業・富裕層・自民党へ富を集中するのがアベノミクスの正体であることがわかります。その逆に、労働者には過労死・貯蓄ゼロ・非正規化・賃下げ・家計消費20万円マイナスが襲っています。更に消費税増税で「… https://t.co/jTGeznUvG8"
安倍政権の６年間をグラフにすると、大企業・富裕層・自民党へ富を集中するのがアベノミクスの正体であることがわかります。その逆に、労働者には過労死・貯蓄ゼロ・非正規化・賃下げ・家計消費20万円マイナスが襲っています。更に消費税増税で「… https://t.co/jTGeznUvG8
ガシカ👨💻在庫金額ってなんぞよの件 @skill___up 他部署から要請 「すみませんがうちの課のデータベースに情報入力お願いします」 『とりあえずデータ見させて下さい』 ポチポチ （7000行位か まぁここを絞り込めば…） 💢😑💢 pic.twitter.com/dFAjqMbN0f 2024-03-15 10:47:21
GitHub - geolonia/normalize-japanese-addresses: オープンソースの住所正規化ライブラリ。
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
バージニア大学で高度道路交通システムを研究するノア・グッド―ル氏が、2021年10月に「部分自動運転車の安全性統計を正規化する方法について」という論文を公開しました。この論文を基にテスラの自動運転車の事故データを正規化すると、「テスラの自動運転システムであるオートパイロットは同社が主張するよりもはるかに安全性が低いことがよくわかる」とジャーナリストのエドワード・ニデルマイヤー氏は主張しています。 View of A Methodology for Normalizing Safety Statistics of Partially Automated Vehicles (PDF)https://engrxiv.org/preprint/view/1973/3986 You know how I've been saying since 2016 that Tesla's compariso
2019年9月19日「MACHINE LEARNING Meetup KANSAI #6」が開催されました。関西のIT企業が協力して開催している機械学習エンジニアのためのコミュニティイベント「MACHINE LEARNING Meetup KANSAI」。第6回となる今回は、LINE、オムロン、パナソニックシステムデザインの3社がプレゼンテーションを行いました。「機械学習を用いたテキスト正規化手法の動向」に登壇したLINE株式会社の朴炳宣氏は、LINEにおける音声合成技術の紹介と、近年のテキスト正規化手法の動向を解説しました。 機械学習を用いたテキスト正規化の今 朴炳宣氏（以下、朴）：ただいま紹介いただきました、LINE株式会社の朴でございます。大勢の方の前でしゃべることはなかなかないので緊張していますが、よろしくお願いします。 まず自己紹介からですが、私、名前から察していただけるように、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。 - Qiita
住所正規化のデモ機能を作ったので、日本のヤバい住所を入力してみた
Python で Unicode 正規化 NFC/NFD の文字列を扱う - forest book
「日本の住所のヤバさ」知れ渡る 正規化・名寄せ問題、Twitterトレンドに
住所の正規化を手直ししたライブラリが涙なしには読めないものだった「エンジニア泣かせの作業だ」
住所の“表記ゆれ”を正規化する自動変換サービス「クイック住所変換」提供開始～Geolonia【地図と位置情報】
他部署から要請「すみませんがうちの課のデータベースに情報入力お願いします」→どう見ても正規化出来ないデータで絶望
テスラの自動運転システムは「主張よりもはるかに危険」なことが事故データを正規化することで明らかに
機械学習を用いたテキスト正規化手法の最新動向 高精度を実現する仕組み