行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏

今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP

[geerpm]

これはすごい。が件数が何万件もあったときその正誤確認はどうするべきなんだろう。誤りが含まれる前提のサービス設計が必要になるのかも

[takutakuma]

本当はこんなことせずに行政が構造化データをあげてくれれば問題は解決するけど、いまは過渡期ではあるし AI の力でなんとかして、行政の対応を待つのが良さそう。

[BlueSkyDetector]

すごい。けどやっぱりまず第一に富士吉田市がまともなデータ公開すべきだよね。。。

[chintaro3]

　人間が打ちなおしたって間違うことはある訳だし、原理的にそれと同等レベルの事は実現可能。さらに間違いが無いかチェックすることを別途GPTでやればいい。

[laranjeiras]

この記事を一番活用できるのは、こういった処理を15年以上やってデータ構築してきた私だと自負しております（アドホックなりに大量の小ツールを作ってるのでこのデータなら構造化可能(笑)。ありがとうございます。

[n-styles]

他人が撮った謹呈の帯付きの本の画像を見出しに持ってくるセンスがいまいちわからん…。この本も作者も送り主も撮影者も、この記事や著者とほぼ無関係のように見えるが「行政」の1単語だけで画像引っ張ってきてる？

[kusomamma]

“「この文字列を元に構造化データへ変換するプログラムを書け」と言われてもぶっちゃけ書けない自信があるので”いや、データ分析の仕事なんてそういう仕事ばかりという印象だが。前処理が工数の8割。

[Arturo_Ui]

日本政府は「ＡＩ技術を利用して法体系を効率化する」という取り組みを（少なくとも検討は）始めていたはずだけど、実際に活用できそうな技術が登場した以上、政府の本気度が問われる局面に移ったわけですかね。

[OkadaHiroshi]

GPT4を触ったイメージだと、GPTで直接変換するので吐く「変換するプログラムを書いて」とGPTにお願いしたほうが良いと思う。例外的なデータは「このデータだと上手くいかないんだけど」とコード修正してもらう。

[omega314]

それなら「変換プログラム」を部分的でも不完全でもいいから出力してほしいかな。

[shodai]

　PDF変換

[kazuph1986]

すばら。これを保育園PDFに適用してみる！

[yuiseki]

そうそう、これ強力な使い方だと思う！！あらゆる非構造化データ・半構造化データを、機械可読な構造化データにさせることができるはず！

[misshiki]

“投入したPDFと見比べてみても、驚くほど正確にデータ変換できていることが分かります。”便利だけど、人間によるチェックは欠かせなさそう。

[hatakazu93]

技術

[anus3710223]

統計表をCSV化するのって死ぬほど面倒なんですよね……。各担当が担当ごとのルールで公表してるから面倒なこときわまりなんいんすよね……

[hdampty7]

だからさ、それが正しいかどうかはどうやって確認するのさ。だったら、自分でやったほうが早いんだって。もし、金貰ってそれやって不備があったらAIが悪いで客は納得するの？

[tettekete37564]

照合テストが難しいのが気になるけどそれこそマギシステムよろしくAI3種使うとかすれば良いのかね

[wxitizi]

確かにこういうのありがたいんだけど、結局は人力チェックしないと不安（になるくらい、表って見た目のためにイレギュラーなことを多々してる）なんだよなあ。

[shoh8]

まじで詰まってたとこをGPTに投げてしまうで、一気に解決事例が溢れそう /元データ側がちゃんと構造化しろと言うのはその通りだけど、もう提供元を揺さぶるよりAIに任せた方が圧倒的に速そう

[ya--mada]

マジでこれイケるの？本当ならスゴい！！

[Yagokoro]

良くも悪くも、今流行のＡＩは高機能な変換フィルターなんだよな……

[yarumato]

“PDFのような非構造化データを、ある程度LLMで扱いやすい形に変換してくれるライブラリでテキストデータ化。これをGPTに「JSON形式に変換して」とお願い。驚くほど正確にデータ変換。人が構造分析するより低コスト”

[myrmecoleon]

UnstructuredPDFLoader使わなくてもPDFからコピペだけでもいけるんじゃ？と思って投げてみたらいけた。

[dlive1]

LLMで扱いやすい形に変換してくれるライブラリにUnstructured.ioというもの

[kamezo]

あー、構造化って、表形式の画像とかになってるデータをタブ区切りCSVとかにすることか！／正確性の担保かー。人間が突き合わせ校正するしかないのか？／生データは残ってないのか？←そこに戻る？

[tsuboty]

なにこの汎用性…

[tg30yen]

テキスト整形とか細かい用途のフリーソフトはまとめてAIで代替できそう。

[equilibrista]

以下に示すデータは、市町村の統計データとして提供されているPDFをUnstructuredPDFLoaderによりテキスト化したものである。 平成3年から28年までの行をJSONデータに変換せよ。 以下は平成3年度の行をJSON化した場合の例である。

[daishi_n]

アドホックにやるならGPTは便利そう。定型化コードを出力できれば便利だけど、これは課題かな

[blueboy]

　「こういった処理を15年以上やってデータ構築してきた」という人がいるが、早晩、ChatGPT に仕事を奪われて、追い出されそう。

[airj12]

逆変換もしてもらって比較すれば正誤確認できそう

[raitu]

“PDFのような非構造化データを、ある程度LLMで扱いやすい形に変換してくれるライブラリにUnstructured.io”がありそれと併用した例

[makbai]

こういう無駄な負担をさせる地方自治体は地方交付税支給しなくてよいのでは

[uunfo]

数字があってる保証がないな。出力された構造化データから表を作って一致するかどうか見ればよいのか

[tinao]

これをノーコードでExcelで読める形式に変換できたら一般の人にもすごさが理解できると思う

[knok]

神エクセルみたいな表はどうだろうか

[CavalleriaRusticana]

　構造化データ変換　（ただし正確性には疑問符状態）

[natu3kan]

人力でやるには多すぎる構造化の反復作業を命令一つでやってくれるのいいよね。人力でやってもデバッグするのは同じだし。