pdfからtextを抜き出す試行錯誤のメモ｜Kan Hatakeyama

これは二段構えの構成を持っています。この二段構えを正確に検出し、テキストを理解することが望ましいです。 Unstructuredを使うPythonのライブラリであるUnstructuredを試してみましょう。 参考記事 導入は非常に簡単です。 pip install 'unstructured[pdf]' 実装も簡単です。 解析コード： from unstructured.partition.pdf import partition_pdf pdf_elements = partition_pdf("pdf/7_71_5.pdf") 表示コード： for structure in pdf_elements: print(structure) 結果： 残念ながら、2段組のカラムを正確に検出することはできませんでした。 Grobidを使うGrobidは、peS2oというオープンアクセス論文のコ

[K-Ono]

ここれれはは役役ににたたつつ。。あありりががたたいい

[tettekete37564]

PDFの中身は見た目のテキスト構造とは違う構造になってる事が多いのでピクセルレンダリングしてして段組構造をAIにでも判定させてOCRかけるのが一番安定しそうかな、と思う。

[tanakatowel]

画像にしてからgoogle driveに上げて、右クリでgoogle documentで開くと文字起こししてくれる。少ページならかなり楽。

[roshi]

官公庁のネ申エクセルのように論文の二段書きと句読点に，．を使う文化は早く廃れて欲しい。

[stealthinu]

PDFをText化する手法について。UnstructuredよりもPyMuPDFが塩梅良かったとのこと。

[kyukyunyorituryo]

pdf.jsが精度高いと聞いたことがある。　https://zenn.dev/ptna/articles/63df4a8007f9d3

[finefinethankyou]

pdfを直接AIに任せて翻訳・要約！てな話をよくみるけど、AI以前に正確なテキスト抽出ができないだろと思ってやっていない

[hamanasawa]

よし、マクロ組んで全選択してコピーしたのをテキストエディタに貼り付けよう！

[knok]

Adobe AI APIはほぼ完ぺきにセクションを抽出してくれるが高いのだよな…

[dexia2]

AcrobatのOCRは絶妙に精度が悪いので、結局自分でOCRをかけて再チェックしてます。量が多いので、GoogleDriveではなく、AzureのAPIを自分で叩いてる。Acrobatの精度が上がって欲しい......

[yagigahana]

コピペ -> Emacsで置換・矩形選択を駆使して手作業で整形、が個人的にはベストプラクティス

[ghrn]

まずWordで開く→参照で読み込みさせてみてる。ダメならOCR。テキスト主体ならOCRで充分だけど、ページ番号も拾うので、正規表現置換で整える。

[easy-breezy]

過去に多くの人々がチャレンジしたやつ。抽出精度を求めると汎用性が低くなって大変だった。

[Kmusiclife]

Adobe acrobatでテキスト認識させてChatGPTで整形。あっという間。

[akapeso]

ページ数少ないなら、画像として出力してGoogleキープに放り込むこむと、テキストを抽出してくれる。ページの端で改行が勝手に入るのが難点。

[mysql8]

arXivが悪い

[theta]

ノイズのない綺麗なフォント表示なら確実にOCR出来ると思うじゃないですか。やってみればわかりますけど、全然そんなことないんだなこれがorz

[mr_yamada]

画像化してOCRの方が手間がかからなかったりして。AIの進歩のほうが早そうだし。

[nmcli]

こういう情報ありがたい

[ht_s]

pdfじゃない＆こんな高度な話じゃないけど右クリックや文章選択許さないサイトからhtmlタグつきのソース丸出しテキストChatGPT渡して「きれいにして」って言うだけでレシピの形に整えてくれるので助かってる。

[dekawo]

pdf to text

[xxxxxxxxlarge]

Chat GPTに突っ込んだらどんなもんなのかな

[mohno]

「PDFビューアーを開き、全選択し、コピーペースト」←これで取り出せるヤツはいいけど、何でPDF化したのか、コピペで完全に文字化けするパターンがあったんだよな。OCRしても精度が悪くて、結局手作業で全部入力した。

[ToTheEndOfTime]

精度でいえばCloud OCRの方がずっと良いです

[ni66ling]

Unstructured, Grobid, PyMuPDFを検証してPyMuPDFが相対的によく、二段カラムにもおおよそ対応できたとのこと

[ch1248]

PDFのText抜き出しは鬼門だからなあ……

[kamayan1980]

PDFはPDF作成者がポンコツだとテキストデータがひどいことになるので、画像に変換したあとで読み取ったほうが安定する認識

[odz]

pdfminerとか？https://github.com/pdfminer/pdfminer.six

[at_yasu]

AIでOCRが個人的にはすっきりするのかなといまは思う。

[tohokuaiki]

PDFがどう作られているかによるからこんなの無理ゲー。画像化してOCRが一番いいのではないかな。

[hiroshe]

Wordでそのまま開いても、結構いけるときあるで。

[ytn]

Power automate desktop 意外とバカにできねーぞ？

[cyber_bob]

PDFをスクショ画像にしてGeminiに食わせたらスプレッドシートになるよ。

[H_He_Li_Be]

全選択してコピーアンドペーストで成功するのか。じゃあ失敗してるライブラリは何をやってるんだろう。画像認識で処理してるのかな。

[NLPer]

自分はPDFMinerを使っている。文字単位で座標まで抜き出せるので、あとはPythonスクリプトでなんとかする。

[strawberryhunter]

素直に抜き出せる種類のPDFなら何も苦労は無いけど、そもそもアウトライン化されていたり、埋め込みサブセットフォントの何番目みたいな鬼畜なデータもあると聞く。全体を画像にする粗悪なPDFプリンタドライバもある。