ハローワークの求人情報をスクレイピング（Python + Selenium + BeautifulSoup） - ai_makerの日記

この記事は、以下のハローワークインターネットサービスから求人情報を自動で取得する試みを記録したものです: www.hellowork.mhlw.go.jp まずは、ソースコードと実行結果をお見せし、後ほどこの記事を書いた経緯などを話します。 ソースコード：HelloWork_Scraping_ST.py from selenium import webdriver from selenium.webdriver.support.ui import Select import time from bs4 import BeautifulSoup import re # ハローワークインターネットサービスのURL url = "https://www.hellowork.mhlw.go.jp/" # 以下からご自分で使用しているChromeのバージョンに合ったChromeDriverをダウンロ

[htbman]

ブコメで違法言われてるけど、図書館の件はアクセスが高頻度でDOSになってしまったのが問題であって、スクレイピング＝違法ではないよ

[netcraft3]

私のハローワークをスクレイピングする記事がお役に立てて嬉しいです。月収40万円以上だった場合のみ通知するのは良いアレンジですね。

[synopses]

図書館の件は、高頻度でも何でもないのにDoS扱いされて、逮捕・長期勾留された。結果は起訴猶予処分だけど、理不尽な勾留はあり得るのが問題

[Yaju3D]

ハローワークはAPI提供もOpenAPIではなく有料職業紹介事業者だけが利用できるAPIのため、スクレイピングでデータを集めてくるのが一般ユーザとしてはベストhttps://www.hellowork.mhlw.go.jp/doc/apiintahyeisusiyousyomasukinngu.pdf

[sds-page]

捕まった暁にはDX対応の遅れを声高に主張してほしい

[hib3]

こんなしっかりしてないけど、就活のときIT企業の検索結果から会社名と給料を取得するスクレイピングプログラム書いてたなぁ

[saikyo_tongaricorn]

hellowhack事件ｗ

[fut573]

apiがありまっせ

[suekunhello]

ハローワークに求人出してるけど、こういう方からの応募待ってまーす！

[kamocyc]

ハロワってAPIがあったのか、と思ったら一般ユーザは使えないのか。／ハロワくらいのシステムなら1秒waitでのアクセスならまず問題にならないと思う。

[gamecome]

データ残して求人情報の保全としても欲しい気がする　退職金ありで応募したのに、辞める時になると平気で無いよとか言う企業もあるので。

[oakbow]

なんでAPI使わんのやろと思ったらあれは制限あったか。まあAPIもかなり使いづらいけどね…

[homarara]

ブラウザ用のドライバを実行環境に合わせて各自取得（ブラウザがアップデートしたら各自取り直し）しなきゃならない世の中ってどうにかならんのかね。

[shogo_okamoto]

人材派遣の会社が「ハローワークにあらたに求人を出した会社」という情報をリードとして使うので価値が高いんですよねー。

[ya--mada]

オレもリーマン不況の時にやったww

[lue4881]

ハロワで遊ぶ

[mito2]

そういや、猪瀬さんが「ハロワの求人検索がクソだから夏野のところに作らせてたけど、かばんちゃん事件で辞任してなくなった」とか言ってたけど、議会も通さず勝手に発注してたんだろうか。後で入札になるの?

[djshacho]

皆そうだろうけど、ハローワークには嫌な思い出しかない。

[strawberryhunter]

スクレイピングが即違法行為になるわけではないけど、サーバーのバグが原因で逮捕拘留は有り得るし、データの使い方によっては違法行為になる。また、利用規約で禁止されていれば、民事訴訟の可能性もわずかにある。

[shiketanotsuna]

スクレイピングがAIばりに単語で人気になっちゃう時代は終わった感

[surume000]

ソース読んで、すごいがんばっているなあと思った

[dorokei]

ハローワークのAPIを利用できる方はそっちを使いましょう。APIだと取得できない求人もありますが、それは出稿している方が第三者に情報提供を認めないとしている場合です。ハローワークはrobots.txtが一見ないのでスク…