毎日同じような作業でこのように思っている人はいないでしょうか。 あ～毎日ネットにアクセスして、同じデータ収集するの面倒くさいなぁ こういう退屈な作業、自動でやってくれないかな でもプログラミングできないしなぁ。勉強すんのも面倒くさいなぁ。 そんな人に朗報です。今回は、プログラムをかけない人でも、ネットから情報を自動収集する方法をまとめます。 今回使うのは、Google Spreadsheetという、エクセルに似たWeb上のアプリケーションです。実はネット上の情報を自由に取得（スクレイピング）できるツールだとは知られていません。そんな裏の使い方を今回は説明したいと思います。
データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary
(2019/10/12追記 データ解析のプログラムもGitHubで公開しました) (2019/10/15追記 会員の見分け方に誤りがありました。本文中では"非会員"と"有料会員"に分けると述べていますが、正確には"非会員・無料会員"と"有料会員"に分かれています。以後の図・文章は脳内で変換していただけると幸いです。詳細は https://anond.hatelabo.jp/20191011180237 で他の方が調べてくださっています) はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗
ハローワークの求人情報をスクレイピング（Python + Selenium + BeautifulSoup） - ai_makerの日記
この記事は、以下のハローワークインターネットサービスから求人情報を自動で取得する試みを記録したものです: www.hellowork.mhlw.go.jp まずは、ソースコードと実行結果をお見せし、後ほどこの記事を書いた経緯などを話します。 ソースコード：HelloWork_Scraping_ST.py from selenium import webdriver from selenium.webdriver.support.ui import Select import time from bs4 import BeautifulSoup import re # ハローワークインターネットサービスのURL url = "https://www.hellowork.mhlw.go.jp/" # 以下からご自分で使用しているChromeのバージョンに合ったChromeDriverをダウンロ
OpenAIが2023年3月14日に正式発表した「GPT-4」は、ChatGPTなどに用いられたGPT-3.5の性能をさらに超え、「初代iPhone登場時と同等の衝撃を与える存在」と評されています。すさまじい性能を有するGPT-4がどのような影響を生み出しているのか、AIに関するマーケティングの専門家であるサム・ウッズ氏が「生後わずか3週間のGPT-4が作成した14の素晴らしいもの」としてまとめています。 GPT-4 is barely 3 weeks old. It has already made significant contributions to various fields. Here are the 14 incredible things created with GPT-4.— Sam Woods (@samuelwoods_) GPT-4では、テキストだけでなく画像を
Webスクレイピングをしたいのだけど、VPNやプロキシーで一番良いサービスはないだろうか！？ Linuxで使えるベストなVPNサービスを教えてほしい！ …という形に、最適なプラクティスをご紹介します。 ということで、こんにちは！ Webサイトを自動で取得する「Webスクレイピング」をする上で、必ずネックとなるのがアクセスするIPアドレスの問題です。 スクレイピングする対象のサービスの営業妨害にならない範囲でスクレイピングするのは言うまでもない当然の話ですが、Webサイトによっては、少しのアクセスでも不正なアクセスと認識してIPアドレスごとブロックしてしまうことがあります。 これを回避するためには、定期的なIPアドレス変更などの対応が必要です。 一般的にはこうした問題はプロキシーやVPNサービスを使って回避することになりますが、具体的にはどうしたら良いのでしょう？ 結論を言いますと、「Nor
Deno入門 ─ 新しいTypeScript/JavaScript実行環境でWebアプリ開発とデータベース接続の基本を体験しよう｜ハイクラス転職・求人情報サイト AMBI（アンビ）
例えばmain.tsというスクリプトに対して、ファイルの読み取りだけを許可したい場合は、以下のようにコマンドを実行します。 $ deno run --allow-read main.ts このときmain.tsプログラムはファイルの読み取りだけが可能になるため、ファイルの書き込みやネットワークアクセスをするとPermissionErrorによる実行時エラーになります。 なお、実行時にフラグを何も与えなければ、どの権限も持っていない状態になります。 各フラグにはパラメータを指定でき、例えば次のように実行すると/home/userディレクトリの読み込みだけが許可されます（--allow-writeフラグも同様）。 $ deno run --allow-read=/home/user main.ts また、--allow-netを次のように指定すると、特定のドメインとポートだけのアクセスを許可で
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複
分散型SNS｢Bluesky｣って今どうなってるの？【7月7日更新】2023.07.02 08:15363,620 かみやまたくみ かつてTwitterのCEOを勤めたジャック・ドーシー氏が関与し“Twitterの代わり”として機能してくれそうな分散型SNS｢Bluesky｣（ブルースカイ）。現在は開発中で、一部のユーザーがβテストに参加できている…といった状態です。 先日、そんなBluesky関連のミートアップが開催され、開発側から今どんな状況なのかが共有されました。βテスト中の｢中｣がどんな感じなのかと併せて、紹介します。 アプリ名：Bluesky Social ダウンロード先：App Store/Google Play Store BlueskyのコンセプトImage: Bluesky分散型SNSとは、特定のサーバーに依存しないSNSのこと。インターネット上に点在する複数のサーバーが
ロシアの検索エンジンYandexが「ハゲ」と検索してもプーチン大統領の写真が出ないように検索結果をいじっていたことが判明
by Carmen Rodriguez 2023年1月に、「ロシアのGoogle」と呼ばれることもあるロシア最大の検索エンジン「Yandex」からソースコードが流出しました。このコードの解析により、Yandexは「ハゲ頭」や「うそつき」といった罵倒語で検索した際に、ウラジーミル・プーチン大統領の画像が表示されないようにしたり、「Z」で検索してもナチス・ドイツに関する検索結果などが表示されないようにしていたことが分かったことが報じられています。 Yandex scrapes Google and other SEO learnings from the source code leak https://searchengineland.com/yandex-leak-learnings-392393 Yandex caught scraping Google SEO code | TechR
戦略ファーム時代に読んだ700冊のまとめ *随時更新 - Digital, digital and digital
戦略ファーム時代に読んだ700冊程度の本をまとめています*随時更新 戦略ファーム時代に読んだ700冊程度の本をまとめています I. 戦略 企業参謀 https://amzn.to/44iKVxM 当初、いまいち戦略というものが掴めきれず迷子になっていた時に「大前研一はこれだけ読め」と教わった本。大量に出ている他の大前本を読まなくて済むのが見過ごせない大きな価値 戦略サファリ 第2版 https://amzn.to/3csZg0t 経営戦略の本を読み漁るも、実プロジェクトの方が全くもって学びになるという普通の感想をもち、俯瞰での戦略論を求めるようになる。いやあ懐かしい 企業戦略論【上】基本編 競争優位の構築と持続 Jay Barney https://amzn.to/3dJjVxB 任天堂の戦略の妙に気が付きはじめ、ベースか似通ったものはないだろうかと思うようになった時にJay Barney
コワクナイWebクローリング&スクレイピング - 初心者とPython使いのための作法とノウハウ - Lean Baseball
名著です,まじでオススメ 個人的にすごく気に入っているかつオススメな「Pythonクローリング&スクレイピング」の増補改訂版が出てました. Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る 早速読みましたが,初版からのアップデートに加え元々の構成の良さに感激しました.*1 本の内容そのものの解説は, 著者である加藤さんのエントリー @iktakahiroさんの感想エントリー をご覧いただくとして*2,このエントリーでは, Webクローリングとスクレイピングはコワクナイヨ！ っていう話をルール・ノウハウという「お作法」の面でポエムしたいと思います. TL;DR インターネットおよび, リアル（現実世界）に迷惑
中国企業が運営している、少なくとも123のウェブサイトネットワークが、30カ国の報道機関を装ったニュースサイトで親中派の偽情報や感情に訴えるような攻撃を流す「PAPERWALL」という作戦を行っていることが明らかになりました。 PAPERWALL: Chinese Websites Posing as Local News Outlets Target Global Audiences with Pro-Beijing Content - The Citizen Lab https://citizenlab.ca/2024/02/paperwall-chinese-websites-posing-as-local-news-outlets-with-pro-beijing-content/ 中国はオンライン、オフラインの両面から影響力を高めるための作戦を展開しています。その中の1つとみられ
Elon Musk @elonmusk To address extreme levels of data scraping & system manipulation, we’ve applied the following temporary limits: - Verified accounts are limited to reading 6000 posts/day - Unverified accounts to 600 posts/day - New unverified accounts to 300/day 2023-07-02 02:01:50 ざっくり訳：極端なレベルのデータスクレイピングとシステム操作に対処するために、次の一時的な制限を適用しました。 ・認証済みアカウントは、1 日あたり 6,000 件の投稿を閲覧できるように制限されています ・未認証アカウントは
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【スクレイピングツール】面倒な情報収集はGoogle Spreadsheetにやらせよう！ - DAINOTE
「自動ムービー編集」「ゲーム開発」「文章校正」「論文要約」などGPT-4がわずか3週間で生み出した14の画期的ツール
【Linux】スクレイピングにはNordVPNが便利・設定方法を解説
分散型SNS｢Bluesky｣って今どうなってるの？【7月7日更新】
各国報道機関を装ったニュースサイトで親中派の偽情報を流す「PAPERWALL」作戦が展開されている
不具合発生？TwitterのホームがAPI制限により新規のツイート所得が出来ない状態になってる垢が多数出ている模様