GitHub - html5-ninja/page-replica: Page Replica – Tool for Web Scraping, Prerendering, and SEO Boost
Introduction | Astral
Astral is a Puppeteer/Playwright-like library designed with Deno in mind. What can I do? Most things that you can do manually in the browser can be done using Astral! Here are a few examples to get you started: Generate screenshots and PDFs of pages. Crawl a SPA (Single-Page Application) and generate pre-rendered content (i.e. "SSR" (Server-Side Rendering)). Automate form submission, UI testing, k
denoでスクレイピングしてslackに投げる
GWにdenoで何か作るという目標を立てていたので簡単ですが、slack botを作成しました。 denoのセットアップ azukiazusaさんの記事を参考にHello World!がサーバーで返せれば問題無いです。 完成品 slackのチャンネルにテキストを飛ばす slackのTokenの作成、botの招待 まずはtokenをとってきます こちらの記事の通りにすればとってこれるはずです。 きちんとTokenが使えるかまで確認し、チャンネルにbotを招待してください。 コード こちらのコードを参考にしました。 あんまり依存したく無いので書き換えました。 export const sendMessage = async(token: string, channel: string, text: string) => { const response = await fetch('https
Puppeteer と Deno で Yahoo! カレンダーをスクレイピング【認証編】 - 腐ったコロッケ
#概要 私的な理由で Yahoo! カレンダーから情報をとってきたいのですが、Yahoo! カレンダーには API がありません。 そこで本記事では、認証の確認コード入力以外を自動化してヘッドレスブラウザで Yahoo! カレンダーにログインする方法を提案します。 ログインさえできればあとは Yahoo! カレンダーに迷惑のかからない範囲で情報を取ってくることができます。 #Yahoo! へのログインフロー（カレンダーへログインする場合） 記事を執筆している2022年3月14日現在、Yahoo! へログインする方法として、パスワード認証、確認コードによる認証（SMS）、確認コードによる認証（メール）の3種類の方法があります。 本記事では、このうちのパスワード認証を使いません。なぜなら、Yahoo! は確認コードによる認証の利用を推奨している上、パスワード認証には日常生活を送る上で不便な点が
GitHub - adbar/trafilatura: Python & command-line tool to gather text on the Web: web crawling/scraping, extraction of text, metadata, comments
Trafilatura is a cutting-edge Python package and command-line tool designed to gather text on the Web and simplify the process of turning raw HTML into structured, meaningful data. It includes all necessary discovery and text processing components to perform web crawling, downloads, scraping, and extraction of main texts, metadata and comments. It aims at staying handy and modular: no database is
NHK.hta
ようこそ NHKラジオ語学講座ダウンローダ NHK.hta 公開ぺーじです 主にインストールと使い方とタイマー起動について説明します 最新版は、NHK.hta ver-3.2.10 2022/04/19です。2022年度前期版 お知らせ ●NHK.hta 最新版 ver-3.2.10 (NHK.hta のインストールに在り)と ver-3.2.10a (過去のバージョンに在り)を公開しました。 今週分（放送後1週間）⇒ ver-3.2.10 先週分（放送の翌月曜日から1週間）⇒ ver-3.2.10a となっています。 大抵の講座は、ver-3.2.10 ver-3.2.10a の両方で落とせますが、一部分片方でしか落とせないものもあります。 ＜例外＞ ・ニュースで学ぶ「現代英語」、ポルトガル語、アラビア語：今週分のみ ・基礎０：先週分のみ ●おそらくWindowsによるチェックではな
THE LAB #1: Scraping data from an app
This is the first post of “THE LAB”: in this series, we'll cover real-world use cases, with code and an explanation of the methodology used. The Web Scraping Club is a reader-supported publication. To receive new posts and support my work, consider becoming a free or paid subscriber. I usually write in this newsletter about how to extract data from websites but what if our target is an app with no
Git scraping: track changes over time by scraping to a Git repository
Git scraping: track changes over time by scraping to a Git repository 9th October 2020 Git scraping is the name I’ve given a scraping technique that I’ve been experimenting with for a few years now. It’s really effective, and more people should use it. Update 5th March 2021: I presented a version of this post as a five minute lightning talk at NICAR 2021, which includes a live coding demo of build
Table Convert Online - Make it easier to work with tables
This converter is used to convert Excel (or other spreadsheets) into Markdown Table. Also API supported.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to use Python and the Reddit API to build a local database of Reddit posts and comments —…
GitHub - JosephLai241/URS: Universal Reddit Scraper - A comprehensive Reddit scraping/archival command-line tool.
Pricing page Scraper
Apify: Full-stack web scraping and data extraction platform
BHMT
Introducing a powerful web scraper for collecting email addresses
GitHub - soxoj/maigret: 🕵️♂️ Collect a dossier on a person by username from thousands of sites
GitHub - ttskch/wordler: A Wordle solver implemented with symfony/panther.
FPGAjobs - Jobs for Logic Designers!
Web Scraping with PHP
How to web scrape on Schedule using Github Actions? - Yasoob Khalid