go言語でHTMLをスクレイピングしてそれを送信するslackbotを作成する - Qiita
はじめに 普段はvueとかtypescriptとか使って、フロントエンドを書いています。 純粋に興味がありgo言語を1から勉強し始め、試しにスクレイピングして取ってきたデータを定時実行で送るslackbotを作成しました。 結構似たようなこと書いてる記事が多いのですがあまり最新の情報がなくメモのためでもあります。 go言語触り始めたばかりなのでコードが理解できず不要なのが混じっているかもしれませんがご了承ください。 完成したのはこんな感じです、ローカルで試したときなので時間はおかしいです。 ソースコードはこちらにあります、よかったらstar押していってください！ 環境、使ったパッケージ go version go1.14.3 github.com/PuerkitoBio/goquery slackの設定 他の方の記事にいくらでも乗っているので詳しい説明は省略します、slackbot 設定と
Hugo で独自のショートコードを作成する
Hugo で独自のショートコードを作成すると、定型の HTML コードを記事内に簡単に埋め込めるようになります。 ショートコード作成の基本ショートコードは、layouts/shortcodes ディレクトリ内に .html 拡張子のファイルとして作成します。 layouts/shortcodes/my-shortcode.html ファイル名から拡張子を除いたものが、ショートコード名となります。 上記の例の場合、my-shortcode というショートコードを作成したことになります。 記事（Markdown ファイル）の中から、下記のように呼び出すと、上記の内容がそこに展開されます。 content/page1.md ショートコードにパラメータを渡す (.Get)単純なパラメータショートコード呼び出し時に、パラメータを渡すことができます。 下記の例では、２つのパラメータ red、32px
Go+goqueryでGithubRankingにWebスクレイピングを試みる - Qiita
Goのスクレイピング系ライブラリまとめの中からgoqueryをピックアップして試してみました。 ターゲットはGithubRanking。 ちなみに、ただただランキング情報を取得したい場合はGithubAPIを使えばいけます。 ターゲット Github Repositories Ranking ページングをたどりながら上位1000件のリポジトリ名とstarの数を取得する 利用ライブラリ goquery jQueryに近しい関数が用意されており、セレクタも使えるスーパー便利なライブラリ いざ、スクレピング！ goqueryの追加 DOMの調査 ブラウザのデベロッパーコンソールとか、Firebugとか使ってDOMを調査する goqueryはjQueryのセレクタがほぼ使えるので、コンソールでセレクタに当てをつけてjs書いて取得要素を確認してくのが効率が良い 例）コンソールに$("a.list-g
goqueryでスクレイピングした際の実装メモ - Qiita
この記事は、Go4 Advent Calendar 2018 の18日目です。 17日目は @ikawaka による以下記事でした。お疲れ様でした！ 人生で何度目かのダブル配列TRIEを書いた はじめに（本記事の内容） 概要 本記事では、 自分がgoqueryを利用して初めてスクレイピングした際の 実装メモをコードベースで解説していきたいと思います。 もし、こんな記事が、 初めてスクレピングされる方やgoqueryを使用される方の 参考になれば幸いです。 今回スクレイピングしたのは、techplayさんのイベントページになります。1 実績としては以下のページとなります。 例 執筆の技術を勉強する会 #1 エンジニアの登壇を応援する忘年LT大会 以下Gistに公開したコードを元に解説してきます。（解説へジャンプされたい方はこちらをクリック） Gist - techplay.go 経緯 現在、
Go言語でHTMLをスクレイピングして電車の遅延情報を�教えてくれるSlack-botをつくる - Qiita
情報を取得するWebサイト こちらがないと始まりません。 今回はYahoo!路線情報さんから取得します。 実装 では実際にコーディングしてアプリをつくります。 「運行状況」というキーワードに反応して上記サイトから運行状況を返すbotです。 package main import ( "log" "os" "net/url" "github.com/nlopes/slack" "github.com/PuerkitoBio/goquery" ) // HTMLをスクレイピングして運行状況のテキストを取得する func getRailwayText() string { _url := "https://transit.yahoo.co.jp/traininfo/area/4/" doc, err := goquery.NewDocument(_url) if err != nil { pan
Go言語で動的HTMLをWebスクレイピングする - Qiita
はじめに JavaScriptで動的に生成されるWebページの場合、goqueryに直接URL渡しても正しい値でスクレイピングができない。 そのため、WebDriverを使ってブラウザに表示された実際のHTMLをgoqueryに渡してスクレイピングする必要がある。 環境 Ubuntu 16.04.3 go 1.8.3 インストール ChromeDriver # インストール export WD_VER=2.32 wget -O /tmp/chromedriver.zip http://chromedriver.storage.googleapis.com/${WD_VER}/chromedriver_linux64.zip sudo unzip /tmp/chromedriver.zip chromedriver -d /usr/local/bin/ sudo chmod +x /usr/
Go言語のスクレイピング系ライブラリまとめ - Qiita
Goでスクレイピングしようと思い、ライブラリを探していた際に行き当たったパッケージをまとめます。 調査段階なので一部しか利用はしておらず、実際の使い勝手等はわからないです。後々ピックアップして試していきますが、オススメがあればご意見ください！ scrape A simple, higher level interface for Go web scraping.って。その物言い嫌いじゃない。 2015/06/25から更新されていないがStarは一番多い(2016/03/01現在) Find,Attr,Textがあるので王道的な感じがします godoc有り goquery jQueryに近しい構文と使い勝手が実現できる net/htmlとcascadiaをつかっているみたいでJSerとしては相性が良さそう いろんなライブラリで使われているライブラリでした godoc有り go-metains
Big Sky :: Go言語で jQuery ライクな操作が出来る goquery を試した。
スクレイピング等を行う場合、スクリプト言語が大きく威力を発揮します。 例えばブログの様にタイトルと本文の組が反復される様なページをスクレイピングする場合 URLからHTMLを得る HTMLからDOMオブジェクトを得る エントリとなるDOMノードを検索する エントリノードでループする エントリノードからタイトルとなるDOMノードを探索しテキストを得る エントリノードから本文となるDOMノードを探索しテキストを得る この様になるかと思います。こういった処理を一般的なコンパイル型言語を使って実行しようとすると エラーチェック 反復処理 検索処理 といったコードをゴリゴリ書かなければいけなかったりします。もちろんそれ専用のライブラリを使えば出来きますが、コンパイル型言語ではなかなか良い物がないのは事実です。javascriptに到っては jQuery を使えば簡単に出来ますが、コンパイル型言語向け
XPath使うならxmlpathパッケージ - YAMAGUCHI::weblog
はじめに こんにちは、Go界の大杉漣です。いま、辻堂で合宿をしています。 xmlpathパッケージ GoでHTMLをパースしてごにょごにょしたいというときはgoqueryを使うことが多いですが、個人的にはあのコールバック書きまくるスタイルが好きではなく「そこまでjQueryの真似しなくてもいいだろ」と思っていました。 goquery - GoDoc またPythonで割とlxmlを使っていたこともあって、XPathを使うのが好きだったのでGoにも同様のXPathを扱えるパッケージがないかと探してみたらCanonical製のxmlpathというパッケージがありました。 xmlpath - GoDoc 使い方 めちゃくちゃ楽。ドキュメントにあるサンプルだとちょっと実用性がないので、もう少し実用性のある例。 resp, _ := http.Get("http://sample.com/conte
Go言語のスクレイピング系ライブラリまとめ - Qiita
Goでスクレイピングしようと思い、ライブラリを探していた際に行き当たったパッケージをまとめます。 調査段階なので一部しか利用はしておらず、実際の使い勝手等はわからないです。後々ピックアップして試していきますが、オススメがあればご意見ください！ scrape A simple, higher level interface for Go web scraping.って。その物言い嫌いじゃない。 2015/06/25から更新されていないがStarは一番多い(2016/03/01現在) Find,Attr,Textがあるので王道的な感じがします godoc有り goquery jQueryに近しい構文と使い勝手が実現できる net/htmlとcascadiaをつかっているみたいでJSerとしては相性が良さそう いろんなライブラリで使われているライブラリでした godoc有り go-metains
本ブログにもページネーション機能が付きました！Hugoでページネーション機能を作ろう
こんにちは、 dotstudio代表ののびすけです。 このブログはページネーション機能が無かったのですが、そろそろコンテンツ数も増えてきたのでページネーション機能を実装しました。 888888 実際に作る方法を紹介します。 Hugoでページネーション機能を作る今回はblogセクションにページネーションを実装します。 Hugoのページネーションで調べるとまずはドキュメントページのここがヒットします。 もともともsection/blog.htmlは以下のようなコードでした。 {{ partial "header.html" . }} <!-- Main Content --> <div id="blog-card--container"> {{ range first 12 (where .Data.Pages "Type" "blog") }} {{ .Render "summary"}}
Big Sky :: golang で slim テンプレートエンジン書いてる。
現在、プログラミング言語のカテゴリで1位の様です。めでたい。 僕も執筆に参加させて頂いたので興味ある方はぜひ読んで欲しいです。 さて最近の僕がGo言語で何を書いていたかというと GitHub - mattn/go-slim: Slim Template Engine for golang Rslim template engine for golang https://github.com/mattn/go-slim slim template の golang 版です。忙しくてまだ完成はしていないんですが、ちょっとした物であれば使えるレベルまで出来ていると思っています。haml を golang で実装している物はいくらかあったのですが、僕は haml よりも slim が好きなので何も迷わず実装しました。 doctype 5 html lang="ja" head meta chars
静的なHTMLジェネレータを探してみる～サービス紹介サイトとCMSの間にある溝 - Qiita
※記事を読んで、もっといい方法があったら、救ってください（切実） いま触ってみている静的HTMLジェネレータ jekyll -Rubyでできてるけど、ほとんどhtmlの知識だけでPHPテンプレートのようにつかえる静的htmlジェネレータ メモ：jekill 静的なHTMLジェネレータを使ってみた Hugo -Goでできてるけど、ほとんどhtmlの知識だけでPHPテンプレートのようにつかえる知識だけで使える静的サイトジェネレータ メモ：Hugo サイトジェネレータを使ってみた jekyllと比べて なんで、いま静的HTMLジェネレータなのか サービス・商材をWeb上で売るということ、と、CMSの関係 私は普段、自社が提供するサービスや商材を紹介するブランドサイトを運営しています。 スペック的には、レスポンシブなHTML・CSS＆JSでフロント、CMSテンプレートカスタマイズ（WordPres
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
okitama.org
goquery package - github.com/PuerkitoBio/goquery - Go Packages
GitHub - PuerkitoBio/goquery: A little like that j-thing, only in Go.