jQuery 4.0.0 has been in the works for a long time, but it is now ready for a beta release! There’s a lot to cover, and the team is excited to see it released. We’ve got bug fixes, performance improvements, and some breaking changes. We removed support for IE<11 after all! Still, we expect disruption to be minimal. Many of the breaking changes are ones the team has wanted to make for years, but co
Pythonクローリング&スクレイピングの増補改訂版が出版されます - orangain flavor
Pythonクローリング&スクレイピングはおかげさまでご好評いただき、この度、増補改訂版を出版する運びとなりました。紙版は本日8/10発売で、電子書籍版は既に発売中です。 Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る クローリングやスクレイピングを扱う書籍は、対象として利用しているWebサイトの変化によって、サンプルコードが動かなくなってしまう宿命があります。初版を執筆した際は、なるべく考え方を伝えるようにすることで、たとえサンプルが動かなくなったとしても役立つ内容にすることを心がけました。 ですが、書いてあるコードがそのまま動くに越したことはありません。今回改訂の機会をいただいたことで、読者の皆様に学
Rubyでテストがこれほど盛んな理由のひとつはRailsの存在にあると私は信じています。Railsフレームワークはテストをできる限り楽しく書けるようにしてくれます。ほとんどの場合、網羅的なRailsテスティングガイドを参照すれば事足ります（少なくとも最初のうちは）。しかし物事に例外はつきものです。私たちの場合「システムテスト」がそれでした。 テストをページのマークアップから切り離す方法については、「Railsシステムテスト」シリーズの次の記事『System of a test II: Robust Rails browser testing with SitePrism』をご覧ください。 Railsアプリケーションでシステムテストを書いたりメンテしたりするのは、正直「楽しい」からほど遠い作業です。この問題に対処するために用いた私のアプローチは、今を去ること2013年に初めてCucumber
Rustでブラウザを操作する「rust-headless-chrome」を試してみた | DevelopersIO
こんにちは。MAD事業部のきんじょーです。 最近Rustの入門書を読んだので、何かに使ってみようと模索していました。 その中で、Rustでヘッドレスブラウザを動かすライブラリを検証したのでこの記事にまとめます。 ヘッドレスブラウザとは ヘッドレスブラウザはGUIを持たないWebブラウザです。 一般的なブラウザと同じく、HTMLを解析しJavaScriptを実行できますが、GUIを持たないため、CLIやプログラム上から操作を行います。 主に以下のような用途で用いられます。 WebアプリケーションのE2Eテストの自動化 Webページのスクリーンショット取得 JavaScriptの自動テスト Webページで行うワークフロー処理の自動化 Webページのクローリング 古くはPhantomJSやCasperJSなどを用いていましたが、現在では主要なブラウザもネイティブでヘッドレスモードを搭載しています
Storybook をフル活用してテストを実装した話 - Cybozu Inside Out | サイボウズエンジニアのブログ
サムネイル こんにちは、フロリアでエンジニアとして活動している irico です。 現在 kintone ではフロリアというプロジェクトの中で、Closure Tools から React への移行作業に取り組んでいます。 今回は、そのフロリアのチームの 1 つである Reactone チーム が採用した「Storybook をフル活用したテスト手法」についてお話します。 Storybook によるテストアプローチ Storybook の v6.4 から play 関数が導入され、v6.5 から Interaction tests が可能になりました。 これによって Story 上でテストを実行するだけでなく、実行したテストの動作確認がブラウザ上で可能になりました。 今までは Jest や Vitest 上で Testing Library を利用する際、DOM 操作の視覚的な確認が難しく
はてなブログで使われているフロントエンドのテストツールを統一した話 - Hatena Developer Blog
はてなでエンジニアアルバイトをしているid:wafuwafu13です。はてなブログのフロントエンドで使われているテストツールの統一を2021年11月頃から進めてきましたが、この8月に完了したので振り返りたいと思います。 はてなブログのフロントエンドに残された秩序の乱れ テストツールを統一する理由とツールの選定 移行をどう自動化したか（しなかったか） 余裕のあるスケジュールで小分けして作業を実施 はてなエンジニアのアルバイトは通年で募集中！ はてなブログのフロントエンドに残された秩序の乱れ 2020年のid:nanimono_demonaiさんの活動により、はてなブログのフロントエンドのテストはPhantomJSとKarmaを撤退し、Jestに移行されました。 はてなブログのフロントエンドに秩序はもたらされたのか - Speaker Deck これによって秩序がもたらされたものの、Node.
Playwright for Python: ブラウザ操作を自動化しよう！ - kakakakakku blog
ブラウザ操作を自動化して，E2E (End to End) テストやスクレイピングをするときに使えるライブラリ Playwright を試す．Playwright の特徴としてまず「クロスブラウザ」があり，Chromium / Firefox / WebKit をサポートしている．また「複数言語」という特徴もあり，Node.js / Python / Java / .NET をサポートしている．今回は Playwright for Python を前提にする． playwright.dev Playwright の前に 過去の経験を思い出すと，Capybara + PhantomJS で E2E テストを実装していた（2015-2016年頃でなつかしい！）．また最近だと Puppeteer や Amazon CloudWatch Synthetics を使う機会も増えている．しかし，個人的
2018年6月2日、PhantomJSのリポジトリがついにアーカイブ化されました。PhantomJSのメインメンテナーは、「より高速かつ安定して動作するヘッドレスChromeが登場したことで、PhantomJSの開発を続ける必要がなくなった」と述べています。 PhantomJSは、TwitterやNetflixでも単体テストやパフォーマンステストで使用されていた、ヘッドレスブラウザのデファクトスタンダードでした。ヘッドレスブラウザとは、GUI（Graphical UserInterface）を必要としないブラウザです。 これまでPhantomJSを使ってきた人たちは、徐々にヘッドレスChromeに切り替え始めています。一方で、「切り替えにどのような作業が必要になるのか」や「いったい何が変わるのか」がわからないといった声を耳にすることもよくあります。 そこで本特集では、ヘッドレスChro
Practical Ways to Write Better JavaScript - Stack Overflow
In our 2019 Dev Survey, we asked what kind of content Stack Overflow users would like to see beyond questions and answers. The most popular response was “tech articles written by other developers.” So from now on we'll be regularly publishing articles from contributors. If you have an idea and would like to submit a pitch, you can email pitches@stackoverflow.com. Hey there, I'm Ryland Goldstein, a
Announcing Scala.js 1.0.0
Feb 25, 2020. We are thrilled to announce the General Availability release of Scala.js 1.0.0! Scala.js is a close dialect of Scala compiling to JavaScript, featuring great portability wrt. Scala/JVM, interoperability with JavaScript, and performance. After 7 years of development, including 5 years of stability within the 0.6.x series, we are finally ready to present Scala.js 1.0.0. Quoting Antoine
web上の情報を抽出するスクレイピング技術ですが、いままでphantomJSで行っていましたが、chromeがヘッドレスブラウザに対応したとのことで、そのnodeライブラリであるpuppeteerで実践してみました。 環境構築 とりあえずお試しということで、dockerで構築しました。 構成はnode.jsのdockerイメージにpuppeteerを追加するかたちです。 下記2サイトの手順を大幅に参考にさせていただきました。 Docker コンテナ上で Puppeteer を動かす Puppeteer をDockerコンテナで利用する ディレクトリ構成はこんな感じ。 / ├ app/ │ └ script/ │ └ app.js │ └ data/ ├ docker-compose.yml ├ Dockerfile └ Package.json FROM node:9.2.0 RUN a
概要 MacでDockerを用いたUbuntu環境の作成をしてみました。 記事作成のモチベーションは、 初心者向けにLinux概要をまとめる Ubuntuに初めて触ったので、躓きポイントの備忘録 去年、WindowsHomeにDockerを入れようとしたときにそこそこ時間を費やした(結局入れることができなかったが)ので、何かしらの形でアウトプットしたかった の3点になります。 注意事項として、今回はSelenium+PhantomJSを使用してスクレイピングをやるためにこのような環境を作ったのですが、参考文献が古いため、Ubuntuのバージョンが古いです。 前半・後半に分けています。 前半ではDockerのインストールとDocker上にUbuntuのイメージを導入します(すぐ終わります)。その後、Ubuntuの概要について説明していきます。 後半では、Ubuntuの環境等の整備をしていきま
How to Bypass Cloudflare in 2023: The 8 Best Methods - ZenRows
About 1/5 of websites you need to scrape use Cloudflare, a hardcore anti-bot protection system that gets you blocked easily. So what can you do? 😥 We spent a million dollars figuring out how to bypass Cloudflare in 2023 so that you don't have to and wrote the most complete guide (you're reading it!). These are some of the techniques you'll get home today: Method 1: Get around Cloudflare CDN. Meth
We Hacked Apple for 3 Months: Here’s What We Found | Sam Curry
Between the period of July 6th to October 6th myself, Brett Buerhaus, Ben Sadeghipour, Samuel Erb, and Tanner Barnes worked together and hacked on the Apple bug bounty program. Sam Curry (@samwcyo) Brett Buerhaus (@bbuerhaus) Ben Sadeghipour (@nahamsec) Samuel Erb (@erbbysam) Tanner Barnes (@_StaticFlow_) During our engagement, we found a variety of vulnerabilities in core portions of their infras
技術の発達によりテストのツールチェーンが安定してきている 古川陽介氏（以下、古川）：前までは、HTML出力されて、さらにブラウザがどう解釈したかが出力されるという2段構えになっていました。 そうすると何が問題かというと、ブラウザのバージョンや、読み込まれるタイミングによって、ピクセルのズレみたいなものが若干発生した時に、閾値でなんとかしていたけれど、若干のやりにくさが感じられていたんですよね。 そこに、Reactのツールが増えてきて、さらにスナップショットテスティング。真面目にテストのデータを逐一見ようとするから、難しいんだよ。ある程度ダンプしておいて、その内容が完全に一致していたらいいんじゃないの、もしくは、「ちょっと間違っているぐらいだったらいったん出しておくけど、それをどうするかはそっちで決めて」くらいの柔軟性を持たせたテストができるようになってきたところが、やはり強かったんじゃない
週刊Railsウォッチ（20190826）6-0-stableの更新を見てみる、『Morning Cup of Coding』ニュースレター、Rails TutorialがRails 6対応に動き出すほか｜TechRacho by BPS株式会社
2019.08.26 週刊Railsウォッチ（20190826）6-0-stableの更新を見てみる、『Morning Cup of Coding』ニュースレター、Rails TutorialがRails 6対応に動き出すほか こんにちは、hachi8833です。数列の1, 2, 4, 8,...みたいな表記を見ると、1, 2, 4, 8, 1, 2, 4, 8, 1, 2, 4, 8,...みたいな可能性もありそうな気がして不安になります。 つっつきボイス:「ruby-jp Slackのどこかで、Rubyの..だったか...を魔改造するみたいな話をちらっと見かけたんですけど、そっちの数学的表記の方が気になっちゃって😅」「どう解釈するか問題ね☺️」「数学方面だと無限数列の...の略記ってコンベンションが頼りというか割と自明でなかったりした覚えが😆」 各記事冒頭には⚓でパーマリンクを置い
【オンライン】12月23日(水)に Hatena Engineer Seminar #15 を開催します！ - Hatena Developer Blog
こんにちは、Webアプリケーションエンジニアの id:KGA です。 12月23日（水）に Hatena Engineer Seminar #15 をオンラインで開催します！ 今回は2020年4月に新卒入社した3名のエンジニアによるトークをご用意いたしました。チーム開発における体制づくりやフロントエンドのツールチェーンにフォーカスした話、タスクの計画とその実施内容など、はてなのエンジニアの業務内容について幅広く知っていただける内容となっています。また、今回も前回同様に昨今の事情を鑑みてオンラインでの開催となります。みなさまのご参加をお待ちしております！ イベント概要 日時: 12月23日(水) 19:30-20:50（予定） 参加費: 無料 開催形式: オンライン配信 YouTube Live 開催当日に connpass に登録されているメールアドレスや Twitter の @haten
Hatena Engineer Seminar #15 をオンラインで開催しました #hatenatech - Hatena Developer Blog
こんにちは！ Web アプリケーションエンジニアの id:KGA です。 2020年12月23日（水）に Hatena Engineer Seminar #15 を開催しました。今回も前回に引き続きオンライン配信による開催になりました。参加してくださったみなさま、ありがとうございます！ このエントリーでは当日配信された動画のアーカイブとともに、それぞれの発表の概要や公開資料をお届けします。 #15は2020年新卒入社メンバーによるトーク Webフロントエンドの秩序を維持する体制を作る はてなブログのフロントエンドに秩序はもたらされたのか はてなブログチームでの働き方 さいごに #15は2020年新卒入社メンバーによるトーク Hatena Engineer Seminar は、はてなのサービスを開発する上で、エンジニアがどのようなことを考えているのか、どのような働き方をしているのかを語るイベ
JavaScript Standard Style
JavaScript Standard Style Sponsored by English • Español (Latinoamérica) • Français • Bahasa Indonesia • Italiano (Italian) • 日本語 (Japanese) • 한국어 (Korean) • Português (Brasil) • 简体中文 (Simplified Chinese) • 繁體中文 (Taiwanese Mandarin) JavaScript スタイルガイド、リンター、フォーマッター このモジュールは、3つの方法であなたの（そして他の人の！）時間を節約します。： 設定不要 プロジェクトのコード品質を高める最も簡単な方法です。決断はいりません。管理するための.eslintrcファイルも不要です。ただこれだけで動作します。 コードを自動的にフォーマット
今までドキュメントは適当なMarkdownで書いてそれを適当にGitBookでウェブサイトに変換していた。だがGitBookはコマンドラインツールの開発をやめてしまっている。なのでGitBook公式のホスティングサービスに移行するか、何か代替品を探さなければならない。というわけで探しているのだが……。 既存のGitBook用ファイルを使いまわしたい 何に移行するにしても少しの手直しは必要になるのである程度は我慢。 このためにAsciiDocとかLaTeXはとりあえず除外 数式が書ける これは（mathjax/katexの違いはあれど）大抵のものがクリアしている HTMLが出力できる 基本的に全てが対応している。 PDFも出力できる 全然誰も興味がないらしい……誰も対応していない……。 ヒントボックスとかが欲しい テンプレート機能があればなんとかなるが、あったほうが圧倒的に楽。 多言語対応（
あけましておめでとうございます。 今日で入社から1年になりましたシニアエンジニアの佐藤寛之です。 最近公私ともにWebクローリングを扱う機会が増えてきました。世の中のWebシステムには人間が使うことは想定していても、プログラムによる処理を想定せずAPIはおろかデータエクスポート機能すらないものも珍しくありません。そんなシステムからデータを収集したり他システムと連携させたりするのに、ブラウザの自動操作によるクローリングは非常に便利です。 クローリングといえば以前はPhantomJSが主流でしたが、PhantomJSはすでにメンテナンスが終了しており、現在はPuppeteerが広く使われています。PuppeteerはGoogle Chromeのヘッドレスモードを利用するNodeのライブラリで、Googleがメンテナであるため最新のChromeの機能に追随しているのが大きなアドバンテージと言えま
はじめに Ateam cyma Advent Calendar 2019 の 6日目です。 本日の担当はエイチームのEC事業本部でWebアプリケーションエンジニアをしている@hibiheionです。 業務では主に自転車ECサイトcymaのバックエンドの機能をRailsで書いています。 今年のアドベントカレンダーでは2日目と3日目に続いての登場です。 本題 WebスクレイピングはWebページの情報を自動的に取得する手法です。 RubyはCapybara（※1）やNokogiri（※2）といったRubyGemのおかげでわりと簡単にWebスクレイピングを実現できます。 ですが、夜間に自動でスクレイピングするという場合などには「Webページから情報を取得する」という本来やりたいこと以外にエラーハンドリングやログの出力といったことに手間をかける必要がでてきます。 そういった手間をかけずに高機能なWe
こんにちは、開発本部のバックエンドエンジニアのThai（タイ）です。クローラ改善プロジェクトを行い、Puppeteerを使って新しいクローラを作りました。今回の記事ではPuppeteerで開発したクローラについて紹介したいと思います。 Puppeteerとは Googleで開発されて、DevToolsプロトコルを介してChromiumやChromeを制御するための高レベルなAPIを提供するNodeライブラリです。 参照: https://devdocs.io/puppeteer/ クローラとは インターネット上の様々なWebページをスクレイピングするツールです。 なぜPuppeteerを使ってクローラを作るのか？ これまでインターネット上の記事を収集するために、PHP-curlで開発したクローラを使ってきました。PHP-curlは静的なページを問題なくクロールできますが、SPAページ(Si
System of a test: Proper browser testing in Ruby on Rails—Martian Chronicles, Evil Martians’ team blog
The Ruby community is passionate about testing. We have plenty of testing libraries, there are hundreds of blog posts on the topic, we even had a dedicated podcast. Hell, the top 3 most downloaded gems are parts of the RSpec testing framework! Rails, I believe, is one of the reasons behind the rise of Ruby testing. The framework makes writing tests as enjoyable as possible. In most situations, fol
追記： いろいろ整理してgithubに公開しました。現在はこちらをメインにしております。 https://github.com/msir3316/obs-kuvo-python 最近、DJ配信をすることが増えてきました。 そこで画面レイアウトもいろいろ凝ってみようと思って、まず手元カメラを導入。 そして次に、現在流している曲の情報を表示したいと考えた。 rekordboxにはKUVOというものがあり、流している曲がリアルタイムに反映されるページができる。 OBSにはブラウザソースといって、URLで指定したページにアクセスした内容を表示させる機能があり、まずはこれを試してみた。 が、途中から表示の形が少し変わったりして、どうもこれを使うには難がある。 そこで次の案は…プログラムで制御する方法だった。 準備 ・Python環境 これは割愛します。とりあえず最新のやつ入れときゃ大丈夫。 ・obs
Practitioners of SEO have always been mistrustful of JavaScript. This is partly based on experience; the ability of search engines to discover, crawl, and accurately index content which is heavily reliant on JavaScript has historically been poor. But it’s also habitual, born of a general wariness towards JavaScript in all its forms that isn’t based on understanding or experience. This manifests it
ブログページから記事タイトル一覧を出力（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第２章を参考にさせていただきながら、Selenium+PhantomJS（画面なしブラウザ）で、ブログページから記事タイトル一覧を出力できるようになりました。 Docker上に構築した、Selenium+PhntomJSの実行環境を使いました。 Selenium+PhntomJSの実行環境の構築に関しては、以下の記事をご参照ください。 oregin-ai.hatenablog.com ブログページから記事タイトル一覧を出力する。 1.全体像 2.Seleniumのライブラリをインポート 3. PhantomJSのインスタンスを作成 4.トップページにアクセス 5.記事のタイトルを取得して出力 5.コマンドラインから実行してみる。 ブログページ
ブラウザ（PhantomJS）を経由したスクレイピング（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第２章を参考にさせていただきながら、Selenium+PhantomJS（画面なしブラウザ）で、Webページのスクリーンショットを保存できるようになりました。 前回投稿したDockerを使って環境を構築していきたいと思います。 Dockerに関しては、前回記事をご参照ください。 oregin-ai.hatenablog.com Docker上にSelenium+PhantomJSの実行環境を構築する。 1.Seleniumとは何か 2.PhantomJSとは何か 3. Selenium + PhantomJSの実行環境を構築する。 Webページのスクリーンショットを保存する。 1.Pythonのコードを記載したファイルを作成する。 2.コマン
決済代行サービスの実装における検証不備を悪用／Pwning Old WebKit for Fun and Profit【Security․Tokyo #1】 - Flatt Security Blog
株式会社Flatt SecurityとTokyo HackerOne Clubが共催した脆弱性勉強会「Security․Tokyo #1」より、今回は、LT3「決済代行サービスの実装における検証不備を悪用」とLT4「Pwning Old WebKit for Fun and Profit」の発表内容をお届けします。 ＜注意事項＞ 本記事は技術的知見の共有を目的としています。掲載された発表内容の悪用や曲解、その他社会通念に反する行為を固く禁じます。 ▼LT 1,2はこちら▼ blog.flatt.tech 決済代行サービスの実装における検証不備を悪用 スライド プロフィール ネットオークションでの不正落札を可能にする脆弱性 対象アプリでのオークション商品の購入の流れ マーケットプレース商品の購入の流れ StripeのPaymentIntentとは オークション商品のPaymentIntent
途中でエラーが出てbucketがなくなってうまく削除できないまま。。 ひどい。。 四苦八苦 いまさらフレームワークのコマンドを確認 Serverless Framework Commands - AWS Lambda - Deploy https://serverless.com/framework/docs/providers/aws/cli-reference/deploy/ エラー 権限不足だったので付与した Serverlessのデプロイ時に"The specified bucket does not exist"って言われた時の対処 - Qiita https://qiita.com/honmaaax/items/3f21064c5973a2594358 文字化けしてたみたいでレスポンスが空っぽの画像 文字コード json.getBytes - Google 検索 https:/
公式サイトにてバイナリも配布されてるので、nodeからのインストールが依存関係などで失敗する場合、こちらをダウンロード、解凍して実行権限を与えると良いでしょう。 $ curl -sLO https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 $ aunpack phantomjs-2.1.1-linux-x86_64.tar.bz2 $ cd phantomjs-2.1.1-linux-x86_64/bin/ $ chmod +x phantomjs $ ./phantomjs --version
youtube-dl - Wikipedia
依存関係[編集] youtube-dlはそれ単体でも動作するが、オプションで他のプログラムに依存する場合がある[3]。動画や音声を変換する場合にはFFmpegまたはavconv（英語版）が必要となる。RTMPによってストリーミングされている動画を取得するにはRTMPDump（英語版）が必要となる。データのダウンロードにJavaScriptが必要な場合にはPhantomJS（英語版）を使用する。これらのプログラムはyoutube-dlには含まれておらず、別途導入する必要がある。 なおフロントエンドであるVideomassは動画ダウンロードは勿論、内包されているFFMpegと連携して動画変換・連結まで行うことができる。 対応しているサイト[編集] youtube-dlは1000以上のサイトに対応している[4]。 動画[編集]
virtual-environments/Ubuntu1804-README.md at main · actions/virtual-environments · GitHub
Ubuntu 18.04.5 LTS Image Version: 20201004.1 Installed Software Language and Runtime GNU C++ 7.5.0, 8.4.0, 9.3.0, 10.1.0 GNU Fortran 7.5.0, 8.4.0, 9.3.0 Clang 6.0.0, 8.0.0, 9.0.0 Erlang 11.1 Mono 6.12.0.90 Node 12.18.4 Python 2.7.17 Python3 3.6.9 PowerShell 7.0.3 Ruby 2.5.1p57 Swift 5.3 Julia 1.5.2 Package Management Homebrew 2.5.2 Gem 3.1.4 Miniconda 4.8.3 Helm Npm 6.14.8 Yarn Pip 9.0.1 Pip3 9.0.
AWS サーバレスでlibreofficeを使ってExcelをPDF変換 | SEEDS Creators' Blog | 株式会社シーズ
クラウド事業部の川勝です。 弊社のプロジェクトのいくつかでは、帳票のPDF出力にExcelで作成したものをPDF変換かけて使用するというものがあります。 Excel->PDF変換にはlibreoffceのheadlessモードを使用しているのですが、今回その仕組みを汎用的に使えるようにサーバレスで構築してみたのでご紹介いたします。 要件ExcelファイルをWEB APIにPOSTしたらPDF変換されて返ってくる 構成Serverless libreofficeまずAWS Lambdaでlibreofficeが使えるのか？（外部コマンドあるか）というところからはじめました。 外部コマンドでsofficeがあるかどうか。 ちょっと古い2014年の記事ですがどうもなさそうです… AWS Lambdaをいろいろ暴く – Qiita （ちなみにamazon linuxベースとのことなので大体の外部コ
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT
CLIs zap-gpt - Este projeto explora a integração do ChatGPT com o WhatsApp, transformando o chatbot em um assistente virtual capaz de realizar tarefas como falar com amigos, responder a perguntas de clientes, e muito mais, com um toque de humanização nas conversas. Tutorials langchain-kr - LangChain 공식 Document, Cookbook, 그 밖의 실용 예제를 바탕으로 작성한 한국어 튜토리얼입니다. 본 튜토리얼을 통해 LangChain을 더 쉽고 효과적으로 사용하는 방법을
クローラーを判定する機能を@nuxtjs/deviceに追加しようと思い諸々調査していたところ、crawler-user-agentsというクローラーのユーザーエージェントにマッチする正規表現を集めてくれている素晴らしいリポジトリを発見しました。 こちらのStackOverflowのAnswerにあるような小さな正規表現でも十分なこともありそうですが、crawler-user-agentsを使えばあまりメンテナンスコストを払わずにより精度の高い判定を実現できそうです。 これを使ってクローラーを判定する処理を@nuxtjs/deviceに実装したので、下記に関連コードを紹介します。 実装 crawler-user-agentsが提供するデータに基づいて正規表現を作成する。 const fetch = require('node-fetch') const agentsJsonUrl = 'h
「電子ペーパーを額装して飾るとやたらカッコいい::デイリーポータルZ」を参考にラズパイ＋GAS＋ペーパー液晶で情報表示額縁を作った(phantomjs編) - Qiita
「電子ペーパーを額装して飾るとやたらカッコいい::デイリーポータルZ」を参考にラズパイ＋GAS＋ペーパー液晶で情報表示額縁を作った(phantomjs編)GASRaspberryPiIoTペーパー液晶 （下記の記事は構成部品が古くなっていたので、最新状況に合わせて書き直しました。最新版はこちらを閲覧ください。2024年2月25日） はじめに Dialy Portal Zの「電子ペーパーを額装して飾るとやたらカッコいい」の記事（以下「元記事」）に触発され、自分用の情報を表示できたら便利だなと思い自作しましたのでご紹介いたします。 作成した情報表示額縁 使うもの ペーパー液晶「WaveShare 13504 7.5インチ 640×384 E-Ink 電子ペーパーモジュール for RaspberryPi 」（税込8,450円） ラズベリーパイ Zero WH（税込み2千円弱）+ SDカード G
class TodoApp extends React.Component { constructor(props) { super(props); this.handleChange = this.handleChange.bind(this); this.handleSubmit = this.handleSubmit.bind(this); this.state = {items: [], text: ''}; } render() { return (); } handleChange(e) { this.setState({text: e.target.value}); } handleSubmit(e) { e.preventDefault(); var newItem = { text: this.state.text, id: Date.now() }; this.setS
この記事は個人ブログと同じ内容です http://ratatatat30.hatenablog.jp/entry/2021/06/13/114921 sekitats です。 さて、back check では E2Eテストツール Autify が導入されました。 1日触ってみたので所感を書きたいと思います。 よかった点 まず、海外発サービスかと思いきや、日本人が作った感のある馴染みやすいUIが良い。 シナリオ作成では、ブラウザでの操作をそのままレコーディングしてテストシナリオとして保存できるのが画期的だ。すぐに使い方を覚えることができた。 これであれば誰でもテストシナリオを書くことができるだろう。 そして、何よりクロスブラウザテストをサポートしているところが嬉しい。これだけで導入するだけの価値はある。 また、AI技術を使って変更の差分を検出するなど、きめ細かなサポートが素晴らしい。 ダミー
How to make HTTP requests with Axios January 26, 2021 9 min read 2672 Editor’s note: This Axios tutorial was last updated on 26 January 2021. Axios is a client HTTP API based on the XMLHttpRequest interface provided by browsers. In this tutorial, we’ll demonstrate how to make HTTP requests using Axios with clear examples, including how to make an Axios POST request with axios.post(), how to send m
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
jQuery 4.0.0 BETA! | Official jQuery Blog
Railsでブラウザテストを「正しく」行う方法（翻訳）｜TechRacho by BPS株式会社
第1章 Puppeteerの魅力は何か ～ヘッドレスChromeを自由自在に操る | gihyo.jp
puppeteerでスクレイピング - Qiita
Linux初心者がDocker上にUbuntu16.04環境を作る(for Mac)-前半- - Qiita
「自分たちが考えたモックやスタブは妄想にすぎない」 テスト駆動開発の第一人者が説く、フロントエンドテストの本質
ドキュメントは何で書けば良いのか - in neuro
PuppeteerによるWebクローリング 基礎編 | 株式会社ソリューションウェア
サクッと高機能なWebスクレイピングを実現できるRubyGem「Kimurai」 - Qiita
Puppeteerを使ってクローラを作った話 | PR TIMES 開発者ブログ
rekordboxとOBS使いがDJ配信で曲名を反映させるには - やりたいことだらけ
PWA SEO: SEO & Progressive Web Apps
Plantumlをサーバーレスで実行をやってみた - Qiita
コマンドラインからjavascriptでレンダリングされたHTMLソースを取得する方法 - Qiita
crawler-user-agentsでそこそこ正確なクローラー判定を実装する
WWWクリエイターズ | ウェブと開発をもっと楽しむ情報サイト
Autify を使ってみた所感と Puppeteer と Playwright - ROXX開発者ブログ
How to make HTTP requests with Axios - LogRocket Blog