並び順

ブックマーク数

期間指定

  • から
  • まで

321 - 360 件 / 830件

新着順 人気順

seleniumの検索結果321 - 360 件 / 830件

  • 文化的負債解消における“プロセスで解決する”視点の重要性 「周りを変える前に、自分自身が変わることが大切だ」

    文化的負債Case9:エンゲージメントが低い 高橋裕之氏(以下、高橋):次は高橋から、Case9。「エンゲージメントが低い」です。“ここで”というのは、所属している組織や会社とかです。エンゲージメントは「ここで働き続ける理由」と言われています。今まで会社の従業員満足度調査やモチベーション、ロイヤルティなどが昔よくあったと思います。だけど、今はエンゲージメントを測ることがすごく効果的と言われています。 実は2年ちょっと前に、とある部門を私が部門長として引き受けることになった時、そこはすでにエンゲージメントを測っていましたが、64というそこそこ低い状でした。これはどうにかしないとならないということで、いろいろやりました。 正直、64という数字がどういう状態なのかさっぱりわからなかったため、みんなを知るためにリーダーズ・アクライメーションというワークをやったり、あとは弊社の言い方でGMGという、

      文化的負債解消における“プロセスで解決する”視点の重要性 「周りを変える前に、自分自身が変わることが大切だ」
    • Appium + Android で ネイティブアプリの自動実行を試してみた | DevelopersIO

      いわさです。 Appiumをご存知でしょうか。 モバイルプラットフォームの自動化ライブラリです。 先日、AWS Device Farm の記事を作成しました。 この記事ではリモートアクセスを試していますが、自動実行を行うためには自動化ライブラリを準備する必要があります。 AWS Device Farm では Appium に対応しています。 今回は前段階として、ローカル端末でAppiumの自動実行を試してみたいと思います。 テスト用にアプリを吐き出す場合、iOSだと証明書周りが面倒になるので、Androidで試します。 Appiumとは Appiumは、iOS/Android/Windowsデスクトッププラットフォームでアプリケーション操作を自動化するためのオープンソースツールです。 ネイティブアプリ、モバイルウェブアプリ、ハイブリッドアプリなど、様々なモバイルアプリをターゲットとした自動

        Appium + Android で ネイティブアプリの自動実行を試してみた | DevelopersIO
      • How to test a Flutter app  |  Google Codelabs

        1. Introduction Flutter is Google's UI toolkit for building beautiful, natively compiled applications for mobile, web, and desktop from a single codebase. In this codelab, you'll build and test a simple Flutter app. The app will use the Provider package for managing state. What you'll learn How to create widget tests using the widget testing framework How to create an integration test to test the

        • condaでバージョン確認、インストール、アップデート - deepblue

          conda info 今自分が動かしている環境名とcondaやpythonのバージョンなどを確認することが出来ます。 # 動作例 conda info active environment : blog active env location : C:\Users\USERNAME\AppData\Local\Continuum\anaconda3\envs\blog shell level : 7 user config file : C:\Users\USERNAME\.condarc populated config files : C:\Users\USERNAME\.condarc conda version : 4.8.3 conda-build version : 3.18.9 python version : 3.7.4.final.0 virtual packages :

          • Introducing GoodJob 1.0, a new Postgres-based, multithreaded, ActiveJob backend for Ruby on Rails

            GoodJob is a new Postgres-based, multithreaded, second-generation ActiveJob backend for Ruby on Rails. Inspired by Delayed::Job and Que, GoodJob is designed for maximum compatibility with Ruby on Rails, ActiveJob, and Postgres to be simple and performant for most workloads. Designed for ActiveJob. Complete support for async, queues, delays, priorities, timeouts, and retries with near-zero configur

            • Web Automation: Don't Use Selenium, Use Playwright

              For web automation/testing, Selenium has been the de facto "standard" since forever. It's simple to get started with and supports almost every programming language. My problem with it has been: It's good enough, but nothing more. It doesn't work that well with modern, Javascript framework heavy sites (Angular, React etc). I'm not saying it doesn't work-- just not too well. Another issue: While Sel

                Web Automation: Don't Use Selenium, Use Playwright
              • Slackの絵文字サジェストを機械学習でリバースエンジニアリング ~文字同士のマッチングの学習と高速化~ - エムスリーテックブログ

                Slackの絵文字入力サジェストって意外と不思議な挙動をする。普通に部分一致だと思って入力しがちだけど、時々ハッと、あれなんでこの絵文字がサジェストされたんだ?って意外な挙動をすることがある。 例えば上記の会話では、なぜかminorって入力したら"バドミントン🏸"がサジェストされまてます💢*1*2 ここから、Slackの絵文字サジェスト面白いねって話になりました。 ってことで、今回は、Slackの絵文字サジェストアルゴリズムを機械学習で模倣する、ひいては、こういう、ブラックボックスな入出力システムがあったときに、機械学習でそれをコピーするってどうやってやるんだろ、って話をします。 学習完了したsuggest関数 TL;DR 機械学習してみよう STEP1: 学習可能な問題に落とし込む is_match() STEP2: 学習データはどう作る? query x emojiの全羅列 STE

                  Slackの絵文字サジェストを機械学習でリバースエンジニアリング ~文字同士のマッチングの学習と高速化~ - エムスリーテックブログ
                • Zew2505 Driver For Mac

                  Visiteurs depuis le 26/01/2019 : 4585 Connectés : 1 Record de connectés : 19 Zew2505 Driver For Mac ProBe careful, it may be very tight. Remove one screw securing a metal plate over the keyboard connector and remove the plate. Be the first to write a review. Toshiba satellite pro laptop specification sheet 8 pages. Many thanks, Monika, tried changing the folder did not work, updated selenium jar f

                    Zew2505 Driver For Mac
                  • ハローワークから求人情報をスクレイピングする

                    Python + Selenium + Beautiful Soupでハロワをスクレイピング Python3でSelenium(ChromeDriver)とBeautiful Soupを使って、ハローワークの求人情報を取得する方法についてです。今回は東京都千代田区の求人情報を取得しようと思います。 ハローワーク 実装方法 まず最初にライブラリを読み込みます。 from selenium import webdriver from selenium.webdriver.support.ui import Select import time from bs4 import BeautifulSoup Chrome Driverを起動し、ハローワークのトップページにアクセスさせます。 url = "https://www.hellowork.mhlw.go.jp/" driver = webd

                      ハローワークから求人情報をスクレイピングする
                    • 面倒な「ブラウザ操作」や「データ収集」の作業はPythonで自動化しよう|スクレイピングとは何か?できることや使い方をわかりやすく解説【PythonでやるRPA】

                      キノコード テクノロジーアンドデザインカンパニー合同会社のCEO。 日本最大級のプログラミング教育のYouTubeチャンネル「キノコード」や、プログラミング学習サービス「キノクエスト」を運営。 著書「あなたの仕事が一瞬で片付くPythonによる自動化仕事術」や、雑誌「日経ソフトウエア」や「シェルスクリプトマガジン」への寄稿など実績多数。 Python学習サービス「キノクエスト」のご紹介 キノコードでは、Pythonを習得するためのPython学習サービス「キノクエスト」を運営しています。 キノクエストには、学習カリキュラムがあり、学習順番に悩むことなく学習を進められます。 月額1,990円と本1冊分の値段です。 キノクエストの特徴は下記の通りです。 Python学習をしている仲間が集まるコミュニティがある 1000問以上の問題を解いてプログラミングを習得 環境構築不要ですぐに始められる 動

                      • アジャイル・スクラム開発に便利なAzure DevOpsの拡張機能まとめ - Qiita

                        本記事は、アジャイル・スクラム開発において便利な「Azure DevOps Extensions」(拡張機能)のまとめ記事です。 アジャイル・スクラム開発で「製品の品質」を保つには、開発プロセス”そのもの”の品質も重要となります。 高い品質の開発プロセスを保つには、アジャイル開発のツールをうまく利用することが、ひとつ大切な要素となります。 PO(および開発者)がアジャイル開発のツールをうまく使いこなし、製品、プロジェクト、プロダクトバックログなどを上手くマネジメントすることが重要です。 私たちが実際にチーム開発をしていて、おススメの機能を紹介します。 ※1: Azure DevOpsはAzureのサービスの一つである、DevOps統合環境です(Azure DevOps ドキュメント) ※2: Azure DevOpsの拡張機能は以下のマーケットから選択して、DevOps環境にインストールし

                          アジャイル・スクラム開発に便利なAzure DevOpsの拡張機能まとめ - Qiita
                        • 移植性・可搬性の高いシェルスクリプトを書くための技術まとめ - Qiita

                          はじめに この記事は私がシェルスクリプト用のBDDテスティングフレームワーク ShellSpec の開発を通して得た移植性・可搬性の高いシェルスクリプトを書くための技術のまとめ、および関連する私の記事へのリンク集です。関連する新しい記事を書いたらここからリンクしますので、このページをストックするなりブックマークしておくと良いと思います。 この記事を変更通知目的でストックしている方へ 記事が多くなりリンク集のメンテナンスが大変になったため、この記事の定期的な更新はやめることにします。もし更新通知が必要な方は代わりに私をフォローしてください。ほとんどシェルスクリプト関係の記事しか書いていないためそれで十分目的を果たせると思います。 Q & A なぜシェルスクリプトで書くのか? シェルスクリプトには他のスクリプト言語にはない特徴が二つあります。一つ目はシェルスクリプトはコマンドを連携させるのに適

                            移植性・可搬性の高いシェルスクリプトを書くための技術まとめ - Qiita
                          • スクレイピング対策 – バレないようにする方法を解説 | Octoparse

                            「Webスクレイピングをばれないようにどうしたらいい?」Webスクレイピングツールを提供する私たちの元には、このような質問が度々送られてきます。 Octoparseをはじめとした「Webスクレイピングツール」が登場したことで、多くの分野でWebスクレイピングの活用が進んでいます。しかし、Webスクレイピングを問題視する声も少なくありません。例えば、Webスクレイピングによって相手サーバーに負荷が掛かり、最悪サーバーダウンにつながる可能性があります。もし、サーバーダウンによって相手の業務に支障がでたら、損害賠償責任や偽計業務妨害罪などに問われるでしょう。 そのため、Webサイト所有者はWebスクレイピングを制限するために、スクレイピング防止技術を装備して、Webスクレイピングはより困難になっています。しかし、スクレイピングを相手にバレないようにする方法はまだあります。 本記事では、スクレイピ

                            • SikuliX で GUI 操作を全自動化してみた|NAVITIME_Tech

                              こんにちは、けんにぃです。ナビタイムジャパンで公共交通の時刻表を使ったサービス開発やリリースフローの改善を担当しています。 今回は GUI 操作を全自動化した話をしようと思います。いわゆる RPA と呼ばれる自動化の話です。 GUI と CUI何らかの作業を行うときに皆さんは GUI と CUI のどちらを使いますか?どちらを使うべきかはケースバイケースだとは思いますが、どのように使い分けるのがベストなんでしょうか。少し考察してみたいと思います。 私は下記のようなケースでは GUI を使用します。 ・非開発者が行う作業 ・グラフ化などの視認性が求められる作業 ・色の確認などの UI のテスト一方で下記のような状況では CUI を使用しています。 ・正確さが求められる作業 ・作業スピードの向上 ・大量のテストを実行おおむね人の判断が必要な作業では GUI を使用し、定型化可能で CI に任せ

                                SikuliX で GUI 操作を全自動化してみた|NAVITIME_Tech
                              • 【CEDEC 2019】グリーが目指したブラックボックステストの自動化による、高品質なテストの実現と自動化部隊の育成 | gamebiz

                                【CEDEC 2019】グリーが目指したブラックボックステストの自動化による、高品質なテストの実現と自動化部隊の育成 9月4日~6日にかけて、パシフィコ横浜で行われたCEDEC 2019。その初日のセッションの中から、「ブラックボックステストの自動化による、高品質なテストの実現と自動化部隊の育成」の模様をお届けする。 登壇したのは、グリー<3632> Customer & Product Satisfaction部の赤﨑光氏、奥泉卓也氏の両名。 ゲームアプリ市場の成熟に伴いゲームで求められる品質レベルが年々高まり、ソフトウェアは複雑化する一方で、十分なテスト期間を確保できないケースも見受けられる。 ブラックボックステストを人力のみで実施していくことに限界を感じることも少なくない状況の中で、今話題の自動化は、効率的にテスト領域を拡張し、品質を高めることができる可能性のある手法の1つであると考

                                  【CEDEC 2019】グリーが目指したブラックボックステストの自動化による、高品質なテストの実現と自動化部隊の育成 | gamebiz
                                • EdgeとSeleniumを使用しPythonでブラウザの自動化を実行する

                                  EdgeとSeleniumを使用しPythonでブラウザの自動化を実行してみます。 なお、SeleniumモジュールはPythonの標準ライブラリではありませんので、事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。(Windows10)(pythonランチャーでの確認) ■Edgeのバージョンを確認する まず、Microsoft Edge(マイクロソフト エッジ)を起動します。ブラウザが表示されますので、上部メニューから右側の「・・・」をクリックします。クリックするとプルダウンメニューが表示されますので、「設定」をクリックします。 クリックすると、「設定」ページが表示されますので、左側のメニューから「Microsoft Edgeについて」をクリックします。 クリックすると「バージョン情報」が表示されますので、バージョ

                                    EdgeとSeleniumを使用しPythonでブラウザの自動化を実行する
                                  • PHPer のための PHPUnit と Selenium を使った
ブラウザテストのすゝめ

                                    - PHP Conference Okianwa 2019 in Japan English Title: Evolution for Browser Testing with the PHPUnit and the Selenium for PHP users.

                                      PHPer のための PHPUnit と Selenium を使った
ブラウザテストのすゝめ
                                    • 第52回 情報科学若手の会 参加者の受付を開始しました | 情報科学若手の会

                                      第52回 情報科学若手の会 参加者・発表者の受付を開始しました 情報科学若手の会とは 情報科学若手の会とは、情報科学に携わる学生、若手研究者、社会人のディスカッションと交流の会です(昨年の開催報告)。 幅広い分野から参加者を募り、互いの交流を深めることで新たな発想が生まれることを目指しています。 インフォーマルな雰囲気ですので、これから研究を始めるという方も是非ご参加下さい。 招待講演 講演者 サイボウズ・ラボ株式会社 主幹研究員 / 一般社団法人未踏 理事 / 東京工業大学特定准教授 西尾泰和 様 プロフィール 2002年プログラミングシンポジウム初参加、その場で勧誘され2005〜2012に情報科学若手の会に参加。2002年時点で京大情報学部2回生、その後NAISTで博士号を取り、東大での学振PDを経て、2007年からサイボウズラボにて知的生産性の研究に携わり、現在に至る。2011-20

                                        第52回 情報科学若手の会 参加者の受付を開始しました | 情報科学若手の会
                                      • 「手作業でいい」からトレンド変化 AIでテストを自動化するMagicPodの躍進

                                        ソフトウェア開発の1/3の工数を占めるテストをAIで自動化するMagicPod。Webサービスやアプリのリリースサイクルが高速化したことで、市場トレンドはこの数年で大きく変化し、導入は一気に加速しているという。同社の伊藤望CEOにサービス概要とそのメリットについて聞いた。 大注目のテスト自動化 成長加速でユーザーは500社超え ソフトウェアのテストは、開発工程のうち実に1/3を費やすと言われている。当然、同じ手作業のテストを毎回行なうのは手間とコストがかかりすぎる。この課題を解決するのが、今回紹介するテスト自動化ツールのMagicPodになる。 テスト自動化のツールは従来からあったが、大きな課題はエンジニアによるコーディングや環境構築が必要という点だ。その点、MagicPodのメリットはノーコードでテスト手順を作成できるということ。動画を見れば一目瞭然だが、AIがアプリの画面から項目を自動

                                          「手作業でいい」からトレンド変化 AIでテストを自動化するMagicPodの躍進
                                        • Puppeteerでスクレイピング | きるこの日記帳

                                          静的サイトから 30 ページぐらいのテキストを抽出して json にしたかったため、 Puppeteer でスクレイピングをすることにした。 なぜPython3 + Selenium + BeautifulSoupじゃないのか このブログがフロントエンドの備忘録のため。 Puppeteerとは https://github.com/GoogleChrome/puppeteer Chrome / Chromium を動かす Node のフレームワーク。 デフォルトは Headless(GUI を持たず、コマンドで操作できる)で、ブラウザを出しての操作も可能。 インストール てきとうなプロジェクトを作成し、Puppeteer をインストール。 const puppeteer = require('puppeteer') (async () => { const browser = await

                                            Puppeteerでスクレイピング | きるこの日記帳
                                          • 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita

                                            はじめに 本記事の目的は、Webコンテンツ収集の自動化に興味ある方が、理想的なクローラーを開発できるようになる事です。そのために、クローラー開発の12ステップを紹介します。 クローラーとは、Webサイトを巡回し、コンテンツを記録・収集する自動プログラムを言います。その中でも理想的なクローラーとは、法律や各人の倫理観に従い、対象Webサイトの運用を妨害しないものであると私は考えています。 理想的でないクローラーは、Webサイトからアクセスを拒否されたり、エラー画面に強制遷移されたりします。 退屈な作業はパソコンにまかせ、トラブルは回避しつつ、あなたの可処分時間を増やしていきましょう。 ※本記事は個人でのクローラー開発を想定しています。 ※本記事の内容はクローラー開発・運用のトラブルを100%防げるものではありません。ご自身の責任と判断でご活用ください。特に、法律に関する記述は、法律家でない著

                                              【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita
                                            • Seleniumでよく使うChromeOptionsまとめ - ボドテック!!

                                              Seleniumでスクレイピングをする時によく使うChromOptionsをまとめました。 筆者はよくdockerのコンテナ環境でスクレイピングを行うため、それに関係したオプションが多くなっています。その他のオプションを知りたい方はこちらを参考にしてください。 オプションは下記のようにして使用します。 from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("--headless")# ヘッドレスで起動するオプションを指定 driver = webdriver.Chrome(options=options) driver.get("https://hogehoge.com") seleniumでスクレイピング環境を簡単に構築したい方は、下記のページを参考にしてください。

                                                Seleniumでよく使うChromeOptionsまとめ - ボドテック!!
                                              • Puppeteerを使ってZennのBookをPDF出力する

                                                20211103 - Zennの仕様に変更があり、Zennの隠し機能の/printは利用できなくなっております はじめに Zennには隠し機能で/printのパスがあります。 この/printパスには1ページにすべてのチャプターが表示されるので、このページを利用しBookのページをPDF化できます。 しかし!!!単純に印刷するだけでは、一部レイアウトやスタイルに問題があります。 そのため手動で、ちまちまスタイルを追加し、レイアウトを修正してPDF化するのは結構大変です。 なので今回Puppeteer(パペティア)を使ってPDF出力を自動化するスクリプトを作成したので紹介します。 スクリプトはGithubのレポジトリにあります。 Puppeteer(パペティア)とは? PuppeteerとはChromeやChromium(chromeのベースとなるOSSプロジェクト)をDevTool Pro

                                                  Puppeteerを使ってZennのBookをPDF出力する
                                                • Cypressで送る快適E2Eライフ - Qiita

                                                  はじめに こんにちは、 SmartHR Advent Calendar 15日目の @aomoriringo です。 SmartHRのQAグループでSET(Software Engineer in Test)として働いています。 SETとしては1人目として入社したため、その時点ではE2Eテスト自体が存在していませんでした。 現在はCypressでのE2Eテストに取り組んでおり、これまでに溜まった知見をご紹介したいと思います。 E2Eテストの位置付け SmartHR Advent Calendar 2日目で、 wata727さんが Capybaraによるテストの話を書いてくれています。 Capybaraでブラウザを介したテストコードを書いているのに、それとは別になぜCypressによるテストを書く必要があるのでしょうか? ここで、「テストから見えてくるグーグルのソフトウェア開発」に出てくる

                                                    Cypressで送る快適E2Eライフ - Qiita
                                                  • 【初心者向け】Webスクレイピングのやり方を徹底解説 – 株式会社ライトコード

                                                    WebスクレイピングについてWebスクレイピングは、HTMLから自分が欲しいと思うデータを取得すること。 これを行うプログラムをスクレイパとも呼びます。 Web上のデータを取得する上では、欠かせない技術となっています。 クローラにより、自分が欲しいと思うデータのあるWebサイトにアクセスし、スクレイパによって情報を取得していくという流れです。 スクレイピングをする前に スクレイピングは、HTMLとCSSを知っておかなければ、何もできません。 そのため、自信のない人は「Progate」などで復習、または学習しましょう。 また、Selenium(セレニウム)を使ってのスクレイピングやDOM解析には、JavaScriptの知識が必要になる事がよくあります。 JavaScriptについてよく知っておくのも、スクレイピングに役立ちます。 スクレイピングを行う際の注意点スクレイピングは、禁止しているサ

                                                      【初心者向け】Webスクレイピングのやり方を徹底解説 – 株式会社ライトコード
                                                    • スクレイピング対策の対策についての所感 - Qiita

                                                      スクレイピング対策について 直近でECサイトをいくつかスクレイピングする業務に携わっていました。 ただ、スクレイピング用のスクリプトを回していてしばらくすると 以下のようなポップアップが出ることがあります。 例えばこのAmazonの例だと、このポップアップが出るとこいつが邪魔をして処理が進まなくなってしまいます。 サイト側も情報を取られたくないので、こういった外部からの機械的なアクセスを遮断するための対策を講じています。 「いやWebサイト上で誰でも見れる情報だから守る意味がないのでは?」と思った方もいるかもしれませんが、ECサイトではレビュー情報や販売データを企業に販売しているケースがあり、そのデータが勝手に抜かれていると困るのです。 私の場合ECサイトの動向を追うため定期的に同じサイトをスクレイピングしていたため、よくこの類のポップアップに邪魔されていました。 そうなってくると「スクレ

                                                        スクレイピング対策の対策についての所感 - Qiita
                                                      • PythonでSeleniumするときに書いておいたほうがいいコード - Qiita

                                                        from selenium import webdriver from selenium.webdriver.common.by import By from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.chrome.service import Service options = webdriver.ChromeOptions() options.add_argument("start-maximized") # 画面表示を最大にする options.add_experimental_option("excludeSwitches", ["enable-logging"]) # よくわからん長文をコンソールに表示させない s = Service(ChromeDriverManage

                                                          PythonでSeleniumするときに書いておいたほうがいいコード - Qiita
                                                        • Rust on Nails | Cloak

                                                          Rust on Nails A full stack architecture for Rust web applications This article is now outdated and has been replaced This article was more popular than we expected and as we added more content grew beyond the size of a blog post. It is now available on it's own mini site at https://rust-on-nails.com The old article To build a web application you need to make architecture decisions across a range o

                                                          • 【学習ロードマップ付き】実例で理解するPythonで自動化できること5選!

                                                            こんにちは、業務自動化ツール開発担当の吉池(@valmore_myoshi)です。 Pythonによる自動化が注目を集めていますね。よくあるルーチンワークをいくつか取り上げてPython自動化の方法を解説する本も出版されています。 本記事をご覧いただいている皆様もPythonを使った自動化に関心をお持ちだと思いますが、一口に自動化といってもできることはたくさんあります。 そこで本記事では、Pythonを使って自動化できることを5つに分け、実例を交えて解説します。自動化したいことが見つかったらすぐに学習に移れるようロードマップもご用意! ぜひPython自動化の入門としてお役立てください。 Pythonを選ぶ理由 Python自動化について知る前に、数あるプログラミング言語のなかでもなぜPythonが注目されているのでしょうか? その理由は以下の2つあります。 学習コストが低いライブラリが豊

                                                              【学習ロードマップ付き】実例で理解するPythonで自動化できること5選!
                                                            • 【Python】Seleniumでページ全体のスクリーンショット撮るならマルチプロセスで! - Qiita

                                                              はじめに Seleniumでページ全体のスクリーンショットを撮る際,以下のようなプログラムをよく目にしますが,複数のページを撮りたい場合にはあまりふさわしくないように感じます。 driver.get(url) w = driver.execute_script('return document.body.scrollWidth') h = driver.execute_script('return document.body.scrollHeight') driver.set_window_size(w, h) driver.save_screenshot('screenshot.png') 上記手法の問題点 別のページにアクセスする前にサイズをリセットする必要がある。 ページによっては画面のサイズやアスペクト比で表示形式を変えている場合があります。PC用(スマホ用)デザインで統一したい場

                                                                【Python】Seleniumでページ全体のスクリーンショット撮るならマルチプロセスで! - Qiita
                                                              • Docker上で、Python + Selenium + Headless Chromeを使用してWEBスクレイピング – 趣味で書いているプログラムの備忘録

                                                                Docker上で、Python + Selenium + Headless Chromeを使用してWEBスクレイピング Docker上で、Python + Selenium + Headless Chromeを使用してWEBスクレイピングをしていきます。Dockerは、すでにインストール済みであるとします。 Dockerfile FROM python:3 RUN apt-get update && apt-get install -y unzip #install google-chrome RUN wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add && \ echo 'deb [arch=amd64] http://dl.google.com/linux/chrome/deb

                                                                  Docker上で、Python + Selenium + Headless Chromeを使用してWEBスクレイピング – 趣味で書いているプログラムの備忘録
                                                                • 前提条件と制限 - Power Automate

                                                                  重要 Selenium IDE は廃止され、2023 年 2 月 28 日以降は機能しなくなります。 Windows レコーダー (V1) は廃止され、機能しなくなりました。 これらのソリューションで作成されたフローをデスクトップ用の Power Automate に移行するか、またはそれらを削除します。 前提条件 MSI インストーラを使って Power Automate をインストールするための管理者権限を持つアカウント Microsoft Store からインストールする場合は、標準の Windows アカウントで問題ありません。 Power Automate にサインインするアカウント アカウントの種類ごとに利用できる機能を確認してください。 次のハードウェアが搭載されたデバイス (これらの要件は、デスクトップ フローに関係するアプリケーションに必要なリソースを含みません): 最小

                                                                    前提条件と制限 - Power Automate
                                                                  • chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード1行も書かずに出来た😅|hantani

                                                                    chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード1行も書かずに出来た😅 ある所で、「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」は案件定義で3日かかりますよと書いてありました。 chatGPT-4使ったらどうなるんだろうと思ってやってみました。 結論をいうと「余裕で案件定義もプログラムもコードを一行も書かずに出来ました」 以下、「Q.」が質問(プロンプト)です。「A.」がchatGPT-4からの回答です。 プロンプタ(魔術師)とchatGPTとのリアルなやり取りです。長いですよ😅 Q.あなたはプログラマです。ウェブスクレイピング→情報をPDF保存の自動化ツール開発はどのような案件がひつようでしょうか? A.ウェブスクレイピングと情報をPDF保存の自動化ツールを開発するには、以下の要件が必要です。 プロジェクトの

                                                                      chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード1行も書かずに出来た😅|hantani
                                                                    • Selenium・puppeteer・Playwrightで無限スクロールする - 新しいことにはウェルカム

                                                                      ここしばらく、Selenium・puppeteer・Playwrightの使い方をまとめていました。 まとめが長くなってきたので、ある程度の説明や手順が必要な操作は別記事にまとめようと思います。 ここでは、Selenium・puppeteer・Playwrightそれぞれで、無限スクロールする方法をまとめました。 スクロール 無限スクロールの手順に入る前に、まずは基本となるスクロールをする方法です。 JavaScriptのElement.scrollTopを使って、ウィンドウのdomのスクロール位置を移動させる方法もあるのですが、ここではElement.scrollIntoView()を使って、ウィンドウ内の一番下のdomが見えるようにスクロールさせる方法を使います。 参考として最後にElement.scrollTopを使った方法も記載しました。 sample html ウィンドウの中に、

                                                                        Selenium・puppeteer・Playwrightで無限スクロールする - 新しいことにはウェルカム
                                                                      • 「テスト駆動開発の『駆動』は誤訳なんじゃないか」と言われて改めて考えた話 - ブロッコリーのブログ

                                                                        先日、社内のSlackでこんなことを言われました。 TDDとかのdrivenを駆動って訳すの誤訳じゃないのかと思うんですけど、どう思いますか? 意味合いは駆動より操縦とか運転なんだと思うんですが そこで「駆動」の意味を改めて考えてみました。 辞書で調べてみる goo辞書では以下のように書かれています。 [名](スル)動力を伝えて動かすこと。「四輪駆動」「駆動輪」 書籍から考える 書籍『エクストリームプログラミング』の第2章には以下のように書かれています。 「運転というのはね、車を正しい方向に走らせることじゃないの。常に注意を払って、こっちに行ったら少し戻して、あっちに行ったら少し戻して、そうやって軌道修正していくものよ」 これがXPのパラダイムだ。注意して、適応して、変更する。 なぜ「駆動」が誤訳だと感じてしまったのか テスト駆動開発(TDD)は「test-driven developme

                                                                          「テスト駆動開発の『駆動』は誤訳なんじゃないか」と言われて改めて考えた話 - ブロッコリーのブログ
                                                                        • テストデータ作成にCodeceptJSを使ってみた | DevelopersIO

                                                                          はじめに 事業開発部でQAエンジニアをしている長友です。 今日はCodeceptJSというものを使ってみましたという記事です。 CodeceptJSはE2Eテストのフレームワークです。 今回はこちらを使ってテストデータを作成してみたというお話です。 経緯 急遽テスト実施をしてほしいということでとある案件に送り込まれました。 何もわからない状態で入ったので、どんな状況なのかやどんな感じでテストが行われているのかもわかってませんでした。 CodeceptJSについては、「Software Design 2020年6月号」〜「Software Design 2020年8月号」まで連載されていた「はじめよう、高速E2Eテスト」という記事を見たりしていて知っていました。そして、2020年の年末に開催されたソフトウェアテスト自動化カンファレンス2020で連載記事を書かれていた末村さんが「"全部乗せ"

                                                                            テストデータ作成にCodeceptJSを使ってみた | DevelopersIO
                                                                          • スクレイピング(Selenium, Beautiful Soup)をサーバー上(Heroku)で定期実行させる方法

                                                                            この記事では、Pythonで作成したスクレイピング(Selenium, Beautiful Soup)のプログラムを、サーバー上(Heroku)に設置し、決まった時間に定期実行させる方法を紹介しています。 今回、AWSやGCPと言った数あるIaaSやPaaSの中で、HerokuというPaaSを選んだ理由は4つあります。

                                                                              スクレイピング(Selenium, Beautiful Soup)をサーバー上(Heroku)で定期実行させる方法
                                                                            • 最新自動テストツール『Playwright for Python』さわってみた - Qiita

                                                                              JavaScript向けのE2E自動テストツールであった「Playwright」が、 Python向けに「Playwright for Python」としてプレビューリリースされたということで早速さわってみました。 Announcing Playwright for Python: Reliable end-to-end testing for the web Playwrightとは PlaywrightはChromium, Firefox, Webkitを単一のAPIで自動化するライブラリです。 これを利用することで高速で信頼性の高いクロスブラウザテストが実施できるようになります。 Playwrightの利点 公式ドキュメントでは以下の4点が述べられています。以下拙訳です。 1. 全てのブラウザをサポート Chromium, Firefox, Webkit(Safari)をサポートして

                                                                                最新自動テストツール『Playwright for Python』さわってみた - Qiita
                                                                              • Kaigi on Rails 2021で「Railsのシステムテスト解剖学」の話をした - YusukeIwakiのブログ

                                                                                10/22(金)に、Kaigi on Rails 2021に登壇した。登壇者としての回想日記。 kaigionrails.org 登壇のきっかけ なんだかんだで1年半くらいRuby向けにブラウザの自動操作ライブラリを作っている - YusukeIwakiのブログ この記事を書いていた頃、実はRubyKaigi 2021にCFPを出していたのだけど、結果はrejected。 ブラウザの自動操作にSelenium以外の選択肢を増やしたいという感じの内容だったのだけど、まーRuby的な面白さはなにもないし、もしかすると「それはRailsの界隈で話せばいいんでは」と解釈されたのかもしれない。ともかく、RubyKaigi 2021のCFPはrejected。 ただ、自分の中ではそれなりに頑張っていた内容だったので、さすがにどこかで供養しておかねばと思った。 で、その週にたまたま参加していた Fuku

                                                                                  Kaigi on Rails 2021で「Railsのシステムテスト解剖学」の話をした - YusukeIwakiのブログ
                                                                                • PythonのSeleniumを使って、起動済みのブラウザを操作する。 - Qiita

                                                                                  はじめに お久しぶりです。就活が忙しくて、あんまり技術系の勉強が出来なかったですが、就活が無事終わったので、記事を書きます。実はバイト先の人に頼まれた、業務自動化に関して、ぶち当たった壁についてまとめます。 また、この記事のC♯バージョンとして、以下の記事を参考にしました。@yk109さんには本当に感謝しています。それに、Teratailの記事もとても参考になりました。URLを載せておきます。 ・参考記事:SeleniumのChromeDriverで起動済みのブラウザを操作する ・参考記事:Seleniumで既に開いているウィンドウ 誰向けの記事? この記事は、 ・”起動済み”のブラウザを、Pythonで自動操作したい人(Windows上) ・pythonによるseleniumがとりあえず使える人 に向けた記事です。seleniumのインストールとかは省きます。他の記事を参考にしてください

                                                                                    PythonのSeleniumを使って、起動済みのブラウザを操作する。 - Qiita