BackstopJSの落ちたテストをリトライしてレポートを1つにまとめてくれるコマンドラインツールを作った - hitode909の日記
社のプロダクトではビジュアルリグレッションテストのためのツールであるBackstopJSをここ半年くらい使っている。referenceという正解データの画像と、testとして開いてキャプチャした画像を見比べて、差分があれば失敗、というテストを書ける。テストケースの設定がJSONを書くだけなのでテストを書くコストが低いのと、結果的に画像に出る形でテストすることを強制される、というシンプルさが気に入っている。過去にはE2Eテストをいろいろ試したけどどれも最終的に滅びてしまい、BackstopJSはそんななか生き残っている希望のテクノロジー。 リリース前の確認フローにも使っているし、書いてる途中のコードの動作確認にも使えて、数ピクセルの意図しないズレを検知できたりしている。 便利だけど、運用上苦労している点もあって、テストの書き方が悪かったり、ネットワークの調子が悪かったり、で確率的に落ちるテス
メルペイ iOS にスナップショットテストを導入した話
Merpay Advent Calendar 2019 の16日目は、メルペイ iOS チームの @akifumi がお送りします。 メルペイ iOS の品質向上を目的に、スナップショットを用いたテストを行うことができる iOSSnapshotTestCase を導入した話について記載します。 目次 iOSSnapshotTestCaseとは iOSSnapshotTestCaseの導入方法 導入準備 インストール Podfile 導入のながれ 環境変数の定義 スナップショットの作成 SnapshotTestCase.swift UIViewControllerのテスト例 CALayerのテスト例 capture_snapshots lane スナップショットテスト snapshot_test lane CircleCIのartifactsに失敗した画像を保存 CircleCIのWorkf
人工知能を用いてWebサイトのテストを自動化する
お久しぶりです、田中です。 先日、ハンガリーからITWare kft.社が来日されたこともあり、共同でセミナーを行いました。ITWare社とは一緒にプロジェクトを行ったり、エンジニア同士の交流もあったりと、長い付き合いをさせて頂いています。 さて、ITWare社ではCV＆Deep Learningを用いた自動化テストを検討されているという事で、私も実際に世の中に出ている「人工知能」を用いたテストソリューションをいくつか評価しました。 自動化テストとは？ 関数単位で実行するユニットテストや、WebDriverを用いたE2Eテスト、そしてSeleniumなど、Webアプリケーションをテストするための手法とツールには色々なものがあります。これらのテストツールは、人間がポチポチと手を動かして動作を確認するのではなく、あらかじめ作成したレシピに従って、ツールが自動的にテストを行っていきます。 また、
ユニットテストをしよう
【最新JavaScript開発～ES2017対応モダンプログラミング】 株式会社インプレスR&Dより発行された「最新JavaScript開発～ES2017対応モダンプログラミング」の立ち読みコーナー第5回です。 ユニットテストは、メソッドや関数など小さなユニット単位に絞り込んだ自動テストです。現代的なプログラミングに欠かせないものです1。 効能としてはコードの信頼性が向上するというのはもちろんですが、何より重要なことはテストのコストが下がることです。手動でテストを毎回行っていたらとても手間がかかりますが、ユニットテストならば勝手にテストをしてくれるので、コードを書き換えるたびにテストをするというような開発スタイルで効率が大幅に向上します。 副次的な効果としてより、良い設計をもたらすという点もあります。これはユニットテストをきちんと行おうとすると、設計もそれに合わせたものになるためです。自然
Headless Chrome でブラウザテスト自動化入門 | Wedding Park CREATORS Blog
こんにちは。サーバーサイドエンジニアの@akane_256です。 今日は、Headless Chromeを使ったブラウザテストの自動化（入門）について書きたいと思います。 目次 Headless Chromeとは？ 興味を持った背景 今回やったこと 実際のソースコード まとめ Headless Chromeとは？ Chrome59（2017/6月頃）から搭載された機能 ChromeをGUIなしでコマンドラインから実行できる DOMのノードを取得したり、画面キャプチャを撮ったりできる ツールと組み合わせて自動テストに使ったりする ブラウザを開いて、特定のページを開き、自分で目視確認しなくても、 あらかじめ作ったプログラムをコマンドから実行をすれば 自動でキャプチャをとったり指定の要素を取得したりすることができます。 興味を持った背景 私は普段 Ringraph という結婚指輪・婚約指輪の口コ
機械学習自動テストツール「Magic Pod」を使ってみよう(Stack Exchangeアプリ編) | MagicPod Tech Blog | MagicPod: AIテスト自動化プラットフォーム
※この記事は古くなっていて、現在のMagic Podの機能とは異なる部分がたくさんあります。 こんにちは、戸田です。 みなさんMagic Podしてますか？ Redditアプリの回、かんたんだったでしょう？ えっ、まだしてない？ そうですね、まだアサーションのやり方をご紹介していませんでした。 では、試しにGoogle Playで配布されているStackExchangeアプリを題材に、Magic Podで最初のアサーションをやってみましょう。 Stack Exchangeアプリのテストをしてみよう 次の画面遷移図が示すシナリオに沿って、Stack Overflow上でのタグ検索で得られる記事に同じタグが含まれているかを確認してみましょう。 Magic Pod上で、Stack Exchangeアプリのプロジェクトとテストケースを新しく作るところまでは済んだところから始めます。 最初の画面です
3年以上運用しているアプリにUIテストを導入した #orecon_ios #fastlane_study_jp - Qiita
10/3に開催された俺コン Vol.1 Day.2にて発表した資料です。 UIテストの辛み いきなり初期画面が起動する 毎回要素を検索するのが面倒 遅い 今回は「いきなり初回画面が起動する」点と「毎回要素を検索するのが面倒」な点を改善したいなと思いました。シミュレーターが遅い問題はBluepill等を利用したりお金で解決するのが良いかと思います。 UIテストを導入する為にやった事 アプリ起動時に文字列でViewControllerを指定 UIテストからViewControllerを指定してテスト ページの要素を整理 UIテストからモックを渡してテスト 下記に具体的に書いていきます。 1. アプリ起動時に文字列でViewControllerを指定 アプリ起動時に文字列でViewControllerを指定して起動出来る様にしました。こちらの方法はiOSDC 2016の@dealforestさん
マイクロソフト、AIでソフトウェアのバグや脆弱性を探る「Microsoft Security Risk Detection」を発表
マイクロソフト、AIでソフトウェアのバグや脆弱性を探る「Microsoft Security Risk Detection」を発表 バグや脆弱性を発見する有名な手法のひとつに「Fuzzing Test」があります。Fuzzing Testとは、検査対象のソフトウェアに問題を引き起こしそうなデータ（これが「Fuzz」と呼ばれる）を大量に送り込み、その応答や挙動を監視する、というものです。 これまでFuzzing Testは一般にセキュリティテストの専門家などがテストデータを作成し、実行し、その挙動を監視する作業を行ってきました。また、すでに一部のリスク検出サービスではこうした作業にAIの利用も始まっているとのこと。 Microsoft Security Risk Detectionは、AIを使ってこうした作業を自動化し、クラウドによって大量に実行すると、マイクロソフトリサーチのDavid M
QAのためのChatOps！テストデータを作成するSlackコマンドを作ってみた | メルカリエンジニアリング
こんにちは。メルカリのテスト自動化エンジニアとして、スマホアプリのテスト自動化をぶりぶりしている@daipresentsです。 ChatOpsが運用の効率化として誕生したのであれば、それはソフトウェア開発に関連するどんな手作業にでも適用できそう。そう思いついたので、Slackから簡単にテストデータを作れるSlack Commandを作ってみました。QAエンジニア、テストエンジニアにモテそう。 なぜChatOpsなのか 僕は今、スマホアプリのテスト自動化のお仕事をしていて、テストエンジニアと働いています。彼らは僕のユーザーでもあります。 そのなかで、どのあたりから自動化していくとハッピーかをヒアリングしたところ、一番人気がリグレッションテスト。まぁ、そりゃそうだ。それ以外だと「日々のテストデータ作成」という意見が多く出てきました。 たしかに、ユニットテストレベルであれば、プログラムで簡単に実
UIテスト自動化でSIerのExcelスクショは滅びるのか - てんてんのぶろぐ
先日 JJUG CCC 2016 Fall に参加してきたってブログに書いたとおり、JJUG CCC 2016 Fallに参加してきました。 直接セッションは聞いていないのですが、 @backpaper0さんの 「Selenideを試行錯誤しながら実践するブラウザ自動テスト」というセッション中に流れてきたツイートがきっかけでタイトルの内容について考えてみたので書いてみます。 @backpaper0 さんの当日の資料は以下になります。 Selenideを試行錯誤しながら実践するブラウザ自動テスト 考えるきっかけになったのは、@khasunuma さんの以下ツイート。 @khasunumaさんは同イベントで Payara Micro の設計と実装 という発表をしています。Payara Microを利用している人には有用な情報が目白押しなので、見ることをオススメします。 Selenide導入した
ディープラーニングで簡単に自動テストスクリプトが作れる「Magic Pod」 | 品質向上ブログ
今日は、今話題のAI(人工知能)技術「ディープラーニング」を使い、誰でも簡単にモバイルアプリの画面自動テストスクリプトが作成できるWebサービスのお話です。 ※2017年7月24日よりオープンβ版を提供開始しました！ AppiumやSeleniumのような画面を自動操作するテストツールはとても便利ですが、一方で、こうしたツールを利用していないプロジェクトもたくさんあります。何がツールの導入を妨げているのでしょう? 筆者は、次の2つがとりわけ大きな問題だと考えています。 システムの内部情報をある程度理解しないと、テストスクリプトを書くこと・読むこと・編集することが難しく、それなりのスキルが必要。 テストスクリプトの作成に時間がかかりすぎる。特に、読みやすく変更に強いスクリプトを作成しようとすると、かなりの手間がかかる。 これらの問題を、ディープラーニングによる画像認識を使って解決しようとして
OSSのサーバテスト自動化ツール徹底検証 2016年版 ～Infrataster編――手間取るテストエビデンス作成をどう自動化するか～
OSSのサーバテスト自動化ツール徹底検証 2016年版 ～Infrataster編――手間取るテストエビデンス作成をどう自動化するか～：実際に検証済み！OSS徹底比較（6）サーバテスト自動化【後編】（1/6 ページ） 各種オープンソースソフトウェアのうち、特に人気の高いOSSをピックアップ。実際の検証結果をまとめた本連載。前編で解説したサーバテスト自動化ツール「Serverspec」に続き、今回は「Infrataster」を紹介する。 はじめに 現在、一部のIT企業では“Excel方眼紙”で作成されたテスト設計に基づき、テスト実施者が手動でコマンドや画面操作を実行している。そのテスト結果をスクリーンショットの形でExcelシートなどに張り付けて、エビデンスとして記録している例が多い。 しかし、この作業は内容の割に非常に手間が掛かる上、手作業であるため、コマンドの間違いやスクリーンショットの
[iOS] UI自動化テストフレームワークEarlGreyでテストを書いてみた(Swift版) | DevelopersIO
1 はじめに EarlGreyでは、テストコードをObjective-C／Swiftのどちらでも書くことができます。（ターゲットもどちらにでも対応できます） 前回は、テストコードをObjective-Cで書いたのですが、今回は、同プロジェクトに新しいテストスキームを追加してSwiftでテストを書いてみました。 前回のObjective-Cによるテスト、及びEarlGreyについては、下記をご参照ください。 [iOS] 明確で簡潔なテストを書くことができる iOS UI自動化テスト・フレームワークEarlGreyを試してみました。 [iOS] UI自動化テストフレームワークEarlGreyでテストを書いてみた(Objective-C版) 2 EarlGreyの組み込み (1) テストの追加 メニューからEditor - Add target - iOS - Test - iOS Unit T
![[iOS] UI自動化テストフレームワークEarlGreyでテストを書いてみた(Swift版) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/971e30fe24c09f9647505ded03a241264922973b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F03%2F0052.png)
【iOS/Android】最新事例から学ぶ！モバイル向けテスト手法勉強会に行ってきた - 悪あがきプログラマー
【iOS/Android】最新事例から学ぶ！モバイル向けテスト手法勉強会 - connpass 会場は名刺共有サービスで有名なSansan株式会社さんでした。 とってもおされ。 いつもは資料のまとめとか他力本願なのですが、自分でもひと通り観直したかったのでまとめてみました。 今回の勉強会はiOSとAndroidの両方を対象としたモバイル向けの内容となっています。ただ、僕はAndroidには明るくないのでコメントはiOS寄りになります。 資料がないものは公開され次第追加します。 「テストの種類とBDD」『iOSアプリ テスト自動化入門』著者 長谷川氏 テストの種類とBDD #33testing from Koji Hasegawa iOS自動化入門の著者さんです。僕も買いました。 iOSアプリ テスト自動化入門 作者: 長谷川孝二出版社/メーカー: 秀和システム発売日: 2014/03/18
Android SDK標準の何でもテストツールuiautomatorの基本的な使い方
uiautomatorは、Android SDKに標準で含まれているテスト自動化ツールです。Apache License, Version 2.0のライセンスで提供されています。 uiautomatorの主な特徴は以下の通りです。 Android 4.1以上で実行できる（端末の回転およびスクリーンショット撮影には、Android 4.2以上が必要） テストスクリプトはJava言語で記述 他者の署名した（Google Play Storeからダウンロードしたものも含む）アプリもテストできる すなわち、テスト対象の端末上にインストールされ、動作しているアプリであれば、何でもテストできる 特に、最後に挙げた特徴はuiautomator最大のセールスポイントといえます。一連のテストで、テスト対象アプリでないものを操作したいケース（例えば、設定アプリでBluetoothやWiFiをON／OFFするな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft、自動UIテストの作成支援ツール「WinAppDriver UI Recorder」を公開／選択要素の検査とそれを示すXPath式の取得が可能。ユーザーアクションの記録も
UI Automator 2.0でUIテストをする - Qiita
karmaを使ったSPA向けE2Eテスト技法