なぜ自動テストの導入は失敗するのか？ - プログラマーの脳みそ
開発室の雑談。営業側のマネージャが言うには 「今のプロジェクトで自動テストの導入を試みている話をしたら、XXXさんのところでも過去にいくつか導入を試みたけどもみんな上手くいかなかったって話になって」 なるほど？ まあ確かに自動テストはシステム開発にとって魅惑の技法ではあるものの、では導入がうまくいっているか？ というと普及率は低いと言わざるを得ない。私がお手伝いしたプロジェクトでは、元請け側から自動テストをやるお達しが来たわけだが、紆余曲折あって掛け声倒れのような状態になってしまった。 ビジネス書の煽りタイトルのような本件だが、古式ゆかしき受注生産の業務システム開発プロジェクトに自動テストを導入しようとして失敗する事例を聞いたので、僕なりに分析して見出した要素を挙げておこうと思う。 V字モデル ソフトウェア開発の手法としてV字モデルというものがある。 オーダーメイドでシステムを作るにあたっ
「さよなら Flaky 。不安定なテストの探し方」というお話 - Cybozu Inside Out | サイボウズエンジニアのブログ
みなさんこんにちは。サイボウズの三苫です。 本日は特にどこのイベントでも発表する予定もなく、実際に発表されなかった、不安定なテスト(Flaky Test)対策のお話をスライド & トークスクリプト形式で公開します。 不安定なテスト対策は、どこの現場でも継続的にされているかと思いますが私たちの一つの事例が皆様の対策の一助となれば幸いです。 さよなら Flaky 。不安定なテストの探し方 皆さんこんにちは。サイボウズの三苫と申します。本日は「さよなら Flaky 。不安定なテストの探し方」というお話をします。 私たちのお悩みごと 早速ですが私たちが抱えていた悩み、つまり前提となる課題からお話します。 サイボウズの kintone.com 基盤チーム(私の所属するチーム)はE2Eテストを使って AWS 上に構築した基盤上で kintone というサービスの動作保証をしようとしていました。 幸運に
BackstopJSの落ちたテストをリトライしてレポートを1つにまとめてくれるコマンドラインツールを作った - hitode909の日記
社のプロダクトではビジュアルリグレッションテストのためのツールであるBackstopJSをここ半年くらい使っている。referenceという正解データの画像と、testとして開いてキャプチャした画像を見比べて、差分があれば失敗、というテストを書ける。テストケースの設定がJSONを書くだけなのでテストを書くコストが低いのと、結果的に画像に出る形でテストすることを強制される、というシンプルさが気に入っている。過去にはE2Eテストをいろいろ試したけどどれも最終的に滅びてしまい、BackstopJSはそんななか生き残っている希望のテクノロジー。 リリース前の確認フローにも使っているし、書いてる途中のコードの動作確認にも使えて、数ピクセルの意図しないズレを検知できたりしている。 便利だけど、運用上苦労している点もあって、テストの書き方が悪かったり、ネットワークの調子が悪かったり、で確率的に落ちるテス
あなたが自動テストを行う目的は何ですか？ - Qiita
この記事はソフトウェアテスト Advent Calendar 2019の24日目です。 前日の記事はまつや大先生のクリスマススペシャル 「AIが使われたオススメ機能」のテストのやり方でした。そういえば書籍化決定したそうですね！！！おめでとうございます！！！ TL;DR 緑色の会社のテスト自動化/SETチームのマネージャー( https://twitter.com/ozonohiroaki ) スクラッチから自動テストを始めたときの失敗談 目的って大事 はじめに もともと今回のアドカレではゴリゴリの技術記事を書かせていただく予定にしていたのですが、あるツイートの反応を受けてちょっと内容を泥臭いものに変更させていただくことにしました。 そのツイートというのがこちら 福岡でテスト自動化ミートアップしようと思ってるんですが需要ありますかね？ 気付けば丸3年で相当な数の失敗経験させていただいてること
「テストの未来、品質の未来~⾃動化はテスター撲滅の夢を⾒るか？~」 聴講レポート #JaSST19Tokyo #JaSST - ブロッコリーのブログ
目次 目次 発表スライド 当日のツイートまとめ 自己紹介 山口鉄平（以下、山口） 大園博昭（以下、大園） 木住野奈夫人（以下、木住野） 根本征（以下、根本） 松尾和昭（以下、松尾） モデレータ：藤原大（以下、藤原） 本セッションのコンセプト テスト自動化への期待とその結果 期待 結果 なぜコスト削減が消えた？ テスト自動化の課題とその対策 テストが失敗したわけではないが、別の要因（データ作成とか）でテストに失敗してしまう 自動化チームがいない、または立ち上げが難しい、人材がいない、または少ない 何を自動化の対象とするか？どのテストを自動化するか？のスコープや計画や準備がきちんとできていない 手動のテストケースをそのまま自動化してしまってテスト効率が悪い テスターが自動化用テストケースをかけない テスト自動化チームがマネジメント層やテスター、他の関係者から十分なサポートを貰えない テスト自動
E2Eテストコードのメンテナンス性に立ち向かう - Qiita
はじめに E2Eテストコードを書くにあたって、一番の心配事は テストが壊れる ことでしょう。 アプリ側の変更に伴いテストをすべて書き直すことを恐れるQAエンジニアは多いと思います。 例えば 機能はまったく変わってないのに、デザインリニューアルでテスト全部書き直しだ〜〜〜！ みたいなやつですね。 ここでは、自分が実際に「メンテしやすい」テストコードを試行錯誤する過程で得られた気づきをまとめていきたいと思います。 なお、自分の活動範囲は主にWebアプリのテストですので、基本Webアプリの話題になりますが、「いやネイティブアプリはこうやねん」みたいなツッコミもお待ちしております。 また、文中に登場するサンプルコードは CodeceptJSで記述しています。 使ったことがない方は気合で読んでください。 メンテしやすい vs メンテナンスフリー はじめに強くお伝えしておきたいことは、メンテナンスしや
ソフトのテスト工数を絶対に減らせる、5つの正攻法 - ソフトウエアテストの無駄取り：日経 xTECH Active
出典：日経 xTECH 2018年 7月 18日 （記事は執筆時の情報に基づいており、現在では異なる場合があります） システム開発に占めるテスト工数の割合は大きい。特に稼働中のシステムに対して機能の追加や変更をする「エンハンス開発」では、古い機能が積み重なり、テスト対象が雪だるま式に大きくなる。開発工数の半分近くがテストに費やされているという現場も珍しくない。テスト工数が足を引っ張ってスピーディーな機能追加ができなくなると、システムの競争力を落としてしまう恐れもある。今こそソフトウエアテストの無駄取りで効率化しよう。 「テストの効率化手法はかなり確立されていて、正攻法ともいえるパターンがある」。テストのコンサルティングを手掛けるSHIFTの佐藤孝俊執行役員兼ビジネストランスフォーメーション事業本部サービスプロモーション部部長はこう話す。具体的には、テスト設計ではテストケースの再利用、組み合
メルカリiOSのUIテスト自動化をまるっとご紹介します！ | メルカリエンジニアリング
こんにちは、メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA）の 根本 征 です。 私は普段、テスト自動化・CI / CD改善・その他社内の生産性を上げるための自動化を行っています。 今回はiOSのUIテスト自動化について、最近の改善をまとめてご紹介したいと思います。 ざっくり言うと HTMLレポートに出力し、失敗原因を見やすくするようにしました リトライ実行するためのfastlaneプラグインを作りました テスト実行環境をJenkinsからCircleCIに移行しました Slack Commandを使って、簡単に実行できるようにしました これまでのiOSのUIテスト自動化 AQA(旧QA-SET)では去年から、JP版アプリ(iOS / Android)のUIテスト自動化に取り組んでいます。 去年のMercari Tech Conf 2017では、
テスト自動化はもうこりごり、そんな現場が犯している間違い
手間のかかっていたテストを自動化したが、システムの機能更新のたびにテスト自動化用のスクリプトの変更に追われるようになった。だんだん業務が追い付かなくなり、スクリプトの変更は放置されるようになった。せっかくテスト自動化の仕組みを整備したのに役立たずの代物と化した――。テスト自動化を導入した現場でよくある失敗例だ。 テストの自動化では、リリース前に画面上で行うテストを「Selenium」などの自動化ツールを使って人手を使わずに実施できるようにする。あらかじめテスト担当者がテストの手順を定義して、テスト自動化ツールに読み込ませるプログラム（テストスクリプト）を作成する。一度テストスクリプトを作成すれば、その後のテストはテストスクリプトのジョブを実行するだけでいい。同じようなテストを何度も手作業で実施する手間を減らせる。 テスト自動化が主に採用されるのは、プログラムの一部の変更でほかの箇所に不具合
コスパで学ぶ自動テストのはじめ方 - 若くない何かの悩み
Qiita 週間ランキング1位を獲得しました Kuniwak です。ご愛顧ありがとうございます。 qiita.com さて、本題に移りたいと思います。 つい最近ですが、勤め先の別チームに向けて自動テストの導入を支援するための資料を作成しておりました。こちらを共有したいと思います。 speakerdeck.com 資料中にある「仕様化テストを推奨しない」という決断には賛否両論あるかと思います。仕様化テストを推奨しなかった理由は、仕様化テストにかかるコストは相当に高く、本当に余裕があるときでないと選べない選択肢だったからです。今回自動テストを導入しようとしているチームは、見るからに余裕のない状況だったので仕様化テストからやれとは言えませんでした。 もし、「自分だったらこうする」等のアドバイスがあれば、ぜひ参考にしたいと思います。コメントなどに書いていただけると嬉しいです。
テストがなかった無法地帯にテストを導入して開発速度を1.7倍にした話 - Qiita
テストがなかった無法地帯のプロジェクトに自動テストを導入して、開発速度を1.7倍にした話をします。 自動テストがなぜないのか 自動テストのないプロジェクトには、そうなる理由が必ず存在します。よくみる理由は、「時間がないから1」「テストの書き方がわからないから」「無理やりテストを書いたつらい経験があったから2」といったものです。今回のプロジェクトの場合は、以下の2点でした： 自動テストの書き方がわからないから レビューがテスト代わりだったから まず、チーム編成が変わって私ともう一人がチームに加わるまで、実装者の中に自動テストの経験者はいませんでした。このような状況では、自動テストは困難になります。なぜなら、何をどうやってどこまでテストするかを決めるには、多少の慣れが必要だからです。この慣れがないと、何をしたらいいかわからないという状態に陥りがちで、結果として自動テストが後回しにされてしまいま
メルカリQA-SETチームが進めているテスト自動化についての質問まとめ | メルカリエンジニアリング
こんにちは。メルカリでQA-SETチームのマネージャ兼自動化エンジニアとして、スマホアプリのテスト自動化をぶりぶりしている@daipresentsです。 先日開催された Mercari Tech Conf 2017 において、自動テストのデモ展示を担当させていただきました。当日は多くの方にお越しいただき、スマホアプリの自動化への関心は大きいのかなぁと感じております。 この記事では、テスト自動化についてよく質問されたことをまとめてみたいと思います。どの現場も同じように悩んでおり、試行錯誤している点も似ていたので、ノウハウとして残れば幸いです。 Q. どんな技術をつかってアプリの自動化をしているのですか？ A: AndroidはAppium（Ruby) を使っています。 Gemが豊富なので以下のようなGemを使って実装を効率化しています。 # Gemfile sample gem 'appiu
テストを書かない言い訳をさせてくれ
iOS Test Night #3 - connpass https://testnight.connpass.com/event/49561/ での発表資料です。 👉続き https://speakerdeck.com/takasek/tesutowoshu-kanaiyan-iyi-wositajie-guo-wwwwwww 参考リンク: レガシーコード改善ガイド（ウルシステムズ株式会社 平澤章 マイケル・C・フェザーズ 越智典子 稲葉信之 田村友彦 小堀真義） ｜ 翔泳社の本 http://www.shoeisha.co.jp/book/detail/9784798116839 Stable Dependencies Principle http://wiki.c2.com/?StableDependenciesPrinciple%60 PHP7 で堅牢なコードを書く - 例外処理
40通り以上の自動マルチブラウザテストをSelenium x CircleCI x BrowserStackで実現する| PLAID engineer blog
CircleCI上で、BrowserStackを利用したマルチブラウザJavascript Test,Selenium Test を実現している方法についてご紹介します。Selenium webdriver, CircleCI, BrowserStack
スピード重視の開発体制を実現するためのUIテスト自動化 | PLAID engineer blog
スピード重視の開発体制を実現するために、KARTEの開発で取り組んでいるテスト自動化について紹介します。Selenium webdriver, CircleCI, Ghost Inspector
事例 アジャイルと自動化 後半(ヤフオク!アプリでの自動テストの事例紹介) at Ques vol.7( #ques7 ) 11/20/2015
2015/11/20 開催のQues vol.7( #ques7 )での講演「事例 アジャイルと自動化」の後半部分の資料です ヤフオク!アプリでの自動テストの事例紹介です This is a slide of "Example of Agile and Test Automation" that used by Ques vol.7( #ques7 ) 11/20/2015
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「質」のいいユニットテストを書くためのプラクティス / practices to write better unit test
iOS開発とGitLab CI - Speaker Deck