TestLinkを運用して気付いたことpart8～みなしバグ、ブロッキングバグ、周辺テスト、そしてクリティカルパス - プログラマの思索
TestLinkを運用して気付いたことpart8～みなしバグ、ブロッキングバグ、周辺テスト、そしてクリティカルパス 僕はテスト技法を体系的に知らないが、TestLinkを過去1年間実践してみて、テスト戦略やテストケースの作成方法について、ノウハウは色々溜めてきた。 TEF関西のNakaさんからテスト技法の専門用語を教えてもらい、そのノウハウに専門用語が付けられているのを知ったので、まとめてみる。 【元ネタ】 JSTQBテスト技術者資格認定-シラバス（学習事項）・用語集- ソフトウェアテスト標準用語集 日本語版Ver 1.3 【1】みなしバグとブロッキングバグ TestLinkのテストケースには「ブロック」という状態がある。 ソフトウェアテスト標準用語集 日本語版Ver 1.3 によれば、ブロックとは「事前条件を満足できないため、実行不能のテストケ－ス」を指す。 つまり、失敗したテストケース
TestLinkのFAQ - プログラマの思索
TestLinkを運用する時のFAQをまとめたみた。 TestLinkは癖があるために運用しにくいと思うので是非参考にして欲しい。 【元ネタ】 【公開】ETWest2009講演資料「TestLinkでアジャイルにテストする」: プログラマの思索 簡易マニュアル - TEF有志によるテスト管理システムTestLink日本語化プロジェクト 連載：きちんと学びたいテストエンジニアのためのTestLink入門｜gihyo.jp … 技術評論社 TestLinkCnvMacro 【テスト計画】 【1】TestLinkをインストールしましたが使いこなせません。TestLinkはSW開発のどの工程で運用すれば効果的ですか？ 【回答】 TestLinkを運用する場合、結合～受入テストで導入するのが良いでしょう。 TestLinkは手動のテストを管理するためのツールなので、自動化しやすい単体テストよりも、業
TestLinkを運用して気付いたことpart9～後追いテスト - プログラマの思索
TEF関西のNakaさんから「後追いテスト」というテストの用語を教えてもらったのでメモ。 【元ネタ】 ソフトウェアテスト標準用語集 日本語版Ver 1.3 まず、ソフトウェアテスト標準用語集 日本語版Ver 1.3には「リスク」「プロダクトリスク」「プロジェクトリスク」の用語解説がある。 テスト工程での「リスク」は「将来、否定的な結果を生む要素。通常、影響度と発生可能性として表現する。」という意味で定義されている。 プロダクトリスクとは、「テスト対象に直接関係するリスク」。 プロジェクトリスクとは、「（テスト）プロジェクトの管理（マネジメント）と制御（コントロ－ル）に関係するリスク。例えば、スタッフの不足、厳しい締め切り、変更管理などがこれに当たる。」 つまり、テスト工程のリスクを、プロダクトリスクとプロジェクトリスクに厳格に分けている点が重要だ。 組み込み製品なら1回リリースするために数
TestLinkを運用して気付いたことpart10～テストの制約条件 - プログラマの思索
TEF関西のNakaさんの話を聞いて考えたことをメモ。 【元ネタ】 ソフトウェアテスト標準用語集 日本語版Ver 1.3 普通のプロジェクトは結合テストで火を噴く。 理由は、結合テストで初めて、システムが稼動するのを顧客も開発者も見れるから。 そこで、初めて、要件漏れ、認識相違、仕様漏れに気付く。 でも、それだけの理由だけではないという指摘を受けた。 ソフトウェアテスト標準用語集 日本語版Ver 1.3には「プロダクトリスク」「プロジェクトリスク」の用語解説がある。 プロダクトリスクとは、「テスト対象に直接関係するリスク」。 プロジェクトリスクとは、「（テスト）プロジェクトの管理（マネジメント）と制御（コントロ－ル）に関係するリスク。例えば、スタッフの不足、厳しい締め切り、変更管理などがこれに当たる。」 実際のテスト、特に結合テスト、システムテスト、受入テストのようにプロジェクト後半になる
Route 477(2009-06-09)
■ [ruby] Rubyのテスト環境大戦争 おまいらは本当にテストが好きだな！というわけで、Rubyのテスト関係のライブラリを並べてみた。 テストフレームワーク Test::Unit Ruby標準添付のユニットテスト用フレームワーク。 RSpec DSLを使う、「BDD」という概念を流行らしたユニットテスト用フレームワーク。 Cucumber 自然言語を使って、ブラックボックステストを記述する。RSpecの「Stories」と呼ばれていた機能が独立した。 あとはShouldaとかbaconとかいろいろありますけども。 モック・スタブライブラリ モック＝あるオブジェクトに期待したメッセージが飛ぶかどうかテストするためのオブジェクト、 スタブ＝ネットワークが絡むとか、実際のオブジェクトが使えない場合に使う偽オブジェクト。 と思ってるんですけどどうなんですかね(more: モックとスタブの違い
ブラウザを選ばずWebテストを自動化するSelenium
Webアプリケーションのファンクションテストを行うツールとして注目されている「Selenium」のバージョン1.0が6月20日にリリースされました。安定性が向上するとともに、Firefox 3.0、3.5（Selenium IDEは1.0.2から、Firefox 3.5に対応）や、Internat Explorer（以下、IE） 8などの最新のWebブラウザにも対応しました。 本稿では、Selenium 1.0をベースとしたSelenium IDEとSelenium RCを利用した効果的なSeleniumの利用方法を紹介します。 Webアプリのテストで誰もがイラつく大きな課題 Webアプリケーションテストを手で行うと、非常に煩雑です。Selenium登場以前の従来のやり方では、次のような問題がありました。 回帰テストに時間がかかる バグ修正や仕様変更などで、Webアプリケーションを変更した
DBから、YAMLフィクスチャを出力するRailsプラグインを公開 - 超初心者のロボット製作日記
DBから、YAML形式のフィクスチャを出力するプラグインとして有名なものに、ar_fixturesがある。 が、いろいろ調べてみたら、いくつか問題点があるようなので、elm200さんの記事を参考に、プラグインを自作してみた。 環境 Rails 2.2 elm200さんによると、ar_fixturesの問題点は •内部的にto_yamlメソッドを使用しているため、UTF-8の文字列をうまく扱えない •出力されるカラムの順序がバラバラ とのこと。 これをふまえて、プラグインの製作にかかる。 elm200さんのコードからの改良点は Rails 2.2への対応 テスト環境にrspecを使用している場合は、YAMLファイルをspec/fixturesディレクトリに出力 テーブル名・カラム名を、別の名前に変換して出力することも可能。（レガシーDBからデータ移行する際に便利かも） DBのスキーマを元に、
Modelはガッチリ、VCはcucumber - komagataのブログ
4)Railsテスティング環境 2009 – Cucumber,Webrat and Rspec – - 技術メモ的なモノ Rails of Ruby on Rails 主要な処理をモデルによせてコントローラーを薄くする Modelはテストしやすいのでそこで対応 「コントローラのアクションではfindやnew以外のモデルメソッドは一つくらいにしなさい」といったアドバイスもある モデルに追加するメソッドはRSpecで重点的にテスト コントローラーやビュー、ヘルパーはCucumberでテスト 「modelはrspec、controller, view, helperはcucumberでテスト」ってかなり共感できる。 リファクタリングには良いけど、rspecでcontroller, viewをガッチリテストしても結局ブラウザで表示させたらエラーってがっかりする。 mock, stub化が激しくな
オブジェクト倶楽部2009夏イベントで話しました - moroの日記
オブジェクト倶楽部2009夏イベントの若人セッションでお話しする機会をいただきました。 タイトルは「プロジェクト特化言語 という夢を見たんだ」です。自然言語で仕様を記述できるCucumberと、英語ライクな書き方を目指す方向から徐々に方針転換を遂げつつあるRSpecという構図を見立て、対お客様/対開発メンバーというそれぞれのレイヤでのコミュニケーションツールとしてのテスティングフレームワークが云々という話をしました。CukeのstepとRSpecのCustomMatcherが大きなトピックです。あとは最近流行のsubjectについても少々。 TDD frameworks let me dream "Project Specific Language"View more presentations from Kyosuke Morohashi.少し前から話したかったことをいろいろ話せてすっき
品質がスケジュールよりも優先される理由 - プログラマの思索
CMMIを作ったハンフリーが書いた本「ソフトウェアでビジネスに勝つ」を読んでいる。 mgさんのコメントを書きながら、考えたことをメモ。 【元ネタ】 アジャイル開発は受託開発の方が向いている: プログラマの思索 「ソフトウェアでビジネスに勝つ」の本は、経営者向けに書かれたソフトウェア管理に関する考察した本。 第1章に、SW管理の原則が3ついきなりあげられるが、その一つに「品質がスケジュールよりも優先する」という原則がある。 SW開発に従事している人ならば、この原則をいつも実感しているし、逆に、この原則に逆らうような仕事をしているのも事実だ。 設計や開発という工程よりも、テスト工程でこの原則を実行すべきかどうか判断に迷う。 仕様変更が来たけれど、バグ修正を優先すべきか？ バグ修正よりも、目先のタスクをこなすべきか？ 全てのテストをし尽くしてバグをたくさん出してから、バグ修正すべきか？ 今、僕は
連載：きちんと学びたいテストエンジニアのためのTestLink入門｜gihyo.jp … 技術評論社
第3回次期バージョン1.8に見るTestLinkの過去・現在・未来 TestLink日本語化部会 2008-10-17
テスト実績を見える化する - プログラマの思索
西山さん作成のTestLinkのExcelマクロがVer2.8へアップグレードしたので使った感想をメモ。 【元ネタ】 ニュース - EXCEL試験書からのXMLファイル変換マクロ(ver.2.8）をリリース TEF有志によるテスト管理システムTestLink日本語化プロジェクト 【Ver2.8で追加された機能】 テスト結果の統計データのエクスポート ・指定された期間のビルド単位の試験結果の推移をグラフ化できます。 ・試験者を指定した試験結果の推移をグラフ化できます。 ・試験結果の累計数は、各テストケースでの最後に実施した結果の累計数です。 上記の機能のおかげで、TestLinkにたまったテスト結果をExportした後、上記のExcelマクロで取り込むと、実施日ごとに、試験数、成功数、失敗数、ブロック数の推移をグラフ化してくれる。 アジャイル開発とTestLinkを組み合わせた場合、Test
TestLinkのテスト実績からメトリクス出力 - プログラマの思索
TestLinkに溜まったテスト実績を下記ツールで分析してみたら、面白い傾向に色々気付いた。 以下メモ書き。 【EXCEL試験書からのXMLファイル変換マクロ】 v37b_TestLinkCnvMacro.tar.gz ダウンロード - TestLinkTools - SourceForge.JP 【主な機能】 (中略) ６ テスト結果の統計データのエクスポート ・指定された期間のビルド単位の試験結果の推移をグラフ化できます。 ・試験者を指定した試験結果の推移をグラフ化できます。 ・試験結果の累計数は、各テストケースでの最後に実施した結果の累計数です。 ７ 要件カバレッジのエクスポート ・プロジェクト内の全要件のカバレッジを、EXCELシートに取込めます。 ・要件カバレッジは、指定されたビルドの各テストケースでの最後に実施した結果より求めています。 ・要件カバレッジは、要件にアサインされて
プログラマの思索: TestLinkの可能性
「塹壕よりScrumとXP」の「15.1. 多分受け入れテストフェーズは回避できない」を読んで、TestLinkを受入テストで使うアイデアをメモ。 以下メモ書き。 【元ネタ】 塹壕よりScrumとXP(日本語訳PDF) 第1回：テスト設計の必勝テクニック：ITpro TestLinkJP - TEF有志によるテスト管理システムTestLink日本語化プロジェクト 【1】TestLinkをSW開発のどの工程で使うべきか？ TestLinkは受入テスト(あるいは結合テスト以降のテスト)で使う。 XPが生み出したテスト駆動開発によって、プログラムは単体テスト品質をクリアするようになった。 継続的インテグレーションによって、コミットしたコードラインは常時リリース可能になった。 しかし、それらのプラクティスだけで、開発したらすぐに顧客へ納品可能か？ 答えはNo。 受入テストをクリアしなければ、納品可
「テストは二の次」は変わるか、オラクルがテストコンサル
「テストは二の次」は変わるか、オラクルがテストコンサル：「Oracle Application Testing Suite」を活用 日本オラクルは2月3日、Webアプリケーションのテストスイート製品「Oracle Application Testing Suite」のコンサルティングサービスを提供開始したと発表した。Testing Suiteは米本社が米エンピレックスから買収した「e-TEST suite」を再構成したスイート製品。オラクルは同製品のトレーニングも提供する。 日本オラクルの常務執行役員 システム事業統括本部長 三澤智光氏は、日本企業の厳しい経営環境を指摘し、「テスト工程をきちんとすることで企業のコスト削減に貢献したい」と話した。また、同事業統括本部 System＆Application Management ビジネス推進本部 セールスディレクターの山岡英明氏は「開発の効率化
Selenium on Rails を Rails 2.2 で使う - elm200 の日記(旧はてなダイアリー)
Selenium on Rails というプラグインがある。Selenium というウェブベースのテストスイートを Rails で使いやすくするためのプラグインである。 とりあえずこのプラグインを Rails 2.2 にインストールするところまでやってみた。 実は、Selenium は正式には、まだ Rails 2.1 にしか対応していない。2.2 で使うためには、ここにもあるように、Github から開発版を直接取得するしかない。 % ruby script/plugin install git://github.com/paytonrules/selenium-on-rails.git その後、vendor/plugins/selenium-on-rails/README を見て作業する。 とりあえず、正しくインストールできたかテストしろと書いてあるので、 % cd vendor/pl
Railsテスティング環境2009新春 @仙台Ruby会議01 - moroの日記
仙台Ruby会議01で、Cucumberを用いた今流行のRailsテスティング環境について話しました。 2009-01-25追記 どうもSlidesareで公開したスライドがうまく表示されませんので、いったん埋め込みは削除しました。 スライドのダウンロードはできるようですが、とりあえずDropboxでも落とせるようにしておきます。 http://dl.getdropbox.com/u/108726/rails-testing-env-early-2009.pdf スライドに興味のある方は、お手数ですが、こちらのPDFをご覧ください。もうちょっと他の人のマシンなんかでも試してみます。 追記ここまで ここから元エントリ 今回はustでの見辛さを考慮して、話す前にSlideshareにあげてたでござる。いかがでしたでしょうか? IRCでオチの誤訳ふいた。書いてないことを読み取って感極まった勢いで
プログラマの思索: TestlinkがExcelのテスト仕様書よりも素晴らしい点
TestLinkはオープンソースのWebのテスト管理ツール。 TestLinkがExcelのテスト仕様書よりも素晴らしい点を書く。 【0】インストールが超簡単 XAMP＋TestLinkが一体化されたパッケージがある。 解凍して起動するだけ。 USBメモリに入れて持ち歩くことさえできる。 【1】テストケースを再利用しやすい シナリオベースのテストケースは、運用保守や2次開発でも頻繁に使う。 実際は、1次開発で使ったテストケースを複製して、仕様変更や追加機能を反映させる。 この時、Excelのテスト仕様書から該当のテストケースを抽出したり、変更するのに手間がかかる。 また、テストケースは書く人によって、粒度や書式が大きく異なる時が多い。 後の保守で再利用できなかったりする。 TestLinkの場合、テストケースはDBにあるから複製が簡単。 また、TestLinkの入力フォーマットが固定されて
ウノウラボ Unoh Labs: テスト計画書のテンプレート
こんにちは！やまもと＠テスト番長です。 巷ではインフルエンザが流行っているようですが、皆さんお元気にお過ごしでしょうか。 さて、プロジェクトが立ち上がったとき、（特に受託案件の場合） テストのドキュメントはどうしようか？という話が出ると思います。 適当にやる訳にも行かないけれどIEEE829をベースにしたものだと重かったり、割と迷う部分です。 英語ですがテスト計画のテンプレートを配布しているサイトがあったので、ご紹介してみます。 Pragmatic Software http://www.pragmaticsw.com/ Software Development Templates http://www.PragmaticSW.com/Templates.asp テスト計画書 Test Design - http://www.pragmaticsw.com/Template_Te
第1回 テスト管理システムとは何か？ | gihyo.jp
はじめに TestLinkとは、オープンソースのテスト管理システムです。TestLinkは、Francisco Mancardi氏、Andreas Morsing氏、Martin Havlat氏を中心としたコミュニティで開発されています。元々は海外で作られていたソフトウェアでしたが、最近は日本でも徐々に浸透してきているようです。 本連載では、TestLinkの日本語化に携わっているTestLink日本語化部会の私たちが、このTestLinkの基本機能について順次ご紹介していきます。 今回はTestLinkのご紹介する前準備として、「テスト管理システムとは何か」「では、そもそもテスト管理とは？」といったことについて考えてみましょう。 テスト管理システムとは何か 「テスト管理システム」と言う言葉を聞いたことはありますか？ もしかしたら、「バージョン管理システムやバグ管理システムなら聞いた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
