軟件測試中的功能測試解決方案的評估報告

軟件測試中的功能測試解決方案的評估報告

Slide 4：功能測試的定義：

驗證系統的功能性符合預定的功能說(shuō)明書(shū)的測試。

Slide 5：功能測試解決方案的關(guān)鍵組成：

范圍之內的：

• 手工測試
• 功能測試自動(dòng)化
• 測試管理

范圍之外的：

• 單元測試
• 靜態(tài)分析
• 性能測試
• 應用程序的監測

Slide 6：你的工作室有做過(guò)任何功能測試腳本的自動(dòng)化嗎？

通過(guò)調查北美和歐洲公司的74個(gè)決策者得出以下數據：

正方：

測試用例設計的成本是最少的

• 不需要使用工具或工具專(zhuān)家
• 沒(méi)有自動(dòng)化的需要
• 不需要在測試執行之前預留提前期

可以腳本化，帶探索性，或兩者皆可

• 測試設計和測試執行同時(shí)進(jìn)行
• 在標準的手工測試腳本設計和執行之前，之間和之后都很有用

【Kiki】需要注意一下這里所說(shuō)的腳本，不是普通意思上我們說(shuō)的自動(dòng)化測試腳本。在美國和其他國家，他們將手工測試的測試用例用非常清晰的步驟描述，有些象我們手工測試用例中的步驟，但比那更加詳細，一步一步相當清楚，不需要測試人員太多的涉及，執行下來(lái)測試人員就象一個(gè)機器人一樣。

反方：

測試執行的成本很高

• 成本 ＝ 執行時(shí)間 × 勞動(dòng)率
• 執行時(shí)間很昂貴
• 當重復執行時(shí)，沒(méi)有效率

腳本化的測試執行很單調

• 不需要創(chuàng )造力

所有的窗體都是有極高的錯誤傾向

• 質(zhì)量取決于測試人員每時(shí)每刻的細心
• 測試結果的文檔化是另一個(gè)錯誤的潛在來(lái)源

Slide 8：專(zhuān)業(yè)的工具支持可以提高腳本化手工測試的效率

工具的支持幫助手工測試人員：

• 在一個(gè)唯一且安全的地方存儲測試計劃，測試腳本和測試結果
• 共享跨越測試用例中的測試組件（例如：登陸系統）
• 自動(dòng)化數據輸入和數據校驗

Slide 9：測試自動(dòng)化的正方面

正方：

• 將測試人員解放出來(lái)做更多智力型的測試（例如：探索性測試）
• 減少測試執行的時(shí)間和成本
• 允許工作室擴展測試工作的范圍

反方：

• 增加了測試設計之前的投資
• 容易浪費時(shí)間在自動(dòng)化“錯誤”的測試上 － 或用錯誤方法實(shí)現正確的測試
• 要求比手工測試更多的技術(shù)專(zhuān)家和專(zhuān)業(yè)工具的支持

Slide 10：一個(gè)測試自動(dòng)化經(jīng)濟效果的簡(jiǎn)化概覽

自動(dòng)化一個(gè)測試腳本的成本的計算方法：

測試自動(dòng)化的成本 ＝ 工具的成本 ＋ 腳本創(chuàng )建的人力成本 ＋ 腳本維護的人力成本

何時(shí)選擇自動(dòng)化

自動(dòng)化的成本 < 和將要執行的自動(dòng)化測試的次數一樣的手工執行測試的成本

例如：如果一個(gè)測試腳本在以后的兩年里每星期運行一次，而且如果自動(dòng)化這個(gè)測試的成本小于手工執行測試104次的成本，那么就自動(dòng)化這個(gè)測試。

Slide 11：為什么你的公司沒(méi)有執行任何的測試自動(dòng)化？

通過(guò)調查38位北美和歐洲的沒(méi)有執行任何測試自動(dòng)化公司的決策者得出以下數據.

Slide 12：由測試工作量變化產(chǎn)生的正確平衡

測試團隊的組成

• 編程技能 vs.主題專(zhuān)家
• 杠桿作用每位團隊成員優(yōu)點(diǎn)的勞動(dòng)力分工
• 開(kāi)發(fā)團隊自身測試工作量的評估

所測試應用程序的特征

• 所測試應用程序所采用的技術(shù)
• 所測試應用程序的穩定性

時(shí)間軸

• 創(chuàng )建自動(dòng)化測試腳本的可用時(shí)間
• 應用程序的預期生命周期

Slide 13：手工和自動(dòng)化測試的集成測試管理解決方案的收益

計劃和監控所有測試活動(dòng)的共同接口

手工和自動(dòng)化測試資產(chǎn)的變更管理

提交來(lái)自手工測試和測試自動(dòng)化工具的缺陷直接到測試管理工具里

遞增的自動(dòng)化測試包中的部分內容

Slide 15：我們如何決定選擇哪些供應商？

參與的標準

• $10M的年稅收
• 支持手工測試，測試自動(dòng)化和測試管理

一些被排除的供應商

• RadView和Seapine

－ 他們已經(jīng)在去年的自動(dòng)化工具中評估過(guò)了

• Worksoft, SDT和LogiGear

－ 他們關(guān)注的是關(guān)鍵字驅動(dòng)的測試自動(dòng)化

• Agitar和Parasoft

－ 關(guān)注開(kāi)發(fā)人員的測試

Slide 16：評估的供應商和他們相應的產(chǎn)品

• Rational于2002/12被IBM收購
• Mercury于2006/6被HP收購
• Segue于2006/4被Borland收購

Slide 17：Forrester Wave?評估的流程

評估在2006年2月到5月間進(jìn)行

－ 基于在2006/6/1為止一般可用的產(chǎn)品能力

選擇87個(gè)評估標準的開(kāi)發(fā)流程

－ 訪(fǎng)問(wèn)了供應商，專(zhuān)家，外包商和用戶(hù)

供應商的自我評價(jià)

－ 依賴(lài)由供應商提供的部分數據來(lái)評估

訪(fǎng)問(wèn)供應商的策略

－ 和執行者對話(huà)來(lái)確定供應商將如何增強他們在未來(lái)的供應

產(chǎn)品的演示

－ 確認我們對產(chǎn)品能力的理解

大量的和客戶(hù)證明人一起的事實(shí)校驗

－ 確定供應商的供應物在實(shí)踐中如何和理論一致的工作

Slide 18：評估的標準

Forrester用87個(gè)標準評估了這5家供應商的解決方案

這些標準主要劃分為以下三個(gè)大類(lèi)（19個(gè)小類(lèi)）

• 當前提供的產(chǎn)品
• 策略
• 市場(chǎng)參與