探索式測試的相關(guān)問(wèn)題的個(gè)人理解

　　首先需要聲明的是，目前我對探索式測試理論和實(shí)踐的理解還停留在1到2年前的水平，很多內容都在《探索式測試實(shí)踐之路》可以了解到的，但是需要告訴大家的是，雖然國內對ET的理論和實(shí)踐進(jìn)步不大，但是國外一些測試大師對ET的理論和實(shí)踐都有很大的提高，包括工具、流程和總體解決方案。由于最近兩年的主要精力不在這個(gè)上面，所以對國外這兩年ET的發(fā)展了解不多，如果有說(shuō)的不對的地方，歡迎指出來(lái)，也讓我多學(xué)習和了解下。

　　雖然很多人都看了《探索式測試實(shí)踐之路》這本書(shū)，但是并不是所有人都能理解這里面的來(lái)龍去脈，我也在很多場(chǎng)合說(shuō)明了自己的看法，但是還是會(huì )存在一些誤讀，加上崔老師提的關(guān)于ET的4個(gè)問(wèn)題，我覺(jué)得非常好，很多看過(guò)拿本書(shū)的人都會(huì )或多或少有自己的看法，我趁這個(gè)機會(huì )，說(shuō)下自己的看法，不一定正確。

　　(1)如何選擇探索的深度?

　　大家都應該知道，探索式測試的探索的涵義吧，基本上就是根據自己所得到的信息去挖掘更多的新的信息，從而判斷系統出來(lái)是否正確和合理。但是時(shí)間是有限，我們到底要挖潛到什么時(shí)候呢?我們做測試也是一樣的道理，測試不可能很全面，什么都想測試到，代碼覆蓋率100%等。但是我們應該要測試到什么程度呢，有哪些判斷依據呢，很多時(shí)候就是平衡，我們需要抓住一些平衡，在一定的context范圍內。

　　我個(gè)人是這樣理解的，首先我們必須非常清楚我們的任務(wù)具體是什么，了解我們現在做的charter和session到底是什么。然后，大家都知道session有自己的一些特點(diǎn)吧，很關(guān)鍵的一個(gè)就是 timebox，就是區間，在有限的時(shí)間區間內對被測系統就行測試設計和執行層面的探索，當然，這時(shí)候又涉及到之前劃分session的原則和合理性，這個(gè)不在這里細說(shuō)。

　　a. 在timebox內，測試人員對具體的任務(wù)進(jìn)行探索，只要思維不枯竭，應該不存在是否需要繼續探索的疑問(wèn)。但如果不知道要測試什么了，該怎么辦呢?首先：靜下來(lái)，梳理之前得到的信息，整合系統處理邏輯和所有異常流程，再次check是否覆蓋到所有的測試點(diǎn);第二，使用通用的測試tips提醒，check自己是否考慮到類(lèi)似的測試場(chǎng)景，比如session tester工具就有這樣的tips;第三，正對被測模塊的分析，check相應的探索式測試方法，進(jìn)行場(chǎng)景方法層面的思維提醒;最后，和相關(guān)人進(jìn)行交流和溝通，在交流的過(guò)程中，會(huì )得到別人的啟發(fā)，從而看是否存在遺漏的測試場(chǎng)景。一旦存在，立即執行。

　　b. 假設在測試人員挖掘的信息比較多，測試的非常high，時(shí)間過(guò)得也快，也發(fā)現了一些問(wèn)題，從而無(wú)形中增加提交bug的時(shí)間，減少了真正測試的時(shí)間，這個(gè)時(shí)候，測試人員該怎么辦呢。我個(gè)人的看法是，首先減少提交bug的時(shí)間，采用關(guān)鍵字加截圖的方式，快速記錄bug;第二，測試人員會(huì )使用工具來(lái)進(jìn)行時(shí)間提醒，原來(lái)確定的時(shí)間到了后，測試人員應該停下來(lái)，仔細思考我挖掘的是否足夠，check前幾次異常測試場(chǎng)景是否發(fā)現bug，思考開(kāi)發(fā)實(shí)現代碼邏輯和被測模塊的整體質(zhì)量，綜合判斷是否需要繼續探索更新的信息和測試執行;第三，如果確定了繼續探索，需要考慮是否調配其他的session的測試時(shí)間，或者是否加班完成它;第四，如果能判斷覆蓋80%以上的代碼覆蓋率，且認可開(kāi)發(fā)的質(zhì)量，建議測試人員plugin out，去測試其他計劃內的session。最后，對于整合信息并作出分析和判斷，這個(gè)過(guò)程需要非?？焖俸透咝У?，這個(gè)可能就是一些經(jīng)驗的積累，建議大家多去嘗試，然后看看結果，給自己增加信心或者教訓。

　　(2)如何衡量探索式測試的有效性?

　　這個(gè)問(wèn)題其實(shí)有點(diǎn)大，個(gè)人覺(jué)得這個(gè)和你實(shí)踐ET的方式有關(guān)，目前來(lái)說(shuō)，大部分人認為ET就是ST的補充，但是補充的效果到底怎么樣呢，很多人可能都沒(méi)有去實(shí)踐和分析具體的細節。

　　對于如何衡量ET的效率，我前幾年一直在思考這個(gè)問(wèn)題，但是我真的沒(méi)有得出很好的答案，我目前的看法是這樣的：客觀(guān)數據 + 主觀(guān)感受?？陀^(guān)數據，主要包括發(fā)現Bug的數量和認可的測試思路。主觀(guān)感受就是個(gè)人在ET執行或設計過(guò)程中，對于SUT的探索的過(guò)程中的主觀(guān)感受，是否真正擴展了你的思維，讓你思考更多你之前沒(méi)有思考過(guò)的角度。這里說(shuō)到的bug數量不一定能說(shuō)服人，因為你不可能一個(gè)人針對同一個(gè)項目使用ET 或 ST來(lái)進(jìn)行測試，從而比較兩個(gè)結果，這個(gè)只能是單維度的，是誰(shuí)用誰(shuí)知道啊。說(shuō)ET能提高效率，我采用的是單位時(shí)間內發(fā)現bug率，大家是否還記得我之前的很多分享都會(huì )說(shuō)這些數據。FreeStyle ET的方式是2.45bug/hour、ET主導&ST輔助的方式是1.5bug/hour、ST主導&ET輔助的方式是1.0bug/hour、普通ST方式是0.46bug/hour。數據僅供參考。

　　我之前也說(shuō)過(guò)，如果僅僅把ET當做ST的補充，實(shí)踐的策略不好的話(huà)，會(huì )造成一個(gè)問(wèn)題，那就是ET的很多測試執行思路和之前ST做過(guò)的很多是重復的，這樣不利于ET的發(fā)揮，同時(shí)在成本上是劃不來(lái)的。我們這邊是允許重復的，不可能做到完完全全的不重復，怎么減少這個(gè)重復度，是我們大家需要思考的一個(gè)問(wèn)題，我的看法是，首先從意識上就要區別我們做的ET和ST是不一樣的，測試思路和方法策略都不一樣，但是結果(測試思路列表)可能會(huì )存在重復的，但不影響我們的思考的重點(diǎn)是什么，我們會(huì )分析和收集ET和ST在測試思維上的區別和測試集合，這些也許會(huì )幫助你找到ET設計和執行的重點(diǎn);最后，多去分析傳統測試設計方法和ET測試方法的區別和背景，了解到深層次的使用方法，做一些基礎的積累，這個(gè)也會(huì )幫助大家減少這個(gè)重復度。

　　(3)如何避免與標準的測試流程沖突?

　　這個(gè)問(wèn)題就是標準的流程問(wèn)題了，對于ET在項目中如何實(shí)踐，如何和標準的ST流程融合，書(shū)中都有非常詳細的流程說(shuō)明和注意點(diǎn)。這里個(gè)人就說(shuō)幾個(gè)看法，敢于去嘗試新的想法和東西，有時(shí)候不是壞事，也許就可能看到不一樣的天空呢，再有，我們可以選擇一些不太重要的項目進(jìn)行實(shí)踐，減低風(fēng)險。

　　這里我需要強調的是，無(wú)論你使用什么方式去實(shí)踐ET，流程中的一些細節需要做到位，比如交叉測試的測試思路和方法，需要充分考慮自己的測試思維以及測試tips的作用。主要流程也許不會(huì )有大的區別，都需要做測試設計和測試執行，但是如何去做，會(huì )有一些細節的差別，請把這些細節做到位，再說(shuō)實(shí)踐后的效果，否則，很容易做到表面，沒(méi)做到本質(zhì)。

　　(4)如何避免只有測試精英才能執行探索式測試?

原文轉自：http://blog.sina.com.cn/s/blog_6cf812be0101f0wf.html