軟件測試中CMM評估中存在的若干問(wèn)題
前言：本文部分內容參考了2000年2月IEEE雜志上的一篇文章。該文作者從采購方和軟件企業(yè)方分析了SCE中存在的若干問(wèn)題，最后發(fā)問(wèn)：“CMM評估還可信嗎？” 中國軟件企業(yè)的CMM評估，一開(kāi)始就充滿(mǎn)了浮躁、做秀和功利的氣息。整個(gè)CMM評估的過(guò)程，我們看到的是好大喜功的政府行業(yè)主管部門(mén)、一貫愛(ài)湊熱鬧的新聞媒體、有賺白不賺的中介機構、證書(shū)隨身帶的主任評估師和愿意花錢(qián)買(mǎi)吆喝的軟件企業(yè)。CMM評估的這種濃厚的功利性，使得“Gaming the Assessment”成為軟件企業(yè)上上下下的共識和“不宣之秘”。希望本文對國內軟件業(yè)界正確對待CMM起到應有作用，不要像某些軟件企業(yè)一樣找個(gè)“證書(shū)隨身帶”、“一手交錢(qián)，一手交證”的主任評估師。畢竟，提高企業(yè)的核心競爭力是最重要的。
1 評估人員的資質(zhì)SEI對主任評估師的資質(zhì)要求比較嚴格，但是評估是由一個(gè)評估小組來(lái)進(jìn)行的。
問(wèn)題1：評估組員的資質(zhì)很難滿(mǎn)足。
通常，評估組員很難達到SEI所要求的軟件工程的技術(shù)和管理背景。
問(wèn)題2：評估人員多是管理人員，技術(shù)素質(zhì)普遍較弱。
這個(gè)問(wèn)題也包括主任評估師，由于多年脫離軟件開(kāi)發(fā)實(shí)踐工作，主任評估師甚至在提問(wèn)時(shí)有意回避技術(shù)問(wèn)題，而是反復詢(xún)問(wèn)管理問(wèn)題。因為評估人員的技術(shù)素質(zhì)普遍較弱，因此對于CMM中涉及工程部分的關(guān)鍵實(shí)踐解釋能力很差。甚至在對企業(yè)員工面試時(shí)，當員工提到技術(shù)方面問(wèn)題時(shí)，評估人員會(huì )將話(huà)題岔開(kāi)，又轉到管理問(wèn)題上。
2 評估的時(shí)間壓力一般評估的時(shí)間都在一周左右，要執行的工作相當多，時(shí)間壓力很大。原來(lái)的評估方法中要求單個(gè)面試的方式，后來(lái)迫于時(shí)間壓力，新版本中增加了“Group Interview”（團體面試）。
問(wèn)題3：團體面試本來(lái)是為了節省時(shí)間，實(shí)際上往往掩蓋了問(wèn)題，不能發(fā)現真實(shí)情況。
聯(lián)想測試部門(mén)的面試，就是團體面試的方式。
對于評估小組而言，由于時(shí)間緊張，他們往往不愿意運用自己的洞察力和專(zhuān)業(yè)判斷力，而是滿(mǎn)足于在檢查清單上一項一項劃勾，也就是俗稱(chēng)的“Checklist強迫癥”。
問(wèn)題4：“Checklist強迫癥”也給了軟件企業(yè)一個(gè)鉆空子的機會(huì )。
軟件企業(yè)可以努力使文檔做得更加“方便評估小組的工作”。
3 CMM問(wèn)卷在CMM評估中，用到的是同一套問(wèn)卷。連美國人都批評到，“不可想像對于醫生、建筑師或者律師采用同一套試卷來(lái)考察，而對于軟件企業(yè)的評估使用的確實(shí)一套不變的問(wèn)卷。想想看，這些軟件企業(yè)可能是在為我們的國防系統進(jìn)行開(kāi)發(fā)！”
問(wèn)題5：同一套成熟度問(wèn)卷。
CMM評估允許企業(yè)在評估前對員工作出培訓，而這個(gè)培訓的作用往往被扭曲了。很多軟件企業(yè)甚至“教唆”員工在成熟度問(wèn)卷上如何回答的“更成熟”一點(diǎn)。
4 文檔因為CMM評估要求文檔應該有在線(xiàn)版本（這樣才可以被配置管理軟件所管理和控制），所以企業(yè)在將文檔轉換為在線(xiàn)版本時(shí)，就可以對文檔作出修飾。因為知道評估小組的時(shí)間很緊張，軟件企業(yè)可以把文檔弄得故意非常復雜，評估小組有時(shí)候看到復雜得文檔，會(huì )不愿意去深究，認為既然寫(xiě)了這么多，看在頁(yè)數得份上，也應該滿(mǎn)足要求。
問(wèn)題6：過(guò)分依賴(lài)文檔。
5 項目的選擇選擇什么項目給評估小組看，這里大有學(xué)問(wèn)。軟件企業(yè)可以把自己最“成熟”的項目、最優(yōu)秀的員工組成一個(gè)“Goldern Project”來(lái)供評估小組檢查。那么，這樣的評估可信性就大打折扣。比如，國內某軟件企業(yè)明明是自己一個(gè)20多人的“中央研究院”過(guò)了CMM某個(gè)級別，在媒體宣傳時(shí)卻故意混淆視聽(tīng)，有意無(wú)意造成整個(gè)企業(yè)通過(guò)某個(gè)級別的錯覺(jué)。
問(wèn)題7：選擇什么項目，選擇什么部門(mén)，這其中太多貓膩。
6 事先“培訓”員工甚至有這樣的現象，員工在接受面試之前，塞給他一本企業(yè)的CMM指導手冊，甚至要求他故意在手冊上作點(diǎn)筆記、把手冊弄得臟一點(diǎn)，以顯得認真閱讀過(guò)了。
問(wèn)題8：“培訓”員工作假。
這里最嚴重的問(wèn)題，實(shí)際上是主任評估師的技術(shù)素質(zhì)。計算機技術(shù)領(lǐng)域日新月異的發(fā)展，很多主任評估師是只知道“管理”，對于技術(shù)的理解可能僅僅限于5－10年前的技術(shù)。IEEE雜志文章的作者建議，在評估時(shí)應該同時(shí)“Conduct on-site technical evaluations”，觀(guān)察企業(yè)的開(kāi)發(fā)人員實(shí)際完成技術(shù)工作的方式。作者特別舉了一個(gè)企業(yè)的例子，紙面上的同行評審與實(shí)際中的同行評審的天淵之別。
Paul在給聯(lián)想評估時(shí)，竟然沒(méi)有向測試部門(mén)提問(wèn)，這個(gè)事實(shí)太令我失望了。其他領(lǐng)域不論，我真的不信對于測試領(lǐng)域竟然無(wú)話(huà)可問(wèn)！
文章來(lái)源于領(lǐng)測軟件測試網(wǎng) http://kjueaiud.com/