人們總是認(rèn)為，用戶測(cè)試是一個(gè)復(fù)雜且代價(jià)昂貴的事情。一個(gè)網(wǎng)站設(shè)計(jì)項(xiàng)目需要一個(gè)龐大的預(yù)算和長(zhǎng)長(zhǎng)的時(shí)間表。其實(shí)，可用性測(cè)試并非如大多數(shù)人認(rèn)為的是浪費(fèi)資源的事情。在你可承受的測(cè)試成本范圍內(nèi)，使用不超過(guò)5個(gè)用戶，即可達(dá)到很好的測(cè)試效果。
最初的研究過(guò)程中，Tom Landauer 和我得出了一個(gè) 可用性測(cè)試方面的，關(guān)于測(cè)試人員的數(shù)量的公式：
假設(shè)一個(gè)可用性測(cè)試的測(cè)試人員數(shù)量為n，N為所有可用性測(cè)試發(fā)現(xiàn)的問(wèn)題總數(shù)，L是單個(gè)測(cè)試人員的問(wèn)題發(fā)現(xiàn)率。
N(1-(1-L)n)
我們發(fā)現(xiàn)，大多數(shù)項(xiàng)目的平均的問(wèn)題發(fā)現(xiàn)率為31%。當(dāng) L=31%時(shí)，可以得到如下的圖形：
當(dāng)用戶為零時(shí)，發(fā)現(xiàn)的問(wèn)題數(shù)目是零，即“零用戶零發(fā)現(xiàn)”。我們可以看到，第一個(gè)用戶幾乎發(fā)現(xiàn)的三分之一的設(shè)計(jì)的可用性的問(wèn)題，和零發(fā)現(xiàn)截然不同。當(dāng)我們看第二個(gè)用戶的測(cè)試情況時(shí)，可以發(fā)現(xiàn)，有一部分問(wèn)題是和第一個(gè)user重合的。人們之間的行為或發(fā)現(xiàn)有一定的差異，第二個(gè)user可以發(fā)現(xiàn)一些不同于第一個(gè) user的問(wèn)題，有區(qū)別于第一個(gè)用戶的新發(fā)現(xiàn)，但是問(wèn)題數(shù)量不及第一個(gè)用戶的最初發(fā)現(xiàn)。第三個(gè)用戶做了很多前兩者重復(fù)的事情，有些甚至重復(fù)2次。另外，當(dāng)然，第三個(gè)用戶本身異能發(fā)現(xiàn)少量的新問(wèn)題，顯然數(shù)量遠(yuǎn)遠(yuǎn)不及前 兩個(gè)用戶。
現(xiàn)在，加入更多的測(cè)試人員(user)，你會(huì)發(fā)現(xiàn)一個(gè)現(xiàn)象，隨著人數(shù)的增加，重復(fù)的事情一再出現(xiàn)，發(fā)現(xiàn)的新問(wèn)題發(fā)現(xiàn)率開(kāi)始下降。顯然不再需要讓更多的人來(lái)重復(fù)發(fā)現(xiàn)重復(fù)的問(wèn)題，自然回回去重新設(shè)計(jì)，以解決發(fā)現(xiàn)問(wèn)題。
到了第5個(gè)user，你就是在浪費(fèi)時(shí)間，去做重復(fù)的事情，并且?guī)缀踉贈(zèng)]有先的發(fā)現(xiàn)。
迭代設(shè)計(jì)
上圖中的曲線很清除地標(biāo)明，至少需要15個(gè)用戶去發(fā)現(xiàn)所有的設(shè)計(jì)中的可用性問(wèn)題。但是，為什么我更傾向于推薦用更少的測(cè)試人員呢?一個(gè)主要的原因是合理分配可用性測(cè)試的預(yù)算。讓我們看看，當(dāng)你招聘15個(gè)客戶代表來(lái)對(duì)你的設(shè)計(jì)進(jìn)行測(cè)試時(shí)，就一位著你得花費(fèi)5個(gè)用戶的3倍的費(fèi)用!
當(dāng)我們?nèi)プ鲇脩舻目捎眯詼y(cè)試時(shí)，最終的目標(biāo)是為了解決或者提高實(shí)際的設(shè)計(jì)，而不是僅僅得到一份書(shū)面的報(bào)告。當(dāng)5個(gè)用戶的首次測(cè)試發(fā)現(xiàn)了85%的可用性問(wèn)題時(shí)，你已經(jīng)可以在下一個(gè)desagn中修復(fù)這些問(wèn)題。
如果想發(fā)現(xiàn)更多的問(wèn)題，當(dāng)然需要再次測(cè)試。即使我說(shuō)重新設(shè)計(jì)可以修復(fù)第一次測(cè)試時(shí)發(fā)現(xiàn)的問(wèn)題，事實(shí)是你可能認(rèn)為新的設(shè)計(jì)可以客服已有的問(wèn)題。但是，在沒(méi)有人能設(shè)計(jì)出更完美的用戶界面之前，無(wú)法保證新的設(shè)計(jì)可以修復(fù)事實(shí)存在的問(wèn)題。第二次測(cè)試可以回歸已有的問(wèn)題，確認(rèn)是否修復(fù)。同時(shí)，一個(gè)新的設(shè)計(jì)，意味著還需要一次新的用戶測(cè)試。
5個(gè)用戶的第二次測(cè)試，可以發(fā)現(xiàn)第一次測(cè)試時(shí)遺留的15%的問(wèn)題。(仍舊會(huì)有2%的問(wèn)題遺留要等到第三次測(cè)試來(lái)發(fā)現(xiàn))。
最終，第二次測(cè)試的深度可以設(shè)計(jì)到網(wǎng)站的設(shè)計(jì)架構(gòu)，獲取到我們所需的一些信息，如體系架構(gòu)、任務(wù)流程等是否符合客戶需求。這些問(wèn)題常常在隱藏在一些表面的可用性問(wèn)題之后，而為人們所忽略。
所以，第二次的測(cè)試作為第一次測(cè)試的質(zhì)量保障，并且可以發(fā)現(xiàn)更深入的問(wèn)題。第二次測(cè)試會(huì)為系統(tǒng)的重新設(shè)計(jì)提供一份新的問(wèn)題清單，但數(shù)量顯然會(huì)少于第一次測(cè)試。但是，本次測(cè)試并不能完全補(bǔ)充第一次測(cè)試，還需要第三次的測(cè)試來(lái)進(jìn)行查漏補(bǔ)缺。
5個(gè)用戶三次的最終測(cè)試效果要遠(yuǎn)高于15個(gè)用戶測(cè)試一次的效果。
為什么不建議單用戶的測(cè)試?單個(gè)人的行為總會(huì)有一些風(fēng)險(xiǎn)，人總會(huì)有一些意外的，不確定的行為。
你可能會(huì)認(rèn)為15個(gè)用戶做一輪測(cè)試，比5個(gè)用戶做3輪要好。因?yàn)榍�表明，第一個(gè)用戶的發(fā)現(xiàn)率明顯高于后續(xù)的用戶，但是，為什么我們要堅(jiān)持多輪測(cè)試?兩個(gè)原因：第一，通過(guò)觀察3個(gè)人就可以看到用戶行為的多樣性，可以洞察到那些行為是獨(dú)特的那些是可以一概而論的;第二，用戶測(cè)試的成本效益分析表明，3-5個(gè)測(cè)試用戶的最佳比例，依賴于測(cè)試的風(fēng)格。初始的運(yùn)行成本和測(cè)試計(jì)劃相關(guān)，多個(gè)用戶對(duì)于降低最初的成本效果更好。
什么時(shí)候增加更多的測(cè)試用戶
當(dāng)你的網(wǎng)站客戶群覆蓋到幾個(gè)不同高度的用戶群時(shí)，你需要增加更多的測(cè)試用戶。上面公式的適用于網(wǎng)站的用戶群接近或者差異很小時(shí)。舉個(gè)例子，當(dāng)你的網(wǎng)站客戶群是定位于父母和孩子時(shí)，你就需要充分考慮到兩個(gè)不同群里的使用行為。系統(tǒng)的相同之處是對(duì)于采購(gòu)代理商的銷售人員之間的連接。
甚至當(dāng)用戶群體差異性完全不同時(shí)，在兩類人之間也可發(fā)現(xiàn)很多相似之處。畢竟，所有的用戶都是人。所有的可用性問(wèn)題反應(yīng)的都是人的行為與網(wǎng)站之間的互動(dòng)和影響。
在測(cè)試不同的用戶群時(shí)，你不需要每個(gè)用戶群中都有很多測(cè)試人員(user)，有以下的一個(gè)測(cè)試人員數(shù)目就足夠了：1、如果測(cè)試兩個(gè)用戶群，則每類群需要 3-4個(gè)用戶;2、如果測(cè)試3個(gè)或更多的用戶群，則每類有3個(gè)測(cè)試用戶就可以了(至少3個(gè)users就可以確保你覆蓋到某一個(gè)用戶群中的不同的行為)
參考：Nielsen, Jakob, and Landauer, Thomas K.: "A mathematical model of the finding of usability problems," Proceedings of ACM INTERCHI'93 Conference (Amsterdam, The Netherlands, 24-29 April 1993), pp. 206-213.
原作者： Jakob Nielsen
原文鏈接：Why You Only Need to Test with 5 Users