性能測(cè)試的概念
一般來(lái)說(shuō)，性能是一種指標(biāo)，表明軟件系統(tǒng)或構(gòu)件對(duì)其及時(shí)性要求的符合程度;其次，性能是軟件產(chǎn)品的一種特性，可以用時(shí)間來(lái)進(jìn)行度量。性能的及時(shí)性用響應(yīng)時(shí)間或吞吐量來(lái)衡量。響應(yīng)時(shí)間是指服務(wù)器對(duì)請(qǐng)求作出響應(yīng)所需要的時(shí)間。
系統(tǒng)性能包括時(shí)間和空間兩個(gè)維度，時(shí)間是指客戶操作業(yè)務(wù)的響應(yīng)時(shí)間，空間是指系統(tǒng)執(zhí)行客戶端請(qǐng)求時(shí)，系統(tǒng)資源消耗情況。客戶關(guān)注的性能只是時(shí)間的表現(xiàn)，客戶不關(guān)注是什么原因引起的性能問(wèn)題，但性能測(cè)試工程師和系統(tǒng)工程師就必須關(guān)注系統(tǒng)資源使用的情況。
性能測(cè)試是測(cè)試系統(tǒng)端到端(即客戶端發(fā)送請(qǐng)求經(jīng)過(guò)服務(wù)器將信息返回的過(guò)程)的性能指標(biāo)，目前在系統(tǒng)設(shè)計(jì)階段無(wú)法設(shè)計(jì)出一個(gè)定量性能的系統(tǒng)，即開(kāi)發(fā)工程師無(wú)法保證設(shè)計(jì)好的系統(tǒng)其性能表現(xiàn)如何，還是得靠測(cè)試來(lái)驗(yàn)證性能的表現(xiàn)，性能測(cè)試是一系列的測(cè)試過(guò)程。在系統(tǒng)投入到市場(chǎng)之前，必須對(duì)系統(tǒng)的性能進(jìn)行測(cè)試，否則無(wú)法確定系統(tǒng)的性能是否能滿足客戶的需求。
性能測(cè)試自動(dòng)化
手工進(jìn)行性能測(cè)試存在諸多困難，如圖16-1 所示。
1、消耗大量的測(cè)試資源(主要包括測(cè)試人員和測(cè)試機(jī)器的成本)。
2、如何保證并發(fā)測(cè)試?
3、如何收集測(cè)試結(jié)果?
4、如何重復(fù)執(zhí)行該測(cè)試?
需要使用性能測(cè)試工具來(lái)代替手工測(cè)試，即性能測(cè)試自動(dòng)化的過(guò)程，自動(dòng)化性能測(cè)試是利用人員、流程和技術(shù)來(lái)減少應(yīng)用程序部署、升級(jí)或補(bǔ)丁部署過(guò)程中的風(fēng)險(xiǎn)的方法。自動(dòng)化性能測(cè)試的核心是將生產(chǎn)工作量應(yīng)用到部署前的系統(tǒng)，同時(shí)測(cè)量系統(tǒng)性能和最終用戶體驗(yàn)。
自動(dòng)化性能測(cè)試解決方案應(yīng)該能夠解決以下問(wèn)題：
1、模擬成百上千個(gè)用戶與系統(tǒng)交互，而無(wú)需過(guò)多的硬件需求。
2、 測(cè)量最終用戶響應(yīng)時(shí)間。
3、 監(jiān)控負(fù)載系統(tǒng)組件。
高效的自動(dòng)化測(cè)試解決方案(即性能測(cè)試工具)通常使用四個(gè)主要組件來(lái)構(gòu)建并運(yùn)行測(cè)試：
1、 虛擬用戶生成程序，用于將最終用戶業(yè)務(wù)流程捕獲到自動(dòng)化腳本中。
2、 監(jiān)視器，用于組織、驅(qū)動(dòng)、管理和監(jiān)控負(fù)載。
3、 負(fù)載生成程序，用于在執(zhí)行時(shí)運(yùn)行虛擬用戶。
4、 分析引擎，用于查看、剖析和比較結(jié)果。
結(jié)構(gòu)完善的性能測(cè)試應(yīng)該能夠回答以下問(wèn)題：
1、 應(yīng)用程序?qū)δ繕?biāo)用戶響應(yīng)是否夠迅速?
2、 應(yīng)用程序是否能夠處理預(yù)期的用戶負(fù)載以及更多的負(fù)載?
3、 應(yīng)用程序是否能夠處理業(yè)務(wù)所需要的大量交易?
4、 應(yīng)用程序在預(yù)期或非預(yù)期的用戶負(fù)載下是否穩(wěn)定?
5、 在投入使用時(shí)用戶是否具有積極的體驗(yàn)(即快速響應(yīng)時(shí)間)?
主流性能測(cè)試工具
目前市場(chǎng)上的性能測(cè)試工具較多，主流的性能測(cè)試工具有LoadRunner、QALoad、SilkPerformer和Rational Performance Tester。這類都為負(fù)載性能測(cè)試工具，其原理都相同。首先是錄制腳本，通過(guò)錄制腳本，性能測(cè)試工具通過(guò)協(xié)議來(lái)獲取客戶向服務(wù)器端發(fā)送的內(nèi)容;接著通過(guò)回放腳本，將錄制好的內(nèi)容進(jìn)行回放，來(lái)模擬多用戶同時(shí)向被測(cè)試系統(tǒng)發(fā)送請(qǐng)求，以達(dá)到并發(fā)測(cè)試的目的;最后性能測(cè)試工具將收集到的測(cè)試數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中，通過(guò)分析器生成相關(guān)的視圖達(dá)到性能測(cè)試的目的。
下面就這幾款主流性能測(cè)試工具進(jìn)行簡(jiǎn)單的介紹：
1、LoadRunner。
LoadRunner 是一種預(yù)測(cè)系統(tǒng)行為和性能的負(fù)載測(cè)試工具。可以模擬上千萬(wàn)用戶并發(fā)負(fù)載并實(shí)時(shí)監(jiān)測(cè)系統(tǒng)性能的方式來(lái)確認(rèn)和查找問(wèn)題。LoadRunner 能夠?qū)φ麄€(gè)企業(yè)架構(gòu)進(jìn)行測(cè)試。通過(guò)使用LoadRunner，企業(yè)能最大限度地縮短測(cè)試時(shí)間，優(yōu)化性能和加速應(yīng)用系統(tǒng)的發(fā)布周期。當(dāng)前最新版本為11.0 版，生產(chǎn)廠商Mercury(美利科)已于2006 年被HP(惠普)收購(gòu)。
LoadRunner 支持的協(xié)議如下：
1) 自定義：C Vuser、VB Vuser、VBScript Vuser、http://VB.NET Vuser、Java Vuser、JavaScript Vuser。
2) 電子商務(wù)：Action Message Format(AMF)、AJAX(Click and Script)、File Transfer Protocol (FTP)、Flex、Listing Directory Service(LDAP)、Microsoft .NET、Web(Click and Script)、Web(HTTP/HTML)、Web Services。
3) 客戶端/服務(wù)器：DB2 CLI、Domain Name Resolution(DNS)、Informix、MS SQL Server、 ODBC、Oracle(2-Tier)、Sybase CTlib、Sybase DBlib、Windows Sockets。
4) ERP/CRM ： Oracle NCA 、Oracle Web Applications 11i 、PeopleSoft Enterprise 、Peop leSoft-Tuxedo、SAP-Web、SAP(Click and Script)、SAPGUI、Siebel-Web。
5) 郵件服務(wù)：Internet Messaging(IMAP)、MS Exchange(MAP)、Post Office Protocol(POP3)、Simple Mail Transfer Protocol(SMTP)。
6) 中間件：Tuxedo、Tuxedo 6。
7) 無(wú)線服務(wù)：i-Mode、Multimedia Messaging Service(MMS)、WAP。
8) 流媒體：Media Player(MMS)、Real。
2、QALoad。
QALoad 是客戶/服務(wù)器系統(tǒng)、企業(yè)資源計(jì)劃(ERP)和電子商務(wù)應(yīng)用的自動(dòng)化負(fù)載測(cè)試工具。QALoad 是QACenter 的一部分，它通過(guò)可重復(fù)的、真實(shí)的測(cè)試，能夠徹底地度量應(yīng)用的可擴(kuò)展性和性能。QACenter 匯集完整的跨企業(yè)的自動(dòng)測(cè)試產(chǎn)品，專為提高軟件質(zhì)量而設(shè)計(jì)。QACenter 可以在整個(gè)開(kāi)發(fā)生命周期，跨越多種平臺(tái)自動(dòng)執(zhí)行測(cè)試任務(wù)。在投產(chǎn)準(zhǔn)備時(shí)期，QALoad 可以模擬成百上千的用戶并發(fā)執(zhí)行關(guān)鍵業(yè)務(wù)而完成對(duì)應(yīng)用程序的測(cè)試，并針對(duì)所發(fā)現(xiàn)的問(wèn)題對(duì)系統(tǒng)性能進(jìn)行優(yōu)化，確保應(yīng)用的成功部署。當(dāng)前最新版本為5.6 版，生產(chǎn)廠商為Compuware(康博)公司。
QALoad 支持的協(xié)議如下：
通信層：Winsock、IIOP、WWW、WAP、Net Load。
數(shù)據(jù)層：ODBC、MS SQL Server、Oracle、Oracle Forms Server、Sybase、DB2、ADO。
應(yīng)用層：SAP、Tuxedo、Uniface、QARun、Java。
3、SilkPerformer。
SilkPerformer 是業(yè)界領(lǐng)先的應(yīng)用性能測(cè)試解決方案，它支持目前業(yè)界主流應(yīng)用平臺(tái)，通過(guò)成千上萬(wàn)的虛擬用戶來(lái)模擬生產(chǎn)環(huán)境可能遇到的各種真實(shí)負(fù)載場(chǎng)景，幫助用戶快速定位可能存在的性能瓶頸，同時(shí)提供診斷、分析能力幫助開(kāi)發(fā)、測(cè)試團(tuán)隊(duì)快速修復(fù)應(yīng)用性能問(wèn)題，為應(yīng)用發(fā)布決策提供有力的信息支撐，加速產(chǎn)品發(fā)布。當(dāng)前最新版本為7.0 版，生產(chǎn)廠商為Micro Focus 公司。
SilkPerformer 支持的協(xié)議如下：
1) 主流數(shù)據(jù)庫(kù)訪問(wèn)協(xié)議：ODBC、ADO、Oracle OCI、IBM CLI。
2) 主流協(xié)議：HTTP(S)、SMTP/POP、MAPI、FTP、LDAP、WAP、MMS、Radius、TCP/IP、UDP、SSL、SOAP(XML)、i-Mode。
3) 流媒體技術(shù)：Macromedia Flex/AMF、Streaming(MS, Real)。
4) 主流接口和應(yīng)用框架：CORBA(IIOP)、EJB(IIOP、RMI)、(D)COM(COM+、MTS)、ActiveX、DLL、BEA Tuxedo(ATMI、JOLT)、Oracle Forms、.NET Framework、J2EE/Java Framework、VB6 Framework。
5) ERP/CRM 系統(tǒng)：SAP、PeopleSoft、Siebel、Oracle Applications。
6) 其他：Outlook Web Access、MS .NET SOAP Stack、Apache Java SOAP Stack、Chordiant、E.piphany、Lawson、SSPS ShowCase、Amdocs Clarify。
4、Rational Performance Tester。
Rational Performance Tester(簡(jiǎn)稱 RPT)也是一款性能測(cè)試工具，適用于基于 Web 的應(yīng)用程序的性能和可靠性測(cè)試。Rational Performance Tester 將易用性與深入分析功能相結(jié)合，從而簡(jiǎn)化了測(cè)試創(chuàng)建、負(fù)載生成和數(shù)據(jù)收集，以幫助確保應(yīng)用程序具有支持?jǐn)?shù)以千計(jì)并發(fā)用戶并穩(wěn)定運(yùn)行的性能。當(dāng)前最新版本為8.1 版，生產(chǎn)廠商為IBM Rational 公司。
Rational Performance Tester 支持的協(xié)議包括：HTTP、SAP、Siebel、SIP、TCP Socket 和Citrix 等。
Rational Performance Tester 在錄制腳本時(shí)可以選擇4 種類型的記錄器：RPT HTTP 記錄、SAP記錄、SDK Smaple Socket 記錄和Citrix 記錄。
