软件系统性能评估方法
专利名称软件系统性能评估方法
技术领域本发明涉及计算机领域，是一种对J2EE软件系统进行性能评估的方法。
背景技术随着企业及公共部门对信息系统使用的广泛和深入，其各种工作越来越依赖信息系统的支持，对信息系统的可用性、稳定性提出了越来越高的要求。一般的软件开发主要重视软件系统的功能是否满足用户需求，而对于自身运行的性能、稳定性等几乎没有什么关注。在这种情况下，信息系统的维护难度越来越大，比如经常出现响应变慢、宕机等现象。当业务量增加时，多数用户则盲目通过扩充硬件来解决。目前由于软件开发企业缺乏对软件性能的有效评估，时常造成因软件性能的问题而使用户盲目地对硬件投资，造成资金的大量浪费。
包括信息收集系统、数据处理系统和报表系统，其特征在于从诸多描述软件系统运行状况的指标中挑选出关键的一些进行记录和存储，并设计了一套综合算法，用来评估软件系统的性能、稳定性状况，通过和历史信息近似系统的比较以辅助管理人员做出对软件系统的改进、升级和优化的决策，评估步骤包括(一)采集系统采集各个环节的运行信息加以分析，并将信息和分析结果进行存储，对系统处理的交易量、数据量、峰值负载变化，随时与历史数据进行对比，找出差异点，及时优化配置，对于同时运行的多套系统，不同系统间数据进行对比，找出性能差的系统并进行改进；信息收集系统包括一套完整的日志、操作系统、软件中间件、应用软件和数据库自带的日志；在基于J2EE的软件系统中，应用服务器收集的是CPU占用信息、请求信息url_conn.log和JVM堆内存回收信息native_stderr.log；数据库服务器收集的是CPU占用信息、内存占用信息、归档日志、数据库快照；(二)数据处理系统将复杂的对比数据整理计算后生成各项性能评估指标；数据处理系统将日志中的信息导入到数据库中，并进行清洗、整理、汇总、分析，最终汇总到汇总表中，汇总表是计算的结果，也是报表系统的数据来源，建立专门的数据库来处理收集上来的信息；存放原始信息的表叫流水表，存放处理后信息的表叫汇总表；流水表的数据量比较大，要定期把信息转移到汇总表，然后将流水表中的数据清理掉，汇总表分日汇总、周汇总、峰值汇总等；峰值汇总是把每周数据按小时汇总，目的是记录一天中系统负载的分布情况；
(三)报表系统将操作系统、软件中间件、应用系统和数据库各个方面的性能评估指标综合在一起，采用统一的方法记录、存储和展现，生成充分体现系统运行各方面性能指标的综合性能评估描述报告，将报告定期报送系统管理人员及相关领导使其采用系统性能综合评估算法对软件系统进行综合性能评估；报表系统主要是根据汇总表或日志表中的信息，按主题、读者的不同输出各种报告；报表系统涉及的关键指标如下(1)系统的平均无故障率MTBR，平均无故障率是指系统无故障时间与系统运行时间的比例；计算方法是分析GC日志，查找关键字“JVMST080”，使用出现JVMST080之前和之后两次GC的时间间隔再加上一个固定时间，如3分钟作为系统的停机时间，系统的工作时间从8:00到18:00；(2)系统的平均响应时间average response time计算方法是分析URL日志，每个URL的开始和结束时间累加在一起，除以URL的次数就得到平均响应时间；还应计算平均数据库响应时间，方法是分析数据库连接日志，将所有数据库连接的持续时间累加在一起，再除以数据库连接次数；根据URL总数和数据库连接总数，将数据库连接时间分摊到每次URL上，计算出平均URL数据库响应时间，用平均响应时间减去平均URL数据库响应时间，得到平均URL应用响应时间；(3)内存耗用分析GC日志，累加系统的总体内存耗用，除以工作天数，计算日平均内存耗用；(4)数据库成本分析URL_SQL日志，累计总体数据库成本，除以工作天数，计算日平均数据库成本；(5)吞吐量分析每小时执行的URL总数，每小时处理的数据库事务数，每小时处理的数据库交易事务数；(6)并发用户数分析根据URL开始、结束时间重叠的情况计算出峰值并发用户数和平均并发用户数，楼上框架可以在URL_DB日志中记录各URL开始时候的并发数，这为事后的并发分析带来了很大便利；还计算出每日平均的服务器空闲时间、单并发时间、双并发时间、三并发时间……N并发时间。并根据此数据做一个曲线，表达系统的负载情况；(7)URL微观分析报告每个URL平均的平均响应时间、平均连接数据库的次数、平均的数据库连接时间；(8)服务器负载分析可以根据时间、内存、数据库成本、并发用户、吞吐量等数据计算应用服务器、数据库服务器的“压力指数”，压力指数可以根据各个指标的权重计算得出一个百分数；(9)服务器处理能力分析用整数表示服务器的处理能力，可以用一种或几种服务器的处理能力为基准，用整数10000表示，计算出其他主机的处理能力。
系统运行的综合性能描述报告中除了包含系统吞吐量、平均响应时间、数据库响应时间、峰值负载信息外，还详细记录系统停机情况，用以计算出软件系统的平均无故障工作时间。
图标说明表1是项目系统流量周报表；表2是项目系统流量明细周报表；表3是项目响应慢的请求周报表；表4是系统性能评估周报表。
5、实施方式本发明的方法使用windows/unix操作系统、DB2或oracle数据库。本发明主要由三部分构成信息收集系统、数据处理系统、报表系统。
信息收集系统设计了一套完整的日志，有新增的，也有利用操作系统、软件中间件、应用软件、数据库等自带的日志。
数据处理系统将日志中的信息导入到数据库中，并进行清洗、整理、汇总、分析，最终汇总到汇总表中。汇总表是计算的结果，也是报表系统的数据来源。
报表系统主要是根据汇总表或日志表中的信息，按主题、读者的不同输出各种报告。
(一)信息收集在基于J2EE的软件系统中，应用服务器和数据库服务器的作用不同，收集的信息也不同。应用服务器要收集CPU占用信息、请求信息(url_conn.log)、JVM堆内存回收信息(native_stderr.log)。数据库服务器收集CPU占用信息、内存占用信息、归档日志、数据库快照。
(二)数据处理建立专门的数据库来处理收集上来的信息。存放原始信息的表叫流水表，存放处理后信息的表叫汇总表。流水表的数据量比较大，要定期把信息转移到汇总表，然后将流水表中的数据清理掉。汇总表分日汇总、周汇总、峰值汇总等。峰值汇总是把每周数据按小时汇总，目的是记录一天中系统负载的分布情况。
(三)报表系统附图
中给出了几个典型图样。报表系统涉及的关键指标如下1.系统的平均无故障率(MTBR)，平均无故障率是指系统无故障时间与系统运行时间的比例。
计算方法是分析GC日志，查找关键字“JVMST080”，使用出现JVMST080之前和之后两次GC的时间间隔再加上一个固定时间(如3分钟)作为系统的停机时间。系统的工作时间从8:00到18:00。
2.系统的平均响应时间(average response time)计算方法是分析URL日志，每个URL的开始和结束时间累加在一起，除以URL的次数就得到平均响应时间。
还应计算平均数据库响应时间，方法是分析数据库连接日志，将所有数据库连接的持续时间累加在一起，再除以数据库连接次数。
根据URL总数和数据库连接总数，将数据库连接时间分摊到每次URL上，计算出平均URL数据库响应时间，用平均响应时间减去平均URL数据库响应时间，得到平均URL应用响应时间。
3.内存耗用分析GC日志，累加系统的总体内存耗用，除以工作天数，计算日平均内存耗用。
4.数据库成本分析URL_SQL日志，累计总体数据库成本，除以工作天数，计算日平均数据库成本。
5.吞吐量分析每小时执行的URL总数，每小时处理的数据库事务数，每小时处理的数据库交易事务数。
6.并发用户数分析根据URL开始、结束时间重叠的情况计算出峰值并发用户数和平均并发用户数。楼上框架可以在URL_DB日志中记录各URL开始时候的并发数，这为事后的并发分析带来了很大便利。
还可计算出每日平均的服务器空闲时间、单并发时间、双并发时间、三并发时间……N并发时间。并根据此数据做一个曲线，表达系统的负载情况。
7.URL微观分析报告每个URL平均的平均响应时间、平均连接数据库的次数、平均的数据库连按时间。
8.服务器负载分析可以根据时间、内存、数据库成本、并发用户、吞吐量等数据计算应用服务器、数据库服务器的“压力指数”。压力指数可以根据各个指标的权重计算得出一个百分数。
9.服务器处理能力分析用整数表示服务器的处理能力。可以用一种或几种服务器的处理能力为基准(用整数10000表示)，计算出其他主机的处理能力。
×××项目系统流量周报告××××年第××周(××月××日-××月××日)
×××项目系统流量明细周报告××××年第××周(××月××日-××月××日)
×××项目响应慢URL周报告××××年第××周(××月××日-××月××日)
表3×××项目系统性能评估周报××××年××周
表权利要求
1.软件系统性能评估方法，包括信息收集系统、数据处理系统和报表系统，其特征在于从诸多描述软件系统运行状况的指标中挑选出关键的一些进行记录和存储，并设计了一套综合算法，用来评估软件系统的性能、稳定性状况，通过和历史信息近似系统的比较以辅助管理人员做出对软件系统的改进、升级和优化的决策，评估步骤包括(一)采集系统采集各个环节的运行信息加以分析，并将信息和分析结果进行存储，对系统处理的交易量、数据量、峰值负载变化，随时与历史数据进行对比，找出差异点，及时优化配置，对于同时运行的多套系统，不同系统间数据进行对比，找出性能差的系统并进行改进；信息收集系统包括一套完整的日志、操作系统、软件中间件、应用软件和数据库自带的日志；在基于J2EE的软件系统中，应用服务器收集的是CPU占用信息、请求信息url_conn.log和JVM堆内存回收信息native_stderr.log；数据库服务器收集的是CPU占用信息、内存占用信息、归档日志、数据库快照；(二)数据处理系统将复杂的对比数据整理计算后生成各项性能评估指标；数据处理系统将日志中的信息导入到数据库中，并进行清洗、整理、汇总、分析，最终汇总到汇总表中，汇总表是计算的结果，也是报表系统的数据来源，建立专门的数据库来处理收集上来的信息；存放原始信息的表叫流水表，存放处理后信息的表叫汇总表；流水表的数据量比较大，要定期把信息转移到汇总表，然后将流水表中的数据清理掉，汇总表分日汇总、周汇总、峰值汇总等；峰值汇总是把每周数据按小时汇总，目的是记录一天中系统负载的分布情况；(三)报表系统将操作系统、软件中间件、应用系统和数据库各个方面的性能评估指标综合在一起，采用统一的方法记录、存储和展现，生成充分体现系统运行各方面性能指标的综合性能评估描述报告，将报告定期报送系统管理人员及相关领导使其采用系统性能综合评估算法对软件系统进行综合性能评估；报表系统主要是根据汇总表或日志表中的信息，按主题、读者的不同输出各种报告；报表系统涉及的关键指标如下(1)系统的平均无故障率MTBR，平均无故障率是指系统无故障时间与系统运行时间的比例；计算方法是分析GC日志，查找关键字“JVMST080”，使用出现JVMST080之前和之后两次GC的时间间隔再加上一个固定时间，如3分钟作为系统的停机时间，系统的工作时间从8:00到18:00；(2)系统的平均响应时间average response time计算方法是分析URL日志，每个URL的开始和结束时间累加在一起，除以URL的次数就得到平均响应时间；还应计算平均数据库响应时间，方法是分析数据库连接日志，将所有数据库连接的持续时间累加在一起，再除以数据库连接次数；根据URL总数和数据库连接总数，将数据库连接时间分摊到每次URL上，计算出平均URL数据库响应时间，用平均响应时间减去平均URL数据库响应时间，得到平均URL应用响应时间；(3)内存耗用分析GC日志，累加系统的总体内存耗用，除以工作天数，计算日平均内存耗用；(4)数据库成本分析URL_SQL日志，累计总体数据库成本，除以工作天数，计算日平均数据库成本；(5)吞吐量分析每小时执行的URL总数，每小时处理的数据库事务数，每小时处理的数据库交易事务数；(6)并发用户数分析根据URL开始、结束时间重叠的情况计算出峰值并发用户数和平均并发用户数，楼上框架可以在URL_DB日志中记录各URL开始时候的并发数，这为事后的并发分析带来了很大便利；还计算出每日平均的服务器空闲时间、单并发时间、双并发时间、三并发时间……N并发时间。并根据此数据做一个曲线，表达系统的负载情况；(7)URL微观分析报告每个URL平均的平均响应时间、平均连接数据库的次数、平均的数据库连接时间；(8)服务器负载分析可以根据时间、内存、数据库成本、并发用户、吞吐量等数据计算应用服务器、数据库服务器的“压力指数”，压力指数可以根据各个指标的权重计算得出一个百分数；(9)服务器处理能力分析用整数表示服务器的处理能力，可以用一种或几种服务器的处理能力为基准，用整数10000表示，计算出其他主机的处理能力。
2.根据权利要求所述的方法，其特征在于系统运行的综合性能描述报告中除了包含系统吞吐量、平均响应时间、数据库响应时间、峰值负载信息外，还详细记录系统停机情况，用以计算出软件系统的平均无故障工作时间。
本发明设计了一种基于J2EE的数据库管理系统的运行信息采集办法，并把信息按周进行汇总分析，给出信息系统每周的用户访问情况、各服务器负载、性能瓶颈、故障报告等，从而帮助系统维护者改进、升级、优化信息系统，提高系统的运行效率、减少停机时间。
文档编号G06F11/36GKSQ
公开日日 申请日期日 优先权日日
发明者王伟兵, 宋智强, 武志强 申请人:山东浪潮齐鲁软件产业股份有限公司当前位置： >
评价计算机系统性能的方法主要有三种，不包括（）。
A．测量方法
B．分析方法
C．模拟方法
D．用户调查方法
所属学科：
试题类型：客观题
所属知识点：
试题分数：1.0 分
用户编号：277233笔记时间： 11:02
笔记内容：& & 对计算机系统的性能进行评价的方法主要有三种：测量方法、分析方法和模拟方法。& & 测量方法主要是通过采用各种性能数据获取方法和运行各种不同类型的基准测试程序或工具来测量目标系统的性能情况。& & 分析方法通过为计算机系统建立一种数学模型，进而在给定输入条件下通过计算来获取目标系统的性能情况。& & 模拟方法通过构造系统模型和工作负载模型来近似模仿目标系统，以了解系统的特性。
&&&&&&&&&&&&&&&希赛网 版权所有 & &&Google Chrome 23.0.1271.95
Windows 7关于你上面描述的
“ 并发数： 系统同时处理的request/事务数”
我觉得这也是很模糊的
所谓“同时处理的”
也应该有个单位时间啊
或者是平均值
“并发 PV QPS 吞吐量”等等描述和换算
网上有很多的说法
Google Chrome 27.0.1453.94
Windows 7 x64 Edition写的挺全面，了解了不少
Google Chrome 30.0.
Windows 7 x64 Edition同时在线用户数=每秒请求数RPS（吞吐量）+并发连接数+平均用户思考时间
这个公式怎么看着这么蹊跷呢？是不是什么地方错了？能否给解释一下。
Google Chrome 30.0.
Windows 7 x64 Edition同时在线用户数=每秒请求数RPS（吞吐量）+并发连接数/平均用户思考时间
应该是这样吧？
Windows 7 x64 EditionTPS和并发数关系应该有问题吧。 按照QPS（TPS）= 并发数/平均响应时间公式， 并发数成了单位时间内处理的request数，并没有区分是并行处理还是串行处理。
正确的应该为：并发数：同一时间能够处理的线程数N. 假设每条线程单位时间（秒）处理的request平均是m, 则 TPS=N*m。 即TPS本质上由线程并发数和，线程处理效率决定
Google Chrome 41.0.
Windows 7 x64 Edition写的不错
Google Chrome 49.0.
Windows 10 x64 Edition写的不错
Google Chrome 45.0.
Windows 7 x64 Edition深入浅出
Safari 9.1.1
10.11.5写的不错
Firefox 50.0
Windows 7 x64 Edition楼主写的不错，我们boss让我接手接口 性能测试，能给点指点?谢谢 我以前做的是功能测试
4个多月经验
Sogou Explorer
Windows 7 x64 Edition写的真棒
Google Chrome 57.0.2987.98
Windows 10 x64 Edition在很多地方都看到这篇文章了，这里应该就是原出处吧
电子邮件 *
博文浏览排名
- 285,155 views - 271,677 views - 144,511 views - 124,026 views - 97,191 views - 79,810 views - 74,970 views - 71,108 views - 69,713 views - 65,962 views
2017年六月
12131415161718
19202122232425
2627282930}