Jmeter介绍

jmeter是apache公司基于java开发的一款开源压力测试工具,体积小,功能全,使用方便,是一个比较轻量级的测试工具,使用起来非常简单。
因为jmeter是java开发的,所以运行的时候必须先要安装jdk才可以。jmeter是免安装的,拿到安装包之后直接解压就可以使用,同时它在linux/windows/macos上都可以使用。
jmeter可以做接口测试和压力测试。
其中接口测试的简单操作包括做http脚本(发get/post请求、加cookie、加header、加权限认证、上传文件)、
做webservice脚本、参数化、断言、关联(正则表达式提取器和处理json-json path extractor)和jmeter操作数据库等等。

此外,还可以不断增大并发数直到接口响应出现error,测得一个系统能承载的最大并发数。

压力测试

压测思路

设定x个线程去同时请求接口(人为指定并发数为x),测得此时的qps、平均耗时等值。然后逐渐增大并发数进行测试,随着并发数的增大qps会逐渐增大直到达到一个最大值。这时我们就得到了系统的一个qps上限。

这时如果并发数继续增大,因为qps已经到达上限了,那么为了满足并非=qps*avg的公式,只能增大耗时,也就是会看到耗时的增加,接口响应变慢。

压测场景分两种

压力测试分两种场景:一种是单场景,压一个接口的;第二种是混合场景,多个有关联的接口。压测时间,一般场景都运行10-15分钟。如果是疲劳测试,可以压一天或一周,根据实际情况来定。

压测任务需求的确认
压测前要明确压测功能和压测指标,一般需要确定的几个问题:

固定接口参数进行压测还是进行接口参数随机化压测?
要求支持多少并发数?
TPS(每秒钟处理事务数)目标多少?响应时间要达到多少?
压服务器名称还是压服务器IP,一般都是压测指定的服务器
压测设置
线程数:并发数量,能跑多少量。具体说是一次存在多少用户同时访问
Rame-Up Period(in seconds):表示JMeter每隔多少秒发动并发。理解成准备时长:设置虚拟用户数需要多长时间全部启动。
如果线程数是20,准备时长为10,那么需要10秒钟启动20个数量,也就是每秒钟启动2个线程。
循环次数:这个设置不会改变并发数,可以延长并发时间。总请求数=线程数*循环次数
调度器:设置压测的启动时间、结束时间、持续时间和启动延迟时间。

运行完后,聚合报告会显示压测的结果。主要观察Samples、Average、error、Throughput。

Samples:表示一共发出的请求数
Average:平均响应时间,默认情况下是单个Request的平均响应时间(ms)
Error%:测试出现的错误请求数量百分比。若出现错误就要看服务端的日志,配合开发查找定位原因
Throughput:简称tps,吞吐量,默认情况下表示每秒处理的请求数,也就是指服务器处理能力,tps越高说明服务器处理能力越好。
压测结果的分析
有错误率同开发确认,确定是否允许错误的发生或者错误率允许在多大的范围内;

Throughput吞吐量每秒请求的数大于并发数,则可以慢慢的往上面增加;若在压测的机器性能很好的情况下,
出现吞吐量小于并发数,说明并发数不能再增加了,可以慢慢的往下减,找到最佳的并发数;

压测结束,·登陆相应的web服务器查看CPU等性能指标,进行数据的分析;

最大的tps:不断的增加并发数,加到tps达到一定值开始出现下降,那么那个值就是最大的tps。

最大的并发数:最大的并发数和最大的tps是不同的概率,一般不断增加并发数,达到一个值后,服务器出现请求超时,则可认为该值为最大的并发数。
压测过程出现性能瓶颈,若压力机任务管理器查看到的cpu、网络和cpu都正常,未达到90%以上,则可以说明服务器有问题,压力机没有问题。
影响性能考虑点包括:数据库、应用程序、中间件(tomact、Nginx)、网络和操作系统等方面。
jmeter在linux下进行压力测试
jmeter 在linux安装
简单说下,就是要先安装jdk,同时再配置环境变量,最后再上传jmeter压缩的安装包,在linux下解压完安装包就可以使用了。

jmeter在linux运行
进入jmeter下的bin目录下运行脚本,未配置jmeter环境变量的条件下,运行的命令:

1
./jmeter -n -t a.jmx -l res.jtl

其中a.jmx是准备好的jmeter脚本,res.jtl是测试结果文件,测试结果文件可以导入到jmeter察看结果树下查看。

压测前知识准备

普通线程组

  • 线程数:模拟并发用户数(你要模拟多少人的并发用户数,这个线程数就需要设置多少

  • ramp-up:启动的时间【花多长时间准备好上面的线程数】

  • 循环: 至少要有1次

    • 勾选永远 -----一直执行下去, 直到点击停止

      • 与 调度器 一起使用
    • 循环勾选 永远 + 调度器 设置执行时间 【这二者 缺一不可】

      JMeter中持续时间设置成永远调度器才会起作用


  • 如果:ramp-up时间 < 调度器中 持续时间

    • 总的执行时间 = 调度器中 持续运行时间

  • 如果:ramp-up时间 > 调度器中持续运行时间

    • 调度器持续运行时间长度内, 我们并发用户数 会累加, 而 ramp-up时间 - 持续运行时间 这一段时间内, 产生的并发用户数,执行完一次所有取样器的请求,就停止。
    • 真正运行时间长度, 稍微小于 ramp-up时间

  • ramp-up时间设置(经验)

    • 小于100个线程数,ramp-up时间 1~2秒
    • 小几百的线程数,ramp-up时间3-5秒钟
    • 大几百到几千线程数,ramp-up时间 5-10秒就可以

  • 性能测试持续运行时间一般设置多少?

    • 我们在调试,试运行的时候,几十秒
    • 真正做性能测试,想要得到性能指标,持续运行时间长度,一般会设置为几分钟到几十分钟。
      • 如果你想对测试结果做性能分析,那么,这个时间 一般 会是几分钟到几十分钟

  • 性能测试时

    • 图像界面模式,我们才会去添加一些监听器,在cli无图像界面模式时,我们不添加(不启用任何监听器)

    • 添加的这些图像界面,它的原始数据,都是同一份。只是展示界面效果不一样而已。

    • 查看结果树:

      • 根据收到响应的先后顺序来显示

      • 查看结果树中,显示的数量是有限的。view.results.tree.max_results=500

      • 查看结果树的 大小document.max_size=0这个地方的参数去掉了大小限制

        • 所以, 在你的响应量累加起来很大时,你查看某一个响应结果,都可能导致jmeter内存不足而无响应。
      • jmeter的图像界面中,有一个 所有数据写入文件功能

        • 可以把结果写入一个jtl文件-----这个文件 与cli命令中 -l参数生成jtl文件 相同的。

        • 这个jtl文件,可以在任何一个监听器中被打开,打开只能看概要信息,不能看到详细响应体。

        • 如果不是生成jtl文件,而是生成一个xml文件,打开是可以看到想要的信息。

          • 但是,这个xml不能用 cli命令,生成 html报告。

聚合报告

  • 注意:

    • 1、如果并发用户数是变化的, 不能看聚合报告。
    • 2、如果性能测试中,有网络瓶颈,也不能看聚合报告。

  • 样本: 总请求数量( 不知道多少人,执行了多长时间、请求的频率是多少)

    • 样本数,是完全不知道并发数
  • 响应时间 单位 (ms毫秒)

    • 平均值: 所有样本的时间之和求出来的平均值
    • 中位数: 所有样本的时间之和求出来的平均值
    • 90% 95% 99%: 在所有的样本的时间中,有90%、95%、99%的样本时间小于等于 90%、95%、99%、数值的
    • 最小值
    • 最大值
  • 异常:

    • 失败的样本占比 --------行业标准 3个9, 要求 失败率下雨0.1%

  • 吞吐量:

    • 在没有网络瓶颈时候, 我们把这个数值 == tps的数值
    • 这个吞吐量 与 并发用户数 正相关关系

  • 吞吐率: KB/S

    • 接收
    • 发送
    • 带宽 1Mbps = 1024Kbps = 1024/8 KBps = 128KB/s
    • 拿吞吐率中,任何一个比较大的数值 与 128比较 【得到真正使用的带宽】
    • 真正使用的带宽 与 网络的实际理论带宽 比较 【网络带宽是否成为瓶颈】

    • 每一行:

      • 是一种事物(不是一个取样器)

接口测试

Jmeter-http接口脚本
一般分五个步骤:(1)添加线程组 (2)添加http请求 (3)在http请求中写入接入url、路径、请求方式和参数 (4)添加查看结果树 (5)调用接口、查看返回值

jmeter 发get请求

jmeter 发post请求

jmeter 添加cookie

1
需要在线程组里添加配置元件—HTTP Cookie 管理器

jmeter 添加header

需要在线程组里面添加配置元件—HTTP信息头管理器

jmeter 上传文件

jmeter 参数化

入参经常变化的话,则可以设置成一个变量,方便统一修改管理;如果入参要求随机或可多种选择,则通过函数生成器或者读取文件形成一个变量。所以参数化有三种方式:用户定义的变量、函数生成器、读取文件。

(1)用户定义的变量
  需要添加配置元件-用户定义的变量。

(2)函数生成器
需要用到函数助手功能,可以调用函数生成一些有规则的数据。常用的几个函数有_uuid、_random、_time。
uuid会生成一个随机唯一的id,比如在避免java请求重发造成未处理数据太多的情况,接口请求可加一个唯一的请求id唯一的响应id进行一一对应;
随机数_random,可以在你指定的一个范围里取随机值;取当前时间_time,一些时间类的入参可以使用,
如{__time(,)} 是生成精确到毫秒的时间戳、{__time(/1000,)}是生成精确到秒的时间戳、${__time(yyyy-MM-dd HH:mm:ss,)} 是生成精确到秒的当前时间。

(3)从文件读取
需要在线程组里面添加配置元件-CSV Data Set Config
其中Recycle on EOF:设置True后,允许循环取值

具体的例子如下所示:

jmeter 断言

jmeter断言用来检测响应返回的结果和我们预期的是否一致。若针对整个线程组的话,则在线程组下添加断言-响应断言;若只是针对某个请求的话,则在请求下添加断言-响应断言。

jmeter关联

接口请求之间存在参数调用,为了保存这个参数,建立jmeter关联。比如登陆接口和购买商品接口,购买商品接口就需要登陆接口返回的token等登陆信息,
jmeter关联就可以保存这个token信息,方便购买商品接口使用。
jmeter关联可以通过二种方式来完成,获取到返回结果中指定的值。它们分别是正则表达式提取器、 json path extractor。
(1)正则表达式提取器
若想获取的返回值未匹配到,可以把正则表达式两边匹配的数据扩大点。

a. 关于正则表达式

():括起来的部分就是要提取的。
.:匹配除换行外的任何字符串。
+:代表+号前面的字符必须至少出现一次(一次或多次)。
?:代表?前面的字符最多可以出现一次,在找到第一个匹配项后停止(0次或1次)。
:代表号前面的字符可以不出现,也可以出现一次或者多次(0次、1次或者多次)
(.):贪婪模式,匹配尽可能多的字符
(.
?)或(.+?):匹配尽可能少的字符,一旦匹配到第一个就不往下走了。

b. 关于模板

若想提取多个值的话,比如是a和b这两个值,则可以写成:$1$$2$。无论要提取多少个值,引用名称就是一个的,比如名称为id,${id_go}:获取整个字符串ab,${id_g1}:
获取的是a,${id_g2}:获取的是b。
下面有一个具体的实例,如下图所示:

(2)json path extractor
  jmeter通过安装json path extractor插件来处理json串,提取json串中的字段值。插件的下载地址:https://jmeter-plugins.org/?search=jpgc-json,
下载完成,解压后,直接把lib文件夹放到jmeter相应目录下面。特别说明:jmeter 2.xx左右的版本尝试过无法使用该插件,在jmeter 3.xx左右的版本装完插件后能正常使用。
需要在请求下创建后置处理器-jp@gc-JSON Path Extractor,具体的实例如下所示:

关于json path相关插件的方法和使用,推荐可以看这篇博客: http://www.jianshu.com/p/56a607fc0d8f

jmeter 操作数据库

操作数据库基本有四个步骤:
(1)导入mysql的jdbc的jar包
(2)创建数据库的连接配置,线程组里添加配置元件-JDBC Connection Configuration
(3)线程组里添加jdbc request,写sql语句 (4)添加察看结果树,点击启动按钮,就能看到执行的SQL。具体的实例如下截图所示:

数据库 驱动 数据库url
mysql com.mysql.jdbc.Driver jdbc:mysql://host:port/{dbname}?allowMultiQueries=true
oracle org.postgresql.Driver dbc:postgresql:{dbname}

Jmeter-webservice接口脚本

基本分为五个步骤:
(1)先需要通过soapui工具获取到webservice接口的请求地址、请求报文和请求soapaction。
(2)jmeter新建一个线程组 (3)线程组下建立SOAP/XML-RPC Request,写入请求url、请求报文、请求soapaction。
(3)启动jmeter,调用接口,通过察看结果树查看返回值。
soapui获取信息的实例如下图所示:

  • soapui提交完后,点击raw,可看到soapation,有些接口若没返回soapation,则jmeter里也就不用填。
  • jmeter-webservice脚本实例如下图所示:

附:其他注意事项

0、测试中提交的中文参数 需要进行URL转码

可以使用这种方式

也可以使用这种方式

1、默认linux可能不支持中文,可以通过以下方式简单处理:

编辑i18n配置文件: vi /etc/sysconfig/i18n

进行如下配置并保存退出:

1
2
3
#LANG="en_US.UTF-8"
LANG="zh_CN.UTF-8"
SYSFONT="latarcyrheb-sun16"

执行以下命令即时生效
source /etc/sysconfig/i18n

2、在linux下对于jmeter的csv参数文件不要命名为ID.CSV

原因不明,至少在jmeter4.0下测试发现了问题,这样命名的文件,要么是发送消息为乱码,要么是读取不到参数。

3、将csv参数统一为UTF-8编码是解决编码兼容性的好办法,以下smooth-z提供的在linux下批量转换csv为utf-8编码的脚本:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

#!/bin/bash
### 将 values_here 替换为输入编码
#FROM_ENCODING="value_here"
### 输出编码 (UTF-8)
TO_ENCODING="UTF-8"
### 转换命令
#CONVERT=" iconv -f $FROM_ENCODING -t $TO_ENCODING"
#使用循环转换多个文件
for file in *.csv; do
rm -f ${file%.csv}.csv.bak #先清理备份文件
mv ${file%.csv}.csv ${file%.csv}.csv.bak #转换前先备份文件
#以下为获取csv文件的原编码格式
FROM_ENCODING=$(file -i ${file%.csv}.csv.bak | awk '{print $3}' | sed '1s/charset=//g')
#对于识别不了的编码暂时归为GBK
if [ "$FROM_ENCODING" = "unknown-8bit" ];then
FROM_ENCODING=$(echo "GBK")
fi
CONVERT=" iconv -f $FROM_ENCODING -t $TO_ENCODING"
$CONVERT "${file%.csv}.csv.bak" -o "$file"
#$CONVERT "$file" -o "${file%.csv}.csv"
done
exit 0

将脚本放在csv文件目录下,给脚本赋可执行权限,执行完后就能将当前目录下的csv编码格式全转成utf-8