kafka吞吐量测试
作者:Zhan-bin
日期:2019-03-04
概述
kafka-producer-perf-test :是kafka提供的测试Producer性能脚本,通过脚本,可以计算出Producer在一段时间内的平均延时和吞吐量。本文就是通过这个方法来对kafka的吞吐量进行测试。
测试
准备
打开zookeeper集群
略打开kafka集群
1
2
3bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-start.sh config/server.properties &查看kafka集群中的所有topic
1
bin/kafka-topics.sh --zookeeper master:2181 --list
这里选择topic first 来进行测试,测试目标是slaver2,slaver3
测试生产者
1 | bin/kafka-producer-perf-test.sh --topic test --num-records 500000 --record-size 200 --througthput -1 --producer-props bootstrap.servers=slave1=9092,slave3=9092 acks=1 |
- 测试结果
测试结果字段 | 说明 |
---|---|
ave latency | 平均延迟 |
max latebcy | 最大延迟 |
3136 ms 50th | 发送50%的消息需要 3136ms |
测试消费者
1 | bin/kafka-consumer-perfs-test.sh --broker-list bd-master:9092,bd-slave1=9092,bd-slave3=9092 --message-size 200 --messages 500000 --topic test |
- 测试结果
start.time | end.time | data.consumed.in.MB | MB.sec | data.consumed.in.nMsg | nMsg.sec |
---|---|---|---|---|---|
2019-03-03 21:39:29:845 | 2019-03-03 21:39:31:258 | 95.3976 | 67.5142 | 500164 | 353973.1069 |