kafka吞吐量测试

作者 zhan-bin 日期 2019-03-04
kafka吞吐量测试

kafka吞吐量测试

作者:Zhan-bin
日期:2019-03-04

概述

kafka-producer-perf-test :是kafka提供的测试Producer性能脚本,通过脚本,可以计算出Producer在一段时间内的平均延时和吞吐量。本文就是通过这个方法来对kafka的吞吐量进行测试。

测试

准备

  • 打开zookeeper集群

  • 打开kafka集群

    1
    2
    3
    bin/kafka-server-start.sh config/server.properties &
    bin/kafka-server-start.sh config/server.properties &
    bin/kafka-server-start.sh config/server.properties &
  • 查看kafka集群中的所有topic

    1
    bin/kafka-topics.sh --zookeeper master:2181 --list


这里选择topic first 来进行测试,测试目标是slaver2,slaver3

测试生产者

1
bin/kafka-producer-perf-test.sh --topic test --num-records 500000 --record-size 200 --througthput -1 --producer-props bootstrap.servers=slave1=9092,slave3=9092 acks=1
  • 测试结果
测试结果字段 说明
ave latency 平均延迟
max latebcy 最大延迟
3136 ms 50th 发送50%的消息需要 3136ms

测试消费者

1
bin/kafka-consumer-perfs-test.sh --broker-list bd-master:9092,bd-slave1=9092,bd-slave3=9092 --message-size 200 --messages 500000 --topic test
  • 测试结果
start.time end.time data.consumed.in.MB MB.sec data.consumed.in.nMsg nMsg.sec
2019-03-03 21:39:29:845 2019-03-03 21:39:31:258 95.3976 67.5142 500164 353973.1069