2.12-3.2.0版本
下载
下载地址： https://kafka.apache.org/downloads
不要下载带src版本，那是源码需要编译
tar -xzf kafka_2.12-3.2.0.tgz
cd kafka_2.12-3.2.0
启动zookeeper
cd kafka_2.13-3.2.0
nohup bin/zookeeper-server-start.sh config/zookeeper.properties 2>&1 &
启动kafka
nohup bin/kafka-server-start.sh config/server.properties 2>&1 &
使用
创建主题
bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 2 --replication-factor 1
发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
接收消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
常用命令
启动命令：
bin/kafka-server-start.sh -daemon config/server.properties
创建topic
./kafka-topics.sh --create --bootstrap-server spark01:9092 --replication-factor 1 --partitions 1 --topic test2
查看topic
./kafka-topics.sh --bootstrap-server spark01:9092 --list
向指定topic中生产数据
./kafka-console-producer.sh --broker-list spark01:9092 --topic test2
例如：{"id":"1","name":"xiaoming","age":"20"}
查看topic具体内容
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test2 --from-beginning
创建消费者组
./kafka-console-consumer.sh --bootstrap-server spark01:9092 --topic test2 --group kafkatest
查看消费者组
./kafka-consumer-groups.sh --bootstrap-server spark01:9092 --list
查看消费者详情
./kafka-consumer-groups.sh --bootstrap-server spark01:9092 --describe --group kafkatest
消费数据
./kafka-console-consumer.sh --bootstrap-server spark01:9092 --topic test2 --from-beginning
旷世配置
235服务器，客户端
root@M014301742010000001:/home/security# cat /etc/hostname
M014301742010000001
root@M014301742010000001:/home/security# cat /etc/hosts
127.0.0.1 localhost
172.16.101.237 node1
237 服务器，kafka服务端
[root@node1 bin]# cat /etc/hostname
node1
[root@node1 bin]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.101.235 M014301742010000001
2.12-2.0.0版本
下载
tar -xzf kafka_2.12-2.0.0.tgz
cd kafka_2.12-2.0.0
启动zookeeper
cd kafka_2.13-3.2.0
nohup bin/zookeeper-server-start.sh config/zookeeper.properties 2>&1 &
启动kafka
nohup bin/kafka-server-start.sh config/server.properties 2>&1 &
创建主题
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
列出主题
./kafka-topics.sh --list --zookeeper localhost:2181
生产消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费消息
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning