kafka单机版安装

2.12-3.2.0版本

下载

下载地址: https://kafka.apache.org/downloads

不要下载带src版本,那是源码需要编译

tar -xzf kafka_2.12-3.2.0.tgz
cd  kafka_2.12-3.2.0

启动zookeeper

cd kafka_2.13-3.2.0
nohup bin/zookeeper-server-start.sh config/zookeeper.properties 2>&1 &

启动kafka

nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

使用

创建主题

bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 2 --replication-factor 1

发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

接收消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

常用命令

启动命令:
bin/kafka-server-start.sh -daemon config/server.properties
 
创建topic
./kafka-topics.sh --create --bootstrap-server spark01:9092 --replication-factor 1 --partitions 1 --topic test2
 
查看topic
./kafka-topics.sh --bootstrap-server spark01:9092 --list
 
向指定topic中生产数据
./kafka-console-producer.sh --broker-list spark01:9092 --topic test2
例如:{"id":"1","name":"xiaoming","age":"20"}
 
查看topic具体内容
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test2 --from-beginning
 
创建消费者组
./kafka-console-consumer.sh --bootstrap-server spark01:9092 --topic test2 --group kafkatest
 
查看消费者组
./kafka-consumer-groups.sh --bootstrap-server spark01:9092 --list
 
查看消费者详情
./kafka-consumer-groups.sh --bootstrap-server spark01:9092 --describe  --group kafkatest
 
消费数据
./kafka-console-consumer.sh --bootstrap-server spark01:9092 --topic test2 --from-beginning

旷世配置

235服务器,客户端

root@M014301742010000001:/home/security# cat /etc/hostname 
M014301742010000001
root@M014301742010000001:/home/security# cat /etc/hosts
127.0.0.1 localhost
172.16.101.237 node1

237 服务器,kafka服务端

[root@node1 bin]# cat /etc/hostname 
node1
[root@node1 bin]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

172.16.101.235 M014301742010000001

2.12-2.0.0版本

下载

tar -xzf kafka_2.12-2.0.0.tgz 
cd kafka_2.12-2.0.0

启动zookeeper

cd kafka_2.13-3.2.0
nohup bin/zookeeper-server-start.sh config/zookeeper.properties 2>&1 &

启动kafka

nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

创建主题

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

列出主题

./kafka-topics.sh --list --zookeeper localhost:2181

生产消息

./kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费消息

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×