慕课网实战,单机集群搭建

作者: 金沙澳门官网网址  发布:2019-11-03

前提是已经安装好了zk集群

铭文一级:

1.下载  kafka_2.11-1.0.0.tgz  下载网址 

单节点单broker的部署及使用

 

$KAFKA_HOME/config/server.properties
broker.id=0
listeners
host.name
log.dirs
zookeeper.connect

2.解压  tar -zxvf kafka_2.11-1.0.0.tgz

启动Kafka
kafka-server-start.sh
USAGE: /home/hadoop/app/kafka_2.11-0.9.0.0/bin/kafka-server-start.sh [-daemon] server.properties [--override property=value]*

 

kafka-server-start.sh $KAFKA_HOME/config/server.properties

3.修改配置文件 进入config目录修改server.properties 文件

创建topic: zk
kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 1 --partitions 1 --topic hello_topic

 

查看所有topic
kafka-topics.sh --list --zookeeper hadoop000:2181

图片 1

发送消息: broker
kafka-console-producer.sh --broker-list hadoop000:9092 --topic hello_topic

 修改自己的logs目录与设置分区数量

消费消息: zk
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic hello_topic --from-beginning

 图片 2

--from-beginning的使用

设置zk连接地址

查看所有topic的详细信息:kafka-topics.sh --describe --zookeeper hadoop000:2181
查看指定topic的详细信息:kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic hello_topic

图片 3

 

保存后复制2分一样的,分别改端口与 log日志目录,还有 broke.id 

单节点多broker
server-1.properties
log.dirs=/home/hadoop/app/tmp/kafka-logs-1
listeners=PLAINTEXT://:9093
broker.id=1

图片 4

server-2.properties
log.dirs=/home/hadoop/app/tmp/kafka-logs-2
listeners=PLAINTEXT://:9094
broker.id=2

 修改server2.properties文件

server-3.properties
log.dirs=/home/hadoop/app/tmp/kafka-logs-3
listeners=PLAINTEXT://:9095
broker.id=3

 图片 5

kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties &

 修改server3.properties文件

kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

 图片 6

kafka-console-producer.sh --broker-list hadoop000:9093,hadoop000:9094,hadoop000:9095 --topic my-replicated-topic
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic my-replicated-topic

保存

kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic my-replicated-topic 

依次启动3个kafka 服务

 

 启动第一个服务

铭文二级:

  ./kafka-server-start.sh  -daemon  ../config/server.properties &  

Kafka版本下载版本为0.9.0.0比较稳定,再选相对应的scala版本()

图片 7

单节点单broker的部署及使用=>

 

配置环境变量,修改配置文件:conf/server.properties

 启动第二个服务

broker.id = 0                 //唯一id值

  ./kafka-server-start.sh  -daemon  ../config/server2.properties &  

listeners = :9092               //监听端口号,发送的内容到broker即为此端口

图片 8

hostname = hadoop000             //默认localhost也行

 

log.dirs = /home/app/tmp/kafka-logs     //临时文件目录,需建立tmp,kafka-logs可不建立

 启动第三个服务

zookeeper.connect = hadoop000:2181      //创建topic,查询topic,消耗者均为此端口

  ./kafka-server-start.sh  -daemon  ../config/server3.properties &  

[num.partitions = 1]                //分区

 

启动kafka:kafka-server-start.sh $KAFKA_HOME/config/server.properties  //不知道如何使用就先执行kafka-server-start.sh

 -daemon   守护进程运行  

创建topic:kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 1 --partitions 1 --topic hello_topic

&  后台运行

查询所有topic:kafka-topics.sh --list --zookeeper hadoop000:2181

本文由金沙澳门官网发布于金沙澳门官网网址,转载请注明出处:慕课网实战,单机集群搭建

关键词: 金沙澳门官网

上一篇:5编写翻译安装lamp开垦景况
下一篇:没有了