Kafka集群部署

作者: 金沙澳门官网网址  发布:2019-10-09

写在前面

Rocketmq采用apache rockemq 4.2.0release版本。

源码路线(

卡夫卡集群计划

一. 关于kafka

卡夫卡是一种高吞吐量的分布式发布订阅新闻系统,它能够管理成本者规模的网址中的全数动作流数据。 这种动作(网页浏览,寻找和其余顾客的行走)是在当代互联网上的好多社会职能的八个关键因素。 那个数据日常是出于吞吐量的渴求而经过管理日志和日志聚合来化解。 对于像Hadoop的千篇一律的日记数据和离线解析种类,但又须要实时管理的限量,这是一个管用的解决方案。卡夫卡的目标是经过Hadoop的相互加运载飞机制来统一线上和离线的新闻管理,也是为了通过集群机来提供实时的消费。

至于卡夫卡的更多介绍请仿照效法:

二.备选干活

1. 安插各主机IP。将各主机IP配置为静态IP(保障各主机能够平常通讯,为幸免过多的互连网传输,建议在同一网段)

  1. 修改机器主机名。卡夫卡集群中的全部主机都亟需修改。

  2. 布置各主机映射。修改hosts文件,参与各主机IP和主机名的投射。

4. 怒放相应端口。前边文书档案中安插的端口都须求开放(或许关闭防火墙),root权限。

5. 确定保障Zookeeper集群服务能够健康运行。其实如若Zookeeper集群布署成功,上面的预备干活为主都能做好了。关于Zookeeper的安顿请参见:

三.安装Kafka

1. 下载kafka安装包,访谈卡夫卡官方网址下载对应版本就可以。这里运用的版本为2.9.2-0.8.1.1。

   2.  选取下边包车型客车下令解压安装包

tar -zxvf kafka_2.9.2-0.8.1.1.tgz

  1. 修改配置文件,轻便布署只须要修改/config/server.properties文件就能够。

vim config/server.properties

供给修改的剧情:

broker.id(标示当前server在集群中的id,从0初阶);port;host.name(当前的server host name);zookeeper.connect(连接的zookeeper集群);log.dirs(log的存储目录,须要超前创造)。

示例:

图片 1

图片 2

图片 3

图片 4

  1. 把布署好的kafka上传来其余节点上

scp -r kafka node2:/usr/

瞩目,上传之后并不是忘了修改broker.id和host.nam等各种节点独有的配置。

四.起步并测量检验卡夫卡

1.先是运转Zookeeper,之后选取一下限令运营卡夫卡,运转成功之后会有音讯提醒。

./bin/kafka-server-start.sh config/server.properties &

图片 5

图片 6

2.对卡夫卡进行测验。分别创设topic,producer,consumer,最棒是在区别的节点上创设。在producer的调控台上输入新闻,观望consumer调整台是还是不是能够吸收接纳到。

创建topic:

./bin/kafka-topics.sh -zookeeper node1:2181,node2:2181,node3:2181 -topic test -replication-factor 2 -partitions 3 -create

查看topic:

./bin/kafka-topics.sh -zookeeper node1:2181,node2:2181,node3:2181 -list

图片 7

图片 8

创建producer:

./bin/kafka-console-producer.sh -broker-list node1:9092,node2:9092,node3:9092 -topic test

创建consumer:

./bin/kafka-console-consumer.sh -zookeeper node1:2181,node2:2181,node3:2181 - from-begining -topic test

测试:

在producer的支配台输入音讯,查看consumer的调节台能还是不可能接受到。

producer:

图片 9

consumer

图片 10

通过以上的布局和测量检验,卡夫卡已经起来安顿好了,接下去能够依据具体的要求陈设和操作卡夫卡。关于卡夫卡的越多操作和更有血有肉的使用办法请参见官方网址文书档案。

布满式公布订阅新闻系统 卡夫卡 架构划虚构计

Apache 卡夫卡 代码实例

Apache 卡夫卡 教程笔记

Apache kafka原理与特色(0.8V) 

卡夫卡安排与代码实例 

卡夫卡介绍和集群意况搭建 

卡夫卡 的详细介绍:请点这里
卡夫卡 的下载地址:请点这里

本文永世更新链接地址:

一. 关于kafka 卡夫卡是一种高吞吐量的分布式公布订阅新闻系统,它可以管理花费者规模的网址中的全体动作流数据。 这种动作...

场景

此处运用两台Ubuntu主机,分别在一台主机上布署二个name server、四个从broker服务;另一台主机上配置叁个name server、五个主broker、叁个从broker。


 布置格局

铺排文件采取官方网址提供的distribution/conf/2m-2s-sync文件夹下的公文

图片 11

利用官方推荐的格局张开安顿(具体指令见下图或官方网站),不过这里大家把name server 地址写入到安插文件(具体看下文修改过的安插文件)

图片 12

在日前情景下,选取官方网址推荐的章程进行布置存在八个难题

问题1 lock failed, MQ already started

问题2 Address already in use 

本文由金沙澳门官网发布于金沙澳门官网网址,转载请注明出处:Kafka集群部署

关键词: 金沙澳门官网

上一篇:在Docker中体验数据库之MySql
下一篇:没有了