本文主要是介绍Kakfa集群搭建，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
[size=medium]先来整体熟悉下Kafka的一些概念和架构
（一）什么是Kafka？
Kafka是由LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件，可与各种计算模型，如离线计算，实时计算，流计算对接数据。
（二）为什么要用Kafka？
1，以时间复杂度O（1）的方式提供消息持久化和访问能力，即使应对TB级数据也能保证常数时间内的的访问和存储。
2，高吞吐率，在普通PC上也能保证每秒10万左右的消息传输能力
3，支持消息分区存储，并保证分区内消息的时序性，可支持分布式消费
4，能对接多种计算模型
5，支持副本，容错，水平扩容等特性。
（三）Kafka的名词解释
1，Broker ： 一个单独的kafka机器节点就称为一个broker，多个broker组成的集群，称为kafka集群
2，Topic ：类似数据库中的一个表，我们将数据存储在Topic里面，当然这只是逻辑上的，在物理上，一个Topic
可能被多个Broker分区存储，这对用户是透明的，用户只需关注消息的产生于消费即可
3，Partition：类似分区表，每个Topic可根据设置将数据存储在多个整体有序的Partition中，每个顺序化partition会生成2个文件，一个是index文件一个是log文件，index文件存储索引和偏移量，log文件存储具体的数据
4，Producer：生产者，向Topic里面发送消息的角色
5，Consumer：消费者，从Topic里面读取消息的角色
6，Consumer Group：每个Consumer属于一个特定的消费者组，可为Consumer指定group name，如果不指定默认属于group
（四）Kafka的拓扑架构
[/size]
[img]http://dl2.iteye.com/upload/attachment/0115/2507/4a6a50c0-dd6b-3ff8-8b1d-36dbc85a626f.png[/img]
[size=medium]
（五）Kafka的安装
三台机器+外置Zookeeper集群：
192.168.1.1 kakfa1 zk1
192.168.1.2 kakfa2 zk2
192.168.1.3 kakfa3 zk3
关于zookeeper集群的安装，请参考博客：[url]http://qindongliang.iteye.com/blog/1985145[/url]
（1） 下载kafka0.9.0.0
wget http://archive.apache.org/dist/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz
（2）解压到某个目录
tar -zxvf kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz
（3）配置config/server.properties
三个重要配置：
[/size]
broker.id=0/1/2 三台机器配置不能重复
log.dirs=/var/kafka_data 默认是在/tmp/kafka_logs下，目录会自动创建
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181/kafka ，默认kafka的文件会散落在zookeeper的根目录下
如果zookeeper上还有其他的文件如hbase，solr那就非常混乱，建议在连接后面加上/kafka这样就会以kafka为根目录
[size=medium]
（4）一个例子和kafka基本命令如下：
生产者push数据：
[/size]
[img]http://dl2.iteye.com/upload/attachment/0115/2509/cb48ad3c-2c9a-3b52-b520-a2c5eadd93e5.png[/img]
[size=medium]
消费者查看数据：
[/size]
[img]http://dl2.iteye.com/upload/attachment/0115/2511/dca2367a-ff12-330b-b45b-6b4a70e9a0ed.png[/img]
[size=medium]
kafka在zookeeper上的目录结构：
[/size]
[img]http://dl2.iteye.com/upload/attachment/0115/2513/e00df20a-abad-3871-989c-2cb22035eb7b.png[/img]
[size=medium]
kafka的基本命令介绍：
[/size]
//启动一个kakfa-server：
nohup bin/kafka-server-start.sh config/server.properties &
//创建一个topic
bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 3 --topic logstash
//命令行发送数据到topic的logstash里面
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic logstash
//查看kafka中的某个topic里面的数据：
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --from-beginning --topic logstash
//查看所有的topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181/kafka
//查看topic的详细信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
[size=medium]
参考文章：
官网文档：
[url]http://kafka.apache.org/documentation.html#quickstart[/url]
kafka实战例子1
[url]http://www.mrhaoting.com/?p=152[/url]
kafka实战例子2
[url]http://www.lujinhong.com/kafka集群操作指南.html[/url]
kafka深度解析
[url]http://www.jasongj.com/2015/01/02/Kafka深度解析/[/url]
kafka参数详解
[url]http://debugo.com/kafka-params/[/url]
官网参数详解
[url]https://kafka.apache.org/08/configuration.html[/url]
[/size]
[b][color=green][size=large]
有什么问题 可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园
[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg[/img]
这篇关于Kakfa集群搭建的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
