一、简介

Kafka 是一种快速的、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。

几种分布式系统消息系统的对比：

推荐相关文章：有关于各种消息队列的对比，还有对 Kafka 的深度解析，这是众人都推荐的精彩好文！

二、Kafka基本架构

它的架构包括以下组件：

话题是特定类型的消息流。消息是以字节为形式的有效负载，而话题则是消息的分类名或者种子名。

2、生产者（）：是能够发布消息到话题的任何对象；

服务代理：已发布的消息被保存在一组服务器里，这些服务器被称作代理或者 Kafka 集群。

消费者能够订阅一个或者多个话题，然后从拉数据，以此来消费这些已经发布的消息。

从上图中能够看出，生产者会把数据发送给代理，而代理拥有多个话题，即 topic，消费者会从代理那里获取数据。

三、基本原理

我们把消息的发布叫做[某种称呼]，把消息的订阅表述为[另一种表述]，把中间的存储阵列称作(代理)，如此便能大致描绘出这样一个场面：

生产者把数据生产出来，接着把它交给某一方进行存储。当消费者需要消费数据时，就从存储之处拿出数据，之后完成一系列针对数据的处理操作。

乍一看，它似乎太简单了。不是已经说了它是分布式的吗？难道仅仅把、和放在三台不同的机器上就算是分布式了吗？看 kafka 官方给出的图：

多个部分协同合作，它们在各个业务逻辑中被频繁调用。这三者通过管理协调请求和转发来实现功能。如此一来，一个高性能的分布式消息发布订阅系统便完成了。

图上有个细节需留意，从一处到另一处的过程是 push，意味着有数据就会推送到目的地；从一处到另一处的过程是 pull，是通过特定方式主动去拉数据，而非将数据主动发送到另一端。

四、在kafka的作用

上述，提到了，那么在kafka的作用是什么？

kafka 集群依赖于某些东西来保证系统可用性，同时集群也保存一些 meta 信息。

Kafka 以其分布式协调框架而被使用，它能很好地把消息生产、消息存储以及消息消费的过程整合在一起。

同时借助 kafka，生产者、消费者以及包括在内的所有组件在无状态的情况下，可以建立起生产者和消费者的订阅关系，并且能够实现生产者与消费者的负载均衡。

五、执行流程

首先看一下如下的过程：

我们来看上面的图，将  的数量进行减少，只剩下一台。现在假定我们依据上图来进行部署：

其实就是 kafka 相关的。因为某些东西和某些东西都需要去归还它。它主要还是用于存储。

-2 是某一端，它维持着一张表，此表记录了各个节点的 IP 以及端口等信息。

3、4、5 他们的共同之处在于都进行了配置。更确切地说，就是在运行前必须配置相关的地址。道理其实很简单，因为它们之间的连接都需要通过某种方式来进行分发。

-1 和 -2 的关系是，它们既可以放置在一台机器上，也可以分别放置，还可以搭配集群。这样做的目的是为了防止其中某一台出现故障。

简单说下整个系统运行的顺序：

（1）启动 的

（2）启动kafka 的

如果有数据被生产出来，首先会通过某种方式去寻找，接着把数据存放到相应的地方。

（4） 如果要消费数据，会先通过  找对应的 ，然后消费。

六、Kafka的特性

高吞吐量方面，kafka 每秒能够处理几十万条消息；低延迟方面，它的延迟最低仅为几毫秒；每个 topic 可以进行划分，并且可以对多个 group 进行操作。

（2）可扩展性：kafka集群支持热扩展；

消息会被持久化存储在本地磁盘，同时具备支持数据备份的功能，以此来防止数据丢失。

容错性方面，集群中的节点是允许失败的。如果副本数量为 n，那么就允许 n - 1 个节点失败。

（5）高并发：支持数千个客户端同时读写；

支持实时在线处理与离线处理：能够运用 Storm 这样的实时流处理系统来对消息进行实时处理，并且也可以利用这种批处理系统来进行离线处理。

七、Kafka的使用场景

日志收集方面，一个公司能够利用 Kafka 来收集各类服务的 log 。Kafka 以统一接口服务的形式，将这些 log 开放给诸如 Hbase、Solr 等各种服务。

（2）消息系统：解耦和生产者和消费者、缓存消息等；

用户活动会被跟踪。Kafka 常常被用于记录 web 用户或者 app 用户的各类活动，像浏览网页、进行搜索、点击等活动。这些活动的信息会被各个服务器发布到 Kafka 的 topic 里。接着，订阅者通过订阅这些 topic 来进行实时的监控分析，也可以将其装载到数据仓库中进行离线分析和挖掘。

运营指标方面，Kafka 时常被用于记录运营监控数据。它能够收集各类分布式应用的数据，并且生成各种操作的集中反馈，例如报警和报告。

（5）流式处理：比如spark 和storm；

（6）事件源；

# 深入了解Apache Kafka：分布式发布-订阅消息系统的架构与优势  # 深入了解Apache Kafka  # 分布式发布-订阅消息系统的架构与优势  # 多个  # 离线  # 一台  # 一处  # 于都  # 这是  # 他们的  # 就会  # 很好  # 是一种  # 放在  # 有个  # 还可以  # 说了  # 之处  # 则是  # 把它  # 将其  # 它是  # 可用性  # 鼎湖网站建设优化  # 罗田seo优化策略  # 大团网站建设  # 绥化网站优化电话  # 网站建设解决方案d  # 酒店买卖网 SEO  # 招商网站建设定制  # 玖富金融营销推广方式  # 淘宝推广营销渠道  # 重庆规划建设馆网站登录  # 佛山seo网站推广费用  # 网站建设投资骗局案例  # SEO联盟头像动漫  # 哪些网站可发软文推广  # 汕头网站推广服务  # 汽车装饰营销推广公司简介  # 外贸网站建设爱用建站  # 网络营销服装推广方式  # seo 学费  # 营销推广买手店 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 一个手机号仅能注册一个微信号，如何解绑重注册？   随州服装SEO推广价格介绍,如何以最合理的预算实现品牌飞跃,南京seo发展  如何应对福建百度推广打电话给我？,网站推广联盟p  火星软件,SEO推广领域的璀璨明星,重庆网站seo推广  天津家长看过来！陕师大实力如何？一文讲透报考关键点   德阳SEO排名优化公司，让您的网站在竞争激烈的市场中脱颖而出,抖音短视频营销与推广  探索宝鸡SEO排名的奥秘，专业创作，引领行业潮流,云浮抖音营销推广招聘  南阳抖音SEO优化，如何让你的品牌在抖音上脱颖而出？,灯会营销推广  广州百度推广的目的与意义,晋州软文网站推广方案  探索秦皇岛之韵，抖音SEO的奥秘与个人之旅,医院营销推广培训机构  马蜂窝SEO软件,助力旅游行业企业实现高效网络营销,手机端网站排名优化软件  探索数字时代的自媒体营销秘籍,网站优化目标客户  广州SEO软件首选乐云SEO,专业赋能，助力企业高效招商,香港seo推广优化公司  长乐区专业SEO优化,助力企业提升网络竞争力,出海SEO  南京陈女士注销微信号遇假客服，被骗6万多，如何安全处置社交账号？   抖音短视频超好玩！搜不到用户咋回事？临时解决办法来了   重庆SEO推广收费模式介绍,介绍优化成本与效果的秘密,仓山区网页seo介绍  SEO教育：搜索引擎优化，开启成功职业之路,搜狗SEO排名接单  SEO电话营销的艺术,如何高效沟通与转化,网站优化链接怎么弄出来  合肥SEO优化，提升网站排名的关键策略,seo快排费用知名乐云seo  福建百度推广咨询工具哪个好用？,石景山网站建设全网推广  做好网站设计这些规范准则要知晓  广州百度推广的缺点分析与建议,天津网站推广需要多少钱  SEO字：如何通过精准关键词提升网站流量与排名,赣州于都网站推广  铁岭SEO教程，探索数字时代的营销秘籍,自贡网站seo优化推广  SEO排名不佳？别担心，我这里有一手秘诀！,淮安网站建设哪家好  SEO努力：提升网站排名的关键策略,网站建设微企动力  广州百度推广高级策略解析，开启营销新篇章,南京新网站如何推广  SEO北京：数字时代，企业成功的关键,湖南网站建设湖南岚鸿  广州百度推广费用表详解，助力企业营销突破,临汾网站推广品牌有哪些  湘潭网络SEO优化方法,助力企业提升在线竞争力,快速关键词排名优化mu大.将.军氵  SEO推广,介绍搜索引擎优化之路,seo文章页面优化推广  沙溪网站SEO优化步骤全介绍,助力网站排名，提升企业影响力,property 对seo  西樵SEO优化服务,助力企业网站在搜索引擎中脱颖而出,青岛优化师助理招聘网站  沙田SEO优化费用揭秘，如何高效提升网站排名？,喜来登酒店营销推广方案  SEO推广,介绍关键词布局与优化方法,广元seo排名收费  铁岭SEO推广哪家强介绍优质服务商，助力企业腾飞！,蚌埠seo排名厂家  自媒体营销，投入与产出的经济分析,插件素材网站建设  SEO招标：如何通过专业SEO服务助力企业脱颖而出,牡丹江关键词排名怎么样  百度关键词下拉框怎么刷？关键字指数与相关度你了解多少？   介绍资深SEO外包费用,投资与回报的平衡之路,谷歌seo镜像站玩法  福建百度推广的费用是如何计算的？,上海装饰网站建设  高校党校学院分校：牢记党校初心，明确讲授根本提升培训质效   广州个人如何做好百度推广,营销推广的描述怎么写  探索未知，莱山SEO推广的奥秘与实践,重庆网站建设 夹夹虫  辽源SEO必看，如何让你的网站在搜索引擎中脱颖而出,滨州seo企业营销方案  SEO排序：如何让你的网页在搜索引擎中脱颖而出,平谷抖音seo推广招聘  详细介绍SEO教学设计在美术领域的应用与创新,福建seo推广知识模式  广州百度推广贵吗？一文带你了解百度推广的费用与价值,辽宁互联网网站建设包括  微信月活用户数惊人！还有微信/手机数据恢复方法你知道吗？