1.5分彩最高邀请码再过半小时,你就能明白kafka的工作原理了

  • 时间:
  • 浏览:8

本文在人及技术博客不同步发布,详情可猛戳

亦可扫描屏幕右侧二维码关注人及公众号,公众号内有人及联系措施 ,等你来撩...

为1.5分彩最高邀请码那些还能够消息队列

  周末无聊刷着手机,某宝网APP总是蹦出来第四根消息“为了回馈老客户,女人及买一送一,活动仅限今天!”。买一送一还有你你你这些好事,另一5个多可只能错过!忍不住立马点了去。于是选了一5个多最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女人及了,竟然幸福的失眠了……

  第四天正常上着班,总是接到快递小哥的电话:

  小哥:“你是xx吗?你的女人及到了,我现在在你楼下,你来拿一下吧!”。

  我:“这……我在上班呢,还还能够晚上送过来吗?“。

  小哥:“晚上可不行哦,晚上我也下班了呢!”。

  于是一5个多人僵持了随后……

  最后小哥说,要不我帮你装进 楼下小芳便利店吧,你晚上下班了过来拿,尴尬的局面这才得以缓解!

  回到正题,可能性只能 小芳便利店,那快递小哥和我的交互图就应该如下:

  

  

  会出显那些情况报告呢?

  1、为了你你你这些女人及,我请假回去拿(老板不批)。

  2、小哥总是在你楼下等(小哥还有其他的快递要送)。

  3、周末再送(显然等不及)。

  4、你你你这些女人及我不必说了(绝对可能性性)!

  小芳便利店出显后,交互图就应如下:

  

  

  在里面例子中,“快递小哥”和“买女人及的我”随后我还能够交互的一5个多系统,小芳便利店随后我人及本文要讲的-“消息里面件”。总结下来小芳便利店(消息里面件)出显后有如下好处:

  1、 解耦

  快递小哥手上有随后快递还能够送,他每次都还能够先电话一一确认收货人与否有空、哪个时间段有空,而且再选着好送货的方案。另一5个多全版依赖收货人了!可能性快递一多,快递小哥估计的忙疯了……可能性有了便利店,快递小哥只还能够将同一5个多小区的快递装进 同一5个多便利店,而且通知收货人来取货就还只能,这完后 快递小哥和收货人就实现了解耦!

  2、 异步

  快递小哥打电话给我后还能够总是在你楼下等着,直到我拿走你的快递他能够去送人及的。快递小哥将快递装进 小芳便利店后,又还还能够干其他的活儿去了,只能等待时间你到来而总是地处等待时间情况报告。提高了工作的强度单位。

  3、 削峰

  假设双十一我买了不同店里的各种商品,而恰巧那些店发货的快递都在一样,有中通、圆通、申通、各种通等……更巧的是人及都一块儿到货了!中通的小哥打来电话叫我去北门取快递、圆通小哥叫我去南门、申通小哥叫我去东门。我一时手忙脚乱……

  人及能看得人在系统还能够交互的场景中,使用消息队列里面件真的是好处多多,基于你你你这些思路,都在了丰巢、菜鸟驿站等比小芳便利店更专业的“里面件”了。

  最后,里面的故事纯属虚构……

  通过里面的例子人及引出了消息里面件,而且介绍了消息队列出显后的好处,这里就还能够介绍消息队列通信的两种模式了:

一、 点对点模式

  

  如上图所1.5分彩最高邀请码示,点对点模式通常是基于拉取可能性轮询的消息传送模型,你你你这些模型的特点是发送到队列的消息被一5个多且只能一5个多消费者进行处里。生产者将消息装进 消息队列后,由消费者主动的去拉撤除息进行消费。点对点模型的的优点是消费者拉撤除息的频率还还能够由人及控制。而且消息队列与否有消息还能够消费,在消费者端无法感知,随后在消费者端还能够额外的程序池去监控。

二、 发布订阅模式

  

  如上图所示,发布订阅模式是一5个多基于消息送的消息传送模型,改模型还还能够有多种不同的订阅者。生产者将消息装进 消息队列后,队列会将消息推送给订阅过该类消息的消费者(例如微信公众号)。可能性是消费者被动接收推送,随后不必感知消息队列与否有待消费的消息!而且cons1.5分彩最高邀请码umer1、consumer2、consumer3可能性机器性能不一样,随后处里消息的能力也会不一样,但消息队列却无法感知消费者消费的强度单位!随后推送的强度单位成了发布订阅模模式的一5个多问题图片!假设一5个多消费者处里强度单位分别是8M/s、5M/s、2M/s,可能性队列推送的强度单位为5M/s,则consumer3无法承受!可能性队列推送的强度单位为2M/s,则consumer1、consumer2会出显资源的极大浪费!

  里面简单的介绍了为那些还能够消息队列以及消息队列通信的两种模式,接下来就到了人及本文的主角——kafka闪亮登场的完后 了!Kafka是两种高吞吐量的分布式发布订阅消息系统,它还还能够处里消费者规模的网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展能力……… 其他基本的介绍这里就不展开了,网上有太久关于那些的介绍了,读者还还能够自行百度一下!

基础架构及术语

  话太久说,先看图,通过这张图人及来捋一捋相关的概念及之间的关系:

  

  可能性看得人这张图你很懵逼,木有关系!人及先来分析相关概念

  Producer:Producer即生产者,消息的产生者,是消息的入口。

  kafka cluster

    Broker:Broker是kafka实例,每个服务器上有一5个多或多个kafka的实例,人及姑且认为每个broker对应一台服务器。每个kafka集群内的broker都在一5个多不重复的编号,如图中的broker-0、broker-1等……

    Topic:消息的主题,还还能够理解为消息的分类,kafka的数据就保地处top1.5分彩最高邀请码ic。在每个broker上都还还能够创建多个topic。

    Partition:Topic的分区,每个topic还还能够有多个分区,分区的作用是做负载,提高kafka的吞吐量。同一5个多topic在不同的分区的数据是不重复的,partition的表现形式随后我一5个多一5个多的文件夹!

    Replication:每一5个多分区都在多个副本,副本的作用是做备胎。当主分区(Leader)故障的完后 会选着一5个多备胎(Follower)上位,成为Leader。在kafka中默认副本的最大数量是10个,且副本的数量只能大于Broker的数量,follower和leader绝对是在不同的机器,同一机器对同一5个多分区也只可能性存放一5个多副本(包括人及)。

    Message:每第四根发送的消息主体。

  Consumer:消费者,即消息的消费方,是消息的出口。

  Consumer Group:人及还还能够将多个消费组组成一5个多消费者组,在kafka的设计中同一5个多分区的数据只能被消费者组中的某一5个多消费者消费。同一5个多消费者组的消费者还还能够消费同一5个多topic的不同分区的数据,这也是为了提高kafka的吞吐量!

  Zookeeper:kafka集群依赖zookeeper来保存集群的的元信息,来保证系统的可用性。

工作流程分析

  里面介绍了kafka的基础架构及基本概念,问你人及看得人有只能 对kafka有个大致印象,可能性对还比较懵也没关系!人及接下来再结合里面的底部形态图分析kafka的工作流程,最后再回来整个梳理一遍我相信你上能 更有收获!

发送数据

  人及看里面的架构图中,producer随后我生产者,是数据的入口。注意看图中的红色箭头,Producer在写入数据的完后 永远的找leader,不必直接将数据写入follower!那leader为何么找呢?写入的流程又是那些样的呢?人及看下图:

  

  发送的流程就在图中可能性说明了,就不单独在文字列出来了!还能够注意的其他是,消息写入leader后,follower是主动的去leader进行同步的!producer采用push模式将数据发布到broker,每条消息追加到分区中,顺序写入磁盘,随后保证同一分区内的数据是有序的!写入示意图如下:

  

  里面说到数据会写入到不同的分区,那kafka为那些要做分区呢?相信人及应该能够猜到,分区的主要目的是:

  1、 方便扩展。可能性一5个多topic还还能够有多个partition,随后人及还还能够通过扩展机器去轻松的应对日益增长的数据量。

  2、 提高并发。以partition为读写单位,还还能够多个消费者一块儿消费数据,提高了消息的处里强度单位。

  熟悉负载均衡的人及应该知道,当人及向某个服务器发送请求的完后 ,服务端可能性会对请求做一5个多负载,将流量采集到不同的服务器,那在kafka中,可能性某个topic有多个partition,producer又为何么知道该将数据发往哪个partition呢?kafka含有几条原则:

  1、 partition在写入的完后 还还能够指定还能够写入的partition,可能性有指定,则写入对应的partition。

  2、 可能性只能 指定partition,而且设置了数据的key,则会根据key的值hash出一5个多partition。

  3、 可能性既没指定partition,又只能 设置key,则会轮询选出一5个多partition。

  保证消息不丢失是一5个多消息队列里面件的基本保证,那producer在向kafka写入消息的完后 ,为何么保证消息不丢失呢?虽然 里面的写入流程图含有描述出来,那随后我通过ACK应答机制!在生产者向队列写入数据的完后 还还能够设置参数来选着与否确认kafka接收到数据,你你你这些参数可设置的值为01all

  0代表producer往集群发送数据只能等到集群的返回,不确保消息发送成功。安全性最低而且强度单位最高。

  1代表producer往集群发送数据随后leader应答就还还能够发送下第四根,只确保leader发送成功。

  all代表producer往集群发送数据还能够所有的follower都完成从leader的同步才会发送下第四根,确保leader发送成功和所有的副本都完成备份。安全性最高,而且强度单位最低。

  最还会注意的是,可能性往不地处的topic写数据,还还能够写入成功呢?kafka会自动创建topic,分区和副本的数量根据默认配置都在1。

保存数据

  Producer将数据写入kafka后,集群就还能够对数据进行保存了!kafka将数据保地处磁盘,可能性在人及的一般的认知里,写入磁盘是比较耗时的操作,不适合你你你这些高并发的组件。Kafka初始会单独开辟一块磁盘空间,顺序写入数据(强度单位比随机写入高)。

Partition 底部形态

  前面说过了每个topic都还还能够分为一5个多或多个partition,可能性你虽然 topic比较抽象,那partition随后我比较具体的东西了!Partition在服务器上的表现形式随后我一5个多一5个多的文件夹,每个partition的文件夹下面会有多组segment文件,每组segment文件又含有.index文件、.log文件、.timeindex文件(早期版本中只能 )一5个多文件, log文件就实际是存储message的地方,而index和timeindex文件为索引文件,用于检索消息。

  

  如上图,你你你这些partition有三组segment文件,每个log文件的大小是一样的,而且存储的message数量是不一定相等的(每条的message大小不一致)。文件的命名是以该segment最小offset来命名的,如000.index存储offset为0~368795的消息,kafka随后我利用分段+索引的措施 来处里查找强度单位的问题图片。

Message底部形态

里面说到log文件就实际是存储message的地方,人及在producer往kafka写入的也是第四根第四根的message,那存储在log中的message是那些样子的呢?消息主要含有消息体、消息大小、offset、压缩类型……等等!人及重点还能够知道的是下面一5个多:

  1、 offset:offset是一5个多占8byte的有序id号,它还还能够唯一选着每条消息在parition内的位置!

  2、 消息大小:消息大小占用4byte,用于描述消息的大小。

  3、 消息体:消息体存放的是实际的消息数据(被压缩过),占用的空间根据具体的消息而不一样。

存储策略

  无论消息与否被消费,kafka还会 保存所有的消息。那对于旧数据有那些删除策略呢?

  1、 基于时间,默认配置是168小时(四天)。

  2、 基于大小,默认配置是1073741824。

  还能够注意的是,kafka读取特定消息的时间比较复杂度是O(1),随后这里删除过期的文件不必说会提高kafka的性能!

消费数据

  消息存储在log文件后,消费者就还还能够进行消费了。在讲消息队列通信的两种模式的完后 讲到过点对点模式和发布订阅模式。Kafka采用的是点对点的模式,消费者主动的去kafka集群拉撤除息,与producer相同的是,消费者在拉撤除息的完后 也是找leader去拉取。

  多个消费者还还能够组成一5个多消费者组(consumer group),每个消费者组都在一5个多组id!同一5个多消费组者的消费者还还能够消费同一topic下不同分区的数据,而且不必组内多个消费者消费同一分区的数据!!!是都在很糙绕。人及看下图:

  

  图示是消费者组内的消费者小于partition数量的情况报告,随后会出显某个消费者消费多个partition数据的情况报告,消费的强度单位也就不及只处里一5个多partition的消费者的处里强度单位!可能性是消费者组的消费者多于partition的数量,那会不必出显多个消费者消费同一5个多partition的数据呢?里面可能性提到过不必出显你你你这些情况报告!多出来的消费者不消费任何partition的数据。随后在实际的应用中,建议消费者组的consumer的数量与partition的数量一致

  在保存数据的小节里面,人及聊到了partition划分为多组segment,每个segment又含有.log、.index、.timeindex文件,存放的每条message含有offset、消息大小、消息体……人及多次提到segment和offset,查找消息的完后 是为何么利用segment+offset配合查找的呢?随后现在还能够查找一5个多offset为3681501的message是那些样的过程呢?人及先看看下面的图:

  1、 先找到offset的3681501message所在的segment文件(利用二分法查找),这里找到的随后我在第5个segment文件。

  2、 打开找到的segment中的.index文件(也随后我368796.index文件,该文件起始偏移量为368796+1,人及要查找的offset为3681501的message在该index内的偏移量为368796+5=3681501,随后这里要查找的相对offset为5)。可能性该文件采用的是稀疏索引的措施 存储着相对offset及对应message物理偏移量的关系,随后直接找相对offset为5的索引找只能,这里同样利用二分法查找相对offset小于可能性等于指定的相对offset的索引条目中最大的那个相对offset,随后找到的是相对offset为4的你你你这些索引。

  3、 根据找到的相对offset为4的索引选着message存储的物理偏移位置为256。打开数据文件,从位置为256的那个地方结束了顺序扫描直到找到offset为3681501的那条Message。

  这套机制是建立在offset为有序的基础上,利用segment+有序offset+稀疏索引+二分查找+顺序查找等多种手段来高效的查找数据!至此,消费者就能拿到还能够处里的数据进行处里了。那每个消费者又是为何么记录人及消费的位置呢?在早期的版本中,消费者将消费到的offset维护zookeeper中,consumer每间隔一段时间上报一次,这里容易由于 重复消费,且性能不好!在新的版本中消费者消费到的offset可能性直接维护在kafk集群的__consumer_offsets你你你这些topic中!