介绍
<节> <强>现状及痛点 <节>在没使用脉冲星之前,涂鸦使用的架构基本如下图所示。消息进入接入层后,通过卡夫卡进行消息分发转化,这个消息集群主要在做一些消息分发和路由的功能,之后再通过HTTP投递给第三方。 <节>
<节>
<节>
<节>以上的架构模式存在一些业务痛点: <节>
<节> <强> 1。HTTP投递方式不灵活,容易丢消息 ,
<>节基于网络原因,公司服务器规模不足以支撑业务时,都有可能出现重启过程中消息丢失的现象。如果想要满足这个需求,就需要对消息的持久化进行额外的处理。 <节>
<节> <强> 2。卡夫卡主题数量与日俱增,运维成本高 <节>随着接入厂家和开发者数量的增加,导致卡夫卡的运维层面压力会比较大,人力和时间等耗费比较高。 <节>
<节> <强> 3。卡夫卡自身的一些痛点,比如平衡机制 ,
<节>业务集群需要经常升级,消费者就会经常断连。断连情况下,平衡的过程是很长的,导致消息堆积量加大,造成用户体验下降。同时堆积后的重启,在大集群量情况下,对消费端的压力会非常大只 <节>
<节> <强> 4。租户之间会相互影响 <>部分如果有一个租户挂掉并且没有进行及时处理,就会一直堆积在卡夫卡的处理器上,耽误后续进程,降低消息上报性能,影响到其他租户。 <节>
<节>
<节> <强>脉冲星的特性与优势 <>节Apache脉冲星是灵活的发布-订阅消息系统,采用分层分片架构只 <节>
<节> <强> 1。丰富的投递/订阅策略 <节>脉冲星做了队列模型和流模型的统一,在主题级别只需保存一份数据,同一份数据可多次消费。以流式,队列等方式计算不同的订阅模型大大提升了灵活度。 <节>
<节>
<节>, <节> <强> 2。运维难度小(相比卡夫卡),平衡机制反应迅速
<节>主要体现在跨地域复制方面.Pulsar使用计算与存储分离的云原生架构,数据从代理搬离,存在共享存储内部。上层是无状态代理,复制消息分发和服务;下层是持久化的存储层赌徒集群。 <节>
<节>脉冲星存储是分片的,这种架构可以避免扩容时受限制,实现数据的独立扩展和快速恢复。 <节>
<节> <强> 3。多租户隔离优势 <节>租户和命名空间(名称空间)是脉冲星支持多租户的两个核心概念。 <节>
<李> <节>在租户级别,脉冲星为特定的租户预留合适的存储空间,应用授权与认证机制。 <李> <节>在命名空间级别,脉冲星有一系列的配置策略(政策),包括存储配额,流控,消息过期策略和命名空间之间的隔离策略。 <节>
<节>
<节> <强>现阶段结构 <>节刚好这三点特性,对应了之前涂鸦面临的痛点,所以在契合下开始转向使用脉冲星来替代了卡夫卡。 <节>
<节>
<节>
<>节目前脉冲星的架构已应用到涂鸦智能平台,成为一个主导消息队列,后续也在围绕脉冲星进行一些二次开发和周边服务搭建。 <节>
<节>以前信息的投递会有5 - 6 s的延迟,现在大概只有1 s,整体的提升和改进是非常大的。 <节>
<节>当然用脉冲星替代卡夫卡的过程,也有一些缺点,比如:成本高。这个过程就需要督促第三方开发者去替换SDK,同时过渡时期还要支持两套系统。
这篇文章主要介绍“脉冲星的特性与优势有哪些”,在日常操作中,相信很多人在脉冲星的特性与优势有哪些问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答“脉冲星的特性与优势有哪些”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
<节> <节> <强>为什么选择脉冲星 <节><节> <强>现状及痛点 <节>在没使用脉冲星之前,涂鸦使用的架构基本如下图所示。消息进入接入层后,通过卡夫卡进行消息分发转化,这个消息集群主要在做一些消息分发和路由的功能,之后再通过HTTP投递给第三方。 <节>
<节>
<节> <节>以上的架构模式存在一些业务痛点: <节>
<节> <强> 1。HTTP投递方式不灵活,容易丢消息 ,
<>节基于网络原因,公司服务器规模不足以支撑业务时,都有可能出现重启过程中消息丢失的现象。如果想要满足这个需求,就需要对消息的持久化进行额外的处理。 <节>
<节> <强> 2。卡夫卡主题数量与日俱增,运维成本高 <节>随着接入厂家和开发者数量的增加,导致卡夫卡的运维层面压力会比较大,人力和时间等耗费比较高。 <节>
<节> <强> 3。卡夫卡自身的一些痛点,比如平衡机制 ,
<节>业务集群需要经常升级,消费者就会经常断连。断连情况下,平衡的过程是很长的,导致消息堆积量加大,造成用户体验下降。同时堆积后的重启,在大集群量情况下,对消费端的压力会非常大只 <节>
<节> <强> 4。租户之间会相互影响 <>部分如果有一个租户挂掉并且没有进行及时处理,就会一直堆积在卡夫卡的处理器上,耽误后续进程,降低消息上报性能,影响到其他租户。 <节>
<节>
<节> <强>脉冲星的特性与优势 <>节Apache脉冲星是灵活的发布-订阅消息系统,采用分层分片架构只 <节>
<节> <强> 1。丰富的投递/订阅策略 <节>脉冲星做了队列模型和流模型的统一,在主题级别只需保存一份数据,同一份数据可多次消费。以流式,队列等方式计算不同的订阅模型大大提升了灵活度。 <节>
<节>
<节>, <节> <强> 2。运维难度小(相比卡夫卡),平衡机制反应迅速
<节>主要体现在跨地域复制方面.Pulsar使用计算与存储分离的云原生架构,数据从代理搬离,存在共享存储内部。上层是无状态代理,复制消息分发和服务;下层是持久化的存储层赌徒集群。 <节> <节>脉冲星存储是分片的,这种架构可以避免扩容时受限制,实现数据的独立扩展和快速恢复。 <节>
<节> <强> 3。多租户隔离优势 <节>租户和命名空间(名称空间)是脉冲星支持多租户的两个核心概念。 <节>
<节>
<节> <强>现阶段结构 <>节刚好这三点特性,对应了之前涂鸦面临的痛点,所以在契合下开始转向使用脉冲星来替代了卡夫卡。 <节>
<节>
<节> <>节目前脉冲星的架构已应用到涂鸦智能平台,成为一个主导消息队列,后续也在围绕脉冲星进行一些二次开发和周边服务搭建。 <节>
<节>以前信息的投递会有5 - 6 s的延迟,现在大概只有1 s,整体的提升和改进是非常大的。 <节>
<节>当然用脉冲星替代卡夫卡的过程,也有一些缺点,比如:成本高。这个过程就需要督促第三方开发者去替换SDK,同时过渡时期还要支持两套系统。
