当前位置:技术分享 > 技术参考 > 正文

Apache Pulsar 2.0支持模式注册表和主题压缩2018-07-10 10:19:27 | 编辑:hely | 查看: | 评论:0

最新版本的开源分布式消息传递框架Apache Pulsar让企业能够实时处理数据,从而“超越了批次处理”。Streamlio最近宣布推出Apache Pulsar 2 0 1流式消息解决方案。最新版本支持Pulsar Function、模式注册表和主题压缩。

最新版本的开源分布式消息传递框架Apache Pulsar让企业能够实时处理数据,从而“超越了批次处理”。Streamlio最近宣布推出Apache Pulsar 2.0.1流式消息解决方案。最新版本支持Pulsar Function、模式注册表和主题压缩。

新版本的其他特性包括:

• 将Apache BookKeeper升级到4.7版本

• 性能改进

• 与Pulsar 2.0之前的版本兼容

Pulsar Function:今年早些时候首次发布了这个原生流式处理能力的预览版。Pulsar Function是一种轻量级的计算进程,在数据流经Pulsar的时候,可直接用使用它们对数据进行变换和分析,无需借助外部系统或附件。每次有消息被发布到输入主题时,都会执行Function。

模式注册表:模式注册表为开发人员提供定义和验证流经Pulsar的数据的结构和完整性的能力,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式。这些模式用于确定哪些数据类型对该主题是有效的。模式注册表当前仅适用于Java客户端。

主题压缩:Pulsar使用Apache Bookkeeper保存流式数据,这一改进提升了存储性能。主题压缩是一个运行在Pulsar broker上的进程,用于为主题中的每个键创建最新值的快照。主题压缩进程读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可供用户使用。用户可以通过REST端点手动触发它来控制何时进行主题压缩。

我们采访了Streamlio联合创始人和Pulsar架构师兼首席开发者Matteo Merli,谈到了Pulsar架构及其产品路线图。

Pulsar与其他消息框架相比如何?

Matteo Merli:与其他许多框架一样,Pulsar提供了可以通过各种客户端进行访问的分布式消息传递能力。Pulsar能够满足现代基于数据驱动的应用程序和数据分析的要求,却没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。

Pulsar的产品路线图是怎样的?即将推出哪些功能?

Merli:作为一个开源项目,Apache Pulsar路线图是由Pulsar社区的贡献者和用户共同决定的。预计当前开发的版本很快会发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力以​​及更多受支持的模式格式。

Pulsar团队上周发布了2.0.1版本,其中包括对PyPI上的Python包以及由Pulsar代理提供的REST API的修复。有关新版本的更多信息,请查看Pulsar网站上的发行说明。

查看英文原文:Distributed Messaging Framework Apache Pulsar 2.0 Supports Schema Registry and Topic Compaction

上一篇:基于Hadoop生态系统的一种高性能数据存储格式CarbonData(性能篇) 如何利用Python 为自然语言处理加速度下一篇:

公众平台

搜索"raincent"或扫描下面的二维码