最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

kafka支持的特性

来源:动视网 责编:小OO 时间:2020-09-19 05:23:13
文档

kafka支持的特性

消息持久化和缓存,Kafka高度依赖文件系统来存储和缓存消息。消息读取。Kafka在读方面使用了sendfile这个高级系统函数,也即zero-copy技术。
推荐度:
导读消息持久化和缓存,Kafka高度依赖文件系统来存储和缓存消息。消息读取。Kafka在读方面使用了sendfile这个高级系统函数,也即zero-copy技术。


kafka支持的特性如下:

  

  1、消息持久化和缓存。Kafka高度依赖文件系统来存储和缓存消息。一般的人都认为“磁盘是缓慢的”,这使得人们对“持久化结构提供具有竞争性的性能”这样的结论持有怀疑态度。实际上,磁盘比人们预想的快很多也慢很多,这取决于它们如何被使用;一个好的磁盘结构设计可以使之跟网络速度一样快。

  

  2、消息读取。Kafka在读方面使用了sendfile这个高级系统函数,也即zero-copy技术,感兴趣的同学可以去阅读IBM的文章。 这项技术通过减少系统拷贝次数,极大地提高了数据传输的效率。

  

  3、端到端的批量压缩。在许多场景下,瓶颈实际上不是CPU而是网络。这在需要在多个数据中心之间发送消息的数据流水线的情况下更是如此。当然,用户可以不需要Kafka的支持而发送压缩后的消息,但是这会导致非常差的压缩率。高效的压缩需要将多个消息一块儿压缩而不是对每一个消息进行压缩。理想情况下,这可以在端到端的情况下实现,数据会先被压缩,然后被生产者发送,并且在服务端也是保持压缩状态,只有在最终的消费者端才会被解压缩。

文档

kafka支持的特性

消息持久化和缓存,Kafka高度依赖文件系统来存储和缓存消息。消息读取。Kafka在读方面使用了sendfile这个高级系统函数,也即zero-copy技术。
推荐度:
标签: 特征 特点 支持
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题hashmap的实现原理专题网络磁盘专题用户数据中心专题kafka和mq的区别专题logstash kafka专题特征与特点的区别专题kafka数据转换专题kafka数据格式专题kafka原理专题kafka实现专题kafka rocketmq专题flume kafka专题kafka面试题专题kafka消费的三种模式专题kafka是什么专题kafka教程专题flume和kafka区别专题kafka flink专题pulsar kafka专题kafka消息队列专题
Top