分布式消息系统:Kafka

chenhaozjnubit | | 2017-05-19
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用(消息)和离 [阅读全文]
ė649次浏览 60条评论 0 Kafka

kafka入门:简介、使用场景、设计原理、主要配置及集群搭建

chenhaozjnubit | | 2017-05-18
问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么? 一、入门    1、简介    Kafka is a distributed,partitioned, [阅读全文]
ė558次浏览 60条评论 0 Kafka

RocketMQ与Kafka对比(18项差异)

chenhaozjnubit | | 2015-10-22
转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部 分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kaf [阅读全文]
ė1642次浏览 60条评论 0 RocketMQ Kafka