来自 技术 2019-04-17 的文章

Kafka的底层实现原理

八年Java开发的感悟:什么才是程序员的立身之本>>>   

Kafka的架构组建

Topic:消息存放的目录主题

Producer:生产消息到topic的一方

Consumer:订阅topic消费消息的一方

Consumergroup:各个consumer可以组成一个组,每个消息只能被组中的一个consumer消费,如果一个消息能被多个consumer消费,那么这些个consumer肯定不在同一个组中

(所以同一个groupid下的consumer是各自消费消息的,不会出现消费同一个消息的情况出现

Kafka性能优秀原因揭秘

kafka中的message并不是保存在内存中的,而是保存在了磁盘上,唯一的区别是他运用了顺序写,而并非采用随机写,顺序写的速度在600MB/S,随机写的速度在100KB/S,这个性能的提升的效果明显的,顺序写的效率并不比内存写差,甚至合理运用效率更高(充分利用了操作系统的预读、后写机制) kafka通过sendfile命令,减少了数据拷贝,数据的拷贝基本全在内存中完成。(原先是将数据从硬盘读到内核区的pageCache,然后用户进程copy到用户区,用户区在吧数据写进socket中)现在是省掉了用户copy数据这一步,直接让内核区的数据写入socket中 push-and-pull:producer批量的push数据,consumer批量的pull数据,减少了io的次数

kafka和rabbitmq区别

rabbitmq比kafka更严谨,不易出现消息的丢失,原因是rabbit有一个ack消息确认机制,只有消息处理完毕后,consumer才会给server发送一个回执,将queue中的消息删除,否则不会被删除 rabbitmq同样支持持久化,配置一个durable = true即可

标签:   RabbitMQ      Kafka      python 3点几      crm 开发工具   
上一篇:Spring Cloud OAuth 实现微服务内部Token传递的源码解
下一篇:没有了