关于后端:Rocketmq-入门介绍

6次阅读

共计 3882 个字符，预计需要花费 10 分钟才能阅读完成。

从零手写实现 mq

RocketMQ 是由阿里巴巴开发的分布式音讯队列零碎，它是一个低提早、高牢靠、高吞吐量的消息中间件。

RocketMQ 最后是作为阿里巴巴的外部我的项目进行开发的，起初成为了 Apache 软件基金会下的顶级我的项目，以 Apache 许可证 2.0 公布，使其成为一个凋谢、收费的开源我的项目。

以下是 RocketMQ 的一些次要个性：

分布式架构 ：RocketMQ 是基于分布式架构设计的，能够轻松地实现程度扩大以满足高吞吐量和大规模部署的需要。它反对多个音讯队列服务器（Broker）和多个音讯消费者，以实现负载平衡和高可用性。
高可靠性 ：RocketMQ 提供了严格的消息传递保障，包含程序音讯、事务音讯、音讯重试等机制，确保音讯不会失落。它应用主从复制和同步刷盘等技术来保障音讯的可靠性。
高吞吐量 ：RocketMQ 在设计上重视了高吞吐量的指标，通过优化网络通信、存储和音讯解决等方面的性能，实现了十分高的音讯处理速度。
低提早 ：RocketMQ 的设计谋求低提早，可能疾速地将消息传递给消费者，并且反对优先级音讯以及批量发送等个性，进一步升高了消息传递的提早。
灵便的音讯模型 ：RocketMQ 反对多种音讯模型，包含点对点（P2P）模型和公布 / 订阅（Pub/Sub）模型，能够满足不同场景下的需要。
丰盛的性能 ：RocketMQ 提供了丰盛的性能和个性，包含音讯过滤、提早音讯、定时音讯、事务音讯等，能够满足各种简单的业务场景需要。
可扩展性 ：RocketMQ 提供了丰盛的插件和扩大接口，能够不便地进行定制化开发和扩大，以满足特定业务需要。

RocketMQ 是一个功能丰富、稳固牢靠、性能优异的分布式音讯队列零碎，广泛应用于互联网、物联网、大数据等畛域，为企业提供了牢靠的音讯通信基础设施。

应用 RocketMQ 的起因能够有很多，具体取决于你的业务需要、技术栈以及团队的偏好。

以下是应用 RocketMQ 的一些常见起因以及与其余音讯队列零碎（如 Kafka、RabbitMQ 和 ActiveMQ）进行比照的优缺点：

为什么要应用 RocketMQ？

高可靠性和稳定性 ：RocketMQ 提供了主从复制、同步刷盘等机制，确保音讯不会失落，可能满足对消息传递可靠性要求较高的场景。
低提早 ：RocketMQ 谋求低提早的设计指标，可能疾速地将消息传递给消费者，实用于对提早要求较高的业务场景。
高吞吐量 ：RocketMQ 通过优化网络通信、存储和音讯解决等方面的性能，实现了十分高的音讯处理速度，实用于须要解决大量音讯的场景。
丰盛的性能 ：RocketMQ 提供了丰盛的性能和个性，如音讯过滤、提早音讯、定时音讯、事务音讯等，能够满足各种简单的业务场景需要。
Apache 开源我的项目 ：RocketMQ 是 Apache 软件基金会下的顶级我的项目，具备凋谢、收费、社区沉闷等特点，受到了宽泛的关注和反对。

与其余音讯队列零碎的比照优缺点：

与 Kafka 比照 ：
- 长处：Kafka 在大数据畛域有很高的知名度和使用率，实用于大规模数据处理和实时剖析等场景。
- 毛病：相比 Kafka，RocketMQ 更加重视消息传递的可靠性和稳定性，对于一些对音讯可靠性要求更高的场景可能更适宜应用 RocketMQ。
与 RabbitMQ 比照 ：
- 长处：RabbitMQ 在 AMQP（高级音讯队列协定）的反对上更加全面，实用于简单的消息传递场景，如分布式事务、音讯确认等。
- 毛病：相比 RabbitMQ，RocketMQ 在分布式部署和程度扩大方面更加灵便和简略，实用于高并发、大规模的消息传递场景。
与 ActiveMQ 比照 ：
- 长处：ActiveMQ 是一个成熟的 JMS（Java 音讯服务）实现，提供了丰盛的性能和协定反对，实用于 Java 生态系统中的消息传递场景。
- 毛病：相比 ActiveMQ，RocketMQ 更加轻量级和高性能，实用于对消息传递性能和稳定性要求较高的场景。

RocketMQ 通过多种机制来确保音讯不会失落，次要包含以下几点：

同步刷盘 ：RocketMQ 在写入音讯时采纳同步刷盘的形式，即音讯写入磁盘后会立刻返回确认，确保音讯曾经被长久化到磁盘。这样即便在产生服务器宕机等异常情况时，曾经长久化到磁盘的音讯不会失落。
主从复制 ：RocketMQ 反对主从复制机制，即一个主节点（Master）能够配置多个从节点（Slave）。当主节点宕机时，RocketMQ 会主动选举其中一个从节点作为新的主节点，从而保障音讯队列的可用性和数据不失落。
数据预写日志（WAL）：RocketMQ 应用预写日志（Write-Ahead Logging）来记录音讯的变更操作，确保即便在音讯写入磁盘过程中出现异常，能够通过重放预写日志来复原数据，从而防止音讯失落。
音讯复制和同步 ：RocketMQ 在音讯发送过程中会将音讯复制到多个 Broker 节点上，以实现音讯的备份和冗余，从而进步音讯的可靠性和可用性。同时，RocketMQ 会在 Broker 之间进行音讯同步，确保音讯在不同节点之间的一致性。
音讯确认机制 ：RocketMQ 提供了音讯发送确认机制，即生产者发送音讯后会期待 Broker 的确认响应，确保音讯曾经被胜利存储。只有当 Broker 返回确认响应后，生产者才会认为音讯曾经平安发送，从而防止音讯失落。

综合利用以上的机制，RocketMQ 可能无效地保障音讯不会失落，并且具备较高的可靠性和稳定性，实用于各种对消息传递可靠性要求较高的场景。

RocketMQ 通过一系列的设计和机制来保障音讯不失落、低提早和高吞吐量。

上面我将具体解释：

1. 音讯存储机制：

RocketMQ 应用了相似于日志的存储形式，将音讯长久化存储在磁盘上，以保障即便在服务重启或者宕机后，音讯依然不会失落。这种存储形式也可能保障音讯的程序性。

2. 主从复制机制：

RocketMQ 反对主从复制机制，即每个主题的音讯会在多个 Broker 节点上进行同步复制。当主节点宕机或者产生故障时，能够疾速切换到备用节点，确保音讯的可靠性和高可用性。

3. 同步刷盘机制：

RocketMQ 提供了同步刷盘机制，即生产者在发送音讯后会期待音讯被同步写入磁盘之后才返回胜利响应，确保音讯不会因为写入内存而失落。

4. 音讯确认机制：

RocketMQ 提供了音讯确认机制，生产者发送音讯后会期待消费者确认音讯曾经胜利生产，如果消费者没有确认，则会进行音讯重试，直到音讯被确认生产或者达到最大重试次数。

5. 优化网络通信和存储性能：

RocketMQ 对网络通信和存储进行了优化，采纳了零拷贝技术和程序写入磁盘等办法，进步了音讯传输和存储的效率，从而升高了提早和晋升了吞吐量。

6. 分布式架构和负载平衡：

RocketMQ 采纳了分布式架构，并且反对多个 Broker 节点，能够依据负载状况进行动静调整，确保音讯可能疾速被路由到可用的节点进行解决，进步了零碎的吞吐量和性能。

7. 异步音讯发送和批量发送：

RocketMQ 反对异步音讯发送和批量发送，生产者能够将多个音讯打包发送，缩小了网络通信的开销，进步了音讯的传输效率和吞吐量。

8. 优先级音讯和疾速失败机制：

RocketMQ 反对优先级音讯和疾速失败机制，能够依据音讯的优先级进行排序和解决，确保重要音讯可能优先失去解决，并且在消费者解决失败时可能疾速进行失败解决，升高了提早。

RocketMQ 通过多种机制和优化伎俩，包含音讯存储、复制机制、同步刷盘、音讯确认、网络通信和存储性能优化等，来保障音讯不失落、低提早和高吞吐量，从而满足不同业务场景下的需要。

RocketMQ 通过一系列的设计和机制来保障音讯生产的程序性，次要包含以下几个方面：

队列和分区机制 ：
- RocketMQ 中的每个主题（Topic）都能够蕴含多个队列（Queue），而每个队列能够在不同的 Broker 节点上，这样能够通过调整队列数量和调配来达到音讯的有序性。在发送音讯时，生产者能够抉择将音讯发送到指定的队列，从而确保一组相干音讯被程序地存储在同一个队列中。
生产者发送程序音讯 ：
- RocketMQ 提供了发送程序音讯的性能，生产者能够在发送音讯时指定音讯的程序关键字，RocketMQ 依据这个关键字将音讯发送到同一个队列中，从而确保一组相干音讯被程序地发送到 Broker。
消费者按程序生产 ：
- RocketMQ 提供了一种叫做程序生产的形式，消费者能够通过设置音讯生产的形式为程序生产，这样消费者在解决音讯时会依照音讯的程序进行生产，从而确保音讯的程序性。
音讯队列锁机制 ：
- RocketMQ 提供了一种叫做程序音讯队列锁（Orderly Message Queue Lock）的机制，在程序生产模式下，会应用队列锁来确保同一队列的音讯不会被多个消费者并发生产，从而保障了音讯的程序性。
消费者分组机制 ：
- RocketMQ 的消费者能够通过消费者分组（Consumer Group）来进行负载平衡和程度扩大，同一个消费者分组内的消费者会平衡地生产音讯，而不同分组的消费者则能够并行生产音讯，这样能够确保不同分组内的音讯生产是有序的。