RabbitMQ详细笔记
RabbitMQ详细笔记
学习目标:
- 能够说出Rabbitmq应用场景
- 能够说出Rabbitmq消息不丢失解决方案
- 掌握Rabbitmq实现普通消息的收发
- 掌握Rabbitmq实现延迟消息
- 基于Rabbitmq消息队列实现商品数据同步
- 基于Rabbitmq消息队列实现订单延迟关闭
1、消息队列解决什么问题
消息队列都解决了什么问题?
1.1、异步
1.2、解耦
1.3、并行
1.4、排队
2、消息队列工具 RabbitMQ
2.1、常见MQ产品
- ActiveMQ:基于JMS(Java Message Service)协议,java语言,jdk
- RabbitMQ:基于AMQP协议,erlang语言开发,稳定性好
- RocketMQ:基于JMS,阿里巴巴产品,目前交由Apache基金会
- Kafka:分布式消息系统,高吞吐量
2.2、RabbitMQ基础概念
Broker:简单来说就是消息队列服务器实体
Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列
Queue:消息队列载体,每个消息都会被投入到一个或多个队列
Binding:绑定,它的作用就是把 exchange和 queue按照路由规则绑定起来
Routing Key:路由关键字, exchange根据这个关键字进行消息投递
vhost:虚拟主机,一个 broker里可以开设多个 vhost,用作不同用户的权限分离
producer:消息生产者,就是投递消息的程序
consumer:消息消费者,就是接受消息的程序
channel:消息通道,在客户端的每个连接里,可建立多个 channel,每个 channel代表一个会话任务
2.3、五种消息模型
RabbitMQ提供了6种消息模型,但是第6种其实是RPC,并不是MQ,因此不予学习。那么也就剩下5种。
但是其实3、4、5这三种都属于订阅模型,只不过进行路由的方式不同。
基本消息模型:生产者–>队列–>消费者
work消息模型:生产者–>队列–>多个消费者竞争消费
订阅模型-Fanout:广播模式,将消息交给所有绑定到交换机的队列,每个消费者都会收到同一条消息
订阅模型-Direct:定向,把消息交给符合指定 rotingKey 的队列
订阅模型-Topic 主题模式:通配符,把消息交给符合routing pattern(路由模式) 的队列
我目前学习使用的是第四种
3、消息不丢失
消息的不丢失,在MQ角度考虑,一般有三种途径:
生产者不丢数据
MQ服务器不丢数据
消费者不丢数据
保证消息不丢失有两种实现方式:
开启事务模式
消息息确认模式(生产者,消费者)
说明:开启事务会大幅降低消息发送及接收效率,使用的相对较少,因此我们生产环境一般都采取消息确认模式,以下我们只是讲解消息确认模式
3.1、消息确认
3.1.1、消息持久化
如果希望RabbitMQ重启之后消息不丢失,那么需要对以下3种实体均配置持久化
Exchange
声明exchange时设置持久化(durable = true)并且不自动删除(autoDelete = false)
Queue
声明queue时设置持久化(durable = true)并且不自动删除(autoDelete = false)
message
xxxxxxxxxx @Overridepublic Boolean endDrive(OrderFeeForm orderFeeForm) { //1.获取订单信息 OrderInfo orderInfo = orderInfoFeignClient.getOrderInfo(orderFeeForm.getOrderId()).getData(); if(orderInfo.getDriverId().longValue() != orderFeeForm.getDriverId().longValue()) { throw new GuiguException(ResultCodeEnum.ARGUMENT_VALID_ERROR); } //2.防止刷单,计算司机的经纬度与代驾的终点经纬度是否在2公里范围内 OrderServiceLastLocationVo orderServiceLastLocationVo = locationFeignClient.getOrderServiceLastLocation(orderFeeForm.getOrderId()).getData(); //司机的位置与代驾终点位置的距离 double distance = LocationUtil.getDistance(orderInfo.getEndPointLatitude().doubleValue(), orderInfo.getEndPointLongitude().doubleValue(), orderServiceLastLocationVo.getLatitude().doubleValue(), orderServiceLastLocationVo.getLongitude().doubleValue()); if(distance > SystemConstant.DRIVER_START_LOCATION_DISTION) { throw new GuiguException(ResultCodeEnum.DRIVER_END_LOCATION_DISTION_ERROR); } //3.计算订单实际里程 BigDecimal realDistance = locationFeignClient.calculateOrderRealDistance(orderFeeForm.getOrderId()).getData(); log.info(“结束代驾,订单实际里程:{}”, realDistance); //4.计算代驾实际费用 FeeRuleRequestForm feeRuleRequestForm = new FeeRuleRequestForm(); feeRuleRequestForm.setDistance(realDistance); feeRuleRequestForm.setStartTime(orderInfo.getStartServiceTime()); //等候时间 Integer waitMinute = Math.abs((int) ((orderInfo.getArriveTime().getTime() - orderInfo.getAcceptTime().getTime()) / (1000 * 60))); feeRuleRequestForm.setWaitMinute(waitMinute); log.info(“结束代驾,费用参数:{}”, JSON.toJSONString(feeRuleRequestForm)); FeeRuleResponseVo feeRuleResponseVo = feeRuleFeignClient.calculateOrderFee(feeRuleRequestForm).getData(); log.info(“费用明细:{}”, JSON.toJSONString(feeRuleResponseVo)); //订单总金额 需加上 路桥费、停车费、其他费用、乘客好处费 BigDecimal totalAmount = feeRuleResponseVo.getTotalAmount().add(orderFeeForm.getTollFee()).add(orderFeeForm.getParkingFee()).add(orderFeeForm.getOtherFee()).add(orderInfo.getFavourFee()); feeRuleResponseVo.setTotalAmount(totalAmount); //5.计算系统奖励 //5.1.获取订单数 String startTime = new DateTime(orderInfo.getStartServiceTime()).toString(“yyyy-MM-dd”) + “ 00:00:00”; String endTime = new DateTime(orderInfo.getStartServiceTime()).toString(“yyyy-MM-dd”) + “ 24:00:00”; Long orderNum = orderInfoFeignClient.getOrderNumByTime(startTime, endTime).getData(); //5.2.封装参数 RewardRuleRequestForm rewardRuleRequestForm = new RewardRuleRequestForm(); rewardRuleRequestForm.setStartTime(orderInfo.getStartServiceTime()); rewardRuleRequestForm.setOrderNum(orderNum); //5.3.执行 RewardRuleResponseVo rewardRuleResponseVo = rewardRuleFeignClient.calculateOrderRewardFee(rewardRuleRequestForm).getData(); log.info(“结束代驾,系统奖励:{}”, JSON.toJSONString(rewardRuleResponseVo)); //6.计算分账信息 ProfitsharingRuleRequestForm profitsharingRuleRequestForm = new ProfitsharingRuleRequestForm(); profitsharingRuleRequestForm.setOrderAmount(feeRuleResponseVo.getTotalAmount()); profitsharingRuleRequestForm.setOrderNum(orderNum); ProfitsharingRuleResponseVo profitsharingRuleResponseVo = profitsharingRuleFeignClient.calculateOrderProfitsharingFee(profitsharingRuleRequestForm).getData(); log.info(“结束代驾,分账信息:{}”, JSON.toJSONString(profitsharingRuleResponseVo)); //7.封装更新订单账单相关实体对象 UpdateOrderBillForm updateOrderBillForm = new UpdateOrderBillForm(); updateOrderBillForm.setOrderId(orderFeeForm.getOrderId()); updateOrderBillForm.setDriverId(orderFeeForm.getDriverId()); //路桥费、停车费、其他费用 updateOrderBillForm.setTollFee(orderFeeForm.getTollFee()); updateOrderBillForm.setParkingFee(orderFeeForm.getParkingFee()); updateOrderBillForm.setOtherFee(orderFeeForm.getOtherFee()); //乘客好处费 updateOrderBillForm.setFavourFee(orderInfo.getFavourFee()); //实际里程 updateOrderBillForm.setRealDistance(realDistance); //订单奖励信息 BeanUtils.copyProperties(rewardRuleResponseVo, updateOrderBillForm); //代驾费用信息 BeanUtils.copyProperties(feeRuleResponseVo, updateOrderBillForm); //分账相关信息 BeanUtils.copyProperties(profitsharingRuleResponseVo, updateOrderBillForm); updateOrderBillForm.setProfitsharingRuleId(profitsharingRuleResponseVo.getProfitsharingRuleId()); log.info(“结束代驾,更新账单信息:{}”, JSON.toJSONString(updateOrderBillForm)); //8.结束代驾更新账单 orderInfoFeignClient.endDrive(updateOrderBillForm); return true;}java
3.1.2、发送确认
有时,业务处理成功,消息也发了,但是我们并不知道消息是否成功到达了rabbitmq,如果由于网络等原因导致业务成功而消息发送失败,那么发送方将出现不一致的问题,此时可以使用rabbitmq的发送确认功能,即要求rabbitmq显式告知我们消息是否已成功发送。
3.1.3、手动消费确认
有时,消息被正确投递到消费方,但是消费方处理失败,那么便会出现消费方的不一致问题。比如:订单已创建的消息发送到用户积分子系统中用于增加用户积分,但是积分消费方处理却都失败了,用户就会问:我购买了东西为什么积分并没有增加呢?
要解决这个问题,需要引入消费方确认,即只有消息被成功处理之后才告知rabbitmq以ack,否则告知rabbitmq以nack
4、搭建rabbit-util模块
由于消息队列是公共模块,我们把mq的相关代码(生产者)封装到该模块,其他service微服务模块都可能使用,因此我们把他封装到一个单独的maven模块,需要使用mq的模块直接引用该模块即可。
模块已搭建,依赖已添加,我们只需要封装关键部分即可。
4.1、RabbitInitConfigApplicationListener
消息确认配置类:消息发送与重发监听器
1 |
|
4.2、封装消息发送
1 |
|
4.3、发送确认消息测试
4.3.1、pom.xml
在service-mq
引入rabbit-util
模块依赖
1 |
|
4.3.2、添加配置
1 |
|
4.3.3、MqController
消息发送端
1 |
|
4.3.4、ConfirmReceiver
消息接收端
1 |
|
测试:http://localhost:8282/mq/sendConfirm
4.4、消息发送失败,设置重发机制
实现思路:借助redis来实现重发机制
4.4.1、iwipCorrelationData
1 |
|
4.4.2、修改发送方法
1 |
|
4.4.3、RabbitInitConfigApplicationListener
修改RabbitInitConfigApplicationListener配置类
1 |
|
4.4.4、redis序列化配置
1 |
|
测试: 修改路由键或交换机
5、延迟消息
延迟消息有两种实现方案:
1,基于死信队列
2,集成延迟插件
5.1、基于死信实现延迟消息
使用RabbitMQ来实现延迟消息必须先了解RabbitMQ的两个概念:消息的TTL和死信Exchange,通过这两者的组合来实现延迟队列
5.1.1、消息的TTL(Time To Live)
消息的TTL就是消息的存活时间。RabbitMQ可以对队列和消息分别设置TTL。对队列设置就是队列没有消费者连着的保留时间,也可以对每一个单独的消息做单独的设置。超过了这个时间,我们认为这个消息就死了,称之为死信。
如何设置TTL:
我们创建一个队列queue.temp,在Arguments 中添加x-message-ttl 为5000 (单位是毫秒),那所在压在这个队列的消息在5秒后会消失。
5.1.2、死信交换机 Dead Letter Exchanges
一个消息在满足如下条件下,会进死信路由,记住这里是路由而不是队列,一个路由可以对应很多队列。
(1) 一个消息被Consumer拒收了,并且reject方法的参数里requeue是false。也就是说不会被再次放在队列里,被其他消费者使用。
(2)上面的消息的TTL到了,消息过期了。
(3)队列的长度限制满了。排在前面的消息会被丢弃或者扔到死信路由上。
Dead Letter Exchange其实就是一种普通的exchange,和创建其他exchange没有两样。只是在某一个设置Dead Letter Exchange的队列中有消息过期了,会自动触发消息的转发,发送到Dead Letter Exchange中去。
我们现在可以测试一下延迟队列。
(1)创建死信队列
(2)创建交换机
(3)建立交换器与队列之间的绑定
(4)创建队列
5.1.3、代码实现
5.1.3.1、在service-mq中添加配置类
1 |
|
5.1.3.2、MqController
配置发送消息
1 |
|
5.1.3.3、DeadLetterReceiver
消息接收方
1 |
|
测试:http://localhost:8282/mq/sendDeadLetterMsg
5.2、基于延迟插件实现延迟消息
Rabbitmq实现了一个插件x-delay-message来实现延时队列
首先我们将刚下载下来的rabbitmq_delayed_message_exchange-3.9.0.ez文件上传到RabbitMQ所在服务器,下载地址:https://www.rabbitmq.com/community-plugins.html (对应rabbitmq的版本)
假设你已经将插件文件
rabbitmq_delayed_message_exchange-3.9.0.ez
放置在宿主机上的某个路径(例如/home/rabbitmq_delayed_message_exchange-3.9.0.ez
)。将插件文件复制到 RabbitMQ 容器的
plugins
目录下。docker cp /path/to/rabbitmq_delayed_message_exchange-3.9.0.ez rabbitmq:/plugins/
docker exec -it rabbitmq bash rabbitmq-plugins enable rabbitmq_delayed_message_exchange1
2
3
4
5
6
7
8
9
10
11
### 步骤解析:
- **`docker cp`**:将文件从宿主机复制到容器内。
- **`/path/to/rabbitmq_delayed_message_exchange-3.9.0.ez`**:这是你宿主机上插件文件的路径,请替换为实际路径。
- **`rabbitmq:/plugins/`**:这是 RabbitMQ 容器内部的 `plugins` 目录。你需要将插件文件复制到容器内的这个目录中。确保容器中确实存在这个目录
### 启用插件:
在插件文件成功复制到容器中后,你需要在 RabbitMQ 容器内启用插件。你可以使用 `docker exec` 进入容器并执行以下命令:package com.fei.config;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
查看效果:如图所示
![mq-01](../images/mq/mq-01.png)
##### 5.2.2、代码实现
`service-mq`
###### 5.2.2.1、DelayedMqConfig
配置队列
import org.springframework.amqp.core.Binding;
import org.springframework.amqp.core.BindingBuilder;
import org.springframework.amqp.core.CustomExchange;
import org.springframework.amqp.core.Queue;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.util.HashMap;
import java.util.Map;
/**
延迟队列配置
*/
@Configuration
public class DelayedMqConfig {public static final String exchange_delay = “exchange.delay”;
public static final String routing_delay = “routing.delay”;
public static final String queue_delay_1 = “queue.delay.1”;@Bean
public Queue delayQeue1() {
// 第一个参数是创建的queue的名字,第二个参数是是否支持持久化
return new Queue(queue_delay_1, true);
}@Bean
public CustomExchange delayExchange() {
Map<String, Object> args = new HashMap<String, Object>();
args.put(“x-delayed-type”, “direct”);
return new CustomExchange(exchange_delay, “x-delayed-message”, true, false, args);
}@Bean
public Binding delayBbinding1() {
return BindingBuilder.bind(delayQeue1()).to(delayExchange()).with(routing_delay).noargs();
}
}
1 |
|
/**
消息发送延迟消息:基于延迟插件使用
*/
@GetMapping(“/sendDelayMsg”)
public Result sendDelayMsg() {
//调用工具方法发送延迟消息
int delayTime = 10;
rabbitService.sendDealyMessage(DelayedMqConfig.exchange_delay, DelayedMqConfig.routing_delay, “我是延迟消息”, delayTime);
log.info(“基于延迟插件-发送延迟消息成功”);
return Result.ok();1
2
3
4
5
###### 5.2.2.3、 RabbitService
`rabbit-util`中`RabbitService`中封装发送延迟消息方法,队列确认方法中增加延迟队列判断/**
发送延迟消息方法
@param exchange 交换机
@param routingKey 路由键
@param message 消息数据
@param delayTime 延迟时间,单位为:秒
*/
public boolean sendDealyMessage(String exchange, String routingKey, Object message, int delayTime) {
//1.创建自定义相关消息对象-包含业务数据本身,交换器名称,路由键,队列类型,延迟时间,重试次数
IwipCorrelationData correlationData = new IwipCorrelationData();
String uuid = “mq:” + UUID.randomUUID().toString().replaceAll(“-“, “”);
correlationData.setId(uuid);
correlationData.setMessage(message);
correlationData.setExchange(exchange);
correlationData.setRoutingKey(routingKey);
correlationData.setDelay(true);
correlationData.setDelayTime(delayTime);//2.将相关消息封装到发送消息方法中
rabbitTemplate.convertAndSend(exchange, routingKey, message,message1 -> {
message1.getMessageProperties().setDelay(delayTime*1000);
return message1;
}, correlationData);//3.将相关消息存入Redis Key:UUID 相关消息对象 10 分钟
redisTemplate.opsForValue().set(uuid, JSON.toJSONString(correlationData), 10, TimeUnit.MINUTES);
return true;
}
1 |
|
package com.atguigu.daijia.common.config;
@Slf4j
@Component
public class RabbitInitConfigApplicationListener implements ApplicationListener
@Autowired
private RabbitTemplate rabbitTemplate;
@Autowired
private RedisTemplate redisTemplate;
@Override
public void onApplicationEvent(ApplicationReadyEvent event) {
this.setupCallbacks();
}
private void setupCallbacks() {
/**
* 只确认消息是否正确到达 Exchange 中,成功与否都会回调
*
* @param correlation 相关数据 非消息本身业务数据
* @param ack 应答结果
* @param reason 如果发送消息到交换器失败,错误原因
*/
this.rabbitTemplate.setConfirmCallback((correlationData, ack, reason) -> {
if (ack) {
//消息到交换器成功
log.info("消息发送到Exchange成功:{}", correlationData);
} else {
//消息到交换器失败
log.error("消息发送到Exchange失败:{}", reason);
//执行消息重发
this.retrySendMsg(correlationData);
}
});
/**
* 消息没有正确到达队列时触发回调,如果正确到达队列不执行
*/
this.rabbitTemplate.setReturnsCallback(returned -> {
log.error("Returned: " + returned.getMessage() + "\nreplyCode: " + returned.getReplyCode()
+ "\nreplyText: " + returned.getReplyText() + "\nexchange/rk: "
+ returned.getExchange() + "/" + returned.getRoutingKey());
//当路由队列失败 也需要重发
//1.构建相关数据对象
String redisKey = returned.getMessage().getMessageProperties().getHeader("spring_returned_message_correlation");
String correlationDataStr = (String) redisTemplate.opsForValue().get(redisKey);
IwipCorrelationData iwipCorrelationData = JSON.parseObject(correlationDataStr, IwipCorrelationData.class);
//todo 方式一:如果不考虑延迟消息重发 直接返回
if(iwip.isDelay()){
return;
}
//2.调用消息重发方法
this.retrySendMsg(iwip);
});
}
/**
* 消息重新发送
*
* @param correlationData
*/
private void retrySendMsg(CorrelationData correlationData) {
//获取相关数据
IwipCorrelationData iwipCorrelationData = (IwipCorrelationData) correlationData;
//获取redis中存放重试次数
//先重发,在写会到redis中次数
int retryCount = iwipCorrelationData.getRetryCount();
if (retryCount >= 3) {
//超过最大重试次数
log.error("生产者超过最大重试次数,将失败的消息存入数据库用人工处理;给管理员发送邮件;给管理员发送短信;");
return;
}
//重发次数+1
retryCount += 1;
iwipCorrelationData.setRetryCount(retryCount);
redisTemplate.opsForValue().set(iwipCorrelationData.getId(), JSON.toJSONString(iwipCorrelationData), 10, TimeUnit.MINUTES);
log.info("进行消息重发!");
//重发消息
//todo 方式二:如果是延迟消息,依然需要设置消息延迟时间
if (iwipCorrelationData.isDelay()) {
//延迟消息
rabbitTemplate.convertAndSend(iwipCorrelationData.getExchange(), iwipCorrelationData.getRoutingKey(), iwipCorrelationData.getMessage(), message -> {
message.getMessageProperties().setDelay(iwipCorrelationData.getDelayTime() * 1000);
return message;
}, iwipCorrelationData);
} else {
//普通消息
rabbitTemplate.convertAndSend(iwipCorrelationData.getExchange(), iwipCorrelationData.getRoutingKey(), iwipCorrelationData.getMessage(), iwipCorrelationData);
}
}
}
1 |
|
package com.atguigu.daijia.mq.receiver;
@Slf4j
@Component
public class DelayReceiver {
@Autowired
private RedisTemplate redisTemplate;
/**
* 监听到延迟消息
*
* @param msg
* @param message
* @param channel
*/
@RabbitListener(queues = DelayedMqConfig.queue_delay_1)
public void getDelayMsg(String msg, Message message, Channel channel) {
String key = "mq:" + msg;
try {
//如果业务保证幂等性,基于redis setnx保证
Boolean flag = redisTemplate.opsForValue().setIfAbsent(key, "", 2, TimeUnit.SECONDS);
if (!flag) {
//说明该业务数据以及被执行
channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
return;
}
if (StringUtils.isNotBlank(msg)) {
log.info("延迟插件监听消息:{}", msg);
}
channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
} catch (IOException e) {
e.printStackTrace();
log.error("异常:{}", e);
redisTemplate.delete(key);
}
}
}
消费结果会发送三次,也被消费三次!
如何保证消息幂等性?
1. 使用数据库方式
2. **使用redis setnx 命令解决(推荐)**