Spring Boot 服务性能:并发能力、限流与启动优化
本文解决的问题: 如何评估 Spring Boot 服务的并发上限、选择限流算法并缩短启动时间?
适用范围: Spring Boot、嵌入式 Tomcat 与 Sentinel 场景,参数应结合实际版本和压测结果。
结论摘要: 并发能力由线程、连接、下游和资源共同决定;限流与启动优化都必须以可观测数据和压测验证为依据。
Q:SpringBoot或Tomcat可以同时处理的最大请求数
A:accept-count + max-connections
1 | server: |
Q:Sentinel限流算法
A:
滑动窗口计数法(Sliding Window Counting)
核心思想:将时间划分为多个小的时间窗口(如 500ms),统计每个窗口内的请求数量,并动态滑动窗口,避免固定窗口的“突刺问题”。
- 固定窗口计数法:将时间划分为固定大小的窗口(如 1s),统计窗口内的请求总数。缺点是可能出现“突刺”(例如前 1ms 内请求过多,后 999ms 被拒绝)
- 滑动窗口计数法:通过多个子窗口(如 20 个 50ms 的子窗口)动态统计流量,避免突刺问题。例如,Sentinel 默认使用 1s 的窗口,划分为 2 个 500ms 的子窗口。
- 优点:
- 避免固定窗口的突刺问题,流量统计更平滑。
- 适用于 QPS 限流、热点参数限流等场景。
令牌桶算法(Token Bucket)
核心思想:以固定速率生成令牌,存入令牌桶。请求必须获取令牌才能被处理。如果令牌桶满,多余令牌被丢弃;如果令牌桶空,请求被拒绝或等待
**Sentinel 实现:**令牌桶算法:允许突发流量(桶容量决定突发流量大小)。预热模式(Warm Up):通过令牌桶的动态调整,实现系统冷启动时的流量预热。例如,从低阈值逐渐增加到设定阈值。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20public class WarmUpController {
private final double count; // 最大 QPS 阈值
private final long warmUpPeriodInSec; // 预热时间(秒)
private final double coldFactor; // 冷却因子
private final long warningToken; // 警戒令牌数
private final long maxToken; // 最大令牌数
private final double slope; // 斜率
public boolean canPass(int acquireCount) {
long currentTokens = storedTokens.get(); // 当前令牌数
if (currentTokens >= warningToken) {
// 超过警戒线,按预热公式计算允许的 QPS
double allowedQps = 1.0 / (aboveToken * slope + 1.0 / count);
return passQps + acquireCount <= allowedQps;
} else {
// 正常模式,按令牌桶算法处理
return passQps + acquireCount <= count;
}
}
}
- 优点:
- 支持突发流量(令牌桶容量决定)。
- 预热模式避免冷启动时系统被压垮。
漏桶算法(Leaky Bucket)
核心思想:请求进入漏桶后,以固定速率处理。如果漏桶满,新请求被拒绝或排队等待。
**Sentinel 实现:**排队等待模式(RateLimiter):允许请求排队等待,直到令牌桶有空间。例如,设置最大等待时间,超时则拒绝。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24public class RateLimiterController {
private final int maxQueueingTimeMs; // 最大等待时间
private final double count; // QPS 阈值
private final AtomicLong latestPassedTime = new AtomicLong(-1);
public boolean canPass(int acquireCount) {
long currentTime = System.currentTimeMillis();
long costTime = Math.round(1.0 * acquireCount / count * 1000); // 计算间隔时间
long expectedTime = costTime + latestPassedTime.get();
if (expectedTime <= currentTime) {
latestPassedTime.set(currentTime);
return true; // 立即通过
} else {
long waitTime = expectedTime - currentTime;
if (waitTime <= maxQueueingTimeMs) {
Thread.sleep(waitTime); // 等待
latestPassedTime.set(currentTime + waitTime);
return true;
} else {
return false; // 超时拒绝
}
}
}
}- 优点:
- 严格限制流量速率,适合对延迟敏感的场景(如数据库访问)。
- 优点:
快速失败模式(DefaultController)
基于滑动窗口统计 QPS,如果当前 QPS 超过阈值,直接拒绝请求。
Q:SpringBoot如何优化启动速度
A:
- 延迟初始化Bean:懒加载,或异步执行初始化任务
- 创建扫描索引,引入index依赖
@Indexed索引,编译打包时Spring在项目自动生成META-INF/spring.componets文件维护索引,Spring应用启动时会执行ComponentScan扫描时,这个文件将会被CandidateComponentsIndexLoader读取并加载,转为CandidateComponentsIndex对象; - 去除不必要的自动配置和扫描范围
- 关闭Spring Boot的JMX监控
spring.jmx.enabled=false - JVM参数关闭类验证
- AOP尽量不使用注解方式标记,会对所有方法进行扫描
- 排除不需要的依赖
- JDK17 新的特性支持更好的垃圾回收期,SpringBoot3的GraalVM支持编译成本地镜像文件,启动速度更快,内存占用更少
参考资料
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Lavigne-yang.Blog!
评论









