本文解决的问题: 如何评估 Spring Boot 服务的并发上限、选择限流算法并缩短启动时间?

适用范围: Spring Boot、嵌入式 Tomcat 与 Sentinel 场景,参数应结合实际版本和压测结果。

结论摘要: 并发能力由线程、连接、下游和资源共同决定;限流与启动优化都必须以可观测数据和压测验证为依据。

Q:SpringBoot或Tomcat可以同时处理的最大请求数

A:accept-count + max-connections

1
2
3
4
5
6
7
8
9
10
11
12
server:
port: 12600
tomcat:
threads:
max: 200
min-spare: 10
# 最大等待数 当所有可能的请求处理线程都在使用时,传入连接请求的最大队列长度。
accept-count: 100
# 最大连接数 服务器在任何给定时间接受和处理的最大连接数。一旦达到限制,操作系统仍然可以根据“acceptCount”属性接受连接
max-connections: 8192
# 连接超时时间
connection-timeout: 3000

Q:Sentinel限流算法

A:

  1. 滑动窗口计数法(Sliding Window Counting)

    核心思想:将时间划分为多个小的时间窗口(如 500ms),统计每个窗口内的请求数量,并动态滑动窗口,避免固定窗口的“突刺问题”。

    1. 固定窗口计数法:将时间划分为固定大小的窗口(如 1s),统计窗口内的请求总数。缺点是可能出现“突刺”(例如前 1ms 内请求过多,后 999ms 被拒绝)
    2. 滑动窗口计数法:通过多个子窗口(如 20 个 50ms 的子窗口)动态统计流量,避免突刺问题。例如,Sentinel 默认使用 1s 的窗口,划分为 2 个 500ms 的子窗口。
    3. 优点:
      1. 避免固定窗口的突刺问题,流量统计更平滑。
      2. 适用于 QPS 限流、热点参数限流等场景。
  2. 令牌桶算法(Token Bucket)

    核心思想:以固定速率生成令牌,存入令牌桶。请求必须获取令牌才能被处理。如果令牌桶满,多余令牌被丢弃;如果令牌桶空,请求被拒绝或等待

    **Sentinel 实现:**令牌桶算法:允许突发流量(桶容量决定突发流量大小)。预热模式(Warm Up):通过令牌桶的动态调整,实现系统冷启动时的流量预热。例如,从低阈值逐渐增加到设定阈值。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    public class WarmUpController {
    private final double count; // 最大 QPS 阈值
    private final long warmUpPeriodInSec; // 预热时间(秒)
    private final double coldFactor; // 冷却因子
    private final long warningToken; // 警戒令牌数
    private final long maxToken; // 最大令牌数
    private final double slope; // 斜率

    public boolean canPass(int acquireCount) {
    long currentTokens = storedTokens.get(); // 当前令牌数
    if (currentTokens >= warningToken) {
    // 超过警戒线,按预热公式计算允许的 QPS
    double allowedQps = 1.0 / (aboveToken * slope + 1.0 / count);
    return passQps + acquireCount <= allowedQps;
    } else {
    // 正常模式,按令牌桶算法处理
    return passQps + acquireCount <= count;
    }
    }
    }
  • 优点:
    • 支持突发流量(令牌桶容量决定)。
    • 预热模式避免冷启动时系统被压垮。
  1. 漏桶算法(Leaky Bucket)

    核心思想:请求进入漏桶后,以固定速率处理。如果漏桶满,新请求被拒绝或排队等待。

    **Sentinel 实现:**排队等待模式(RateLimiter):允许请求排队等待,直到令牌桶有空间。例如,设置最大等待时间,超时则拒绝。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    public class RateLimiterController {
    private final int maxQueueingTimeMs; // 最大等待时间
    private final double count; // QPS 阈值
    private final AtomicLong latestPassedTime = new AtomicLong(-1);

    public boolean canPass(int acquireCount) {
    long currentTime = System.currentTimeMillis();
    long costTime = Math.round(1.0 * acquireCount / count * 1000); // 计算间隔时间
    long expectedTime = costTime + latestPassedTime.get();
    if (expectedTime <= currentTime) {
    latestPassedTime.set(currentTime);
    return true; // 立即通过
    } else {
    long waitTime = expectedTime - currentTime;
    if (waitTime <= maxQueueingTimeMs) {
    Thread.sleep(waitTime); // 等待
    latestPassedTime.set(currentTime + waitTime);
    return true;
    } else {
    return false; // 超时拒绝
    }
    }
    }
    }
    • 优点:
      • 严格限制流量速率,适合对延迟敏感的场景(如数据库访问)。
  2. 快速失败模式(DefaultController)

    基于滑动窗口统计 QPS,如果当前 QPS 超过阈值,直接拒绝请求。

Q:SpringBoot如何优化启动速度

A:

  • 延迟初始化Bean:懒加载,或异步执行初始化任务
  • 创建扫描索引,引入index依赖 @Indexed索引,编译打包时Spring在项目自动生成META-INF/spring.componets文件维护索引,Spring应用启动时会执行ComponentScan扫描时,这个文件将会被CandidateComponentsIndexLoader读取并加载,转为CandidateComponentsIndex对象;
  • 去除不必要的自动配置和扫描范围
  • 关闭Spring Boot的JMX监控 spring.jmx.enabled=false
  • JVM参数关闭类验证
  • AOP尽量不使用注解方式标记,会对所有方法进行扫描
  • 排除不需要的依赖
  • JDK17 新的特性支持更好的垃圾回收期,SpringBoot3的GraalVM支持编译成本地镜像文件,启动速度更快,内存占用更少

参考资料