本文解决的问题: Java 服务处理大文件和大批量数据时,如何控制内存、连接与数据库写入成本?

适用范围: Java、MyBatis 与关系型数据库场景,阈值必须通过实际数据和查询计划验证。

结论摘要: 优先采用流式处理、批量提交和数据库侧计算;是否分表不能只看行数,还要结合索引、查询模式和运维成本。

Q:SqlSessionFactory(线程安全)和SqlSession(不安全)是线程安全的吗

A:判断一个类是否是线程安全的

  • 是否有共享的可变状态
  • 是否使用了线程安全的数据结构
  • 是否使用了同步机制
  • 如果类中的共享资源是不可变的

提示

Spring通过动态代理机制实现了SqlSession线程安全,若没有标记@Transactional注解,spring在方法级别每一次调用都是新建一个sqlSession,否则通过ThreadLocalMap保证一个线程对应一个SqlSession

Q:内存200M读取1G文件,统计文件内容

A:

  • 使用缓冲区分块读取 map缓存次数,如果存在大量不重复的情况 可考虑使用hash取模存储到多个文件中,逐个读取细分的文件综合统计

Q:百万计数据插入优化

A:

方案:多线程分批导入,线程池 IO密集型 cpu空闲时间长 可以将线程数据设置 (核心线程数=cpu个数 * 2, 最大线程数 = cpu个数 * 4)

Q:单表多少数据量需要分表

A:阿里巴巴推荐:一般来说推荐单表行数超过500万行或者单表容量超过2G,推荐进行分表;(如果三年内数据量达不到这个级别,创建时不建议进行分表)

分析: B+树索引由一页一页数据(16KB)组成,结构如下 , 所以有效的数据空间 16384 -200 = 16184字节

名称 中文名 占用空间大小 简单描述
File Header 文件头部 38字节 页的通用信息
Page Header 页面头部 56字节 数据页专有信息
Infimum + Supremum 最小记录和最大记录 26字节 两个虚拟行记录
User Records 用户记录 不确定 实际存储的行记录内容
Free Space 空闲空间 不确定 页中尚未使用的空间
Page Directory 页面目录 不确定 记录的相对位置
File Trailer 文件尾部 8字节 校验页完整性

所以一般来说:所有磁盘页的数量 * 一页的数据行数 (数据行数 = 有效页大小 / 一行设计数据大小 ) == 三层的B+树的总数据量

参考资料