Java 数据处理与数据库优化:大文件、批量写入与分表
本文解决的问题: Java 服务处理大文件和大批量数据时,如何控制内存、连接与数据库写入成本?
适用范围: Java、MyBatis 与关系型数据库场景,阈值必须通过实际数据和查询计划验证。
结论摘要: 优先采用流式处理、批量提交和数据库侧计算;是否分表不能只看行数,还要结合索引、查询模式和运维成本。
Q:SqlSessionFactory(线程安全)和SqlSession(不安全)是线程安全的吗
A:判断一个类是否是线程安全的
- 是否有共享的可变状态
- 是否使用了线程安全的数据结构
- 是否使用了同步机制
- 如果类中的共享资源是不可变的
提示
Spring通过动态代理机制实现了SqlSession线程安全,若没有标记
@Transactional注解,spring在方法级别每一次调用都是新建一个sqlSession,否则通过ThreadLocalMap保证一个线程对应一个SqlSession
Q:内存200M读取1G文件,统计文件内容
A:
- 使用缓冲区分块读取 map缓存次数,如果存在大量不重复的情况 可考虑使用hash取模存储到多个文件中,逐个读取细分的文件综合统计
Q:百万计数据插入优化
A:
方案:多线程分批导入,线程池 IO密集型 cpu空闲时间长 可以将线程数据设置 (核心线程数=cpu个数 * 2, 最大线程数 = cpu个数 * 4)
Q:单表多少数据量需要分表
A:阿里巴巴推荐:一般来说推荐单表行数超过500万行或者单表容量超过2G,推荐进行分表;(如果三年内数据量达不到这个级别,创建时不建议进行分表)
分析: B+树索引由一页一页数据(16KB)组成,结构如下 , 所以有效的数据空间 16384 -200 = 16184字节
| 名称 | 中文名 | 占用空间大小 | 简单描述 |
|---|---|---|---|
| File Header | 文件头部 | 38字节 | 页的通用信息 |
| Page Header | 页面头部 | 56字节 | 数据页专有信息 |
| Infimum + Supremum | 最小记录和最大记录 | 26字节 | 两个虚拟行记录 |
| User Records | 用户记录 | 不确定 | 实际存储的行记录内容 |
| Free Space | 空闲空间 | 不确定 | 页中尚未使用的空间 |
| Page Directory | 页面目录 | 不确定 | 记录的相对位置 |
| File Trailer | 文件尾部 | 8字节 | 校验页完整性 |
所以一般来说:所有磁盘页的数量 * 一页的数据行数 (数据行数 = 有效页大小 / 一行设计数据大小 ) == 三层的B+树的总数据量
参考资料
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Lavigne-yang.Blog!
评论








