问题 1:导入电影数据集要 8.5 分钟
- 问题
- 导入程序要把六个 CSV 文件(类型、演员、电影、评分和两张关联表)写入 MySQL。第一版对每一行都先发一条 SELECT 查重、再发一条 SELECT 检查外键,最后 INSERT。完整导入要 507.8 秒,其中 stars.csv 一个文件就占了 384.5 秒。逐行的数据库往返太多,CPU 占用一度达到约 85%。
- 做法
- 优化 1:导入前一次性把数据库里已有的键读进内存查找表(哈希集合与哈希表),查重和外键检查都改为查内存,不再逐行查询数据库。总耗时降到 21.5 秒。
- 优化 2:对数据量大、插入频繁的文件,把 INSERT 攒成 JDBC 批量语句一起发送,多行共用一次往返。总耗时降到 4.74 秒。
- 为什么这样做
- 瓶颈在往返次数,不在查询本身。这项任务没有内存限制,用内存换查询次数是最直接的办法;批量插入再把剩下的逐行往返压缩掉。
三个版本导入同一数据集的总耗时(秒)
- 原始版本507.8 s
逐行 SELECT 查重 + SELECT 查外键 + INSERT
- 优化 121.5 s
已有键预读进内存,查重与外键检查改为查内存
- 优化 24.74 s
在优化 1 基础上,INSERT 改为 JDBC 批量发送
逐文件耗时(毫秒)
| 文件 | 原始版本 | 优化 1 | 优化 2 |
|---|---|---|---|
| genres.csv | 284 | 155 | 118 |
| stars.csv | 384,525 | 4,264 | 722 |
| movies.csv | 77,163 | 2,553 | 486 |
| ratings.csv | 1,087 | 398 | 100 |
| genres_in_movies.csv | 6,357 | 2,178 | 336 |
| stars_in_movies.csv | 38,171 | 10,499 | 1,323 |
| 总计 | 507,772 | 21,498 | 4,736 |
总计是导入程序自身的端到端计时,包含六个文件计时之外的准备工作,因此略大于各文件之和。
