Fabflix

UCI CS 122B · 2026 冬季学期 · 两人团队(队友 Songhao Gao)

电影浏览与购买 Web 应用,最终以多个服务部署在 AWS 上的 Kubernetes 集群

技术栈

Java Servlets, Tomcat, MySQL, JDBC, Redis, Docker, Kubernetes, AWS, JavaScript / HTML / CSS, Flamingo toolkit (edrec), reCAPTCHA, JMeter

项目目标与最终效果

Fabflix 是一个电影商店 Web 应用:顾客登录后浏览、搜索电影和演员,把电影加入购物车并结账;员工使用单独的后台添加电影和演员。

项目分五个阶段完成,每个阶段在上一个的基础上加一层:基础页面 → 登录与购物车 → 数据导入与安全(reCAPTCHA、HTTPS、密码加密)→ 扩展与搜索(连接池、MySQL 主从复制、全文与模糊搜索)→ 容器化与 Kubernetes。

最终版本(Project 5)拆成登录服务和电影服务两个服务,通过 Redis 共享会话,运行在 AWS 上的 Kubernetes 集群中。

观看演示视频Project 5 演示视频(由我录制)YouTube · 在新标签页打开

我的职责与个人贡献

以下分工全部来自团队 README 中每个阶段的 Contribution 列表。

我负责的部分

  • 数据导入:重写把六个 CSV 文件导入 MySQL 的程序,并记录性能报告(Project 3,见下方问题 1)。
  • 部署:用 Docker 打包 Fabflix,在 AWS 上搭建 Kubernetes 集群,编写 fabflix.yaml 与 ingress.yaml 把应用跑在集群上(Project 5)。
  • 数据库与搜索:MySQL 主从复制、模糊搜索、标题自动补全(Project 4,模糊搜索见问题 2)。
  • 安全:员工后台登录的 reCAPTCHA、HTTPS(Project 3)。
  • 顾客流程:登录页与登录过滤器、购物车、支付与订单确认页(Project 2);电影列表页与演员详情页(Project 1)。
  • 录制 Project 2、3、5 的演示视频,并做测试找 bug。

两人合作

  • 把应用改造成多服务架构:登录服务 + 电影服务,会话存进 Redis,让不同 Pod 上的服务都能校验登录状态(Project 5)。队友也参与了在集群上运行的调试。

队友 Songhao Gao 负责(非我的工作)

  • JDBC 连接池与 JMeter 性能测试;员工后台页面;密码加密;全文搜索;顾客登录的 reCAPTCHA;电影列表的排序、分页与搜索浏览;电影详情页;README 编写与调试。

Project 5:Kubernetes(AWS)上的 Fabflix

浏览器

Ingress(ingress.yaml)

登录服务

/api/login、/api/dashboard/login

电影服务

浏览、搜索与自动补全、购物车与结账、员工后台、静态页面

Redis

顾客与员工会话,TTL 24 小时,两个服务共享

MySQL

顾客账号、电影、演员等数据

Project 5 的服务结构,根据团队 README 的服务说明绘制。Docker 镜像、集群和部署配置由我完成;服务拆分是两人合作。

技术问题与解决办法

问题 1:导入电影数据集要 8.5 分钟

问题
导入程序要把六个 CSV 文件(类型、演员、电影、评分和两张关联表)写入 MySQL。第一版对每一行都先发一条 SELECT 查重、再发一条 SELECT 检查外键,最后 INSERT。完整导入要 507.8 秒,其中 stars.csv 一个文件就占了 384.5 秒。逐行的数据库往返太多,CPU 占用一度达到约 85%。
做法
  • 优化 1:导入前一次性把数据库里已有的键读进内存查找表(哈希集合与哈希表),查重和外键检查都改为查内存,不再逐行查询数据库。总耗时降到 21.5 秒。
  • 优化 2:对数据量大、插入频繁的文件,把 INSERT 攒成 JDBC 批量语句一起发送,多行共用一次往返。总耗时降到 4.74 秒。
为什么这样做
瓶颈在往返次数,不在查询本身。这项任务没有内存限制,用内存换查询次数是最直接的办法;批量插入再把剩下的逐行往返压缩掉。

三个版本导入同一数据集的总耗时(秒)

  • 原始版本507.8 s

    逐行 SELECT 查重 + SELECT 查外键 + INSERT

  • 优化 121.5 s

    已有键预读进内存,查重与外键检查改为查内存

  • 优化 24.74 s

    在优化 1 基础上,INSERT 改为 JDBC 批量发送

逐文件耗时(毫秒)
文件原始版本优化 1优化 2
genres.csv284155118
stars.csv384,5254,264722
movies.csv77,1632,553486
ratings.csv1,087398100
genres_in_movies.csv6,3572,178336
stars_in_movies.csv38,17110,4991,323
总计507,77221,4984,736

总计是导入程序自身的端到端计时,包含六个文件计时之外的准备工作,因此略大于各文件之和。

三个版本导入同一数据集的总耗时,三次均在同一运行环境下测得。数据来自 README 的 CSV Loading Performance Report;只代表 CSV 导入流程,不代表网站页面或搜索的响应时间。

问题 2:多词片名的拼写容错搜索

问题
用户会打错片名。如果拿输入和整个片名算编辑距离,多词片名几乎永远匹配不上:输入 “Lovee” 想找 “A Love Story”,和整个片名的距离远大于 2。
做法
  • 用 SQL UNION 合并三种策略:已有的全文搜索、处理子串的 LIKE,以及 Flamingo 工具包的 edrec——它把输入和片名里的每个词分别比较。
  • 编辑距离阈值随输入长度变化:不超过 4 个字符用 1,中等长度用 2,8 个字符及以上用 3。
  • 同时用在标题自动补全(MovieTitleSuggestion)和主搜索(MovieListServlet)里。
为什么这样做
用户常常只输入片名里的一个词,edrec 逐词比较正好对应这种用法。阈值按长度调整是出于性能和易用性考虑:短输入保持严格,长输入允许更多拼写错误。

结果与验证方法

原始导入耗时
507.8 s
两轮优化后
4.74 s
总导入时间缩短倍数
≈107×
  • CSV 导入:507.8 秒 → 21.5 秒 → 4.74 秒。验证方法:导入程序为每个文件和整个流程分别计时;三个版本使用同一数据集、同一运行环境,逐文件结果记录在 README 的性能报告中(见下方证据)。
  • 最慢的 stars.csv 从 384.5 秒降到 0.72 秒;只做内存查找(优化 1)时已降到 4.26 秒。
  • 部署:Project 5 版本以登录服务和电影服务两个服务部署在 AWS 的 Kubernetes 集群上;上方的 Project 5 演示视频是团队对这一版本的录屏演示。

局限

  • 4.74 秒只是 CSV 导入的耗时,不能说明网站页面或搜索的响应速度。
  • 代码在 GitHub Classroom 的私有课程仓库里,没有课程权限可能打不开;README 在本站提供公开副本。
  • 多服务架构是两人合作完成的,不是我一个人的成果。

证据与资料