问题 1:分块计算的 TF-IDF 用错了文档频率
- 问题
- 建索引时,程序每处理一批文档就把内存里的索引写到磁盘,然后清空索引和文档频率(df)计数。TF-IDF 是在每次清空之前算的,所以一个词的 df 只统计了当前这一批文档,idf 用的也是「目前处理到第几篇」而不是语料总数;同一个词的倒排表还会分散在部分文件的多行里。
- 做法
- 建索引时不再计算 TF-IDF。在合并步骤中,先把一个词在各部分文件里的倒排表全部拼接起来。
- 再以合并后倒排表的长度作为 df,用语料总文档数 N 计算 idf = log(N / df),每条记录的权重为 (1 + log tf) × idf。
- 为什么这样做
- df 是整个语料的统计量,而合并步骤是一个词的完整倒排表第一次出现的地方。在这里计算不需要额外多读一遍数据——合并本来就要逐行读完所有文件。
df = len(postings)
idf = math.log(total_docs / df) if df > 0 else 0.0
for posting in postings:
tf = posting.get("tf", 1)
tf_norm = 1 + math.log(tf) if tf > 0 else 0.0
posting["tfidf"] = tf_norm * idf