基础问题：核心算法是什么？为什么需要它们？
1. 什么是关键词提取的核心目标？
关键词提取旨在从文本中识别最具代表性和信息量的词汇或短语，用于快速理解内容主题、优化搜索效率或支撑下游任务（如文本分类、摘要生成）。其核心挑战在于平衡语义相关性与统计显著性。
2. TF-IDF算法如何量化词语价值？
TF-IDF（词频-逆文档频率）通过两个维度评估词的重要性：
- 词频（TF）：词在单文档中的出现频率，反映局部重要性。
- 逆文档频率（IDF）：词在整体语料库中的稀缺性，过滤常见词（如“的”“是”）。
公式为：
TF-IDF=TF×log(NDF+1)\text{TF-IDF} = \text{TF} \times \log\left(\frac{N}{\text{DF} + 1}\right)TF-IDF=TF×log(DF+1N)
其中，N为总文档数，DF为包含该词的文档数。
3. TextRank算法与PageRank有何关联？
TextRank基于PageRank的图模型思想，将文本中的词或句子视为节点，通过共现关系（如窗口内词语相邻）构建边，迭代计算节点权重。其核心公式为：
WS(Vi)=(1−d)+d×∑Vj∈In(Vi)wji∑Vk∈Out(Vj)wjkWS(Vj)WS(V_i) = (1 - d) + d \times \sum_{V_j \in In(V_i)} \frac{w_{ji}}{\sum_{V_k \in Out(V_j)} w_{jk}} WS(V_j)WS(Vi)=(1−d)+d×∑Vj∈In(Vi)∑Vk∈Out(Vj)wjkwjiWS(Vj)
其中，d为阻尼系数（通常取0.85），w为边权重。TextRank无需预训练，适合短文本处理。
4. LDA模型如何挖掘潜在语义？
潜在狄利克雷分布（LDA）假设文档由多个主题混合生成，每个主题对应一组词的概率分布。通过贝叶斯推断，LDA同时学习文档-主题和主题-词矩阵，从而识别关键词（高概率主题词）。例如，在科技新闻中，“人工智能”“算法”可能属于同一主题。
场景问题：如何选择算法？应用时要注意什么？
1. 短文本与长文本的算法适配性差异
- 短文本（如微博、标题）：TF-IDF易受数据稀疏干扰，TextRank基于局部窗口共现更稳定。
- 长文本（如论文、报告）：LDA可捕捉全局主题结构，但需足够语料训练；TF-IDF在长文档中因词频分布稳定而表现可靠。
2. 处理中文文本的特殊需求
- 分词准确性：TF-IDF和TextRank依赖分词结果，需采用专业工具（如HanLP、Jieba）并加载领域词典。
- 停用词过滤：需定制中文停用词表（如虚词、标点），避免干扰权重计算。
- 语义泛化：LDA可能将同义词归入不同主题，可结合词向量（Word2Vec）聚类提升效果。
3. 实时性与计算资源的权衡
- 高实时性场景（如搜索引擎）：TF-IDF计算轻量，适合毫秒级响应。
- 离线分析场景（如学术研究）：LDA可消耗更多资源挖掘深层语义。
- 折中方案：TextRank在效果与效率间较平衡，适合中等规模数据处理。
解决方案：算法效果不佳怎么办？如何优化？
1. 若TF-IDF提取出无关高频词
- 增加IDF权重：调整公式中IDF的系数，抑制常见词。
- 引入n-gram特征：组合二元词组（如“机器学习”）捕获复合概念。
- 结合领域词典：人工标注核心词，强制提升其权重。
2. 若TextRank忽略低频关键术语
- 调整窗口大小：扩大共现窗口范围（如从5词增至10词），增强低频词关联。
- 加权边策略：根据词性、位置赋予边不同权重（如名词权重高于形容词）。
- 混合TF-IDF初筛：先使用TF-IDF过滤低权重词，缩小TextRank计算规模。
3. 若LDA主题分散导致关键词不聚焦
- 控制主题数量：根据文档集规模设置合理主题数（通常10-50个），避免过拟合。
- 融入先验知识：使用引导式LDA（Guided LDA），指定种子词约束主题分布。
- 后处理聚类：对LDA输出的主题词进行二次聚类（如K-means），合并相似语义。
主流算法横向对比与选型建议
| 评估维度 | TF-IDF | TextRank | LDA |
|---|---|---|---|
| 核心原理 | 统计权重 | 图模型排序 | 主题建模 |
| 依赖数据量 | 低（单文档可运行） | 中（需局部上下文） | 高（需大规模语料） |
| 可解释性 | 高 | 中 | 低 |
| 适用场景 | 快速初筛、搜索引擎 | 短文本、摘要生成 | 主题分析、内容推荐 |
| 典型工具 | Scikit-learn、Gensim | SpaCy、NLTK | Mallet、Gensim |
选型决策树：
- 需求优先级为速度 → 选择TF-IDF；
- 文本短且需上下文关联 → 选择TextRank；
- 需深度语义与主题洞察 → 选择LDA（确保语料充足）。
总结：技术演进与未来趋势
当前主流算法仍依赖统计与浅层语义，而基于Transformer的预训练模型（如BERT）正逐步融合上下文感知能力。例如，BERT-Embedding可通过词向量相似度筛选关键词，或在微调阶段结合CRF层实现序列标注。未来，关键词提取将更注重动态语境理解与跨模态关联（如图文联合分析），但经典算法因其简洁高效，在特定场景中仍不可替代。