导入gensim库

from gensim.models import LdaModel
首先，导入gensim库的LdaModel模块。
 然后，查看gensim\models\ldamodel.py源码。搜索perplexity。 
    def log_perplexity(self, chunk, total_docs=None):
        """Calculate and return per-word likelihood bound, using a chunk of documents as evaluation corpus.
        Also output the calculated statistics, including the perplexity=2^(-bound), to log at INFO level.
        Parameters
        ----------
        chunk : {list of list of (int, float), scipy.sparse.csc}
            The corpus chunk on which the inference step will be performed.
        total_docs : int, optional
            Number of docs used for evaluation of the perplexity.
        Returns
        -------
        numpy.ndarray
            The variational bound score calculated for each word.
        if total_docs is None:
            total_docs = len(chunk)
        corpus_words = sum(cnt for document in chunk for _, cnt in document)
        subsample_ratio = 1.0 * total_docs / len(chunk)
        perwordbound = self.bound(chunk, subsample_ratio=subsample_ratio) / (subsample_ratio * corpus_words)
        logger.info(
            "%.3f per-word bound, %.1f perplexity estimate based on a held-out corpus of %i documents with %i words",
            perwordbound, np.exp2(-perwordbound), len(chunk), corpus_words
        return perwordbound
可以看到在模型输出中，其实有困惑度的计算过程，只是没有输出而已。
 修改源代码，最后return的部分 
        #添加perplexity变量，输出模糊度
        perplexity=np.exp2(-perwordbound)
        return perwordbound,perplexity
即可，返回困惑度计算结果。 
计算困惑度
 
lda=LdaModel(common_corpus,num_topics=num_topic,id2word=dic,alpha='auto',chunksize=len(texts_all),iterations=20000)
_,perplexity=lda.log_perplexity(common_corpus)   
返回值perplexity即为LDA模型的困惑度。
                                    循环神经网络（RNN）是一种用于序列数据的神经网络，常用于语言建模、翻译和音乐生成等任务。RNN是基于前一个时间步的输入和当前时间步的状态来预测下一个时间步的输出。这使得RNN在处理连续数据时非常有效，因为它可以利用上一个时间步的信息来更新其状态并生成新的输出。RNN模型的核心是“循环”结构。在传统的神经网络中，每个输入都是独立地处理的，而在RNN中，每个输入都与前一个时间步的输出相关联。在每个时间步，RNN将当前输入和前一个时间步的输出传递到一个称为“隐藏状态”的向量中。
                                    训练好LDA主题模型后，如何评价模型的好坏？能否直接将训练好的模型拿去应用？这是一个比较重要的问题，在对模型精度要求比较高的项目或科研中，需要对模型进行评价。一般来说，LDA模型的主题数量都是需要需要根据具体任务进行调整的，即要评价不同主题数的模型的困惑度来选择最优的那个模型。...
                                    为了计算LDA 的困惑度，费劲千辛万苦，终于有所收获，以此记录。
本篇文章主要介绍perplexity的计算方式，并未涉及过多的困惑度原理，想了解更多原理部分，请移步perplexity介绍
本文主要是对Perplexity per word进行困惑度计算，公式：
                                    主题建模作为一种基于机器学习的文本内容分析技术，一般用于推断文本文档中隐藏主题的技术。很多研究使用了基于Latent Dirichlet Allocation (LDA)的主题建模算法来处理大规模文档并识别潜在主题。LDA主题模型已经在多个研究领域得到应用，且都有着不俗表现。
LDA作为一种无监督机器学习技术，利用词袋方法识别隐藏在大规模文档集或语料库中的主题信息。LDA模型可挖掘出文档集或语料库中的潜在主题信息，并采用词 袋构建模型，在不考虑词汇出现顺序的情况下，构成“文档-主题分布”和“主题-词分布”
                                    以下内容来源于https://blog.csdn.net/qq_25073545/article/details/79773807 
使用gensim实现lda，并计算perplexity（ gensim Perplexity Estimates in LDA Model）  
Neither. The values coming out of bound() depend on the numb...
                                    sklearn
【sklearn】利用sklearn训练LDA主题模型及调参详解_TiffanyRabbit的博客-CSDN博客sklearn不仅提供了机器学习基本的预处理、特征提取选择、分类聚类等模型接口，还提供了很多常用语言模型的接口，LDA主题模型就是其中之一。本文除了介绍LDA模型的基本参数、调用训练以外，还将提供两种LDA调参的可行策略，供大家参考讨论。考虑到篇幅，本文将略去LDA原理证明部分。https://blog.csdn.net/TiffanyRabbit/article/details
                                    使用gensim实现lda，并计算perplexity（ gensim Perplexity Estimates in LDA Model） 
Neither. The values coming out of bound() depend on the number of topics (as well as number of words), so they’re not comparable...
                                    在上一篇文章的最后，我们生成了15个模型（主题数分别从1到15），然鹅，问题来了，到底多少个主题，才是最好的主题模型呢？到底有没有可以评价一个模型好坏的标准呢？答案肯定是有的，而且还不止一个呢！ 先说一个，我最开始做实验的时候用的，肉眼观察法。即通过经验来判断选择几个主题（靠猜），显然这是一个不错的方法。我当时和老大说完，老大一直夸我聪明，并打了我一顿，不说了，医院的WiFi不大好用。  目前比较...
                                    对于LDA模型，最常用的两个评价方法困惑度（Perplexity）、相似度（Corre）。
  其中困惑度可以理解为对于一篇文章d，所训练出来的模型对文档d属于哪个主题有多不确定，这个不确定成都就是困惑度。困惑度越低，说明聚类的效果越好。
 计算公式  分母是测试集中所有单词之和，即测试集的总长度，不用排重。其中p(w)指的是测试集中每个单词出现的概率，计算公式...
lda topic model需要确定从每篇文章中提取多少个关键词，最简单的就是折肘法+困惑度的方法。
补充：还是懒得说背景！以后想起来再补充！还是电脑硬盘坏过，代码忘参考谁的了！原作者发现可以联系我！立马改参考！
LDA模型中需要评估的选项一般是主题数量，而主题数量需要根据具体任务进行调整，即通过评估不同主题数模型的困惑度来选择最优的模型主题数。本课题中，通过计算困惑度perplexity来衡量主题数量：
其中，M是测试