[python] 基于k-means和tfidf的文本聚类代码简单实现_Eastmount的博客

一. 爬虫

基本步骤包括： 1.使用python+selenium分析dom结构爬取百度|互动百科文本摘要信息； 2.使用jieba结巴分词对文本进行中文分词，同时插入字典关于关键词； 3.scikit-learn对文本内容进行tfidf计算并构造N*M矩阵(N个文档 M个特征词)； 4.再使用K-means进行文本聚类(省略特征词过来降维过程); 5.最后对聚类的结果进行简单的文本处理，按类簇归类，也可以计算P/R/F特征值；

Python 中基于BERT，LDA和 TFIDF 的关键字提取跳到： ••• kwx是用于基于Google的和多语言关键字提取的工具包。该软件包提供了一套方法来处理不同语言的文本，然后从创建的语料库中提取和分析关键字（有关各种语言支持，请参阅）。唯一的重点是允许用户确定输出中不包括哪些单词，从而允许他们使用自己的直觉来微调建模过程。有关该过程和技术的全面概述，请参阅，并参考以获取有关模型和可视化方法的说明。通过PyPi安装 kwx可以通过pip从pypi下载或直接从此存储库中获取： pip install kwx git clone https://github.com/andrewtavis/kwx.git cd kwx python setup.py install import kwx 实现的NLP建模方法包括：表示法是基于在开源Wikipedia数据上

TF（Term Frequency）词频，在文章中出现次数最多的词，然而文章中出现次数较多的词并不一定就是关键词，比如常见的对文章本身并没有多大意义的停用词。所以我们需要一个重要性调整系数来衡量一个词是不是常见词。该权重为IDF（Inverse Document Frequency）逆文档频率，它的大小与一个词的常见程度成反比。在我们得到词频（TF）和逆文档频率（IDF）以后，将两个值相乘，即可得到一个词的TF-IDF值，某个词对文章的重要性越高，其TF-IDF值就越大，所以排在最前面的几个词就是文章的关键词。 TF-IDF算法的优点是简单快速，结果比较符合实际情况，但是单纯以“词频”衡量一个

import jieba from sklearn.feature_extraction.text import CountVectorizer from sklearn.feature_extraction.text import Tfidf Transformer from sklearn.cluster import DBSCAN from sklearn.decomposition import PCA, KernelPCA

一、数据数据来源于贴吧，使用爬虫爬取的。一句一行存入到txt中，接着我们要通过对每句话进行分词转向量，最后使用kmeans进行聚类并输出结果。二、代码 2.1、加载停用词在stop_words目录下有多个停用词表，需要循环加总所有停用词。 2.2、加载数据这边主要是对原始数据的一个筛选+jieba分词+去停用词。这是相对标准的一个流程。 2.3、计算tf-idf

通俗来讲TF-IDF就是考虑单词的重要性。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 TF-IDF 简单介绍 TF-IDF（term frequency–inverse document frequency）是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。TF意思是词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数，IDF意思是逆文本频率指数(Inverse Document Frequency)是一个词语普遍重要性的度量。。 TFIDF 的主

资源包含文件：课程论文word+项目源码及数据+项目截图本文总结了三种常用的抽取文本关键词的方法：TF-IDF、TextRank和Word2Vec词向量聚类，并做了原理、流程以及代码的详细描述。另外，本文的实验目的主要在于讲解三种方法的思路和流程，实验过程中的某些细节仍然可以改进。例如Word2Vec模型训练的原始语料可加入相应的专业性文本语料；标题文本往往包含文档的重要信息，可对标题文本包含的词语给予一定的初始权重；测试数据集可采集多个分类的长文本，与之对应的聚类算法KMeans()函数中的n_clusters参数就应当设置成分类的个数；根据文档的分词结果，去除掉所有文档中都包含某一出现频次超过指定阈值的词语等等。详细介绍参考：https://biyezuopin.blog.csdn.net/article/details/124784255?spm=1001.2014.3001.5502

python 文本聚类分析案例说明摘要1、结巴分词2、去除停用词3、生成 tfidf 矩阵4、 K-means 聚类 5、获取主题词 / 主题词团实验要求：对若干条文本进行聚类分析，最终得到几个主题词团。实验思路：将数据进行预处理之后，先进行结巴分词、去除停用词，然后把文档生成 tfidf 矩阵，再通过 K-means 聚类，最后得到几个类的主题词。实验说明：如何用爬虫获取数据可以参考其他博客，这里我们直接用一个周杰伦的歌词文本为例进行分析，把28条歌词聚成3个类。实验源数据放在文件sourceData中，中间文件放在resultData中。 1、结巴分词直接上代码，

该资源主要参考我的博客： [ python ] Kmeans 文本聚类算法+PAC降维+Matplotlib显示聚类图像 http://blog.csdn.net/eastmount/article/details/50545937 包括输入文档txt，共1000行数据，每行都是分词完的文本。本文主要讲述以下几点： 1.通过scikit-learn计算文本内容的 tfidf 并构造N*M矩阵(N个文档 M个特征词)； 2.调用scikit-learn中的 K-means 进行文本聚类； 3.使用PAC进行降维处理，每行文本表示成两维数据； 4.最后调用Matplotlib显示聚类效果图。免费资源，希望对你有所帮助~ By Eastmount

import matplotlib.pyplot as plt import seaborn as sns from sklearn.feature_extraction import text from sklearn.feature_extraction.text import Tfidf Vectorizer from sklearn.clu

TF-IDF 是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF 加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了 TF-IDF 以外，因特网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜寻结果中出现的顺序...

在之前的文章中了解一些基本的聚类分析知识后，现在我们来看看用代码怎么实现它吧。（在jupyter notebook中实现；其中使用的数据集均从UCI上下载）层次聚类 1、需要导入pandas库，用于读取文件。（这里使用的是有关心脏病的数据集，现在取患者年龄和对应的静息血压两列进行分析） import pandas as pd #这两行表示在jupyter中显示所有行和列 pd.set_option("display.max_rows",None) pd.set_option("display.max

我推荐使用scikit-learn中的KMeans算法来实现文档聚类。它的实现代码如下： from sklearn.feature_extraction.text import Tfidf Vectorizer from sklearn.cluster import KMeans documents = ["this is the first document", "this document is the second document", "and this is the third one", "is this the first document"] vectorizer = Tfidf Vectorizer() X = vectorizer.fit_transform(documents) true_k = 2 model = KMeans(n_clusters=true_k, init=' k-means ++', max_iter=100, n_init=1) model.fit(X) print("Top terms per cluster:") order_centroids = model.cluster_centers_.argsort()[:, ::-1] terms = vectorizer.get_feature_names() for i in range(true_k): print("Cluster %d:" % i), for ind in order_centroids[i, :10]: print(' %s' % terms[ind]), print