首先介绍pdfminer。pdminer是一个从PDF文档中提取信息的工具。与其他pdf相关的工具不同，它完全专注于获取和分析文本数据。PDFMiner允许获取页面中文本的确切位置，以及其他信息，比如字体或行。它包括一 个PDF转换器，可以将PDF文件转换成其他文本格式(如HTML)。 它有一个可扩展的PDF解析器，可以用于其他目的而不是文本分析。所以说它的功能还是非常强大的。官方文档：

http://www.unixuser.org/~euske/python/pdfminer/index.html

由于pdfminer存在python2和python3的版本，而我们需要的是python3的版本，因此相应的安装命令为：

pip install pdfminer3k

在使用过程中，可能需要安装其他的依赖包，这个可以使用Alt+Enter组合键进行导入安装。下面将演示如何使用它。首先我们需要识别这张图片上的所有文字，并以原来所在的行进行返回：

相关的代码如下：

 1import sys
 2import importlib
 3importlib.reload(sys)
 5from pdfminer.pdfparser import PDFParser
 6from pdfminer.pdfdocument import PDFDocument
 7from pdfminer.pdfpage import PDFPage
 8from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
 9from pdfminer.converter import PDFPageAggregator
10from pdfminer.layout import LTTextBoxHorizontal,LAParams
11from pdfminer.pdfpage import PDFTextExtractionNotAllowed
14# 对本地保存的pdf文件进行读取和写入到txt文件当中
17# 定义解析函数
18def pdftotxt(path,new_name):
19    # 创建一个文档分析器
20    parser = PDFParser(path)
21    # 创建一个PDF文档对象存储文档结构
22    document =PDFDocument(parser)
23    # 判断文件是否允许文本提取
24    if not document.is_extractable:
25        raise PDFTextExtractionNotAllowed
26    else:
27        # 创建一个PDF资源管理器对象来存储资源
28        resmag =PDFResourceManager()
29        # 设定参数进行分析
30        laparams =LAParams()
31        # 创建一个PDF设备对象
32        # device=PDFDevice(resmag)
33        device =PDFPageAggregator(resmag,laparams=laparams)
34        # 创建一个PDF解释器对象
35        interpreter = PDFPageInterpreter(resmag, device)
36        # 处理每一页
37        for page in PDFPage.create_pages(document):
38            interpreter.process_page(page)
39            # 接受该页面的LTPage对象
40            layout =device.get_result()
41            for y in layout:
42                if(isinstance(y,LTTextBoxHorizontal)):
43                    with open("%s"%(new_name),'a',encoding="utf-8") as f:
44                        f.write(y.get_text()+"\n")
46# 获取文件的路径
47path =open( "I:\Python3.6\patest\PdfTest\数据挖掘在医学大数据研究中的应用_孙雪松.pdf",'rb')
48pdftotxt(path,"pdfminer.txt")

运行结果如下：

总的来说识别程度还是不错的，排版也可以接受，但是对于下面这张图就无法进行合适的排版并进行输出了：

我们仅仅修改文件名称，那么输出的结果将会是这样：

我重写了代码，发现对英文格式可以进行精确输出，但是中文依旧还是和上面的结果一样，所以就没有贴代码了。因为中文的格式和英文的差很多，很难做到百分百的精确输出。所以你们如果有好的方法点击阅读原文，留言和我交流啊。

前面是针对本地的pdf，那么有小伙伴们就要问了，如果是线上的pdf呢？我们应该怎么办？别急这里就教你如何解决。

首先我们将本地的pdf使用浏览器进行打开，这样就模拟了线上的文件。然后就是书写代码了，其实这个代码和之前的几乎完全一样，就是path发生了变化，因此我们需要传入URL。（注意一下URL里面最好不要含有中文，因为URL是byte类型不是String类型）

相应的代码如下：

 1import urllib
 2from io import BytesIO
 4from pdfminer.pdfparser import PDFParser
 5from pdfminer.pdfdocument import PDFDocument
 6from pdfminer.pdfpage import PDFPage
 7from pdfminer.pdfpage import PDFTextExtractionNotAllowed
 8from pdfminer.pdfinterp import PDFResourceManager
 9from pdfminer.pdfinterp import PDFPageInterpreter
10from pdfminer.pdfdevice import PDFDevice
11from pdfminer.layout import *
12from pdfminer.converter import PDFPageAggregator
13from urllib.request import Request
14from urllib.request import urlopen
16# 对线上pdf文件进行读取和写入到txt文件当中
19# 定义解析函数
20def OnlinePdfToTxt(dataIo,new_path):
21    # 创建一个文档分析器
22    parser = PDFParser(dataIo)
23    # 创建一个PDF文档对象存储文档结构
24    document = PDFDocument(parser)
25    # 判断文件是否允许文本提取
26    if not document.is_extractable:
27        raise PDFTextExtractionNotAllowed
28    else:
29        # 创建一个PDF资源管理器对象来存储资源
30        resmag =PDFResourceManager()
31        # 设定参数进行分析
32        laparams=LAParams()
33        # 创建一个PDF设备对象
34        # device=PDFDevice(resmag )
35        device=PDFPageAggregator(resmag ,laparams=laparams)
36        # 创建一个PDF解释器对象
37        interpreter=PDFPageInterpreter(resmag ,device)
38        # 处理每一页
39        for page in PDFPage.create_pages(document):
40            interpreter.process_page(page)
41            # 接受该页面的LTPage对象
42            layout=device.get_result()
43            for y in layout:
44                try:
45                    if(isinstance(y,LTTextBoxHorizontal)):
46                        with open('%s'%(new_path),'a',encoding="utf-8") as f:
47                            f.write(y.get_text()+'\n')
48                            print("读入成功！")
49                except:
50                    print("读入失败!")
52# 获取文件的路径
53url = "file:///I:/Python3.6/patest/PdfTest/pdftestto.pdf"
54html = urllib.request.urlopen(urllib.request.Request(url)).read()
55dataIo = BytesIO(html)
56OnlinePdfToTxt(dataIo,'d.txt')

怎么样，是不是代码几乎一样，运行结果和前面的也是完全一样，因此就不贴代码了。

现在我们试试这个文档，这个文档是我做的，里面非常复杂，数字，字母，中文，符号，空格，就连单元格也有合并的。

使用之前的代码能读出来，结果就是这样：

依旧还是以空格和行数表示实际的行，但是能做到这样已经不错了。这个同样是支持多页扫描的，这里我就不介绍了，你们有需要的可以参看官方文档。

pdfplumber介绍

前面介绍了pdfminer，下面我们来介绍另外一个神器pdfplumber。看到名字你就知道它支持多页扫描的，实际上我们今天介绍的三个神器都支持多页扫描，但是就是精度上有些差别而已。这个神器的官方地址在这里：

https://pypi.org/project/pdfplumber/

它相应的安装命令为：

pip install pdfplumber

这个库非常适合含有表格的pdf文档的提取，为了更好的进行测试，你可以点击这里下载该文件，或者该网站的其他pdf文档。

http://www.csrc.gov.cn/pub/newsite/scb/ssgshyfljg/201811/W020181102350857036194.pdf

由于这个pdf很长，大概有85页，因此这里就只提取出一页进行测试：

 1import pdfplumber
 2import re
 3import json
 5path = 'I:\Python3.6\patest\PdfTest\\numberTest 1.pdf'  # 待读取的PDF文件的路径
 6pdf = pdfplumber.open(path)
 8for page in pdf.pages:
 9    # print(page.extract_text())
10    for pdf_table in page.extract_tables():
11        table = []
12        cells = []
13        for row in pdf_table:
14            if not any(row):
15                # 如果一行全为空，则视为一条记录结束
16                if any(cells):
17                    table.append(cells)
18                    cells = []
19            elif all(row):
20                # 如果一行全不为空，则本条为新行，上一条结束
21                if any(cells):
22                    table.append(cells)
23                    cells = []
24                table.append(row)
25            else:
26                if len(cells) == 0:
27                    cells = row
28                else:
29                    for i in range(len(row)):
30                        if row[i] is not None:
31                            cells[i] = row[i] if cells[i] is None else cells[i] + row[i]
32        for row in table:
33            data =[re.sub('\s+', '', cell) if cell is not None else None for cell in row]
34            data_list =list(enumerate(data))
35            # print(json.dumps(data_list, indent=2, ensure_ascii=False))
36            with open('I:\Python3.6\patest\PdfTest\\numberTest1.json','a',encoding="utf-8") as file:   # json文件的存放位置
37                file.write(json.dumps(data_list, ensure_ascii=False))
38pdf.close()

运行结果：

[[0, "门类名称及代码"], [1, "行业大类代码"], [2, "行业大类名称"], [3, "上市公司代码"], [4, "上市公司简称"]]
[[0, "农、林、牧、渔业(A)"], [1, "01"], [2, "农业"], [3, "000998"], [4, "隆平高科"]]

看到没，因为这里我是用json格式进行输出，而且是每一个单元格都有一个id，这样使得每行不区分单元格的大小，也就是说原本多个单元格合并而成的单元格，就是一个大的单元格，其余就被删除了，无法进行下面的扫描。提示一下，我们可以根据坐标来进行扫描。由于这里只是单纯的介绍一下，所以就不详细展开了。

camelot介绍

为什么我们这里着重介绍这个呢？因为这个的官方文档介绍的很详细，而且对新手非常友好，因此强烈建议大家使用这个。

camelot的官方文档在这里：

https://camelot-py.readthedocs.io/en/master/

同样，相应的安装命令如下：

pip install camelot-py

我们现在来测试之前的那个special.pdf文档，之前说了这个很不规则，非常具有代表性：

相应的测试代码如下：

 1import camelot
 3# 从本地的PDF文件中提取表格数据，pages为pdf的页数，默认为第一页
 4tables = camelot.read_pdf('I:\Python3.6\patest\PdfTest\special.pdf', pages='1', flavor='stream')
 6# 表格信息
 7print(tables)
 8print(tables[0])
 9# 表格数据
10print(tables[0].data)

运行结果：

1<TableList n=1>
2<Table shape=(7, 8)>
3[['1', '2', '3', '4', '5', '6', '7', '8'], 
4['B', 'D', 'G', 'H', 'I', 'J', '', 'A'],
5 ['E', '', '', 'F', '', 'K', '', ''],
6 ['', '', 'L', '', '', '。', '（）', '【】'],
7 ['', '', 'M', '', '', 'N', 'O', 'P'], 
8['Q', 'R', 'S', '', '', 'T', 'U', 'V'],
9 ['W', 'X', 'Y', '', '', 'Z', '测', '试']]

这个尽管有空格，但是它默认会将合并的单元格进行隐藏拆分，这样原来显示的信息就占了第一个单元格，其余的将以空格进行填充。

上面代码中的camelot.read_pdf()就是camelot从表格中提取数据的函数，里面的参数为PDF文件存放的路径，pages是pdf的页数(默认为第一页)，以及解析表格的方法（stream和lattice两个方法）。表格解析方法默认为lattice，stream方法默认会把整个PDF页面当做一个表格来解析。这样就有时候会产生严重的后果，所以大部分情况下，我们都是需要指定解析页面中的区域，你可以使用table_area这个参数来完成区域的指定。

我们第一个神器是将数据存为了txt，第二个神器是将数据存为了json，而第三个神器就比较流弊了，它可以将提取后的数据直接转化为pandas，csv，json，html等函数，就像前面的tables[0].df，tables[0].to_csv()函数那样。我们举个例子，将解析后的数据存为csv文件：

1# 从本地的PDF文件中提取表格数据，pages为pdf的页数，默认为第一页
2tables = camelot.read_pdf('I:\Python3.6\patest\PdfTest\special.pdf', pages='1', flavor='stream')
4tables[0].to_csv('special1.csv')

运行一下，当前位置就出现了该csv文件：

1"1","2","3","4","5","6","7","8"
2"B","D","G","H","I","J","","A"
3"E","","","F","","K","",""
4"","","L","","","。","（）","【】"
5"","","M","","","N","O","P"
6"Q","R","S","","","T","U","V"
7"W","X","Y","","","Z","测","试"

看到没有，仅仅两行代码就将那么复杂的数据进行了提取，并保存为csv格式，这简直是太神奇了。

接下来我们继续将之前那个上市公司行业分类结果进行提取：

相应的代码如下：

 1import camelot
 4# 从PDF文件中提取表格
 5tables = camelot.read_pdf('I:\Python3.6\patest\PdfTest\\numberTest 1.pdf', pages='1', flavor='stream',strip_text=' .\n')
 7# 绘制PDF文档的坐标，定位表格所在的位置
 8plt= camelot.plot(tables[0],kind='text')
 9plt.show()
11# 绘制PDF文档的坐标，定位表格所在的位置
12table_df = tables[0].df
14print(table_df.head(n=80))

运行结果：

 1           0       1                   2       3       4
 20                     2018年3季度上市公司行业分类结果                
 31    门类名称及代码  行业大类代码              行业大类名称  上市公司代码  上市公司简称
 42   农、林、牧、渔业      01                  农业  000998    隆平高科
 53        (A)                              002041    登海种业
 64                                         002772    众兴菌业
 75                                         300087    荃银高科
 86                                         300189    神农基因
 97                                         300511    雪榕生物
108                                         600108    亚盛集团
119                                         600313    农发种业
1210                                        600354    敦煌种业
1311                                        600359    新农开发
1412                                        600371    万向德农
1513                                        600506    香梨股份
1614                                        600540    新赛股份
1715                                        600598     北大荒
1816                                        601118    海南橡胶
1917                02                  林业  000592    平潭发展
2018                                        002200    云投生态
2119                                        002679    福建金森
2220                                        600265    ST景谷
2321                03                 畜牧业  000735     罗牛山
2422                                        002234    民和股份
2523                                        002299    圣农发展
2624                                        002321    华英农业
2725                                        002458    益生股份
2826                                        002477    雏鹰农牧
2927                                        002714    牧原股份
3028                                        002746    仙坛股份
3129                                        300106    西部牧业
3230                                        300498    温氏股份
3331                                        600965    福成股份
3432                                        600975     新五丰
3533                04                  渔业  000798    中水渔业
3634                                        002069     獐子岛
3735                                        002086    东方海洋