首先我们看百度对此工具的说明:
1.链接提交工具是网站主动向百度搜索推送数据的工具,本工具可缩短爬虫发现网站链接时间,网站时效性内容建议使用链接提交工具,实时向搜索推送数据。本工具可加快爬虫抓取速度,无法解决网站内容是否收录问题
-
百度搜索资源平台为站长提供链接提交通道,您可以提交想被百度收录的链接,百度搜索引擎会按照标准处理,但不保证一定能够收录您提交的链接。
也就是说,如果我们的站点产生了一个新的链接,等待爬虫去发现这个链接可能速度要有十天或以上更长的时间,通过链接提交工具可以将产生的链接主动发送给百度爬虫,然后等待百度爬虫爬取,增快收录,但是否决定收录,要根据百度标准。
百度主动推送提供了3种方式主动推送
1.主动推送
2.自动推送
3.sitemap
这篇文章详细介绍python如何主动推送链接给百度
使用python版本 3.5.2
使用到的库 requests
安装requests库
导入requests
构建请求头
headers = {
'User-Agent': 'curl/7.12.1',
'Host': 'data.zz.baidu.com',
'Content - Type': 'text / plain',
'Content - Length': '83'
}
post_baidu_uri="****" //在站长工具里查看
站长工具查看推送接口
构建要推送的数据
#首先构建一个链接的列表
post_url = ['http://www.kevinguo.cn/blog/detail/1/','http://www.kevinguo.cn/blog/detail/2/','http://www.kevinguo.cn/blog/detail/3/']
#将列表进行拼接
post_data = '\n'.join(post_url)
开始发起post请求
res = requests.post(url=post_baidu_uri,headers=headers,data=post_data)
如果res.status_code==200 则表示post成功,
可能会返回以下值
|字段|是否必选 |参数类型 |说明|
|success|是|int|成功推送的url条数|
|remain|是|int|当天剩余的可推送url条数|
|not_same_site|否|array|由于不是本站url而未处理的url列表|
|not_valid |否|array|不合法的url列表|
如果状态码为4XX 则表示推送不成功返回以下值
|error|是|int|错误码,与状态码相同|
|message|是|string|错误描述|