使用 MitmProxy 自动抓取微信公众号阅读数、点赞和再看数据（一）-阿里云开发者社区

什么是 MitmProxy

mitmproxy 是一个支持 HTTP 和 HTTPS 的抓包程序，有类似 Fiddler 的功能。

mitmproxy 还有两个关联组件。一个是 mitmdumvp，它是 mitmproxyv 的命令行接口，可以利用 Python 代码监听请求。另一个是 mitmweb，它是一个 Web 程序，可以观察 mitmproxy 抓取的请求。

安装和设置

使用 pip 安装

pip install mitmproxy

安装好之后，将手机端的代理 IP 设置为和 PC 的 IP 地址一样，和代理端口设置为：8080，用下面命令启动

mitmweb

将看到浏览器打开了一个 http://127.0.0.1:8081/#/flows 网页，这个就是 MitmProxy 的 web 控制台

在手机端浏览器输入 mitm.im 获取 PC 证书和手机端的证书，都安装一下

注意：android 手机在安装证书时需要在[从存储设备安装]界面安装

阅读数、再看、点赞抓取

当安装好证书和设置好手机端 IP　代理后，随便点击一篇微信公众号文章（这里使用本公众）

从图上可以看到，阅读、再看、点赞的　url　为 https://mp .weixin. qq. com/mp/getappmsgext （提示：如果没有这个链接，可以右上角刷新文章），再看下它的　request　请求需要哪些东西

只需要一个文章 url、user-agent、cookie 和 body　这四个基本的数据，别看下面　body　里面有二三十个数据其实都是吓唬人的，只需要其中7个，分别是 __biz， mid， idx，sn 这四个参数是获取公众号文章内容的基石，可以在文章 url 处获得。其他三个参数的数据是固定的分别是 is_only_read = 1，is_temp_url = 0，appmsg_type = 9。getappmsgext 请求中的 appmsg_token 是一个有时效性的参数。

分析完链接后就可以写代码了

# articles.py
import html
import requests
import utils
from urllib.parse import urlsplit
class Articles(object):
    """文章信息"""
    def __init__(self， appmsg_token， cookie):
        # 具有时效性
        self.appmsg_token = appmsg_token
        self.headers = {
            "User-Agent": "Mozilla/5.0 AppleWebKit/537.36 (KHTML， like Gecko) Version/4.0Chrome/57.0.2987.132 MQQBrowser/6.2 Mobile"，
            "Cookie": cookie
        self.data = {
            "is_only_read": "1"，
            "is_temp_url": "0"，
            "appmsg_type": "9"，
    def read_like_nums(self， article_url):
        """获取数据"""
        appmsgstat = self.get_appmsgext(article_url)["appmsgstat"]
        return appmsgstat["read_num"]， appmsgstat["old_like_num"]， appmsgstat["like_num"]
    def get_params(self， article_url):
        获取到文章url上的请求参数
        :param article_url: 文章 url
        :return: 
        # url转义处理
        article_url = html.unescape(article_url)
        """获取文章链接的参数"""
        url_params = utils.str_to_dict(urlsplit(article_url).query， "&"， "=")
        return url_params
    def get_appmsgext(self， article_url):
        请求阅读数
        :param article_url: 文章 url
        :return: 
        url_params = self.get_params(article_url)
        appmsgext_url = "https://mp. weixin.qq.com/mp/getappmsgext?appmsg_token={}&x5=0".format(self.appmsg_token)
        self.data.update(url_params)
        appmsgext_json = requests.post(
            appmsgext_url， headers=self.headers， data=self.data).json()
        if "appmsgstat" not in appmsgext_json.keys():
            raise Exception(appmsgext_json)
        return appmsgext_json
if __name__ == '__main__':
    info = Articles('1068_XQoMoGGBYG8Tf8k23jfdBr2H_LNekAAlDDUe2aG13TN2fer8xOSMyrLV6s-yWESt8qg5I2fJr1r9n5Y5'， 'rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWl3Xy1saXVWYllIVjAzdlM1VkNDNHgxeWpHOG9pckdkREMwTFEwYmNWMl9FZWtRU3pRRnhDS0pyV1BaZUVMWXN1ZWN0WnZ6aHFXdVBnbVhTY21BYnBSUXNCQUFBMLLAjfgFOA1AAQ==')
    a， b，c = info.read_like_nums('http://mp. weixin.qq.com/s?__biz=MzU1NDk2MzQyNg==&amp;mid=2247486254&amp;idx=1&amp;sn=c3a47f4bf72b1ca85c99190597e0c190&amp;chksm=fbdad3a3ccad5ab55f6ef1f4d5b8f97887b4a344c67f9186d5802a209693de582aac6429a91c&amp;scene=27#wechat_redirect')
    print(a， b， c)

示例结果

# 阅读数 点赞数 再看数
1561 23 18

动态获取 cookie 和 appmsg_token

appmsg_token 是一个具有时效性的参数，和 cookie 一样是需要改变的，当这两个参数过期时就需要从抓包工具（MitmProxy 中）ctrl+C，ctrl+V到代码中，很是麻烦。

MitmProxy 可以使用命令行接口 mitmdumvp 运行 Python 代码监听抓取的链接，如果抓到了 https://mp. weixin.qq.com/mp/getappmsgext 就保存在本地文件并退出抓包

mitmdump 命令

# -s 运行的python脚本, -w 将截取的内容保持到文件
mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext

监听脚本

# coding: utf-8
# write_cookie.py
import urllib
import sys
from mitmproxy import http
# command: mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext
class WriterCookie:
    mitmproxy的监听脚本，写入cookie和url到文件
    def __init__(self， outfile: str) -> None:
        self.f = open(outfile， "w")
    def response(self， flow: http.HTTPFlow) -> None:
        完整的response响应
        :param flow: flow实例，
        # 获取url
        url = urllib.parse.unquote(flow.request.url)
        # 将url和cookie写入文件
        if "mp. weixin.qq.com/mp/getappmsgext" in url:
            self.f.write(url + '\n')
            self.f.write(str(flow.request.cookies))
            self.f.close()
            exit()
# 第四个命令中的参数
addons = [WriterCookie(sys.argv[4])]

最近交流群人数越来越多，群里的小伙伴还个个都是人才，说话又好听，每天打开微信看都是满屏的 `999+条新消息~` 到后来有些长得帅的直接把我们的群备注为 `小彭的吹水群`，给我气的。

Python爬虫系列9-非诚勿扰等婚恋网数据批量抓取！

一般当大家遇到不顺心的时候，总是会焦虑，抱怨，我知道，这也是人软弱的一面，但是我们越是遇到困难，越是要振作起来，不要放弃自己，然后悄悄努力，只有这样才能让自己越来越好，如果一直沉浸在痛苦中，只会越来越糟。适当的逼一逼自己，你会发现，人的潜力是无限的。

关于获取文章自动发送到邮箱，这类需求其实可以写好几个网站，弄完博客园，弄CSDN，弄掘金，弄其他的，网站多的是呢~哈哈先从博客园开始，基本需求，获取python板块下面的新文章，间隔60分钟发送一次，时间太短估摸着没有多少新博客产出~ 抓取的页面就是这个 https://www.

1.煎蛋网XXOO-写在前面很高兴我这系列的文章写道第18篇了，今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用selenium在揍他一波。

上一篇写的时间有点长了，接下来继续把美空网的爬虫写完，这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点，因为它只是一套入门的教程，老鸟你自动绕过就可以了，或者带带我也行。首先，我们已经爬取到了N多的用户个人主页，我通过链接拼接获取到了 http://www.moko.cc/post/da39db43246047c79dcaef44c201492d/list.html 在这个页面中，咱们要找几个核心的关键点，发现平面拍摄点击进入的是图片列表页面。 C#爬虫使用代理刷csdn文章浏览量

昨天写了一篇关于“c#批量抓取免费代理并验证有效性”的文章，接着昨天的目标继续完成吧，最终实现的目的就是刷新csdn文章的浏览量（实际上很简单，之前博客园的文章也是可以使用代理ip来刷的，后来不行了），刷文章的浏览量本身是可耻的，没有任何意义，当然技术无罪。