薛原，华中科技大学2018级工商管理专业（会计学方向）博士生，爬虫俱乐部成员，擅长Stata、Python编程技术。 参与编写了 chinagcode,t2docx,reg2docx,cnintraday,chinaaddress,wordconvert, sum2docx 等十余个热门Stata命令。能够实现中文地址与经纬度之间的转换、中国上市公司分时交易数据的抓取、实证结果输出等多个功能。其中多个命令曾进入ssc最热门的前十大命令。从事公司治理以及法与金融方向的研究，已有成果发表在《金融研究》。

2021年7月27日晚，华中科技大学管理学院博士生薛原作为第四期香樟青苗计划主讲人，为大家带来了“Stata编程与网络爬虫II”的讲座。本次讲座由王一平助教主持，第四期香樟青苗计划学员参加。

薛博士以“在新浪财经网页中抓取上市公司公告”和“高管信息”这两个例子，演示了使用Stata软件进行网络爬虫的方法。

其基本步骤如下：

1. 锁定目标信息所在网页；

2. 获取url链接获取网页源代码（copy，curl）；

3. 将源代码无乱码读入Stata中（文本文件的读入转码）；

4. 提取源代码中信息；

5. 多网页爬取。

第一个例子演示的是抓取新浪财经网页中上市公司的公告。薛博士以长江电力公司为例，用Stata软件抓取了日期、链接、标题和股票代码等。

薛博士提到，抓取的信息需要查看网页源代码进行具体分析，继而进行处理、转码和拆分等操作。若需要抓取长江电力公司的多个公告页面，则需用forvalues命令对页码数字进行循环。薛博士还逐一讲解并示范了单网页infix读入处理、多网页fileread读入处理、文本分析时删除表格等一系列细节处理。

第二个例子演示的是抓取新浪财经网页中上市公司的高管信息。薛博士介绍了如何使用正则表达式定位所需信息，使用余数来处理行号，提取姓名、职务、起始日期和终止日期等信息。

由于时间原因，在这个例子中薛博士仅分享了单网页处理的过程，多网页处理将在下次讲座进行分享。

在讲座最后，薛博士详细说明了用ustrregexs 函数提取、用ustrregexm函数匹配与用ustrregexrf和ustrregexra函数替换的方法，并提及如何用cnstock命令自动获取股票代码。

至此，本次讲座圆满结束！感谢薛原博士的精彩授课！ （文案丨王煜正)

上一条： 香樟青苗丨黄炜：万事开头难，做好第一篇微观实证经济学论文

下一条： 香樟青苗丨薛原：Stata编程与网络爬虫Ⅰ