接下来就对 TuShare 这个源代码进行一个简单的分析,

来了解一下大体上这个包是怎么实现的。

以及了解一下它用的数据源是什么等比较感兴趣的内容。


代码直接在: https://pypi.python.org/pypi/tushare/ 就可以获取。

目前版本是 0.4.7。

https://pypi.python.org/packages/source/t/tushare/tushare-0.4.7.zip#md5=7a7e69968135a362d0506fb9c976f0cb


代码的目录结构如下所示:

datayes(通联数据相关)
internet
boxoffice.py (电影票房)
stock
billboard.py (龙虎榜)
classifying.py (分类数据)
cons.py (定义名种链接对应的列表,字典)
fundamental.py (基本面)
macro.py (宏观数据)
macro_vars.py (宏观数据参数)
newsevent.py (新闻)
news_vars.py(新闻参数)
reference.py (投资参考)
ref_vars.py (投资参考参数)
shibor.py(利率)
trading.py (交易)
util (共通函数)
common.py (getData / encodePath等网络解析函数)
dateu.py (日期相关)
netbase.py (client)
store.py (??)
upass.py(通联数据的令牌)


另外,这个库依赖于 pandas ,一些内容保存的都是直接用 pandas  的接口,所以对 pandas 也要了解一下。不过这先放在一边。

因为我们知道对应的链接基本是在 stock/cons.py  里,那对应的数据源可以知道:

票房来源: http://www.cbooo.cn/

利率来源: http://www.shibor.org/

交易数据来源: http://hq.sinajs.cn/

滚动新闻来源: http://roll.news.sina.com.cn/interface/rollnews_ch_out_interface.php

还有一个简单的确认办法就是:

直接在代码的Request后打印出对应的URL名称。

比如:

print request.get_full_url()

这样就可以知道每个操作对应的URL了。


至于内部处理,主要是结合 lxml, pandas,urllib 这几个库来获取数据并分析输出。

这个到时候再看一下上述库的API规范。

docker-compose kafka单节点安装 kafka单机集群搭建

kafka搭建(单机+集群)一、单机环境搭建1.1 前置条件版本: kafka_2.12-2.8.1依赖: 1.依赖jdk, 2.依赖zookeeper 1.2 步骤进入opt目录cd /opt通过命令下载安装包wget https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.1/kafka_2.11-1.1.1.tgz如果通过命令下载失败,可以