快好知 kuaihz

使用Python抓取同花顺资金流数据

今天我们通过一个例子来介绍python爬取数据的一般步骤,用到的工具包括python的经典模块requests和BeautifulSoup,另外结合刚学习的任务流工具TaskFlow来完成代码开发。

我们先来看一下要爬取的数据,网址是http://data.10jqka.com.cn/funds/gnzjl/,通过chrome的开发者工具分析我们可以比较容易找到后台数据加载网址为

http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/{page_num}/ajax/1/free/1/

其中page_num的位置为要查询第几页的数据,在网页上看到概念一共有6页数据,所以page_num取值为1-6

图示1

这里有个小技巧,可以先点击图示1左上角的清空按钮,把已经加载的网址先清理掉,然后在原始网页上点第二页,就能看到图片左下角新加载的网址,点开右边“Preview” 看到资金流数据相关的内容,就能确定这个网址是用来加载数据的。

在chrome浏览器中输入 http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/1/ajax/1/free/1/,并打开chrome开发者工具,在网页源码中找到数据所在table标签为

    ...

抓取数据的完整源码如下

import timeimport requestsfrom bs4 import BeautifulSoupfrom taskflow import enginesfrom taskflow.patterns import linear_flowfrom taskflow.task import TaskREQUEST_HEADER = {    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36"}class MoneyFlowDownload(Task):    """    下载资金流数据    数据源地址:http://data.10jqka.com.cn/funds/gnzjl/    """    BASE_URl = {        "concept": "http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/%s/ajax/1/free/1/",    }    def execute(self, bizdate, *args, **kwargs):        for name, base_url in self.BASE_URl.items():            # 爬取数据的存储路径            dt_path = "/data/%s_%s.csv" % (bizdate, name)            with open(dt_path, "a ") as f:                # 记录数据文件的当前位置                pos = f.tell()                f.seek(0)                lines = f.readlines()                # 读取文件中的全部数据并将第一列存储下来作为去重依据,防止爬虫意外中断后重启程序时,重复写入相同                crawled_list = list(map(lambda line: line.split(",")[0], lines))                f.seek(pos)                # 循环500次,从第一页开始爬取数据,当页面没有数据时终端退出循环                for i in range(1, 500):                    print("start crawl %s, %s" % (name, base_url % i))                    web_source = requests.get(base_url % i, headers=REQUEST_HEADER)                    soup = BeautifulSoup(web_source.content.decode("gbk"), "lxml")                    table = soup.select(".J-ajax-table")[0]                    tbody = table.select("tbody tr")                    # 当tbody为空时,则说明当前页已经没有数据了,此时终止循环                    if len(tbody) == 0:                        break                    for tr in tbody:                        fields = tr.select("td")                        # 将每行记录第一列去掉,第一列为序号,没有存储必要                        record = [field.text.strip() for field in fields[1:]]                        # 如果记录还没有写入文件中,则执行写入操作,否则跳过这行写入                        if record[0] not in crawled_list:                            f.writelines([",".join(record)   ""])                    # 同花顺网站有反爬虫的机制,爬取速度过快很可能被封                    time.sleep(1)if __name__ == "__main__":    bizdate = "20200214"    tasks = [        MoneyFlowDownload("moneyflow data download")    ]    flow = linear_flow.Flow("ths data download").add(*tasks)    e = engines.load(flow, store={"bizdate": bizdate})    e.run()

执行程序后,在dt_path位置已经存储了概念的资金流数据,文件名为20200214_concept.csv,内容大致如下:

钛白粉,1008.88,6.29%,7.68,6.21,1.47,7,金浦钛业,10.04%,2.96磷化工,916.833,2.42%,37.53,34.78,2.75,28,六国化工,9.97%,4.08光刻胶,1435.68,2.40%,43.51,44.31,-0.80,20,晶瑞股份,10.01%,42.99

此时就完成了同花顺概念分类的资金流数据的爬取,之后可以每天定时启动任务抓取数据进行分析。

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:同花  同花词条  资金流  资金流词条  抓取  抓取词条  使用  使用词条  数据  数据词条  
上网QQ

 怎样查杀QQ盗号木马

怎样查杀QQ盗号木马工具/原料QQ医生步骤/方法点击登录窗口右下角的“启动QQ医生”按钮,进入如下图所示的窗口:点击上图中右下角的“全面扫描”按钮,进入如下图所...(展开)

上网

 如何掌握互联网写文技巧?

操作方法01:要让用户觉得文章内容跟用户有关,只有当用户觉得真正对他们而言有价值的,用户才会真正用心去阅读,就好比一篇健康美文关乎用户的健康,那么想到有类似需要...(展开)

上网

 爱奇艺怎么查看登录记录

爱奇艺会员账号可以登录几个设备,那如何查看爱奇艺的登录记录呢。操作方法01:首先打开爱奇艺APP,点击我的,然后点击自己的会员头像,如下图。02:接下来就点击右...(展开)