AD
Python爬虫可能说是好玩又好用了。现念诈骗Python爬取网页股票数据保全到当地csv数据文献中，同时念把股票数据保全到MySQL数据库中。需求有了，剩下的便是达成了。
正在入手下手之前，担保仍然装配好了MySQL并需求启动当地MySQL数据库办事。提到装配MySQL数据库，前两天正在一台电脑上装配MySQL5.7时，死活装不上，老是提示缺乏Visual Studio 2013 Redistributable，不过很疑虑，明明仍然装配了呀，原先题目出正在版本上，改换一个版本后就可能了。小题目大苦恼，不懂得有没有人像我相同悲催。
用管制员身份翻开“敕令提示符（管制员）”，然后输入“net start mysql57”（我把数据库办事名界说为mysql57了，装配MySQL时可能编削）就可能开启办事了。小心运用管制员身份翻开小黑框，假如不是管制员身份，我这里会提示没有权限，民众可能尝尝。
启动办事之后，咱们可能拔取翻开“MySQL 5.7 Command Line Client”小黑框，需求先输入你的数据库的暗号，装配的时分界说过，正在这里可能举办数据库操作。
以上代码达成了爬虫网页抓取股票数据，并保全到当地文献中。闭于爬虫的东西，有许众材料可能参考，多数是一个套途，不再众说。同时，本文达成历程中也参考了许众的网页资源，正在此对通盘原创者吐露感动！
先看下抓取的结果。CodeList是抓取到的通盘股票代码的聚积，咱们看到它共蕴涵1416条元素，即1416支股票数据。由于股票太众，是以抓取的是以6来源的，貌似是沪市股票数据（海涵我不懂金融）。
抓取到的股票数据会分手存储到csv文献中，一只股票数据一个文献。外面上会有1416个csv文献，和股票代码数相似。但海涵我的渣网速，下载一个都辛苦，也是呵呵了。
实在和人工手动下载也没什么区别了，硬要说区别，那便是解放了劳动力，降低了坐蓐力（如何听起来像政事？）。
正在初次运转的时分寻常城市平常创修数据库，但假如再次运转，因数据库仍然存正在，那么跳过创修，一直往下践诺。创修好数据库后，拔取运用方才创修的数据库，正在该数据库中存储数据外。
前收盘, 涨跌额, 涨跌幅, 换手率, 成交量, 成交金额, 总市值, 贯通市值) \
蕴涵两层轮回，外层轮回是对股票代码的轮回，内层轮回是对而今股票的每一条记载的轮回。说白了便是遵守股票一支一支的存储，关于每一支股票，遵守它逐日的记载一条一条的存储。是不是很粗略很暴力？是的！一律没有斟酌越发优化的形式。
同样的，假如数据外仍然存正在（判别是否存正在if not exists），则跳过创修，一直践诺下面的设施（会一直存储）。有个题目是，有或许数据反复存储，可能拔取跳过存储或者只存储最新数据。我正在这里没有斟酌太众格外的管制。其次，指定字段式样，后边几个字段成交量、成交金额、总市值、贯通市值，由于数据较大，拔取运用bigint类型。
最初是安排运用日期行为主键的，自后察觉获取到的数据中公然蕴涵反复日期的数据，这就突破了主键的独一性，会出bug的，然后我也没有众去忖量数据文献的实质，也不会进一步运用这些个数据，也就图省事直接不扶植主键了。
该历程达成中，直接把股票数据记载tuple了，然后运用字符串式样化（%操作符）。酿成的精度题目没有众斟酌，不懂得会不会形成什么样的影响。%s有的上边带着 ，是为了正在sql语句中吐露字符串。此中有一个%s，只要右边有单引号，般配的是股票代码，只要一边单引号，这是由于从数据文献中读取到的字符串仍然蕴涵了左边的单引号，左边不需求再增添了。这是数据文献式样的题目，为了吐露文本款式预先运用了单引号。
文本文献中，蕴涵有空值、None、none等不尺度化数据，这里齐备替代为null了，即数据库的空值。
不闭塞数据库毗邻，就无法正在MySQL端举办数据库的查问等操作，相当于数据库被占用。
本质上，通盘事务已毕了两个相对独立的历程：1.爬虫获取网页股票数据并保全到当地文献；2.将当地文献数据积聚到MySQL数据库。并没有直接的斟酌把从网页上抓取到的数据及时（或者通过一个且自文献）扔进数据库，跳过当地数据文献这个历程。这里只是实验着去达成了一下这件事务，代码没有做任何的优化斟酌。自身不本质去运用，只是欢乐云尔，差不众先如许。哈哈~~
加入新手交流群：每天早盘分析、币种行情分析
添加助理微信，一对一专业指导：chengqing930520
上一篇：股票刚变st会大跌吗
加入新手交流群：每天早盘分析、币种行情分析，添加助理微信
一对一专业指导：chengqing930520
最新资讯
