python3 看了一个月了,爬虫也看了一个月,参考网上的例子自己做了个爬虫,调试中还有很多问题。
希望 v 友们帮忙看看,有哪些不规范的地方,哪里需要改进。请指点一二。
地址:
https://github.com/piaokorg/download_qq.yh31.com_picture/blob/master/download.py
1
lovebeyondalways OP 我靠 端午没人吗
|
2
eric6356 2016-06-09 16:36:44 +08:00 1
1. page -= x 这一行似乎有错误吧,没太看懂;
2. 你使用了 with open 的话,一般不需要手动 f.close() 了。 |
3
icedx 2016-06-09 17:00:21 +08:00 via Android
一个月就这水平 看起来没救了
|
4
binux 2016-06-09 17:06:54 +08:00 1
你 try..except 之后 print('pages no found'),也不返回个空数组,后面 img_addrs 不一样要错,连错误原因都不知道,还不如直接抛异常呢。
|
5
gkiwi 2016-06-09 17:14:40 +08:00 1
一点建议:函数返回一致性(瞎编的。。);
find_img 这个函数在 try_catch 时候, catch 之后,最好返回一个空数组 `return []`,默认返回 None ,会触发 download 中的异常,也是完全没有必要的。返回同一种类型,否则容易造成困惑。。 |
8
winterbells 2016-06-09 17:43:32 +08:00
第一个 python 程序不应该是 hello world! 吗乁(๑˙ω˙๑乁)
|
9
mystryl 2016-06-09 19:15:26 +08:00 via Android 1
ccfinfo.leanote.com
不才一个月的爬虫产品 完全实用主义投产的。。抓行业网站写报告用 代码就不放了 非科班 能用就行。 |
10
bingxx 2016-06-09 19:24:05 +08:00 via iPhone 1
代码 os.mkdir 路径不应该写死吧
|
12
lovebeyondalways OP @icedx 我靠不是吧 我之前没有编程基础
|
13
lovebeyondalways OP 吸取楼上所有建议
|
15
lovebeyondalways OP @eric6356 我是想递减的 请问怎么做
|
16
eoo 2016-06-09 23:46:49 +08:00 via Android
爬虫一个月 速度确实“快”
|
17
ila 2016-06-10 00:15:46 +08:00 via Android
无任何基础一个月写出爬虫,前面开嘲讽光环的有意思吗?
不如提点你们的经验吧。 如果不用 scrapy 等框架, 建议 requests+bs4 。 简单快捷。 然后打怪升级, 爬一个感兴趣的项目和大众化的项目, 例如汤不热的图片和电商的商品价格。 汤不热现在需要翻墙。 |
18
hellogbk 2016-06-10 00:15:57 +08:00 2
估计楼上那些讽刺楼主的都是刚出娘胎就会编程从来没有过新手期的牛人
:) 楼主加油。 |
19
upczww 2016-06-10 00:24:45 +08:00 via Smartisan T1
楼主加油,谁都有菜的时候
|
20
Lneayce 2016-06-10 00:32:19 +08:00
对没有接触过多少的, 又没人带, 自己搜集资料入门看书看基础什么的, 不管时间多久, 第一次在不熟悉的领域做出东西来的应该还是多点意见和意见吧, 喷真的没意义,
建议楼主同时还可以打打基础, 思想是通用的, 这样以后换个语言环境什么的上手就会快点的, |
21
lovebeyondalways OP |
22
msg7086 2016-06-10 01:37:50 +08:00
零基础一个月能写出来挺好了。
不过还是建议循序渐进一点点来,多积累一些打代码的经验,这样开发大项目的时候会顺手很多。 |
24
coolloves 2016-06-10 09:11:59 +08:00
和楼主情况差不多.
自己写了脚本抓取天气预报,天气预警,监控雪球,抓取什么值得买,然后入库. 还没有用到多线程,scrapy,其实自学这种东西能坚持下去就是胜利.与所有自学人共勉. |
25
eric6356 2016-06-10 09:44:48 +08:00
@lovebeyondalways range(page, 0, -1)
|
26
RqPS6rhmP3Nyn3Tm 2016-06-10 13:36:50 +08:00 via Android
比我的第一个爬虫好
|
27
lane3000 2016-06-11 09:20:26 +08:00
楼主加油,比我第一个写到爬虫要好不少了~
|
28
sola97 2016-06-11 09:58:46 +08:00
我第一个爬虫是爬教务系统..
|