推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2773 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如用 scrapy 写了一个爬虫，用 xpath 写了规则获取信息，然后放在服务器欢快的执行了
但如果对方网站改版了，如何第一时间感知到呢？
想到的办法:
1.跟 sentry 结合，报错了发邮件通知
2.用 log 记录，然后用 elk 来处理
有更好或者更优雅的解决办法吗？
但如果对方网站改版了，如何第一时间感知到呢？
想到的办法:
1.跟 sentry 结合，报错了发邮件通知
2.用 log 记录，然后用 elk 来处理
有更好或者更优雅的解决办法吗？
 |
1
yongzhong 2016-09-23 11:33:50 +08:00
有用截图进行分析的
|
 |
2
Magic347 2016-09-23 11:36:23 +08:00
没有所谓的优雅方案，数据采集永远都是脏活累活，而且属于暗网技术。
|
 |
3
alwayshere 2016-09-23 11:42:39 +08:00
v2ex 政治观点是爬虫都是可耻卑鄙的，你发错地方了
|
 |
4
knightdf 2016-09-23 11:54:23 +08:00
叫他们站长给你打个电话
|
 |
5
viko16 2016-09-23 11:55:40 +08:00 via Android
等报错邮件不就好了么？
|
 |
6
qwer1234asdf 2016-09-23 12:36:56 +08:00 via iPhone
看下日志不就知道了
|
 |
7
id4alex 2016-09-23 14:05:13 +08:00
exception 发邮件
|
 |
8
killerv 2016-09-23 14:25:29 +08:00
这个，采集出错就知道了，或者出错发邮件提醒之类的。没有好办法，而且网站改版的频率不会很高……
|
 |
9
mutoulbj 2016-09-23 15:53:30 +08:00
我也觉得是等出错报警吧。改版也不是一定会影响爬虫。
|
 |
10
araraloren 2016-09-23 15:55:58 +08:00
~~找一个木马打入对方内部，然后告诉你
|
 |
11
ytmsdy 2016-09-23 16:19:45 +08:00
打 log ，记录连续错误次数，如果次数过多停止，发邮件。
|
 |
12
Jakesoft 2016-09-23 16:36:09 +08:00
叫他们给你写接口
|
 |
13
wizardforcel 2016-09-24 11:34:17 +08:00
如果对方有 JSON 接口，我宁可花点时间反编译也不用 HTML 的。
|
 |
14
ooh 2016-09-25 03:43:02 +08:00 via Android
要求改版必须经过你的签字同意才允许
|
Select Language