推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2113 天前的主题，其中的信息可能已经有所发展或是发生改变。
我通过爬取西刺代理获取代理 list ，如下面代码
def setProxiesConfig():
url = 'http://www.xicidaili.com/nn/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}
web_data = requests.get(url, headers=headers)
soup = BeautifulSoup(web_data.text, 'lxml')
ips = soup.find_all('tr')
ip_list = []
for i in range(1, len(ips)):
ip_info = ips[i]
tds = ip_info.find_all('td')
ip_list.append(tds[1].text + ':' + tds[2].text)
print(ip_list)
return ip_list
#获取随机 IP
def get_random_ip(ip_list):
proxy_list = []
for ip in ip_list:
proxy_list.append('http://' + ip)
proxy_ip = random.choice(proxy_list)
proxies = {'http': proxy_ip}
return proxies
获取列表后，随机取一个 IP{'http':'http://ip:9999'} 然后放到 get 中
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}
ipC=get_random_ip(ip_list)
web_data = requests.get(URL, headers=headers,proxie= ,verify=False,timeout=10)
soup = BeautifulSoup(web_data.text, 'lxml')
爬取了 46 个页面的时候还可以操作，但是之后就开始提示 timeout 了，就无论如何也不能爬取了，这是为啥？
 |
1
zarte 2019-02-15 10:11:21 +08:00
开一个页面休息 5 秒试试
|
 |
2
exceloo 2019-02-15 10:13:48 +08:00
随机 sleep，sleep 时间大于 10 秒
|
 |
3
omph 2019-02-15 10:17:39 +08:00
time.sleep(randomint(3, 5))
|
 |
4
locoz 2019-02-15 10:25:16 +08:00 via Android
你确定你这个代码能跑通？最下面 proxie=的位置后面都没东西了
|
|
5
locoz 2019-02-15 10:26:18 +08:00 via Android
而且那个参数名叫 proxies，不是 proxie。如果你的代码没问题的话，代理本身超时也是有可能的，注意看报错信息。
|
 |
6
SpiderXiantang 2019-02-15 11:38:07 +08:00 via Android
西刺就别提了吧
|
 |
7
gabon 2019-02-15 11:53:36 +08:00 via Android
这种免费代理就是垃圾，基本上不可以用的，最好是买代理。。
|
 |
8
dongya 2019-02-15 14:49:19 +08:00
用收费代理吧
|
 |
9
zxfgds 2019-02-15 22:25:06 +08:00
建议上 芝麻代理之类的, 靠谱点
|
 |
10
zr8657 2019-02-16 09:37:44 +08:00
用之前线上 ip138 之类的检测下是否更换成功啊，免费的 ip 真的都挺垃圾
|
 |
11
911speedstar 2019-02-18 18:44:03 +08:00
代理池要不断测试更新
|
Select Language