V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  2ME  ›  全部回复第 5 页 / 共 12 页
回复总数  240
1  2  3  4  5  6  7  8  9  10 ... 12  
2018-01-04 17:48:00 +08:00
回复了 Nick2VIPUser 创建的主题 程序员 (请教)如何提高爬虫的效率/采集速度
@Nick2VIPUser 你 debug 一下基本就会发现绝大多数时间都浪费在超时了 即使是小水管都够呛能跑满带宽
2018-01-04 17:44:33 +08:00
回复了 Nick2VIPUser 创建的主题 程序员 (请教)如何提高爬虫的效率/采集速度
@Nick2VIPUser 那就是你代理 ip 质量太差了 加钱数据可及 readtimeout 频繁 每天抓 6-8 万很正常了
2018-01-04 15:07:31 +08:00
回复了 Nick2VIPUser 创建的主题 程序员 (请教)如何提高爬虫的效率/采集速度
你服务器如果不是小水管的话 你爬的是大文本吗? 大文本的话主要是 IO 影响效率 和线程关系并不大 还有你 1 条记录需要爬取几个页面 以及你的 IP 池质量如何 如果是 1 个页面并且爬取目标不是大文本,ip 池质量优异的话 这个速度可能慢了点 如果你为了对抗反爬虫 sleep 的时间比较久还是正常的
2018-01-03 11:54:49 +08:00
回复了 frozenway 创建的主题 PHP 有没有永远不会卡顿的浏览器推荐
win 下就直接用计划任务就好了阿 定时执行 php 脚本
2017-12-26 09:47:57 +08:00
回复了 monway 创建的主题 数据库 求教 V 友一个关于大量数据导入及查询的问题
txt 分割 分割的区块拼接 sql 直接批量插进去 速度挺快的 确实是单机 mysql 随便搞
2017-12-22 11:10:29 +08:00
回复了 2ME 创建的主题 程序员 PHP cURL - Empty reply from server
@Lax 上面的图是 tracert ip 的结果 然后报错并不规律 不稳定 = = 我现在去看看抓包
2017-12-21 13:29:18 +08:00
回复了 41547Caesar 创建的主题 分享发现 移动 100M 全国流量+全网 100M 流量免费领
https://i.loli.net/2017/12/21/5a3b461b4843b.jpg

正好流量用光了 试了试 然而并不能兑换 移动 100M 还玩套路 无话可说..
2017-12-21 10:59:48 +08:00
回复了 Ljungqvist 创建的主题 问与答 为什么某宝上没有散装笔记本 CPU(Intel u 系列)卖?
MQ 系列的可拆卸 可以看看 4 系 i7
2017-12-20 09:26:17 +08:00
回复了 Va1n3R 创建的主题 Python CURDboy 问问各位,mysql 怎么多线程 insert 数据啊...
不懂 py .. 不过你这么搞肯定有问题 线程开太高 mysql 最大连接数会有问题 就算连得上 你 IO 还是会有问题 和#18 说的一样 你开多线程不一定有拼接 sql 批量插入来的实在
2017-12-19 13:18:17 +08:00
回复了 2ME 创建的主题 全球工单系统 企鹅安全中心开倒车下线 web 端功能
@sxlzll 自己看 24 楼行吧 截全也就这样了 不要恶意揣测
2017-12-19 08:40:14 +08:00
回复了 2ME 创建的主题 全球工单系统 企鹅安全中心开倒车下线 web 端功能
@ruimz
@a0000
你们点跳过之后再去点查看登录记录你看还弹不弹..
2017-12-18 22:01:02 +08:00
回复了 2ME 创建的主题 全球工单系统 企鹅安全中心开倒车下线 web 端功能
@xqin 可以 只能暂时先用这个了
2017-12-18 14:17:41 +08:00
回复了 noe132 创建的主题 Python 寻找爬虫外包,爬取各个招聘网站的职位数据
大工程 不过有人之前做过的 把源码 copy 给你一份 维护的时候算你一份赚一个项目的钱还是美滋滋的 维护期太久 一般没人愿意接 这些大厂反爬策略更新还是挺频繁的
@CoSpLi nginx 内存占用并不多 mysql 装 5.6 以下的版本禁用 innodb 也是占用不了多少 tomcat 有点无解 .. 我 lnmp 一套下来内存消耗大概 150M 512M 的 vps = =
人工智障大数据 .. 满淘宝一两百块的 yeezy、EQT、boost 而且还刷单 闭着眼都能看出来是假货 没见封店 封卖奥莱折扣品的一个接一个.. 不到很懂 前阵子搞运动服饰鞋子的哀鸿遍野
2017-12-07 10:53:28 +08:00
回复了 2ME 创建的主题 程序员 BWG KVM 装 bbr 的时候提示 VPS 是 OpenVZ 无法安装
@msg7086 我还是觉得应该不会错的.. 记得点的是 order KVM - - 阴差阳错成了 OpenVZ 付款的时候也没注意 不过后台确实是 KiwiVM 被我认为成了 kvm
2017-12-07 10:38:32 +08:00
回复了 2ME 创建的主题 程序员 BWG KVM 装 bbr 的时候提示 VPS 是 OpenVZ 无法安装
@sunflyer 看到 19.99 补货了就买来折腾一下.. 激发自己学 linux 的热情 - -
1  2  3  4  5  6  7  8  9  10 ... 12  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3168 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 39ms · UTC 13:45 · PVG 21:45 · LAX 05:45 · JFK 08:45
Developed with CodeLauncher
♥ Do have faith in what you're doing.