V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ClericPy  ›  全部回复第 122 页 / 共 133 页
回复总数  2651
1 ... 118  119  120  121  122  123  124  125  126  127 ... 133  
@nullboy
这位老哥稍安勿躁
部署困难是早年的问题, 不过主要还是资源利用率以及实例稳定性方面差强人意, 那年代内存泄漏有时候遇到僵尸进程了, 父进程杀死以后子进程也有可能突然孤儿进程挂在 init 进程上, 现在 selenium 有没有 fix 那些问题也较久没用不做评论
修改 UA 和 proxy 在顶楼可能写的有点模糊, 顶楼上说的是在启动参数里可以自定义, 然而已经启动的 Chrome 实例不知道有没有办法动态切换而不重启实例, 就像 Proxy SwitchyOmega 和 User-Agent Switcher for Chrome

挂代理那边看了下, 最简单的部署还是网关那边操作, 或者说全局通用一个代理, 在代理服务器那里动态调试, 现在也不知道 headless 模式到底有没有支持上 pac file, 之前在 chronium 开发组那边的帖子倒是不少人问这个问题

selenium 后期貌似是 fix 了很多 issue, 只不过本帖主要的问题其实还是:
selenium 实现了什么功能是原生 Chrome devtools protocol 里无法做到的
后续补问的动态修改那俩也是对上述问题的补充, 即: 已启动的 Chrome 进程想动态修改 ip 和 UA 如果用 selenium 是否可以做到
毕竟现在版本的 selenium 也只支持了 cdp 调用了的, 某些角度看前者也算后者一个超集

@neoblackcap
动态切换的那俩问题是额外补充问的, 当时觉得 selenium 更新了这么多年, 万一有办法实现呢, 或者说 cdp 也这么多年了, 我也没太关注 chronium 那个官方开发组的那个讨论组, 万一支持上了呢...
@neoblackcap 那我动态 ua pac 什么的还是考虑扩展什么的来吧, 感谢回答
@daquandiao2 puppteer 就是套的 cdp, 所以想了解 selenium 有什么黑科技是 cdp 无法做的没有, 看了大家恢复, 似乎并没有, 现在用 selenium 写爬虫的基本上就是被几年前的那个帖子的复制者(某 sdn, 某客园, 某书...上很多营销号把旧文翻新的...) 给坑了的, 暂时是这么个结论吧...

我弄 cdp 的时候 py 版本那个 puppteer 貌似还没 release stable version, 只好自己写
@jugelizi
2013 年左右我启动一个实例都不敢开太久, 内存不知道是漏了还是怎么的, biu biu 的涨, 后来用 ghost.py 基本上并发操作几次就死机...
你几百个 tab 是并发的还是单线程一个个打开的, 我 8 GB 内存一个浏览器实例开 50 多个就要爆炸了, CPU 炸了...
@xjlnjut730
之前看分类 selenium 就是自动化测试那个方向, 刚摸 py 的时候倒是试过当爬虫, 卡的难受, 再看其他人使用才知道前端测试各种兼容性时候各种方便

@neoblackcap
原来如此, 主要是经久不衰阴魂不散地看到爬虫用 selenium... 以为有什么高权限能力是 cdp 不包含的, 以前有些扩展可以的权限 cdp 还不完整, 现在实在看不出有什么问题了...

两位大佬能看下结尾那俩问题么, 动态修改代理 ip 和 动态修改 UA 的...
2019-09-22 21:36:04 +08:00
回复了 jeblur 创建的主题 硬件 有没有什么便宜点的 Linux 笔记本推荐下
@jeblur 好吧... 不知道测试啥, 一开始脑子里想的是服务器开几个 staging 环境来测, 后来又想开几十个虚拟机来测, 然后...
2019-09-22 21:31:42 +08:00
回复了 jeblur 创建的主题 硬件 有没有什么便宜点的 Linux 笔记本推荐下
intel + nvidia 的基本没什么坑, 上 Manjaro 这种连驱动都省心的就更简单了, 话说, 真要学习的话, 服务端 linux 不是首选么, 带上桌面问题多多...
当年随手装了 linux mint 用了 2 年没坏倒是, 硬件兼容性别买太老的, 基本都不会坑的
@hoobyy 不是大佬... 新手小菜鸟一只

可能性太多了啊, 得对症下药
比如有可能 webdriver 被搞了, 也可能 headless 有东西没渲染, 盲猜实在没的想...
@allin1 我滴天... 您就不能说几个好消息... 还是谢谢, 我这 77 马上也要 78 了啊...
Github 上单独开这么个项目...
话说比特币真的是黑产福音啊
能打听下买的谁家的么, 阿里云自带的云盾虽然也被黑过几次, 不过多少还有点用处, 起码为了推广我入企业版, 天天发邮件跟我说我又被西欧某某国家的 IP 攻击过十几次, 攻击类型什么的
2019-09-22 20:32:43 +08:00
回复了 lcj2class 创建的主题 程序员 Essential Programming Books
接近 九 成没读过甚至听过...
喜欢的书没人逼也能看完, 需要读的书跳着看看也够用, 英文的先看代码再看文字...
这都是好书, 不喜欢直接入文档的时候, 看书进度反而稍微快点
2019-09-22 20:28:40 +08:00
回复了 cheneydog 创建的主题 游戏 有什么好玩的网页游戏么?
七年前玩的有个叫三国杀的, 很久不碰, 现在发现出了个自走棋模式, 然后... 已经看不懂了

打发时间的事情那么多, 何必要网页游戏呢, 斗地主算了
2019-09-22 20:27:00 +08:00
回复了 Liulang007 创建的主题 分享创造 用 PythonGUI 打造一个高速端口扫描器
学以致用挺好的, 可以多逛逛圈内论坛完善一下, 不过类似方向的大佬似乎都喜欢 terminal ui...
2019-09-22 20:24:40 +08:00
回复了 insomnia97 创建的主题 硬件 攒一台写代码用的主机,尽可能便宜,预算 4k 以内
68 度电脑烧坏... 我电脑常年 90 度, 风扇没停下过...
对电脑这种产品, 该坏的谁都拦不住坏, 但是平时如果不经常超频, 想坏还真不容易, 硬件不摔的情况下, 顶多灰尘导致散热不当越来越卡... 电影里软件让 CPU 超频导致笔记本自燃什么的, 太玄幻了

非 Windows 明显卡顿是电脑配置不够了吧, mbp 切记要上 16gb 内存
找同事入个二手吧
可以说文化, 可以说特色, 总结一句话就是他们乐意啊... 这个也没有什么教科书式学名, 选一个符合本司特色的词有助于记忆和推广, 互联网造词运动只要有 IP, 再不合逻辑都可能变流行语, 比如某 200 斤主播把奇怪方言弄得一大群主播模仿, 就像不那么说话就不帅一样

仓颉: 我太难了
@blackshh
在北京一段时间, 没发现太适合外带的特产, 所以我去了几个景点买了点二三十块的纪念品, 我爸就挺高兴了, 因为带吃的吃完就没了, 带点景点特色的, 尤其是其他城市没有的, 或者相片之类的, 父母会开心一些

PS: 看到你这种标准所有回复放一起的莫名舒心... 别的帖子楼主每怼一个楼层, 就单独开一层, 莫名就产生个百楼热帖
用了快十年火狐, 工作需要迁移到 chrome, 很多很多好插件都没了, 虽然最后也发现我不是真的特别需要, 比如 autopager 鼠标手势什么的...

只能说放在十年前我还有的选, 现在 chrome 已经习惯了, 懒得折腾了, 爱怎么改怎么改吧

我想问问这个更个, 以及地址栏不显示 scheme 这些都是物理阉割还是化学阉割? flags 里还能抢救一下吗
2019-09-22 19:51:34 +08:00
回复了 niguyi 创建的主题 问与答 边上同事吃榴莲糖
@berumotto 我不知道怕香菜的是不是都跟我一样搞死过臭大姐, 小时候记得并不怕的...

榴莲我喜欢, luoshifen 虽然不喜欢那个味道, 但是也可以接受

主要还是看企业文化和公司氛围, 我们这边不喜欢榴莲的就是直接说臭, 也没人觉得怎么样, 都是成年人, 玻璃心的那群人连面试都过不了
2019-09-22 16:57:12 +08:00
回复了 PainAndLove 创建的主题 程序员 敲代码的另一种方式?
要么 vi, 要么鼠标手势

一只手敲代码, 当年的指法练习不允许啊

而且快捷键用习惯了, 为啥要用鼠标?
知乎有断保相关问题, 而且是每半年复活一次, 这里问的话难找到高质量的回复

其实最靠谱的还是直接问社保局啊, 我打过社保局电话, 解释的言简意赅也很有耐心, 而且没有一句三个"亲"那种怪毛病
1 ... 118  119  120  121  122  123  124  125  126  127 ... 133  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2562 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 40ms · UTC 10:34 · PVG 18:34 · LAX 02:34 · JFK 05:34
Developed with CodeLauncher
♥ Do have faith in what you're doing.