有人喜欢写爬虫用浏览器扩展来实现的吗？

[s2555]

要爬网页的时候，每次用 python 写都是容易跳出验证，有些要登录的更麻烦，后来我发现写浏览器扩展，直接操作当前的页面好像不用考虑那么多情况，爬到的数据直接发到接口处理。所以问下大家，我这个是 Python 用得不好，技能点歪了吗？

[cyhlnj]

扩展怎么写的

[aladd]

同策略，因为我不会写代码，过验证对我来说太难了，外加我维护的小玩具难度太低了，有结果就行。
所以我一直这么玩的，并很满意！

[callmejoejoe]

看需求，简单少量的数据爬取用扩展也可以，就是速度慢，还得开着电脑浏览器不休眠

[fidcz123]

想问下有些页面 js 调用 click 不生效，这个怎么处理？
尝试过事件以及网上大部分操作都无效

对于多页之类的总不可能一个个手动点

[815979670]

写扩展也麻烦 可以写油猴插件 JS 就能操作

[AFOX]

@fidcz123 加一个 delay 试试

[lisxour]

无头啊，浏览器扩展不觉得很受限嘛？完全吃力不讨好

[TimePPT]

playwright+无头浏览器，解决 80%问题

[tool2dx]

@lisxour cf 防火墙访问限制开高的话，无头很难爬，动不动就跳验证。

[yahon]

简单的我一般用这个插件 https://tenrabbits.github.io/user-js-css-docs/

[irever]

简单使用的话可以试试 WebScraper

[picone]

量少的话确实很方便，直接兼容所有反爬策略，验证码除外。 我喜欢用 automa 这个插件，不用自己手写。

[mc2tap]

确实，经常用 puppeteer 做

[sofukwird]

https://www.v2ex.com/t/1028977#reply50
把页面资源通过 http proxy 代理暴露出来

[hanssx]

不是，你扩展怎么就能过 cf 了吗？还是说你手动过了 cf ，扩展再工作，那你这顶多半自动化。

[kkk1234567]

selenium ，直接用浏览器爬

[Vegetable]

没歪，这样挺好的。
包括使用 MITM 代理+手动翻页，都是可行的方案。前提是看你什么需求。

对自动化要求高、规模大的当然不行，但很多爬虫其实不是这样的需求。

[lisxour]

@tool2dx 那也可以直接 playwright 自动化控制浏览器啊，本质就是跟自己打开浏览器一样的，啥方案不比浏览器扩展强

[mumbler]

无头浏览器才是正确姿势

[freewind]

C# + webview2 自己做浏览器爬

扩展限制了很多权限

[s2555]

@cyhlnj 分析好页面，chatgpt 直接写好了，再改改就行了。

[s2555]

@freewind 我很早也做过这样的啊，很多网页直接屏蔽了

[s2555]

@fidcz123 目前没试过不生效的，这个基本等于鼠标操作了

[cutecore]

一样，难搞的会用浏览器，用 Bulk URL Opener 和 Tampermonkey 来做。

[s2555]

@TimePPT playwright 打开的浏览器就跟新开的浏览器啊，没有登录状态

[s2555]

有些网站我只要模拟点击下一页，然后拦截请求，就可以获取那些 api 的数据，但是有很多不行，半桶水水平。

[s2555]

@callmejoejoe 用 python 模拟的话也要开着电脑啊，而且你还不能干别的了，浏览器扩展的话，我只要开着那个网页就行了。

[dawn009]

@mumbler
@kkk1234567

无头浏览器能被反爬检测到。真实浏览器最省心，反正个人使用也不需要很高的效率，足够了

[Chatterleys]

简单的可以，但是风控都很难过，我平常做扩展类工具比较多，电商类的自动化工具

[soar0712]

我用 java 多，我的解决办法
1 、不复杂的话，用 java 操作无头浏览器，能抓住八成的数据；

[soar0712]

@soar0712 2 、更复杂的，直接用 java 操作 robot 接管键鼠，模拟人工取数据

[cdlnls]

哈哈，我之前做了一个，写着玩的没开源。

浏览器装上了插件之后，会同步当前的 tab 到服务端，用 websocket 个服务器同步状态。

服务器会下发命令，执行 js ，获取网页内容等等。

服务端下发任务的时候，可以随机分配任务到连接的客户端上，执行分布式任务。。

做出来了之后特别像后门软件，可以在没有察觉的情况下监控浏览器的上网情况。。。

[NerdHND]

无头浏览器爬虫可以看(这篇)[gaoconghui.github.io/2019/06/无头浏览器反爬与反反爬/]

[abigeater]

用油猴写 教会怎么用油猴就好， 浏览器扩展没发布得启用开发者模式，教别人安装这个太麻烦了不同浏览器的扩展打包也麻烦

[s2555]

@cdlnls 牛的
@NerdHND 感谢，看了对我来说太麻烦了。
@abigeater 我了解一下

[macaodoll]

我选择直接定制浏览器,

[zbowen66]

@s2555 #25 明明可以把所有状态 cookies ，storage 等储存到不同 JSON 文件，启动的时候可以加载不同文件，方便地一批

[s2555]

@zbowen66 🙏感谢，deepseek 了一下，完全明白了

[guaguaguaxia1]

不管黑猫白猫

[iorilu]

插件怎么个玩法, 有没有开源得参考下

有时候也想爬点数据

[s2555]

@iorilu 在 deepseek 输入需求，它会把每一步都写出来，跟着做就行了，没多少代码。

[kailyn]

@fidcz123 试过用代码依次触发 mouseover ，mousedown ，mouseup 这几个事件吗？我遇到过一个网站，也是 click 无效，只有用代码去对按钮触发这三个事件才行，缺一不可。