求安利好用的 Python 爬虫框架

[Pantheonn]

舍弃了 Selenium ，目前用的是 playwright ，大家都在用什么？

[spritecn]

requests + PyQuery,无头浏览器的话都差不多

[onll42y]

requests + parsel

[zeusho871]

推荐用 requests 的，肯定不好使，那玩意儿不支持异步，用 httpx 可以 100%兼容，然后不能 tls 指纹，有的网站会检测 tls 指纹，找那种带 tls 指纹的请求库，比如 curl_cffi 啥的。如果不是协议爬虫，用浏览器爬的话，推荐 drissonpage 。用 selenium/playwright 有几个参数会被检测到，虽然也能做到，但是需要额外的代码。

[ospider]

不要滥用「框架」这个词。使用框架的时候，主循环在框架里，你只需要写回调或者 handler ，使用库的时候，主循环在你自己代码里，显然 playwright 是一个库。

[WhateverYouLike]

偏题。node 的 crawlee 好用，算是框架。

[dule]

你说的这两只能说是工具库，自动化浏览器跟爬虫框架根本搭不上边，python 知名的基本就这两个：scrapy 、pyspider

[HMYang33]

https://feapder.com/
一个函数下发任务，一个函数处理结果。自动多线程

[iorilu]

现在有啥自动生成提取规则的库吗

我上次也想过用 ai 帮忙写点规则, 要能自动化就好了

[tuoov]

@iorilu 我也很好奇，但按这块的逻辑来说挺难有一个通用方案的。每个网站的数据来源都不太一样

[iorilu]

@tuoov 从编程角度是没得

我意思是让 ai 从获得得 html, 反推出应该用啥规则, 临时写一个

[python30]

scrapy 啊。一直在用 scrapy.超好用