@dfgddgf 感觉脚本语言的网络库、正则库、网页解析库等，底层应该都是 C/C++ 实现的吧

Python 、Perl 、Ruby 速度应该差不多的

perl 好像是文本处理较为优势，听说搞生物的常用？

@dfgddgf 你在上一个帖子的意思，不是『如何用最少的人工，写出速度最快的爬虫』嘛

感觉你有几亿数十亿页面要爬取解析来着。。

所以想看看你最后，是如何用最优雅的姿势，写出最能压榨机器性能的爬虫的

@dfgddgf 你本地测试，平均每秒能爬下来并解析多少页面呢

想看看这 perl 的效率如何

每秒大概能爬多少个页面？

@zzl22100048 有啥 bug 吗？我用这个库爬了好多小说了

@dfgddgf 我提供一个 Python 异步 + 多线程 的数据：

环境：Redmi Note 5 （高通骁龙 636 ）的 Linux Deploy 里，Debian 11 arm64 ，Python 3.10 ，百兆 WIFI ，电池供电

流程：sqlite3 读取网址，aiohttp 并发下载多个章节，json 解析，每本书所有章节合并成一个 json ，编码成 UTF-16 ，多线程 lzma 压缩，每一千本保存一个 tar

速度：峰值 700 章节 /秒（每个章节需下载一个页面，大约在凌晨 3 点 ~ 7 点）

@ztoben seek 再 write 能满足吗？

@sunnysab 你 python 用啥做 html 的 parser ？ lxml 的速度也不够吗？

啥意思。。

比如 a.part.1 、a.part.2 、a.part.3 ，每个 1MB ，合并成 3MB 的 a.txt ？

但 a.part.3 有可能写入不完整？

下次继续运行时，需要重新在 a.txt 的 2MB 处，写入 a.part.3 ？

[文档]( https://docs.python.org/zh-cn/3/library/stdtypes.html?highlight=lstrip#str.lstrip )说：

> 实际上 chars 参数并非指定单个前缀；而是会移除参数值的所有组合

因为 'o' in "/root/kyApi/wwwroot/transfer/avatar-"，所以也会移除

> 参见 [str.removeprefix()]( https://docs.python.org/zh-cn/3/library/stdtypes.html?highlight=lstrip#str.removeprefix ) ，该方法将删除单个前缀字符串，而不是全部给定集合中的字符

你应该想用 str.removeprefix("/root/kyApi/wwwroot/transfer/avatar-")

@cweijan 你们现在一般用 5G 干啥？

我开了 5G ，耗电变快了，但网络体验没有提高太多（原来 4G 也够用）

感觉 ncdu 和这个很像

好像不怎么见过吐槽安卓信号问题的？更常见的是卡顿问题？

实在不行，用 BT 软件做个种，另一台电脑下载也行啊（狗头）

@dfgddgf 毕竟能了解这么多语言生态各自的爬虫方案的网友，可能不多

估计给出同一具体场景，各位网友给出自认为最好的方案，最后才容易对比

@dfgddgf 你每秒要爬多少网页啊？

要不你放点要爬的网页出来？可能有热心观众给出自己的爬法，和爬取速度统计

@humbass xpath 不是 Python 的，只是 lxml 库的一个功能。这个库好像不支持 css 风格的查询

换成 BeautifulSoup 库就支持了：xxx.select('#tabItem0')

另外，我还是觉得 xpath 更方便描述 xml html

@humbass js 本身也没有啥特别的语言特性，是用于描述 DOM 的吧

你是想说，无头浏览器能方便地，执行一些自己的 js 代码？

@humbass 问一下，看起来都是调包，Python 是有啥明显的坑吗？

若是安卓的话，这里有篇[文章]( https://zixijian.github.io/2020/09/01/007.html)，里面有提到：如何在 Linux Deploy 中，编程读取手机电量、控制是否允许充电等