@LuckyPocketWatch Python 有个 lxml 库*（该库是对 libxml2 的包装，速度很快）*，支持你说的『不需要解析树，查询某个节点』场景（ SAX ）

文档地址： https://lxml.de/tutorial.html#event-driven-parsing


另外，不考虑转成数据库嘛？我觉得这个场景，SQLite 的速度都能吊打 XML 。。

上百 GB 的 XML ，咋修改某些节点？

若要在偏开头位置插入一字节的数据（或实际等效操作，如 999 修改为 1000 ），岂不要整个 100GB 往后挪 1 字节？？

@superchijinpeng 你们现在有什么 5G 的应用场景吗？

我是 K40 ，支持 5G ，但开了后耗电，且网络体验提升不大（即，原来 4G 够用）

总觉得当前 5G 不是手机的刚需

@monetto 9 楼给的官方文档说了，一个 connection 内同时读写的行为是未定义的。即，按道理，是有问题的

你试试每个线程一个 connection ？

我这里测试没崩啊

Windows 10
Python 3.10
PyCharm 2021

另外，根据[文档]( https://sqlite.org/isolation.html )所说，你不应该在同一个连接内同时读写数据库，此行为未定义

最后，贴代码起码用下 Markdown 啊。回复用不了就算了，帖子还不用。。

我目前使用以下方式，在资源管理器中，通过 Z 盘访问安卓手机的 /sdcard：

- 安卓端 Termux 上启动 `sshd`
- 电脑端 cmd 运行 `net use Z: \\sshfs.kr\192.168.1.2!8022\storage\emulated\0`


前提：

1. Windows 安装 [SSHFS-Win]( https://github.com/winfsp/sshfs-win )
2. Windows SSH 公钥已放入 Termux 的 `~/.ssh/authorized_keys`

@zzl22100048

> 高并发下有概率出现读取 tcp 流的异常和 broken pipe 异常；

Emm 。。反正我做了错误检测，超时 /错了就重试。也不知道频不频繁


> session 不能携带之前的 cookie ；

也没注意这个问题，因为爬的小说不要求登录。。

@dfgddgf 感觉脚本语言的网络库、正则库、网页解析库等，底层应该都是 C/C++ 实现的吧

Python 、Perl 、Ruby 速度应该差不多的

perl 好像是文本处理较为优势，听说搞生物的常用？

@dfgddgf 你在上一个帖子的意思，不是『如何用最少的人工，写出速度最快的爬虫』嘛

感觉你有几亿数十亿页面要爬取解析来着。。

所以想看看你最后，是如何用最优雅的姿势，写出最能压榨机器性能的爬虫的

@dfgddgf 你本地测试，平均每秒能爬下来并解析多少页面呢

想看看这 perl 的效率如何

每秒大概能爬多少个页面？

@zzl22100048 有啥 bug 吗？我用这个库爬了好多小说了

@dfgddgf 我提供一个 Python 异步 + 多线程 的数据：

环境：Redmi Note 5 （高通骁龙 636 ）的 Linux Deploy 里，Debian 11 arm64 ，Python 3.10 ，百兆 WIFI ，电池供电

流程：sqlite3 读取网址，aiohttp 并发下载多个章节，json 解析，每本书所有章节合并成一个 json ，编码成 UTF-16 ，多线程 lzma 压缩，每一千本保存一个 tar

速度：峰值 700 章节 /秒（每个章节需下载一个页面，大约在凌晨 3 点 ~ 7 点）

@ztoben seek 再 write 能满足吗？

@sunnysab 你 python 用啥做 html 的 parser ？ lxml 的速度也不够吗？

啥意思。。

比如 a.part.1 、a.part.2 、a.part.3 ，每个 1MB ，合并成 3MB 的 a.txt ？

但 a.part.3 有可能写入不完整？

下次继续运行时，需要重新在 a.txt 的 2MB 处，写入 a.part.3 ？

[文档]( https://docs.python.org/zh-cn/3/library/stdtypes.html?highlight=lstrip#str.lstrip )说：

> 实际上 chars 参数并非指定单个前缀；而是会移除参数值的所有组合

因为 'o' in "/root/kyApi/wwwroot/transfer/avatar-"，所以也会移除

> 参见 [str.removeprefix()]( https://docs.python.org/zh-cn/3/library/stdtypes.html?highlight=lstrip#str.removeprefix ) ，该方法将删除单个前缀字符串，而不是全部给定集合中的字符

你应该想用 str.removeprefix("/root/kyApi/wwwroot/transfer/avatar-")

@cweijan 你们现在一般用 5G 干啥？

我开了 5G ，耗电变快了，但网络体验没有提高太多（原来 4G 也够用）

感觉 ncdu 和这个很像

好像不怎么见过吐槽安卓信号问题的？更常见的是卡顿问题？