首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
八千二百多万行 url 如何进行存活检测
daimaosix
·
2021-09-19 15:48:36 +08:00
· 727 次点击
这是一个创建于 1190 天前的主题,其中的信息可能已经有所发展或是发生改变。
一个 txt 文件,里面有八千多万行 url,用于对象存储的源站迁移,需要访问一下 url,目前使用 python 和 go 的一些开源工具跑过,没有一个成功的。。。目前 txt 文件大小为 11GB,想问问哪位大佬有一些经验可以分享一下呢?
url
txt
源站
Python
1 条回复
1
masha
2021-09-22 17:05:17 +08:00
https://github.com/projectdiscovery/httpx
用这个试试看?
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2513 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 77ms ·
UTC 15:34
·
PVG 23:34
·
LAX 07:34
·
JFK 10:34
Developed with
CodeLauncher
♥ Do have faith in what you're doing.