terryxuwen

terryxuwen

V2EX 第 106674 号会员,加入于 2015-03-22 07:31:15 +08:00
根据 terryxuwen 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
terryxuwen 最近回复了
2021-10-29 16:30:40 +08:00
回复了 terryxuwen 创建的主题 微博 新浪微博反爬 封掉 huginn 的问题
@malagebidi 你试试普通的脚本下载,应该能下载看到网页内容。
2021-10-29 16:30:04 +08:00
回复了 terryxuwen 创建的主题 微博 新浪微博反爬 封掉 huginn 的问题
@ch2 匿名能看到微博的搜索结果呀。 现在情况是不知道为什么 普通下载脚本能下到内容页,而 huginn 不行,唉
2021-10-28 21:29:07 +08:00
回复了 terryxuwen 创建的主题 微博 新浪微博反爬 封掉 huginn 的问题
补充一下,我是不登录爬取,不存在用户名被封的情况
算了,怀疑老外说的不是 huginn 的配置,而是 centos 的全局代理。所以才会有 http_proxy 这东西。不知道设置了全局代理后,爬网是代理了,访问服务器不会也变成了代理了吧?汗
谢谢 fanshaohua,我打算用 docker 的命令修改镜像文件。但是现在奇怪,进入镜像后,没看见 huginn 的 env 文件,这是什么情况,晕。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   982 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 20:14 · PVG 04:14 · LAX 13:14 · JFK 16:14
Developed with CodeLauncher
♥ Do have faith in what you're doing.