@MrhuangSTR 对，一般两种方式：1.质量巡检（事后），2.单页面预处理（事前）。具体要结合你的业务来，看看怎么做更适合你们，或者两个结合，或者更多的其他的我没有想到的办法。

一般的处理方式不都是配置规则么。。。。爬取之前如果检测到规则出错，就跳过这项任务。然后发给人工重新编辑规则。爬虫是要人工来维护的，基本上做不到全自动。

@hjahgdthab750 我也这么认为的这个缩写。

@ztechstack 老哥跟我想一块儿去了。。。。

不要买小地方的房子，越穷的人越要面子，越讲究，也就是穷讲究，如果你脱不开那个圈子，你就会被那个圈子吸引，然后壮大了那个圈子。还是狠一下心吧，被骂就被骂吧，好过以后后悔，一辈子的路长着呢。

只能 header 检查了。

我没做过，但是看看这个思路是否可以：
对每个 http 的 80 端口连接都进行 mac 过滤，如果已知列表里没有，则直接返回 302，否则，什么都不做。你把这个已知 mac 放 ram 里。应该比源站响应要快。

@loggydog 所以你主题中所述的“固定 ip”不准确，应该是“公网 IP”？

额。。。看到你上面的回复，我猜测你是获得了公网 IP 而非公网固定 IP，不信你可以先记录下来现在的“固定 IP 地址”，明天重启下光猫，看看“固定的公网 ip”是否发生了变化。
如果是我说的这种情况，那么需要修改我上述的方案：你需要在光猫或者路由器上设置 ddns，然后再电脑上验证 ddns 是否成功解析（ nslookup 你的 ddns 的域名），然后就可以了。

最后的最后：不建议你把自己的 pc 当服务器。想弄个外面可以访问的博客有 n 种方法，最好的办法就是弄个 vps，不需要备案的那种。如果你有别的用途，那就继续折腾吧，另外，我想求教以下，如何申请家宽获得固定 ip，是因为你颜值高吗?

找到原因了，删除 http 冒号 // 就可以了。。。

已尝试操作：

设置 DMZ 主机 --> 不建议设置 DMZ
端口映射， --> 首先，你要把路由器和台式机设置成固定 ip 地址，该 ip 地址应该与其上联的设备 Lan 口同一个网段，然后测试电脑能否正常上网。其次，你在光猫上设置一个 TCP 的端口转发，比如 12020，转发到上面说的路由器设置的固定 IP 的 12020 端口上，然后再在路由器上同样设置 TCP 的端口转发，这时需要转发到你的台式机的 ip 上，最后，设置你台式机上的 web 服务器所使用的端口为 12020，设置完毕，开启台式机上的防火墙，设置规则为允许 12020 的 tcp 入流量放行，拿起你的手机，断开 WiFi，使用蜂窝网络（ 4G/5G ），打开浏览器，地址栏输入： 你的光猫上的固定公网 IP:12020/你 web 服务器上的服务地址 ，检查是否可以正常打开。
最后，弄了一个 ddns，不知道怎么用=。= --> 你的固定 IP 地址是公网 IP 地址吗？如果是，你不需要 DDNS


ps：
如果我没有记错的话，80 、443 等常用 web 服务端口需要在通管局备案后才能使用，否则运营商默认会 drop 掉未备案公网 IP 的端口流量。这也是为什么我上面让你用 12020 这个端口来做测试的原因，如果这个端口测试通过了，你可以把上面所有的端口映射中的 12020 改成 80，本地台式机的 web 服务器使用的端口和防火墙规则也做同样的修改，然后再测试能否正常访问 web 服务，如果可以，恭喜你，如果不行，去备案。
psps：
如果需要用域名解析的话，你的域名同样需要备案。以上的 ip 和域名的备案均需要去当地的电信备案。

已知：

路由器是自动获取 ip，未设置成固定 ip --> 路由器的 wan 口设置成和光猫 Lan 口一样网段的固定 IP 地址。

我写了大段的回复，缺无法发出去，要验证手机号……

首先，要有一个女朋友，其次，她要愿意跟你一起生孩子，最后，你得先弄个房子吧。

钓鱼啊，你往河边一座，一个人一包烟，有鱼没鱼坐一天。你会心静如水。

如果配好之后用不了（性能不够跑不起来）或者用着不爽（没有办法并行多个模型训练任务），能不能五千包邮卖给我？/doge

不知道那种支持输入输出的显示器能不能满足你的需求。还有一种方案就是视频矩阵或者控制器，不过你买这种东西不如用来买几个工控机了。