moonlightpics 最近的时间轴更新 moonlightpics 最近的时间轴更新 |
moonlightpicsV2EX 第 601248 号会员，加入于 2022-11-09 22:51:37 +08:00 |
moonlightpics 最近回复了
3 天前 回复了 moonlightpics 创建的主题 › 搜索引擎优化 › 请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt |
而且挺搞笑的，他显示我带 www 的域名可以访问 robots ，不带 www 的却不行，，关键我带 www 的是 301 定向到不带 www 的，纳闷.
3 天前 回复了 moonlightpics 创建的主题 › 搜索引擎优化 › 请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt |
@Kwnthink 就是 google 没法 ping 通我的 robots 。。别的搜索都可以，所以我怀疑是不是 google 不能访问大陆 IP ？但是别的网站收录都挺好的啊，，，奇怪。
6 天前 回复了 moonlightpics 创建的主题 › 搜索引擎优化 › 请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt |
@Jesmora 不是，我现在把 robots.txt 删了，所以访问 robots.txt 是 404,但是即使删除了 robots.txt ，google 还是没法抓取我的网页。
Select Language