V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Biwood
V2EX  ›  互联网

为什么搜索引擎搜不到豆瓣小组里的帖子?

  •  
  •   Biwood · 2022-03-11 21:46:52 +08:00 · 2019 次点击
    这是一个创建于 993 天前的主题,其中的信息可能已经有所发展或是发生改变。

    试了下几个搜索引擎都无法直接搜索到小组里面的帖子,是因为豆瓣的防爬虫策略吗?我看了下豆瓣的 robots.txt 文件,里面也并没有禁止豆瓣帖子详情页,那为什么平时搜东西都不会看到豆瓣小组里面的帖子呢,小组主页链接倒是可以搜到

    3 条回复    2022-03-12 09:28:39 +08:00
    eason1874
        1
    eason1874  
       2022-03-11 23:01:08 +08:00
    以前搜到过挺多次,现在也有收录,用 inurl 语句能查到有收录结果,可能是排名问题

    前段时间被查,临时禁止发帖,好多帖子要登录才能看,估计是那时候影响收录排名了
    Biwood
        2
    Biwood  
    OP
       2022-03-11 23:50:43 +08:00 via Android   ❤️ 1
    @eason1874 好吧,我又试了一下,确实能搜到,可能是因为出现频率不高,我误以为搜不到了,相比较而言知乎的内容收录倒是很迅速而且完整

    现在直接点进帖子详情页确实会强制跳转到首页,估计还是审查压力吧
    Wincer
        3
    Wincer  
       2022-03-12 09:28:39 +08:00 via iPhone
    这个我知道,之前还研究过,现在打开豆瓣帖子会把帖子 id 传送异步发送到后端 API 请求确认,如果不符合要求就会直接跳转到首页,把这个 API 用 origin block 禁止就行
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3087 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 13:48 · PVG 21:48 · LAX 05:48 · JFK 08:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.