这是一个创建于 1695 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为是个人网站，很多地方比较马虎，因为用这 chrome，google 就把我的测试页面抓取了，这些测试页面只在 chrome 上打开过，从来没在网上公开过。
 |
1
anUglyDog 2020-04-04 12:48:05 +08:00
还算合理吧,毕竟是一家的.
|
 |
2
Tianao 2020-04-04 12:49:02 +08:00  2
请正确配置 robots.txt 。
|
 |
3
mrchi 2020-04-04 12:49:53 +08:00
测试页面公网能访问吗？你写 robots.txt 了没？
|
|
4
Tianao 2020-04-04 12:51:51 +08:00
另请参考 developers.谷歌.康姆 /search/reference/robots_meta_tag 。
|
 |
5
mnssbe 2020-04-04 12:52:21 +08:00 via iPhone
chrome 里有个设置会把 url 发送给 google，你可以反选
|
 |
6
wolfan 2020-04-04 13:00:28 +08:00 via Android
roobts 对国产作用不大，但对国外的多少比国内的强。
|
 |
7
dot2017 2020-04-04 13:32:36 +08:00
你这个测试页面上有外链出去到别的被索引过的页面吗，google bot 抓取展现是双向的
|
 |
8
deplives 2020-04-04 14:23:46 +08:00
是否正确配置 robots ？ 如果有，再来吐槽。如果没有，请找自己的原因
|
 |
9
dobelee 2020-04-04 15:13:57 +08:00 via iPhone
能公网访问就别抱怨。。
|
 |
10
pinews OP |
 |
13
daozhihun 2020-04-04 20:17:37 +08:00 via Android
你没设 robots，google spider 咋知道哪些是敏感的
|
 |
14
alan0liang 2020-04-04 20:18:47 +08:00 via Android
Google 把我们 gitea 一大堆 repo 的所有语言版本都索引了😂
|
 |
15
aureole999 2020-04-04 23:07:26 +08:00
@pinews 比如你链接的页面是属于 Google 的或者有 Google ads，analytics 之类的，那 Google 肯定能拿到 referer 啊，referer 就是你自己的页面了。
|
 |
16
binux 2020-04-04 23:30:03 +08:00 via Android 5
把 Google 换成 360 浏览器再来看看评论
|
 |
17
miaomiao888 2020-04-05 00:10:33 +08:00
@binux 你这种叫啥来着？ 算了还是给你拉红一下
|
 |
18
mxalbert1996 2020-04-05 01:21:22 +08:00 via Android 1
你有敏感信息就不要放公网上，放公网上就设个访问限制，你放公网上又不设访问限制又不写 robots 被抓了还怪人家？
|
|
19
binux 2020-04-05 02:26:38 +08:00 via Android
|
 |
20
ksdd521lr 2020-04-05 02:32:54 +08:00 via Android
google 的骚操作哈哈
|
 |
21
laqow 2020-04-05 09:09:23 +08:00 via Android
我理解这个事实上都不用从 chrome 抓，在注册域名的时候就抓了，甚至可能你拿 8888 做 dns 时候就抓了。
|
|
22
pinews OP 我把我的意思明确一下，本质上不是蜘蛛抓取未公开的页面，
而是 google chrome 将我的访问记录下来，并公布在网络上了，恰好是我的自己的网站，所以正好发现了。 |
Select Language