新人写博客，前天刚把删除功能做出来，今天一看被 google 爬虫全删掉了

Google

Nginx

应为

恶作剧

202 条回复 • 2017-09-14 10:29:35 +08:00

1 2 3

❮

❯

101

haozibi

2017-01-22 18:23:35 +08:00 via Android

翻页，

102

haozibi

2017-01-22 18:23:57 +08:00 via Android

翻页喽

103

solupro

2017-01-22 18:24:11 +08:00

本来埋头苦干了一天很郁闷，感谢楼主发帖

104

Magician

2017-01-22 18:24:13 +08:00 via iPhone

谷歌怪我咯……

105

techmoe

2017-01-22 18:28:37 +08:00 via Android

笑哭了

106

Twinkle

2017-01-22 18:29:55 +08:00

萌

107

nodin

2017-01-22 18:33:24 +08:00 via iPhone

1

这就是阅后即焚？

108

mritd

2017-01-22 18:33:55 +08:00 via iPhone

笑喷了哈哈哈

109

Cabana

OP

2017-01-22 18:44:23 +08:00 via Android

@v2exhehehehe 嗯嗯，的确半路出家😅

110

learnshare

2017-01-22 18:49:02 +08:00

GET 应该做幂等操作，删除就用 DELETE 方法，而且无论如何也要做权限限制的

111

Cabana

OP

2017-01-22 18:54:47 +08:00 via Android

@lzsadam 大都是生成的无用数据，自己写的几篇也大都是测试而已…

112

linxl

2017-01-22 19:07:14 +08:00

SEO 做得不错啊

113

gy911201

2017-01-22 19:10:40 +08:00

1

用 GET 请求处理删除操作，就算做了鉴权，爬虫是不能操作成功了，但是浏览器的预读功能依然可以啊～

114

int64ago

2017-01-22 19:13:51 +08:00

笑得流汗 233

115

nikoo

2017-01-22 19:14:43 +08:00

建议楼主起诉 google ！

这叫什么不做恶？！

116

tumbzzc

2017-01-22 19:21:08 +08:00

哈？？？你的 delete 为什么没有进行权限设置？任何人都可以删的话，那就不能怪谷歌了

117

awolfly9

2017-01-22 19:30:05 +08:00

谷歌开发人员开始怀疑人生了

118

ik

2017-01-22 19:36:39 +08:00 via iPhone

哈哈哈我终于动了 get post 的区别了

119

why1

2017-01-22 19:39:08 +08:00

要求立即停止自动驾驶汽车研发

120

hljjhb

2017-01-22 19:42:04 +08:00

真的笑，笑出声

121

gongjianwei

2017-01-22 19:43:09 +08:00 via Android

其实我觉得你太可爱了 XD

122

ELLIA

2017-01-22 19:44:32 +08:00

@bao3 你这么说好像没毛病， 23333

123

Ellison

2017-01-22 19:45:33 +08:00

哈哈哈哈,年前就靠楼主的笑话了

124

illuz

2017-01-22 19:54:02 +08:00

1

为何一句「爬虫也是一脸懵逼，爬完后之前的 404 了。。。」能获得这么多感谢，这话很对你们来说很有帮助吗？
某乎既视感。

125

Vicia

2017-01-22 20:07:28 +08:00 via iPhone

2

@illuz 看完这句话开心大笑，一扫一天的疲惫和不愉快，不算是一种帮助么？

126

SPACELAN

2017-01-22 20:08:35 +08:00

@dong3580 哈哈哈我 outlook 也是，一直以为是验证服务器的问题

127

MrWii

2017-01-22 20:24:52 +08:00

哈哈，指着这个段子过年了

128

caomu

2017-01-22 20:33:12 +08:00 via Android

7

爬虫：我可能爬的是假的网站

129

leotso

2017-01-22 20:44:48 +08:00

Google: 怪我咯？ hhhhh

130

pljhonglu

2017-01-22 20:52:46 +08:00

哈哈哈，妥妥的年度最佳~

131

cai314494687

2017-01-22 21:51:39 +08:00

直接 GET 就能删除？你写的程序也是牛逼。

你先搞清楚什么情况下用 GET 什么情况下该用 POST 吧

132

lanjz

2017-01-22 21:55:59 +08:00

......笑 cry..

133

chilaoqi

2017-01-22 22:06:21 +08:00

论 HTTP method 的重要性， Get 大法好啊

134

ayang23

2017-01-22 22:08:06 +08:00

我是来看回复的

135

RobertYang

2017-01-22 22:46:07 +08:00 via Android

谷歌 bot:怪我咯，我说怎么怕完了就是 404 了

136

itfanr

2017-01-22 22:50:19 +08:00 via Android

3

我想起之前同事写的代码 make clean 。把代码也 clean 了…

137

elvba

2017-01-22 22:58:32 +08:00

今日最佳，留名

138

seashell

2017-01-22 22:59:55 +08:00

@dong3580 联通的这个鉴权逻辑有点诡异啊，只是打开邮件，又没有点击链接。

139

smallpath

2017-01-22 23:05:40 +08:00

哈哈哈哈哈哈哈

140

xiongbiao

2017-01-22 23:07:06 +08:00

这个厉害了哈哈

141

CrispElite

2017-01-22 23:08:54 +08:00

哈哈野路子

142

FifiLyu

2017-01-22 23:11:02 +08:00

笑得听不下来。
楼主，摸摸头

143

muteZephyr

2017-01-22 23:13:39 +08:00

厉害了 word 哥

144

lc4t

2017-01-22 23:27:07 +08:00

不行了先去笑一会。

楼主记得这种东西要设好权限啊 233333

145

xjp

2017-01-23 00:04:04 +08:00 via iPhone

哈哈哈哈哈最佳最佳

146

fangxing204

2017-01-23 00:06:01 +08:00 via Android

哈哈

147

Immortal

2017-01-23 00:07:17 +08:00

善意的笑了

148

jarlyyn

2017-01-23 01:13:59 +08:00

1

1.如果你在用 Google 浏览器，你的测试链接也会上传到 google 爬虫。所以我的测试服务器有专门设置。

2.如果权限系统没做好，可以先用 basic auth 。如果程序中不知道怎么用前台的 nginx/apache 也可以设置。

3.某种角度来说，这类似于 crsf 攻击。就算权限系统做好了，这样依然会有问题。

149

Zohar

2017-01-23 01:25:49 +08:00 via Android

@kn007 大半夜笑出声😂

150

Tyanboot

2017-01-23 03:06:47 +08:00 via Android

@itfanr 这个就厉害了。

151

seeker

2017-01-23 03:16:09 +08:00

谢谢分享。
谁都有萌新的时候。

152

steveshi

2017-01-23 04:04:37 +08:00 via iPhone

居然笑醒了

153

dong3580

2017-01-23 06:35:37 +08:00 via Android

@SPACELAN
@seashell
你说这开发的有多🐷，邮件服务器肯定会扫描你的邮件的， outlook 是不是应该扫了它链接呗。

154

Cbdy

2017-01-23 07:09:21 +08:00 via Android

起码加个 HTTP BASIC 。。。

155

xiaodongus

2017-01-23 08:24:43 +08:00 via iPhone

哈哈哈哈哈哈哈哈，爬虫也是一脸懵逼

156

jy02201949

2017-01-23 08:31:06 +08:00

总是有人想着怎么防爬虫，楼主另类的思路带领我们开辟了一条新的道路

157

skylancer

2017-01-23 08:35:22 +08:00 via Android

一大早看到这么欢乐的事... 哈哈哈

158

imnpc

2017-01-23 08:37:39 +08:00

花式反 bot

159

ytmsdy

2017-01-23 08:44:05 +08:00

哈哈哈哈，让我先笑一会。。

160

cougar

2017-01-23 08:45:18 +08:00

有才

161

rashawn

2017-01-23 08:50:17 +08:00 via iPhone

厉害了……

162

cat9life

2017-01-23 08:55:19 +08:00

哇咔咔 LZ 太有趣了...

163

simo

2017-01-23 09:02:15 +08:00

事故是最好的老师，长点心吧

164

polun

2017-01-23 09:06:08 +08:00

谢谢(*^_^*)

165

ybh37

2017-01-23 09:18:59 +08:00

大过年的，出来讲笑话的吧？

166

simonjinyuliu

2017-01-23 09:32:41 +08:00

GET /delete ... 一股莫名的喜感

167

wbt

2017-01-23 09:43:51 +08:00

😁 😁 😁

168

hjxx

2017-01-23 09:47:06 +08:00

想起以前跑数据库迁移脚本 get 请求某个地址执行歉意的相关代码结果每次都发现被执行了 2-3 次后面才发现是万恶的 chrome 预加载默默的换了 curl ／ wget

169

erenno1

2017-01-23 10:10:14 +08:00

哈哈哈

170

yivanus

2017-01-23 10:11:15 +08:00

年终奖没有中奖，全靠这个乐一下了。谢谢楼主。

171

pwcong

2017-01-23 10:15:32 +08:00

真感谢你们把生活过成了段子，笑死我

172

code4life

2017-01-23 10:34:26 +08:00

@1OF7G

感谢指路！

173

wintercoder

2017-01-23 10:35:33 +08:00

火钳刘明

174

zhouyg

2017-01-23 10:45:49 +08:00

已加入 GET vs POST 大全

175

cst4you

2017-01-23 10:46:46 +08:00

今日最佳

176

panlilu

2017-01-23 10:53:22 +08:00

有点厉害，最近有点郁闷这笑话把我乐醒了

177

styang

2017-01-23 10:54:53 +08:00

今日最佳

178

shyrock

2017-01-23 11:05:19 +08:00

只有聪明的谷歌 GET 到了你的 idea 。。。

179

jadecoder

2017-01-23 11:12:23 +08:00

笑 2333 ，下次讲 RESTful 又有例子了

180

mlhorizon

2017-01-23 11:21:45 +08:00

自毁式反爬虫策略，赞一个，再摸摸头。

181

argsno

2017-01-23 11:29:24 +08:00

我的锅咯~~~~~~~~~

182

wly19960911

2017-01-23 11:29:51 +08:00

其实可以当爬虫经过的时候把某个页面给隐藏掉直接返回 404 ，使用类似于 lz 这样拿一个瞄链接等爬虫爬，然后过一段时间再恢复应该可以吧。

183

MXA

2017-01-23 12:48:10 +08:00

@mritd hi ， nice too meet U

184

Jackeriss

2017-01-23 14:05:33 +08:00

19 杀！全场最佳： Google

185

DualWield

2017-01-23 14:38:45 +08:00

22333333 今日最佳

186

cherrypi

2017-01-23 15:30:11 +08:00 via iPhone

身经百战的爬虫也是懵逼了！

187

loddit

2017-01-23 15:31:03 +08:00

@jarlyyn 「 1. 如果你在用 Google 浏览器，你的测试链接也会上传到 google 爬虫」这个有确定的证据吗？

188

jarlyyn

2017-01-23 15:43:33 +08:00

@loddit

经验和网上的链接

比如

https://news.ycombinator.com/item?id=3034288

另外， baidu 统计也会提交到百度的搜索引擎。

189

l2003529

2017-01-23 15:53:43 +08:00 via iPad

笑出声哈哈😂

190

sobigfish

2017-01-23 16:13:24 +08:00

耿直 boy
Google Bot 说给我钱，然后他就给了 0 ， 0

191

tianice

2017-01-23 16:45:56 +08:00

今日最佳

192

codeyung

2017-01-23 16:57:04 +08:00

偷笑 - -

193

daysv

2017-01-24 08:53:17 +08:00

笑死我了...... 还能这样做的

194

ZhLTE

2017-01-24 16:09:27 +08:00

@xmumiffy 哈哈哈哈哈哈哈

195

overlords

2017-01-24 20:34:37 +08:00 via iPhone

第一次知道被蜘蛛删了

196

r00tt

2017-01-25 22:21:23 +08:00

楼主好萌,看笑了

197

Vicer

2017-01-29 10:38:55 +08:00 via Android

有故事，才会成长

198

pacino

2017-02-12 18:07:53 +08:00

厉害了

199

xiaorun

2017-02-14 19:39:41 +08:00

robots.txt

200

henneko

2017-02-16 16:30:56 +08:00 via Android

我感觉 LZ 发明了新的开车技巧

1 2 3

❮

❯