V2EX › botsonar 的所有回复 › 第 1 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

2019-06-21 10:06:45 +08:00

回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引

这边大家有空多关注下 github 部分新功能和改动会在 github 进行跟踪，如果有特别的需求或者规划，也可以在 issue 中提出来，因为有很多用户接入了，这个版本会持续开发

2019-06-20 14:09:22 +08:00

回复了 xzYao 创建的主题 › 程序员 › 请教一个后端获取用户真实 IP 的问题

@AndroidEngineer 没办法追查源 IP 有 tor 的情况基本上都没有办法，只能监测出来有没有用 tor

2019-06-20 11:52:15 +08:00

回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引

@opengps 关于 UA 中的 IMEI 写的很好，另外一篇知乎的写的也不错，然后我发现很多 UA parser 没法解析像 appname 和 organization 这些信息

2019-06-20 11:50:23 +08:00

回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引

@uqf0663 如果 IP 误封率比较高，也可以使用 webrtc 内外网结合的方式实现 IP 策略

2019-06-20 11:48:42 +08:00

回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引

@uqf0663 试一试另一个策略，看看同一个用户在不通 IP 和 UA 下的频率，如果没有登录，你可以通过服务端下发 cookie 的形式标记用户，由于 pupeteer 这种工具其模拟效果是很好，但是效率比较低下，那些大规模占用带宽的可能是那些脚本爬虫；即使是 pupeteer 也是使用 chrome 的 cdp 协议，可以通过协议检测识别这种工具

2019-06-20 09:49:32 +08:00

回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引

@opengps 好的

2019-06-19 23:00:14 +08:00

回复了 xzYao 创建的主题 › 程序员 › 请教一个后端获取用户真实 IP 的问题

@hasoidhaio 嗯这是一个好办法

2019-06-19 21:59:00 +08:00

回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引

@uqf0663 看起来你遇到了一些问题，如果可以的话，可以私下交流，我给你提供一点思路

2019-06-19 21:19:06 +08:00

回复了 xzYao 创建的主题 › 程序员 › 请教一个后端获取用户真实 IP 的问题

@AndroidEngineer tor 也有办法的，现在也可以查出来你用没有用 tor