关于百度爬虫的问题，有些问题必须要提出来了

[xray887]

问题：关于百度转码为百度网站的内容显示的问题如下图：

原网站如下图：

请问：

1. 百度每天抓数十万的网站，他们的正文提取，标题提取，发表时间统一格式化，文章出处等，都是专人去写 xpath, re, css selector, bs 吗?
2. 还有个问题，数十万的网站，他们的文章翻页有上千种，他们怎么去做到的翻页问题，难道也是专人去写 xpath, re, css selector, bs 吗？
3. 很多网站做了图片、视频防盗链，但是百度将原网站所有的图片、视频等全包同步到了自己的存储器里面，请问，对于防盗链的网站的资源，他们也是专人去做处理吗？
4. 本人是个爬虫新手，遇到的问题就是上面的问题，其实这几个问题也是通用爬虫的问题，求各位给点意见和建议。
5. 不胜感激涕零。

[xray888]

有人给解答一下吗

[gamexg]

/t/309948

1.2.
都是可以机器识别的。

3.爬虫的 referer 一般是空或者是网站 url，都不会碰到防盗链问题。

[gamexg]

对了，关于 1.2. 记得有开源实现，google 网页 正文 识别 。

[huangfs]

会有抓取模版匹配的。

[yeless]

正文抽取算法：
1.基于文本长度的算法，计算字符集密度
2.K-means，聚类中心点取值算法
3.标签模板

[xray888]

@yeless
@gamexg
@gamexg
@huangfs
谢谢回答。