爬取数据须遵规
https://www.spp.gov.cn/llyj/202202/t20220210_543998.shtml

从三个方面划定数据爬虫技术合法使用的边界：
一是合法的网络数据爬取应限于对开放数据的获取。如果网络爬虫获取非开放的数据，便涉嫌违法甚至犯罪；
二是合法使用的数据爬虫技术不应具有侵入性，可以说，爬虫的侵入性是其违法性的主要体现；
三是数据爬取应当基于正当目的，对开放数据的获取可能因不符合正当目的而具有违法性。对开放的非商业性数据的爬取应当要求符合公共利益之根本目的。对开放的商业性数据的爬取则可借鉴版权法上的合理使用原则，要求基于合理利用目的。