V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wyan453351466
V2EX  ›  程序员

可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 0.1 版本发布

  •  2
     
  •   wyan453351466 · 2018-04-24 11:09:56 +08:00 · 5105 次点击
    这是一个创建于 2165 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自己写的一个爬虫框架哈,第一个版本。请大家轻喷。

    不知道为什么提起爬虫很多人第一个想起来的是 Python。其实 PHP 写爬虫也可以写的很好,而且个人感觉并不比前者差啊。而且对于 PHP 作为主语言的人来说,用 PHP 写爬虫也更顺手一些。

    特性:

    • 极易上手,具备完善的文档和示例
    • 支持多并发爬取
    • 支持基于 xpath、css 选择器解析内容
    • 模拟浏览器行为,如 user-agent、cookie、提交表单
    • 支持断点续爬、失败重试、代理、并有完善的爬取日志
    • 健壮的底层库,HTTP 客户端基于 guzzle,dom 解析基于 symfony/dom-crawler 库

    Github 地址: https://github.com/wyan001/xcrawler

    查看文档: https://xcrawler.yanshuju.com/docs/

    微信交流群

    71524538865_.pic.jpg
    12 条回复    2018-04-25 10:56:27 +08:00
    drug
        1
    drug  
       2018-04-24 11:50:22 +08:00 via Android
    膜拜言说大佬_(:з」∠)_
    wwek
        2
    wwek  
       2018-04-24 11:54:05 +08:00
    支持~
    选 symfony/dom-crawler 绝对是最佳
    之前写过一遍博客说 写爬虫时 PHP 解析 HTML 最高效的方法那就是用 DomCrawler!
    ben1024
        3
    ben1024  
       2018-04-24 12:12:40 +08:00
    phpspider >.<
    zqjilove
        4
    zqjilove  
       2018-04-24 12:23:43 +08:00
    phpspider >.<
    zqjilove
        5
    zqjilove  
       2018-04-24 12:24:32 +08:00
    phpspider 用过几次,感觉还不错。简单明了。
    wyan453351466
        6
    wyan453351466  
    OP
       2018-04-24 14:58:36 +08:00 via iPhone
    @zqjilove phpspider 的多并发爬取好像是开了多个子进城去爬的。xcrawler 的并发爬取是利用的 php 内置的 curl multi,所以有更高的性能和更低的消耗。另一方面 xcrawler 在爬虫核心组件上直接引用了成熟的组件,所以稳定性上会有更好的表现( Phpspider 是自己造的轮子)。还有一些其他的好处等待你阅读文档去发现🤣
    wyan453351466
        7
    wyan453351466  
    OP
       2018-04-24 14:59:23 +08:00 via iPhone
    @wyan453351466 子进程,写错了
    guke1991
        8
    guke1991  
       2018-04-24 19:21:04 +08:00
    下次写爬虫试试
    Seth8277
        9
    Seth8277  
       2018-04-24 21:43:05 +08:00 via Android
    wyan453351466
        11
    wyan453351466  
    OP
       2018-04-24 23:00:55 +08:00 via iPhone
    @Seth8277 手机端文档有点 bug,还没处理😂(明天解决下)
    jisibencom
        12
    jisibencom  
       2018-04-25 10:56:27 +08:00
    不是 WEB 操作的,不会用。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3312 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 13:20 · PVG 21:20 · LAX 06:20 · JFK 09:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.