V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
imxiaoi
V2EX  ›  酷工作

[石家庄] 高级爬虫岗位

  •  
  •   imxiaoi · 2021-06-08 09:42:55 +08:00 · 1241 次点击
    这是一个创建于 1025 天前的主题,其中的信息可能已经有所发展或是发生改变。
    高级爬虫工程师
    工作职责:
    1.负责开发网络爬虫系统以及优化爬虫策略(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等),进行多平台信息的抓取和分析;
    2.负责海量数据的爬取、清洗、解析、入库;
    3.负责研究各类反爬机制,解决封账号、封设备、封 IP 、验证码、页面跳转等难点攻克,提升网页抓取的效率和质量;
    4.不断提升数据抓取系统的自动化水平,提升爬虫系统的稳定性、可扩展性。
    任职资格:
    1.熟悉 web,app 抓取原理及技术,熟悉正则表达式,熟悉常用的爬虫网络框架及重要组件;
    2.熟悉 linux 开发环境和数据库,熟练使用 Python 和 Java ;
    3.精通爬虫和反爬技术,精通 http 底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP 抓取等技术;
    4.有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力,善于跨团队合作;
    5.良好的逻辑能力,善于把复杂问题梳理清晰,责任安排到人,完成情况监督到位;
    6.有大规模爬虫系统实现的经验。
    7.有 app 逆向分析经验优先

    简历投递: [email protected]
    5 条回复    2021-06-09 08:26:08 +08:00
    Yc1992
        1
    Yc1992  
       2021-06-08 10:12:39 +08:00
    爬虫写得好,____ 吃到饱
    murmur
        2
    murmur  
       2021-06-08 10:13:48 +08:00
    没看错吧,石家庄还有做爬虫的,这要求可不比一线大厂低哦,精通都那么多了
    njshiyanhz
        3
    njshiyanhz  
       2021-06-08 10:50:56 +08:00
    建议把薪资待遇写出来,这样也能提高筛选效率,避免双方浪费时间
    locoz
        4
    locoz  
       2021-06-08 11:03:33 +08:00 via Android
    石家庄居然也有招爬虫的了,难得一见
    wlzcool
        5
    wlzcool  
       2021-06-09 08:26:08 +08:00
    爬虫写得好,____ 吃到饱
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5427 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 08:55 · PVG 16:55 · LAX 01:55 · JFK 04:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.