岗位职责:
1.设计和开发分布式网络爬虫程序;
2.分析爬取过程,提供技术实现方案;
3.分析静态网页结构,解析网页数据,对数据进行过滤,去重,结构化处理;
4.设计优化爬虫调度系统,优化调度策略。
职位要求:
1.熟悉 Python Web 开发框架如 Django
2.熟悉前端技术,HTML,JavaScript,Ajax 等;
3.熟悉 MySQL, 和 RabbitMQ,熟练掌握至少一种数据库的使用方法;
4.有较强的逻辑分析能力和良好的自学能力。
简历请发送
[email protected]