职位描述
数据挖掘
数据清洗
数据采集
爬虫开发
反爬虫
分布式爬虫
岗位职责
1. 参与爬虫项目的研发、编程工作，改进和提升爬虫效率
2. 设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量
3. 建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善
4. 解决常见的反爬虫问题
5. 熟悉采集系统的调度策略，以及爬虫数据库存储设计

任职要求
1. 3年以上爬虫相关经验，有扎实的算法和数据结构能力，精通python，熟悉爬虫原理，熟悉常见的反爬虫技术
2. 熟悉web，搭监控平台以及数据展示后台；
3. 熟悉js逆向，懂得理解反爬逻辑，熟悉爬虫数据的分布式存储设计及代码实现
4. 精通scrapy爬虫框架，对分布式爬虫、海量数据采集有深刻理解
5. 掌握使用fiddler等, 熟练掌握正则表达式, 能够对接mysql/hadoop/hive/hbase/mangodb/redis等数据库
6. 有解决复杂的反爬限制实践经验，能解决如图片验证码/滑块/账号限制/ip限制/动态js数据解析/加密数据破解/app逆向等问题
7. 做事有责任心、有想法、热爱技术，喜欢钻研
8. 具有较好的沟通能力，并积极与本团队和其他团队沟通，解决问题
9. 思维能力强，思路清晰，逻辑缜密，善于思考，能独立分析
10. 对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力