**职位描述**

- 负责国外网站定向采集；
- 负责网页接口、APP或小程序数据抽取、清洗、消重等工作，提升平台的抓取效率；
- 负责爬虫核心算法和策略优化，熟悉采集系统的调度策略；
- 实时监控爬虫的进度和警报反馈；
- 参与已有爬虫系统中作业的检验，设计和优化爬虫策略，充分利用已有服务器及宽带资源进行优化;

**任职要求**

- 熟练使用python语言开发;

- 精通 feapder、feaplat 者优先；

- 熟练使用MongoDB，Mysql数据库，Redis等中间件使用经验；

- 具备分布式爬虫经验；

- 熟悉 linux、docker、git；

- 熟悉 js 加解密、五秒盾、验证码识别、代理池、用户池等技术；

- 熟练使用 numpy、pandas、re、xpath 等，能够从结构化的和非结构化的数据中获取信息；
此工作地点：浙江宁波余姚