岗位要求：
1. 负责公司业务所涉及数据的爬取，清洗，结构化，ETL；
2. 负责持续运营和更新爬虫以及数据；
3. 负责基础组件维护（验证码平台 无头浏览器平台等）；
3. 负责数据仓库及管道建设；

任职要求
1、熟练使用java或python语言开发；
2、熟练掌握网页抓取原理及技术，熟悉网站登录原理，熟悉基于正则表达式、XPath、CSS等网页信息;
3、熟悉MySQL等关系型数据库以及SQL语言，至少掌握一种NoSQL数据库
4、能解决如图片验证码/滑块/账号限制/ip限制/访问频繁限制等问题者优先
5、有互联网、电商平台、移动端数据、政府网站爬取技术经验者优先。