岗位职责:
1、负责公司爬虫平台的技术调研、需求开发、难点攻关和运维优化
2、实时监控爬虫的运行状态和预警处理
3、参与数据层建设，进行多平台信息的抓取和分析，实现数据去重、解析、清洗、入库、统计分析等需求
4、负责持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进，提升公司相关产品与服务的竞争力
任职资格:
1、1年以上爬虫工作经验，善于沟通，工作积极，态度认真，有主动学习精神；
2、精通python语言，对scrapy或者其他爬虫框架有研究了解
3、熟悉APP攻防逆向，包括但不限于：逆向分析、协议破解、设备改机、虚拟多开等
4、对于常见网站的反爬技术如js加密混淆等有分析应用；
5、熟悉Linux平台开发，并且熟悉多线程模型编程、网络编程，熟悉HTTP、TCP/UDP协议
6、 了解mysql，redis等数据库的使用