岗位职责：
1、设计和开发分布式网络爬虫系统，对接三方平台 API 以及进行网页数据爬取。
2、参与数据平台的搭建，优化数据处理流程；
3、搭建系统开发环境，完成系统框架与核心代码开发；
4、参与搭建内部数据仓库，定义并开发业务核心指标数据。
任职要求：
1、大学本科学历，计算机相关专业，熟悉 python 语言服务端开发，3 年以上开发经验，有数据爬虫开发经验；
2、熟悉 Flask，Django 等常见 Web 框架；
3、熟悉 MySQL、NoSQL 等常见数据库；
4、熟悉常见存储引擎的原理、特点以及主从复制原理和实践；
5、具有良好的编程思想、沟通、团队合作精神、优秀的分析问题和解决问题的能力；
6、有 Hive,Spark 等大数据开发经验者优先。
