公司名称：长沙某网络科技公司
工作地点：长沙
岗位职责： 
1. 参与规划和实施公司数据平台的搭建以满足未来1-2年的数据分析要求； 
2. 参与公司CDP平台的整体数据架构设计，完成从业务模型到数据模型的设计工作 ； 
3. 负责基于Spark的数据平台研发工作（包扩离线计算，数据仓库存储和处理等）； 
4. 对业务开发团队提供技术支持，协助方案规划； 
5. 维持线上服务高效稳定，支撑业务和数据量的快速扩张。 

岗位要求： 
1. 有java开发基础，熟悉Spark相关技术，至少有3年以上的大数据开发经验（有过带教经验优先考虑，本岗往Leader方向培养）； 
2. 熟悉流式计算平台的搭建，例如使用Flink / Spark Streaming和kafka结合的实时数据处理系统，实现数据实时大屏； 
3. 理解离线和实时数据仓库的治理方法和分层逻辑； 
4. 熟悉Scala语言，对Scala原理、底层技术有深入研究者优先； 
5. 深入理解MapReduce工作原理，HDFS分布式文件系统架构； 
6. 熟练掌握Hadoop/Hive/HBASE的运维和调优方法； 
6. 熟悉mysql, ElasticSearch, Redis等关系型或NoSQL数据库，了解应用场景和使用限制，有实际调优经验者更佳； 
7. 熟悉Linux/Unix操作系统,会写Shell，会使用Git； 
8. 了解大数据组件的使用限制和应用场景，包括但不仅限于: hdfs, yarn, hbase, hive, flume, kafka, zookeeper, kylin, kudu, ElasticSearch, Storm, MongoDB等； 
9. 了解掌握TensorFlow者优先； 
10. 熟练的英文技术文档阅读能力