公司名称：某IT公司
工作地点：厦门
任职资格： 
1、熟悉SQL的编写 
2、精通Spark streaming并有大型项目经验，熟悉Spark架构及内部实现，至少了解Spark shuffle机制，内存管理，任务调度, 有二次开发经验尤佳 
3、熟悉 Scala, Python语言及parquet文件存储格式 
4、熟悉流处理中常用算法和数据结构 
5、3年以上相关工作经验 
6、良好的沟通能力和学习能力，能独立解决问题 
7、有R, Julia语言或者Flink 项目经验尤佳 
加分项： 
  ● 有时间序列，图形数据库经验优先
岗位要求  
1、负责实时指标的加工及算法实现 
2、主动从各种数据集中发现有价值的指标并加以实现 
3、根据业务需求能够快速设计和实现合理的短期、中期、长期解决方案： 
4、 负责数据结构及算法的设计和实现 
5、用户画像：如同一家庭用户的识别，去重 
6、地理位置数据相关指标的实时采集、分析、加工  
7、H3 Geo Hex Cluster metrics  
8、其他数据分析挖掘模型算法的设计实施 
9、流计算框架 
10、开发基于Spark, Kafka ,HDInsight的大数据项目系统 
11、研究Flink, Dataflow, Materialize等.  
12、协助 Data scientist实现ML模型 
13、编写相关文档等