张老师2018/05/22         
岗位职责:
1、大数据平台核心组件的选型、核心功能模块的开发工作;
2、基于Spark技术的海量数据的处理(抽取、过滤、清洗、转换、存储等);
3、协助数据挖掘工程师根据数据模型进行数据监控、统计分析、报表展现等;
4、研究Spark/Hadoop集群技术,持续优化集群架构,发现并解决重大故障及性能瓶颈。
任职要求:
1、精通Java多线程编程,常用设计模式,以及常用海量数据处理方法;
2、精通Hadoop生态系统组件,如:Spark、Flume、Kafka、HBase、Hive、ZooKeeper等;
3、有丰富的数据库设计、开发经验,熟悉关系型数据库、NoSql等;
4、熟悉Linux环境开发,熟练使用Shell、Python等脚本语言之一;
5、具有ETL、OLAP、OLTP实际工作经验之一。