大数据运维开发工程师

到岗时间：1个月之内 婚况要求：不限婚况 岗位职责：负责提升基于HIve、Hbase数据存储集群的高可用性、高性能、高扩展特性；
负责设计和建立基于Storm或Spark实时数据处理框架；
研究Hadoop/Spark/Hbase/Hive等开源项目，对线上任务进行调优，并开发通用组件；
负责技术攻关和创新技术引用，开发具有数据分析、数据挖掘能力的创新型产品；
维持实时大数据平台高效稳定；
任职要求：本科及以上，计算机、软件工程、统计学、数据挖掘、机器学习等相关专业，2年以上大数据架构经验；
扎实的Java、Scala语言基础，对JVM运行机制有深入了解；
熟悉Hadoop、Spark并有丰富的开发经验；
熟练使用java语言，并掌握spring、mybatis等开源J2EE框架；
使用java、scala、python等开发语言中的一种，有python和scala实际使用经验更佳；
有hadoop和spark实际开发经验；
了解大数据组件的使用限制和应用场景，如hdfs,yarn,hbase,hive,flume,kafka,zk,impala,kylin,kudu,ES,Storm、MongoDB等；
熟悉mysql、ElasticSearch、Redis等关系型或NoSQL数据库，了解应用场景和使用限制；
有实际调优经验者更佳；
熟悉linux常用命令，有实际CDH或HDP或apache版本的hadoop部署经验者优先；
熟悉并行计算或者分布式计算，熟悉Spark框架,熟练掌握RDD，SQL,Streaming,MLLIB，SparkR编程；
有深入研究过Hadoop/Spark源码者优先；
深入理解MapReduce工作原理，HDFS分布式文件系统架构；
熟练掌握Hadoop/Hive/Hbase的运维和调优方法；
掌握或使用过Storm、Spark、flume、kafka等工具；