1.全日制本科及以上学历，计算机、软件工程相关专业，大数据离线方向至少3年以上工作经验；
2.具备Spark离线计算项目(非shell脚本)开发经验，熟悉Hadoop原理，熟练掌握Scala语言，熟练使用Spark框架;
3.对Spark-core和Spark-sql的基础知识有较全面的了解；熟悉基本算子、自定义函数的使用；熟悉Spark作业提交的命令和资源参数等知识;
4.使用DSL风格开发优先；
5.有Spark调优经验的优先；
6.有hbase、hive、yarn等组件使用经验的优先。