岗位职责：
1、负责大数据平台相关组件的设计开发；
2、负责业务系统数据收集、处理、存储、调度等方案的设计开发；
3、负责大数据平台对开源代码的二次开发。
岗位要求：
1、3年以上大数据开发经验;
2、精通python、Java开发，扎实的数据结构，算法功底；
3、熟悉Linux下开发，熟练使用shell/sql;
4、熟悉hadoop/flume/kafka/storm/Spark/clickHouse等相关技术;
5、有深入研究过大数据框架的运行机制、实现原理、源码；
6、有大规模数据收集，清洗，数据处理的经验；
7、有大数据查询系统（包括Phoenix、Presto、Impala、Kylin、Greenplum等）经验者优先；
8、有数据分析经验者优先；
9、有服务开发（Spring Boot、Datax、Spring Cloud、Dubbo服务框架等）经验者优先。
10.有gpt使用经验优先