1、負責基于Hadoop/Spark等生態系統的大數據平臺的架構設計、技術選型、搭建、開發、管理、監控和性能調優,保證集群高效穩定運行,對數據應用提供數據存儲、查詢引擎、實時計算、元數據管理的架構設計;
2、系統核心部分代碼編寫、指導和培訓工程師、不斷進行系統優化;
3、負責項目中數據準備、模型建立、模型跟蹤、模型優化、模型維護、部署和評估等閉環流程,為產品優化及業務決策提供分析支撐及技術支持;
4、打造有行業競爭力的系統,能夠支撐快速發展的數據業務。
任職要求:
1、3年或以上的大數據從業經驗,5年以上數據挖掘相關經驗,具備扎實豐富的大規模數據分析建模工作經驗,參與過有大規模分布式數據存儲與計算開發,具備一線互聯網公司背景優先;
2、有大型分布式系統設計經驗,負責過海量數據平臺上高可用、高性能分布式系統的架構設計;
3、精通CDH,精通Hadoop/Spark技術體系,熟練掌握Mysql/Mongodb/Hive/Hbase/Kafka/ES等主流數據庫系統,熟練AIRFLOW等調度工具,熟練使用Java、Python編程語言;
4、能夠熟練使用java、Python等編程語言,對大數據基礎架構和平臺底層原理有深度理解和豐富開發經驗,對復雜系統的性能優化和穩定性提升有一線實戰經驗;
5、可以快速理解和適應相關業務,有良好的數據敏感度和自驅力,善于捕捉業務需求、架構設計存在的問題,并給出有效的解決措施和方法。