崗位職責:
1、負責公司大數據平臺的部署、管理、容量規劃、性能優化、監控報警,持續對大數據平臺進行優化;
2、負責大數據平臺日常運維管理、服務監控、故障處理、集群性能和資源利用率優化,為開發人員提供技術支持;
3、負責大數據平臺自動化運維、監控報警、故障處理相關腳本和工具開發;
4、負責海量日志系統、分布式存儲的維護、優化;
5、負責MySQL等主流數據庫架構與高可用方案設計、優化、維護,制定數據庫監控、備份、容災策略;
崗位要求:
1、本科及以上學歷,計算機相關專業,2年以上大數據運維或相關工作經驗;
2、深入理解linux系統及運維體系結構,精于容量規劃、架構設計、性能優化,能夠獨立排查及解決操作系統層面的問題;
3、熟悉主流大數據計算引擎(Hadoop、Spark、Flink等),深刻理解內部機制和原理;
4、對Hadoop生態技術體系有深入理解,包括但不限于HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Kudu/Kylin/Amabari//Elasticsearch等組件的工作原理、安裝調試、性能優化;
5、熟悉大數據組件的容災、擴容、備份、優化管理,具有較大規模集群的設計、部署和調優經驗;
6、熟悉Python/Shell等一種以上開發語言,了解常用算法和數據結構;
7、有運維自動化、監控系統、發布系統、大數據平臺等開發經驗優先考慮;
8、熟悉MySQL數據庫的管理、擴容、備份、災備、優化、高可用及垂直、水平伸縮、擴展方案為加分項;