崗位職責:
1.?負責基于?Transformers?的生成式大模型的監督微調(SFT),以適應特定的應用場景,如文本生成、對話系統等;
2.?應用?LoRA(Low-Rank?Adaptation)和其他高效的微調技術(PEFT)來優化模型大小和訓練效率,同時保持高性能;
3.?實現和優化模型訓練流程,包括數據預處理、模型訓練、評估和部署;
4.?為生產環境部署模型,確保模型能夠高效運行并滿足實時響應的需求。
5.?研究最新的模型壓縮和加速技術,持續改進模型性能;
6.?與其他團隊成員合作,包括數據科學家、軟件工程師和產品經理,共同
推動項目的進展;
7.?編寫高質量的技術文檔和報告,支持內部知識共享和技術交流。
??任職要求:??
1.?計算機科學或相關領域的碩士及以上學位;??
2.?有深度學習模型開發經驗,特別是基于?Transformers?的生成式??
大模型的監督微調經驗;??
3.?熟練掌握?PyTorch?或類似深度學習框架,并具備使用這些工具進行大規??
模模型訓練的能力;??
4.?熟悉?Transformers?底層架構和代碼、有?LoRA?或其他?PEFT?方法的實際應用經驗,熟悉不同框架的優缺點;??
5.?了解規模分布式訓練系統,了解?GPU?和?TPU?等高性能計算平臺;??
6.?具備良好的算法基礎和數學基礎,特別是在深度學習相關算法相關的基??
礎;??
7.?有較好的英語閱讀能力,能夠閱讀最新的英文技術文獻。??
加分項:??
1.?在頂級學術會議(如?NeurIPS、ICML、ACL?等)上發表過關于?Transformers或?LoRA?相關的論文;??
2.?開源社區貢獻者,擁有?GitHub?上活躍的個人項目。
??
??!!!!!!可提供北京落戶!!!!!