高級網絡爬蟲工程師

網絡爬蟲工程師
職位描述
-?參與公司所需的爬蟲系統架構設計、數據庫設計；
-?負責網絡爬蟲的核心技術研究和開發，參與各種核心搜索策略、算法、數據聚類、重組的設計與開發；
-?設計策略和算法，提升網頁抓取的效率和質量；
-?分析爬蟲系統的技術缺陷，對策略架構做出合理地調整和改進。
-?能夠快速且有效的進行數據清洗語文本挖掘
-?了解HTTP協議和各種Web前端技術(PHP/CSS/HTML/JavaScript/AJAX等)
崗位要求：
-?3年以上Java、python或C/C++開發經驗，熟悉常用的信息抓取策略和數據重組算法；
-?精通信息抓取和整合技術，從結構化的和非結構化的數據中獲取信息，掌握正則表達式；
-?熟悉大規模網頁爬取，深度網頁爬取，熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具優先考慮；
-?了解Mongodb、HBase、HIVE等NoSQL數據庫，并精通關系型數據庫的開發；
-?熟悉網絡爬蟲相關技術，如有分類、聚類、索引、檢索等相關開發經驗者優先。
-?英語流利者，精通計算機軟硬件維護者優先