崗位職責：

1、設計分布式網絡爬蟲系統，支持多平臺廣告素材的抓取（如網頁、APP、API接口）。

2、開發廣告素材解析模塊，提取關鍵信息

3、優化爬蟲算法，提升抓取效率、數據處理與清洗

4、對抓取的廣告素材進行結構化處理（如分類、去重、標簽化）

5、清洗低質量數據（如模糊圖片、重復文案），確保數據準確性。

任職標準

1、編程語言：精通Python（主流選擇）或Java，熟悉異步編程（如asyncio）及多線程/多進程技術。

2、爬蟲框架：熟練使用Scrapy、WebMagic等開源框架，或具備自主研發框架經驗。

3、數據處理：掌握Pandas、NumPy等庫，熟悉MySQL、MongoDB、Redis等數據庫操作。

4、反爬技術：了解TCP/IP、HTTP協議，熟悉JS逆向、加密算法破解（如RSA、AES）、驗證碼識別（如OCR、深度學習模型）。

5、分布式系統：熟悉消息隊列（如Kafka、RabbitMQ）、分布式調度（如Celery、Airflow）及緩存技術（如Redis）。