職位名稱：電商數據采集工程師（全職/兼職/API合作）有數據源也可以合作

職位類型：技術開發｜遠程｜薪資面議（根據經驗及合作方式具體洽談）

職位描述：

我們致力于搭建多平臺電商商品數據監測系統，現需高效獲取以下平臺商品詳情數據：

覆蓋平臺：淘寶/天貓（TB）、京東（JD）、拼多多（PDD）、抖音電商（DY）、快手小店（KS）、美團（MT）、餓了么（ELM）等。

數據用途：價格動態監控、競品分析、市場趨勢預測等深度數據挖掘場景。

崗位職責：

設計并開發高穩定性、高精度的電商平臺數據采集系統，支持日均百萬級數據請求；

攻克平臺反爬機制（加密參數、IP封禁、行為驗證等），保障數據獲取連續性；

實現多維度數據解析：商品基礎信息、SKU價格、促銷活動、用戶評價、銷量等；

構建數據清洗及校驗機制，確保字段完整性與準確性（誤差率≤0.1%）；

提供標準化數據輸出接口（JSON/MySQL），支持業務團隊實時調用。

任職要求：

技術能力：

精通Python/Java，熟悉Scrapy、Selenium、MitmProxy等爬蟲框架；

掌握分布式爬蟲架構（Redis/Kafka/集群部署），具備高并發場景優化經驗；

熟悉JS逆向、字體反爬、驗證碼破解等技術難點；

了解APP端數據抓取方案（Charles/Fiddler抓包、Xposed框架等）。

經驗要求：

3年以上電商數據采集實戰經驗，需提供成功案例（如商品詳情頁完整字段抓取）；

熟悉各平臺API調用限制政策及法律合規邊界。

協作要求：

兼職/合作需承諾響應時效（如系統故障2小時內修復）；

API供應商需提供歷史穩定性報告（如99.9%可用性證明）。

加分項：

自研成熟電商數據API接口，支持多平臺即接即用；

擁有抖音/快手等直播電商數據獲取經驗；

熟悉價格監測模型構建及數據可視化方案。