+
Skip to content

面向 Web 数据采集任务的开源爬虫框架,支持接口调用、任务调度、会话管理等核心功能,适用于构建具备一定反爬能力的自动化采集系统(抖音|小红书|淘宝|京东)

License

Notifications You must be signed in to change notification settings

alexQi/WebPhantom

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

🕸️ WebPhantom |任务驱动的智能采集框架

🎯 WebPhantom 是一套面向 Web 数据采集任务的开源通用框架,支持接口调用、任务调度、会话管理等核心功能,适用于构建具备一定反爬能力的自动化采集系统。

本项目设计的结构是为了灵活应对各种业务场景,所以可能会有些复杂,如确有需要请联系我。以学习为目的的请自行摸索。


⚙️ 核心功能

模块 说明
✅ 接口调用调度 支持通过 API 发起数据采集任务,自动任务分发与管理
✅ Session 管理 支持账号上下文、Cookie/Token 注入与轮换
✅ 多任务队列 基于优先级的任务队列调度系统
✅ 状态管理 任务状态跟踪,支持失败重试、断点恢复
✅ 扩展能力 快速扩展到其他平台、自定义中间件与持久化存储逻辑

📦 框架轻量、可嵌入其他系统,也可独立部署。


🚀 快速使用

git clone https://github.com/alexQi/webphantom.git
cd webphantom
go mod tidy
go run cmd/api/main.go

API 示例、配置说明等文档请查看 api/ 内逻辑。


🧠 使用场景

  • 电商、社媒、内容平台的中小规模数据采集
  • 内部运营分析、价格监控、品牌监测等自动化数据来源
  • 结合 AI 模型做数据供给(如训练语料、评论分析等)

🌟 高级版本:WebPhantom Pro

当前版本为基础功能开源版,如您需要以下高级能力,可联系我们获取 Pro 商业版本:

  • 🔐 智能反爬机制绕过(滑块、行为检测、加密参数等)
  • 🧭 用户行为自动模拟(滚动、点击、输入、滑动等)
  • 📈 数据链路追踪与自动分类(自动解析关键响应)
  • 🧱 分布式采集调度 & 横向扩展部署
  • 🤖 集成 AI 判断模块进行采集筛选

📄 了解更多高级功能

📩 获取方式
请通过邮件或私信联系作者,获取 Pro 版本试用或商务合作方案。


📜 许可证与授权

WebPhantom 开源版采用 MIT License,允许用户在遵守许可证条款的前提下免费使用、修改和分发代码。详细条款请见 LICENSE 文件。

授权说明

  • 开源版:适用于学习、个人项目和非商业用途。商用用户需保留原作者版权声明。
  • Pro版:为商业用户提供高级功能,需通过作者授权获取。

限制:严禁将开源版代码用于违反平台协议、侵犯隐私或任何非法用途的行为。作者对不当使用导致的后果不承担责任。


⚠️ 免责声明

本项目仅供合法合规用途,严禁用于任何违反平台协议、侵犯隐私或法规的行为。使用所产生的风险与责任由使用者自行承担。


❤️ 支持项目

如果你觉得这个项目有帮助,欢迎 Star ⭐ 或 Fork 🔁 支持持续维护!

About

面向 Web 数据采集任务的开源爬虫框架,支持接口调用、任务调度、会话管理等核心功能,适用于构建具备一定反爬能力的自动化采集系统(抖音|小红书|淘宝|京东)

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

点击 这是indexloc提供的php浏览器服务,不要输入任何密码和下载