架构图

HunterX架构图

yuanshaohang

通过这个图形，你可以清晰的了解到框架内部的运作机制，以及请求的生命周期。

拆分讲解

• Spider-start_requests：爬虫任务起始位置
• middleware：中间件hook模块
• Spider-Manager：任务管理中心
• Scheduler：任务调度模块
• Downloader：下载器模块
• Item：数据存储模块
• Pipeline：数据处理管道模块

流程说明

1. start_requests 生成起始请求给到 Spider-Manager
2. Spider-Manager 异步启动生产者将请求体消息，根据优先级放到请求队列，同时也异步启动消费者
3. 消费者 按照优先级顺序传递给 Scheduler
4. Scheduler 按照消息体内容，传递请求体回到 Spider-Manager
5. Spider-Manager 调用 Downloader 进行数据下载
6. Downloader 将响应内容返回给 Spider-Manager
7. Spider-Manager 将响应内容反馈到爬虫解析模块
8. 爬虫解析模块进行数据解析并将数据传递给 Item
9. Item 将数据暂时保存，等待 pipeline 的接收处理
10. pipeline 接受并处理 Item 的数据，清洗或持久化等操作

注意

以上每一个步骤都是异步进行操作，所有可能出现阻塞的地方都会进行异步等待，提高整体架构流程的效率

版权所有

版权归属：袁少航

本文链接：/guide/nwr4dcln/

许可证：署名 4.0 国际 (CC-BY-4.0)