自定义配置

约 210 字小于 1 分钟

2025-01-14

在实际开发中，经常会有这样的需求，某一个任务需要单独配置参数，而不使用全局配置，那么框架内同样也是支持这样的功能

使用

在目标爬虫文件中定义 custom_settings = {} 以键值对格式填写即可完成自定义配置参数

示例

first_spider.py

# -*- coding: utf-8 -*-
import hunterx
from hunterx.spiders import MemorySpider


class FirstSpiderSpider(MemorySpider):
    name = 'first_spider'
    custom_settings = {
        'PREFETCH_COUNT': 15  # 并发数
    }

    def __init__(self):
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
        }

    def start_requests(self):
        url = 'https://www.baidu.com/'
        yield hunterx.Requests(url=url, headers=self.header, callback=self.parse, level=1)

    async def parse(self, response):
        print(response.status_code)


if __name__ == '__main__':
    start_run = FirstSpiderSpider()
    start_run.run()