自定义配置
约 210 字小于 1 分钟
2025-01-14
在实际开发中,经常会有这样的需求,某一个任务需要单独配置参数,而不使用全局配置,那么框架内同样也是支持这样的功能
使用
在目标爬虫文件中定义 custom_settings = {}
以键值对格式填写即可完成自定义配置参数
- 示例
first_spider.py
# -*- coding: utf-8 -*-
import hunterx
from hunterx.spiders import MemorySpider
class FirstSpiderSpider(MemorySpider):
name = 'first_spider'
custom_settings = {
'PREFETCH_COUNT': 15 # 并发数
}
def __init__(self):
self.header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
def start_requests(self):
url = 'https://www.baidu.com/'
yield hunterx.Requests(url=url, headers=self.header, callback=self.parse, level=1)
async def parse(self, response):
print(response.status_code)
if __name__ == '__main__':
start_run = FirstSpiderSpider()
start_run.run()
这样就完成了对并发数的自定义配置
提示
settings.py
中的所有参数都支持在自定义中配置