如果通过.htaccess 禁止 Scrapy 扫描网站

2020-03-19 09:09发布

如果通过.htaccess  禁止  "Scrapy/1.7.3 (+https://scrapy.org)"

如果通过.htaccess  禁止  "Scrapy/1.7.3 (+https://scrapy.org)"