使用scrapy-redis构建分布式爬虫,需要在settings.py文件中设置( )。
举一反三
- 使用Scrapy框架开发爬虫项目时,下列说法正确的是() A: scrapy startproject myweekly 用于创建一个scrapy项目。 B: scrapy genspider weekly 可以创建一个爬虫 C: 在一个项目中,只能创建一个爬虫 D: useragent伪请求头可以在start.py文件中设置
- Scrapy-redis中redis的作用是( )。
- Scrapy爬虫框架中,Scrapy Engine负责( )。
- 对于爬虫描述错误的是 A: 分布式爬虫和对等式分布爬虫主要是存储物理位置有区别 B: 对于主从式分布爬虫,不同的服务器承担不同的角色分工 C: 对于对等式分布爬虫,每台服务器承担相同的功能 D: 一个大型分布式爬虫的3个等级:分布式数据中心、分布式抓取服务器、分布式爬虫程序
- Scrapy爬虫框架在新建爬虫时,可以使用模板。下列( )不是目前可用的scrapy官方模板。