请简述爬虫是如何抓取网页的。
举一反三
- 已抓取URL队列记载了爬虫系统已经下载过的网页URL,能够避免网页的重复抓取。
- 网络爬虫（又称为网页蜘蛛，网络机器人，网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。一般爬虫分为（） A: 通用网络爬虫 B: 聚焦网络爬虫 C: 增量式网络爬虫 D: 深层网络爬虫
- 以下关于网络爬虫的描述中，错误的一项是（）。 A: 在爬虫开始的时候，需要给爬虫输送一个URL列表，作为爬虫的起始位置 B: 根据某种抓取策略爬行新发现的URL，如此重复下去 C: 爬虫程序会抓取所有网页，以保证搜索正确性 D: 对于商业搜索引擎来说，分布式爬虫是必须采用的技术
- 请简述网络爬虫的基本流程。
- 请简述爬虫技术通用框架的基本原理。