以下关于网络爬虫的描述中，错误的一项是（）。

以下关于网络爬虫的描述中，错误的一项是（）。
A.在爬虫开始的时候，需要给爬虫输送一个URL列表，作为爬虫的起始位置
B.根据某种抓取策略爬行新发现的URL，如此重复下去
C.爬虫程序会抓取所有网页，以保证搜索正确性
D.对于商业搜索引擎来说，分布式爬虫是必须采用的技术
正确答案：C