一周搞定Python爬虫，网络爬虫实战第六天-Scrapy中调试的使用

1. 一周搞定Python爬虫，网络爬虫实战第六天-Scrapy中调试的使用

2. scrapy在爬网页的时候是自动采用多线程的吗

　　scrapy在爬网页的时候是自动采用多线程的。
　　scrapy基于twisted异步IO框架，downloader是多线程的。
　　但是，由于python使用GIL（全局解释器锁，保证同时只有一个线程在使用解释器），这极大限制了并行性，在处理运算密集型程序的时候，Python的多线程效果很差，而如果开多个线程进行耗时的IO操作时，Python的多线程才能发挥出更大的作用。（因为Python在进行长时IO操作时会释放GIL）
　　所以简单的说，scrapy是多线程的，不许要再设置了，由于目前版本python的特性，多线程地不是很完全，但实际测试scrapy效率还可以。