2018-10-31

Scrapy分布式原理

放上B站视频链接地址，崔庆才崔大大讲的很好。https://www.bilibili.com/video/av19057145/?p=29

Scrapy单机架构

分布式爬虫架构

将上图修改后：

我们用什么来维护我们的队列呢？

如何去重?

如何防止中断？如果某个slave因为特殊原因宕机，如何解决？

如何实现上述架构？

github上Scrapy-Redis的地址：https://www.bilibili.com/video/av19057145/?p=29

Y's Blog