1.Scrapy对接Selenium
2.python安装scrapy，源码所需要安装的讲解包都安装好了，但是源码在最后安装scrapy时，老是讲解出现错误
3.[scrapy]scrapy-redis快速上手/scrapy爬虫分布式改造

Scrapy对接Selenium

       Scrapy抓取网页的方式与Requests库相似，主要通过HTTP请求。源码然而，讲解源码安装https遇到JavaScript渲染的源码页面，Scrapy就无法直接获取数据。讲解针对这种情况，源码有两种常用处理方式：一是讲解分析Ajax请求，抓取其对应的源码接口数据；二是利用Selenium或Splash模拟浏览器行为，获取页面最终展示的讲解酷q签到源码结果。在Scrapy中，源码如果能与Selenium结合，讲解就能处理各种网站的源码抓取。

       本文将介绍如何在Scrapy框架中集成Selenium，以抓取淘宝商品信息为例。首先，创建一个名为scrapyseleniumtest的新项目，并在Spider中进行设置。将ROBOTSTXT_OBEY设置为False，定义ProductItem，并在start_requests()方法中生成包含搜索关键字和分页页码的团队任务管理源码请求。

       在Middleware中，我们实现process_request()方法，利用PhantomJS加载URL并渲染页面。当接收到Request时，通过PhantomJS加载对应的URL，获取页面源代码并构造一个HtmlResponse对象。这样，Scrapy不再直接下载页面，而是通过Middleware将Response传递给Spider进行解析。

       Middleware的process_request()方法会触发其他Middleware的处理，然后将Response传递给Spider的足浴公众号源码回调函数。在回调函数中，使用XPath解析网页内容，构造ProductItem对象，并通过Item Pipeline将结果存储到MongoDB。

       在settings.py中开启Middleware和Item Pipeline的调用，最后通过命令行启动爬虫。运行后，会看到MongoDB中存储的抓取结果。

       整个过程通过Scrapy与Selenium的集成，实现了对JavaScript渲染页面的抓取，代码示例可在GitHub上找到。诱导付费app 源码作者崔庆才为Python爱好者社区的作者，如需进一步交流，可以添加其个人微信。

python安装scrapy，所需要安装的包都安装好了，但是在最后安装scrapy时，老是出现错误

       scapy安装的错误有几种类型。

       因为网络限制，你无法自动下载依赖的库

       因为版本冲突问题，导致你安装scapy时无法完成安装，或者是安装无法正确使用

       因为编译的位数不同位和位不同，导致的问题

       解决办法：

       简单的解决办法。如果scrapy对你很重要。重新安装一套python2.7然后从头安装scrapy，可以从pypi网站上下载。也可以从unofficial来源，一口气安装好的包。

       耐心的解决办法。把scrapy的源码拿过来，执行python setup.py install，遇到哪个包不好用，就替换掉。办法是将那个包的源代码拿过来，先删除site-packages里的相应包，再手工执行python setup.py install。要有心理准备，很可能需要vc++ 的编译器。

       最简单的办法，使用pip install scrapy。 如果你是在ubuntu下面apt-get install python-scrapy就搞定了。

       关于爬虫框架，你可以看下这本书，里面很详细的讲解到了这块的东西，希望能够解决你在学习Python的过程中遇到的问题

[scrapy]scrapy-redis快速上手/scrapy爬虫分布式改造

       本篇文章旨在快速上手使用scrapy-redis将Scrapy爬虫改造为分布式安装。首先，确保已安装所需python库和数据库，注意版本问题，避免过低。

       在配置redis时，修改scrapy项目中的setting.py文件，添加代码以适应分布式需求。对于item pipeline，您可以按照原有逻辑存储数据，或选择先使用redis存储，之后统一转移，例如直接存入mysql。

       修改spiders目录下的爬虫文件，将类继承改为Redisspider。若需让slave直接将数据存储至master数据库，别忘了调整slave的数据库连接设置。

       启动分布式爬虫，通过命令scrapy crawl xxxxx启动master，crawl xxxxx启动slave。提供了一个demo源码供参考和修改使用，代码链接：github.com/qqxx/scr...-demo。在遇到问题时，欢迎留言提问或通过邮箱qqxx@gmail.com寻求帮助。

       参考资源：cnblogs.com/zjl6/p/...