windows下爬虫框架的安装-pyspiderl

命令行直接输入：
pip install pyspider 
不出意外的话肯定会报错，怎么解决呢？

一，下载pycurl 库

下载地址：

https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl 

这里注意 选择与自己下载python版本相对应的

 

下载好之后将下载的文件放在python 目录下像我一样

然后在回到cmd 

   先  cd D:python3 下 然后执行下边命令

   pip install pycurl-7.43.0.3-cp38-cp38-win_amd64.whl  

 （这里 .whl文件名 是你下载的那个.whl文件名） 

 切勿直接复制

 

二，安装pyspider 

直接cmd 下

pip install pyspider

三，此时在运行pyspider 还是会报错

打开python安装目录，找到下边这四个文件(这里给大家截图看不懂文字的直接看图，标注的很清楚)。

1)Libsite-packagespyspiderrun.py

2)Libsite-packagespyspiderwebuiapp.py

3)Libsite-packagespyspiderfetchertornado_fetcher.py

重点来了，将这三个文件里边的async 全部修改为 async123（新手的话装一个小红本打开就好）

4)Libsite-packagespyspiderwebuiwebdav.py

将这个文件里边的
209行的  ‘domaincontroller’: NeedAuthController(app),
修改为
‘http_authenticator’: {
        ‘HTTPAuthenticator’: NeedAuthController(app),
},

四，运行pyspider测试是否成功安装

最后 在来运行 pyspider

此时打开浏览器试试 127.0.0.1:5000 

 

完美解决！

推荐文章++++

*中国网络爬虫违法违规案例收集与总结

*只因写了一段爬虫，公司200多人被抓！

*Proxy_Pool：简易爬虫代理IP池