立博在线官方登录
  咨询电话:15221212964

libo在线备用APP

Centos7-Pyspider单机版安装

安装的centos版本:CentOS-7-x86_64-DVD-1804.iso

安装的python版本:Python3.6.2

系统为最干净的系统,只安装了一个界面,界面不安装也可以

    centos7自带版本为:

[root@localhost ~]# python

Python 2.7.5 (default, Apr 11 2018, 07:36:10)

[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>> 

    安装python3.

下面介绍python3的安装方法:需要root权限

首先安装依赖包:

yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

然后根据自己需求下载不同版本的Python3,我下载的是Python3.6.2

wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tar.xz

解压压缩包,进入该目录,安装python3

tar -xvJf Python-3.6.2.tar.xzcd Python-3.6.2./configure --prefix=/usr/local/python3make && make install

最后创建软连接

ln -s /usr/local/python3/bin/python3 /usr/bin/python3ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

在命令行中进行测试:

[root@localhost Python-3.6.2]# python3Python 3.6.2 (default, Jul 13 2018, 09:35:56)[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linuxType "help", "copyright", "credits" or "license" for more information.>>> exit() #退出

安装pyspider:

         单机版:根据官网安装:

yum更新:

yum update

遇见询问Y or N 统一输入Y

安装wget:

yum install wget

 

安装扩展源:

yum -y install epel-release

安装开发编译环境

yum install gcc gcc-c++

安装依赖库:

yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

键盘输入Y

 

键盘输入y

升级pip(可选操作)

pip3 install --upgrade pip

出现这个错误:

 

解决办法:

更改pip的源:我更改为清华大学的源

修改 ~/.pip/pip.conf (没有就创建一个), 内容如下:[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple

再次执行命令:

 

安装pyspider

pip3 install pyspider

报错:

 

解决方法:

yum install libcurl-devel

 

再次执行安装命令:

报错:

 

解决方法:

         首先卸载掉原来安装的pycurl

pip3 uninstall pycurl

然后

wget http://curl.haxx.se/download/curl-7.36.0.tar.gz wget https://pypi.python.org/packages/source/p/pycurl/pycurl-7.19.3.1.tar.gz

这里要先安装curl再安装pycurl

1,安装curl

tar -zxvf curl-7.36.0.tar.gz cd curl-7.36.0/ ./configure make && make install export LD_LIBRARY_PATH=/usr/local/lib #这一步至关重要,否则就会报上面所说的错误

     注意export,也就是说只能在当前终端有效,另开一个终端会失效

2,安装pycurl

tar -zxvf pycurl-7.19.3.1.tar.gz cd pycurl-7.19.3.1 执行下面任意一条安装命令,如果报错就执行另一条 python setup.py install --curl=/usr/local/bin/curl python setup.py install --curl-config=/usr/local/bin/curl-config

再次执行:

pip3 install pyspider

安装成功:

 

启动:

pyspider all

访问:localhost:5000 或者ip:5000

如果访问不成功:尝试

开放5000(pyspider默认打开5000端口,如果启动指定了其它端口请对应修改)端口并重启防火墙。如果防火墙是关闭状态请跳过下面两步

firewall-cmd --zone=public --add-port=5000/tcp --permanentfirewall-cmd --reload

 

, 1, 0, 9);