Scrapy基础使用实例

1、root用户使用XShell连上CentOS7机器，已经新建了scrapy工程，tree命令显示当前目录结构。

tree

2、进入spider文件夹，新建文件coderSpider.py

cd mySpider/mySpider/mySpider/spiders/

vi coderSpider.py

3、在coderSpider.py中编写代码如下：

#!/usr/bin/python

#coding:utf8

import scrapy

class coderSpider(scrapy.Spider):

        name = 'coder'  #爬虫名

        allowed_domains = ['http://www.coder1024.site/'] #允许的域名

        start_urls = ['http://www.coder1024.site'] # 开始爬地址

        def parse(self,response):

                with open('coder.html','w') as f:

                        f.write(response.body)

4、ESC退出编辑模式，保存退出

：wq

5、运行命令 

scrapy crawl coder

6、运行完成后，爬虫关闭，再spider文件夹，生成coder.html文件