用scrapy 创建project ,抓取

在cmd 里用scrapy 创建project

在e:code/lesson9/下我查看刚创建的文件夹,

接下来开始建doubandemo
爬取框架:下面的第2张图看到了debug 403,

 

 

proje修改user agent 为

Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36
并在doubandemo spider里 print response.body , 在cmd里运行:

 

返回的结果:有乱码

status code :200 正常:

project project project project

【爬取 新浪demo】

project project project project project

project project project project project

project project project project project

project project project project project

 

此条目发表在Python分类目录。将固定链接加入收藏夹。