前言

之前的一篇文章已经讲过怎样获取链接，怎样获得参数了，详情请看python爬取京东商城普通篇，本文将详细介绍利用python爬虫框架scrapy如何爬取京东商城，下面话不多说了，来看看详细的介绍吧。

代码详解

1、首先应该构造请求，这里使用scrapy.Request,这个方法默认调用的是start_urls构造请求，如果要改变默认的请求，那么必须重载该方法，这个方法的返回值必须是一个可迭代的对象，一般是用yield返回。

代码如下：

def start_requests(self):
 for i in range(1,101):
 page=i*2-1 #这里是构造请求url的page,表示奇数
 url=self.start_url+str(page)
 yield scrapy.Request(url,meta={'search_page':page+1},callback=self.parse_url) #这里使用meta想回调函数传入数据，回调函数使用response.meta['search-page']接受数据

下面就是解析网页了，从上面看出这里的解析回调函数是parse_url,因此在此函数中解析网页。这里还是和上面说的一样，这个url得到的仅仅是前一半的信息，如果想要得到后一半的信息还有再次请求，这里还有注意的就是一个技巧：一般先解析出一个数据的数组，不急着取出第一个数，先要用if语句判断，因为如果得到的是[]，那么直接取出[0]是会报错的，这只是一个避免报错的方法吧。

代码如下:

def parse_url(self,response):
 if response.status==200: #判断是否请求成功
 # print response.url
 pids = set() #这个集合用于过滤和保存得到的id,用于作为后面的ajax请求的url构成
 try:
 all_goods = response.xpath("//div[@id='J_goodsList']/ul/li") #首先得到所有衣服的整个框架，然后从中抽取每一个框架
 for goods in all_goods: #从中解析每一个
 # scrapy.shell.inspect_response(response,self) #这是一个调试的方法，这里会直接打开调试模式
 items = JdSpiderItem() #定义要抓取的数据
 img_url_src = goods.xpath("div/div[1]/a/img/@src").extract() # 如果不存在就是一个空数组[]，因此不能在这里取[0]
 img_url_delay = goods.xpath(
  "div/div[1]/a/img/@data-lazy-img").extract() # 这个是没有加载出来的图片，这里不能写上数组取第一个[0]
 price = goods.xpath("div/div[3]/strong/i/text()").extract() #价格
 cloths_name = goods.xpath("div/div[4]/a/em/text()").extract()
 shop_id = goods.xpath("div/div[7]/@ data-shopid").extract()
 cloths_url = goods.xpath("div/div[1]/a/@href").extract()
 person_number = goods.xpath("div/div[5]/strong/a/text()").extract()
 pid = goods.xpath("@data-pid").extract()
 # product_id=goods.xpath("@data-sku").extract()
 if pid:
  pids.add(pid[0])
 if img_url_src: # 如果img_url_src存在
  print img_url_src[0]
  items['img_url'] = img_url_src[0]
 if img_url_delay: # 如果到了没有加载完成的图片，就取这个url
  print img_url_delay[0]
  items['img_url'] = img_url_delay[0] # 这里如果数组不是空的，就能写了
 if price:
  items['price'] = price[0]
 if cloths_name:
  items['cloths_name'] = cloths_name[0]
 if shop_id:
  items['shop_id'] = shop_id[0]
  shop_url = "https://mall.jd.com/index-" + str(shop_id[0]) + ".html"
  items['shop_url'] = shop_url
 if cloths_url:
  items['cloths_url'] = cloths_url[0]
 if person_number:
  items['person_number'] = person_number[0]
 # if product_id:
 # print "************************************csdjkvjfskvnk***********************"
 # print self.comments_url.format(str(product_id[0]),str(self.count))
 # yield scrapy.Request(url=self.comments_url.format(str(product_id[0]),str(self.count)),callback=self.comments)
 #yield scrapy.Request写在这里就是每解析一个键裤子就会调用回调函数一次
 yield items
 except Exception:
 print "********************************************ERROR**********************************************************************"
 yield scrapy.Request(url=self.search_url.format(str(response.meta['search_page']),",".join(pids)),callback=self.next_half_parse) #再次请求，这里是请求ajax加载的数据，必须放在这里，因为只有等到得到所有的pid才能构成这个请求，回调函数用于下面的解析

2、从上面代码的最后可以看出最后就是解析ajax加载的网页了，这里调用的next_half_parse函数，和解析前面一个网页一样，这里需要的注意的是，如果前面定义的数据没有搜索完毕是不能使用yield items的，必须将items通过meta传入下一个回调函数继续完善后才能yield items,这里就不需要了。

代码如下：

#分析异步加载的网页
 def next_half_parse(self,response):
 if response.status==200:
 print response.url
 items=JdSpiderItem()
 #scrapy.shell.inspect_response(response,self) #y用来调试的
 try:
 lis=response.xpath("//li[@class='gl-item']")
 for li in lis:
  cloths_url=li.xpath("div/div[1]/a/@href").extract()
  img_url_1=li.xpath("div/div[1]/a/img/@src").extract()
  img_url_2=li.xpath("div/div[1]/a/img/@data-lazy-img").extract()
  cloths_name=li.xpath("div/div[4]/a/em/text()").extract()
  price=li.xpath("div/div[3]/strong/i/text()").extract()
  shop_id=li.xpath("div/div[7]/@data-shopid").extract()
  person_number=li.xpath("div/div[5]/strong/a/text()").extract()
  if cloths_url:
  print cloths_url[0]
  items['cloths_url']=cloths_url[0]
  if img_url_1:
  print img_url_1[0]
  items['img_url']=img_url_1
  if img_url_2:
  print img_url_2[0]
  items['img_url']=img_url_2[0]
  if cloths_name:
  items['cloths_name']=cloths_name[0]
  if price:
  items['price']=price[0]
  if shop_id:
  items['shop_id']=shop_id[0]
  items['shop_url']="https://mall.jd.com/index-" + str(shop_id[0]) + ".html"
  if person_number:
  items['person_number']=person_number[0]
  yield items #又一次的生成，这里是完整的数据，因此可以yield items
 except Exception:
 print "**************************************************"

3、当然这里还用到了设置请求池，mysql存储，没有使用到ip代理，这个在我前面的博客中又讲到，这里就不再赘述了。

想看源代码的朋友请

点击这里 或者 本地下载

小技巧

• 人们会抱怨为什么自己的爬虫在中途断开就要重头开始爬，为什么不能从断开那里开始爬呢，这里提供一个方法：在配置文件settings.py中加入JOBDIR=file_name,这里的file_name是一个文件的名字
• 设置下载延迟防止被ban:DOWNLOAD_DELAY = 2:设置每一次的间隔时间 RANDOMIZE_DOWNLOAD_DELAY = True:这个是随机设置延迟时间 在设置的时间的0.5-1.5倍之间，这样可以更有效的防止被ban,一般是配套使用的
• ROBOTSTXT_OBEY = False :这里是表示不遵循robots.txt文件，默认是True表示遵循，这里将之改成False
• CONCURRENT_REQUESTS :设置最大请求数，这里默认的时16，我们可以根据自己电脑的配置改的大一点来加快请求的速度

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者使用python能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对的支持。

# scrapy京东爬虫  # scrapy  # 京东  # 爬取动态网页  # Python爬虫框架Scrapy安装使用步骤  # 零基础写python爬虫之使用Scrapy框架编写爬虫  # 使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤  # scrapy爬虫完整实例  # 深入剖析Python的爬虫框架Scrapy的结构与运作流程  # 讲解Python的Scrapy爬虫框架使用代理进行采集的方法  # Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码  # Python的Scrapy爬虫框架简单学习笔记  # 实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250  # 使用Python的Scrapy框架编写web爬虫的简单示例  # 浅析python实现scrapy定时执行爬虫  # Scrapy爬虫多线程导致抓取错乱的问题解决  # 回调  # 的是  # 是一个  # 加载  # 报错  # 自己的  # 就会  # 在这里  # 在我  # 放在  # 本地下载  # 第一个  # 就能  # 在此  # 说了  # 不多  # 这是一个  # 点击这里  # 要用 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 悟空浏览器如何设置小说背景色_悟空浏览器背景色设置【方法】  Win11怎么关闭资讯和兴趣_Windows11任务栏设置隐藏小组件  如何安全更换建站之星模板并保留数据？  焦点电影公司作品,电影焦点结局是什么？  PHP怎么接收前端传的文件路径_处理文件路径参数接收方法【汇总】  如何在宝塔面板中修改默认建站目录？  郑州企业网站制作公司,郑州招聘网站有哪些？  微信小程序 scroll-view组件实现列表页实例代码  Laravel如何自定义分页视图？（Pagination示例）  Linux虚拟化技术教程_KVMQEMU虚拟机安装与调优  如何快速生成ASP一键建站模板并优化安全性？  HTML5空格和margin有啥区别_空格与外边距的使用场景【说明】  如何在万网主机上快速搭建网站？  Laravel怎么配置自定义表前缀_Laravel数据库迁移与Eloquent表名映射【步骤】  Laravel如何使用Sanctum进行API认证？（SPA实战）  5种Android数据存储方式汇总  EditPlus中的正则表达式实战(6)  如何快速搭建虚拟主机网站？新手必看指南  如何用PHP快速搭建CMS系统？  消息称 OpenAI 正研发的神秘硬件设备或为智能笔，富士康代工  音乐网站服务器如何优化API响应速度？  手机怎么制作网站教程步骤,手机怎么做自己的网页链接？  node.js报错：Cannot find module 'ejs'的解决办法  Laravel如何创建自定义Facades？（详细步骤）  微信小程序 canvas开发实例及注意事项  Laravel如何使用Eloquent ORM进行数据库操作？（CRUD示例）  如何在搬瓦工VPS快速搭建网站？  网站建设要注意的标准 促进网站用户好感度！  Android okhttputils现在进度显示实例代码  如何在香港服务器上快速搭建免备案网站？  Laravel中间件起什么作用_Laravel Middleware请求生命周期与自定义详解  利用JavaScript实现拖拽改变元素大小  如何快速配置高效服务器建站软件？  黑客如何利用漏洞与弱口令入侵网站服务器？  Laravel如何连接多个数据库_Laravel多数据库连接配置与切换教程  高防服务器：AI智能防御DDoS攻击与数据安全保障  在线制作视频的网站有哪些,电脑如何制作视频短片？  laravel怎么使用数据库工厂（Factory）生成带有关联模型的数据_laravel Factory生成关联数据方法  如何用IIS7快速搭建并优化网站站点？  高端建站如何打造兼具美学与转化的品牌官网？  制作电商网页,电商供应链怎么做？  Win11怎么关闭透明效果_Windows11辅助功能视觉效果设置  非常酷的网站设计制作软件,酷培ai教育官方网站？  android nfc常用标签读取总结  Python文件操作最佳实践_稳定性说明【指导】  Linux后台任务运行方法_nohup与&使用技巧【技巧】  Laravel怎么为数据库表字段添加索引以优化查询  Laravel怎么返回JSON格式数据_Laravel API资源Response响应格式化【技巧】  Laravel怎么使用Intervention Image库处理图片上传和缩放  HTML透明颜色代码怎么让下拉菜单透明_下拉菜单透明背景指南【技巧】