Python中Scrapy爬虫图片管理详明

作者: 数据库信息  发布:2019-12-06

后面已经存在提取内容的 TuchongPipeline 类,若是运用 ImagePipeline 能够将领到内容的操作都统豆蔻梢头过来,不过为了越来越好的验证图片管道的功能,大家再单独创制二个ImagePipeline 类,加到 pipelines.py 文件中,同一时候重载函数 get_media_requests:

下载图片

参数中蕴藏 item ,有我们抓取的具备音信,参数 results 为下载图片的结果数组,包蕴下载后的路径以至是不是成功下载,内容如下:

IMAGES_STORE = 'D:/'

def item_completed(self, results, item, info)
def item_completed(self, results, item, info):
 image_paths = {x['url'].split('/')[-1]: x['path'] for ok, x in results if ok}
 if not image_paths:
  # 下载失败忽略该 Item 的后续处理
  raise DropItem("Item contains no files")
 else:
  # 将图片转移至以 post_id 为名的子目录中
  for (dest, src) in image_paths.items():
   dir = settings.IMAGES_STORE
   newdir = dir   os.path.dirname(src)   '/'   item['post_id']   '/'
   if not os.path.exists(newdir):
    os.makedirs(newdir)
   os.rename(dir   src, newdir   dest)
 # 将保存路径保存于 item 中(image_paths 需要在 items.py 中定义)
 item['image_paths'] = image_paths
 return item
...
 def file_path(self, request, response=None, info=None):
  file_name = request.url.split('/')[-1]
  return 'full/%s' % (file_name)
...

下载的文本名是以图表U凯雷德L通过 sha1 编码拿到的字符,相通0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg 不是太融洽,能够经过重载 file_path 函数自定义文件名,举个例子可以如此保留原作件名:

上篇文章中我们把图纸的UENVISIONL保存在了 item['images'] 中,它是一个字典类型的数组,形如:[{img_id: img_url}, ...],此函数中要求把 img_url 收取并营造为 scrapy.Request 乞求对象并重返,每叁个呼吁都将触发一回下载图片的操作。

到 settings.py 中登记 PhotoPipeline,并把刚开始阶段级设的比提取内容的管道要高级中学一年级些,保证图片下载优先于情节管理,目的是只要有图片下载未得逞,通过触发 DropItem 非常能够中断那三个 Item 的管理,幸免不完全的数码步入下后生可畏管道:

ITEM_PIPELINES = {
 'Toutiao.pipelines.PhotoGalleryPipeline': 300,
 'Toutiao.pipelines.PhotoPipeline': 200,
}

除去 ImagesPipeline 管理图片外,还应该有 FilesPipeline 能够拍卖文件,使用方法与图片相近,事实上 ImagesPipeline 是 FilesPipeline 的子类,因为图片也是文件的黄金年代种。

下载图片有三种艺术,风姿浪漫种是因此 Requests 模块发送 get 央求下载,另后生可畏种是接纳 Scrapy 的 ImagesPipeline 图片管道类,这里根本讲前者。

文件名处理

实行爬虫 scrapy crawl photo ,如无错误,在设定的囤积目录中会现身二个full 目录,里面是下载后的图样。

函数 item_completed 的定义:

接下去在原 TuchongPipeline 类中写入数据库的操作中,通过 item['image_paths'] 路线新闻写入本地图片链接。

[(True,
 {'checksum': '2b00042f7481c7b056c4b410d28f33cf',
 'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
 'url': 'http://www.example.com/files/product1.pdf'}),
 (False,
 Failure(...))]

重载该函数将下载图片转移到分类目录中,同有时间提到文件路径到 item 中,保持内容与图片为八个平安无事:

# 图片最小高度和宽度设置,可以过滤太小的图片
IMAGES_MIN_HEIGHT = 110
IMAGES_MIN_WIDTH = 110

# 生成缩略图选项
IMAGES_THUMBS = {
 'small': (50, 50),
 'big': (270, 270),
}

您或者感兴趣的稿子:

  • Python爬虫框架Scrapy安装使用手续
  • 深切深入分析Python的爬虫框架Scrapy的组织与运营流程
  • Python的爬虫框架scrapy用21行代码写一个爬虫
  • Python之Scrapy爬虫框架安装及使用安详严整
  • Python爬虫框架Scrapy常用命令计算
  • Python爬虫框架Scrapy基本用法入门教程
  • Python爬虫模拟登陆带验证码网址
  • Python 网络爬虫--关于简单的模拟登陆实例疏解
  • python爬虫框架scrapy实战之爬取京东店肆晋级篇
  • python爬虫框架scrapy完毕模拟登陆操作示例

地点那样管理难免会有重名的文件被掩没,但参数 request 中并未有过多的音信,不便于对图纸分类,由此可以改为重载 item_completed 函数,在下载实现后对图片进行分拣操作。

率先在 settings.py 中装置图片的存款和储蓄路线:

class PhotoGalleryPipeline(object):
 ...

class PhotoPipeline(ImagesPipeline):
 def get_media_requests(self, item, info):
  for (id, url) in item['images'].items():
   yield scrapy.Request(url)

安装 Scrapy 时并不曾设置图像管理信任包 Pillow,需手动安装不然运维爬虫出错。

图表处理有关的抉择还应该有:

本文由金沙澳门官网发布于数据库信息,转载请注明出处:Python中Scrapy爬虫图片管理详明

关键词: 金沙澳门官网