使用selenium和requests,下载mmjpg上所有的图片

 时间:2024-10-11 18:23:44

1、首先,分析网页,网站的URL都很有规律,没个美女的套图是这样http://www.mmjpg.com/mm/1336 ,从1到1336,每张大图的地址是在id为"content"的div标签里面,如图:

使用selenium和requests,下载mmjpg上所有的图片

2、然后爬取的思路就很清晰了,从1到1336,依次获取并打开每一份套图的地址,接着点击所有图片的元素链接,加载出所有图片的地址,再根据获得的图片地址写入到本地文件中。这里有个需要注意的地方,当程序不加任何headers直接打开图片地址时,会跳转到同一页面,所以放弃了urllib.request.urlretrieve来下载图片,因为我还没找到怎么在里面加head头信息的方法,跳转的地址如下图:

使用selenium和requests,下载mmjpg上所有的图片

3、这时只要加上head头信息就可以解决了,其中关键值是referer,只要是本地域名下都可以,告诉服务器我是从哪个页面链接过来的,服务器基此可以获得一些信息用于处理。

使用selenium和requests,下载mmjpg上所有的图片

4、代码如下:用了比较简单的代码。

使用selenium和requests,下载mmjpg上所有的图片
  • 腾讯微博QQ等级加速查询方法
  • 如何禁止QQ宠物在打开QQ时自动启动
  • 红烧鱼泡的家常做法
  • 途虎养车app怎么查看我的优惠券
  • 球球大作战美化包怎么下载
  • 热门搜索
    暖宝宝贴怎么用 初中生早恋怎么办 白带带血丝是怎么回事 黑白画图片大全 开水烫伤后怎么处理 熏鲅鱼的家常做法 指南者怎么样 火龙果种植方法 广东人怎么样 自闭症的治疗方法