Python公开课 - 爬虫之代理

前言

我们写爬虫程序,如果不做任何措施去抓取网站数据的话,一旦网站采取了反爬虫的措施,就会导致我们无法正常下载。

例如最初爬虫正常运行,正常抓取数据,一切看起来都很正常,然而一支烟的功夫可能就会出现错误,比如 403 Forbidden,

服务器会检测某个IP在单位时间内的请求次数,如果超过了这个阔值,就会直接拒绝服务,返问一些错误信息,这种情况可以称为封 IP。

网站为什么会反爬虫

网站反爬虫一般有以下几个原因

  • 防止数据被抓取 - 由于网站的数据往往都是站长精心整理的,如果被程序抓走后,对方可以很轻松的镜像一个相同网站,这对站长来说,就变成杨白劳了。
  • 防止网站负载过大 - 如果爬虫没有控制好抓取周期和频率,那么往往会对网站造成性能冲击,这时候也需要对爬虫进行限制了。

什么是代理

代理实际上指的就是代理服务器,英文叫作 proxy server,它的功能是代理网络用户去取得网络信 息。 形象地说,它是网络信息的中转站。

在我们正常请求一个网站时, 是发送了请求给 Web 服务器, Web 服务器把响应传回给我们。

如果设置了代理服务器, 实际上就是在本机和服务器之间搭建了一个 桥, 此时本机不是直接向 Web 服务器发起请求,而是向代理服务器发出请求,请求会发送给代理服务 器,然后由代理服务器再发送给 Web 服务器,接着由代理服务器再把 Web 服务器返回的响应转发给本机。

这样我们同样可以正常访问网页,但这个过程中 Web 服务器识别出的真实 IP 就不再是我们本 机的 IP 了,就成功实现了 IP 伪装,这就是代理的基本原理。

代理的作用

  • 突破IP访问限制,访问一些平时不能访问的站点。
  • 访问一些内部资惊:比如使用教育网内地址段免费代理服务器,就可以用于对教育网的资源了。
  • 隐藏真实IP: 对于爬虫来说,我们用代理就是为了隐藏向身 IP,防止自身的 IP 被封锁。

代理分类

根据代理的匿名程度,代理可以分为如下类别:

  • 高度匿名代理: 会将数据包原封不动地转发,在服务端看来就好像真的是一个普通客户端在 访问,而记录的 IP 是代理服务器的 IP。
  • 普通匿名代理: 会在数据包上做一些改动, 服务端上有可能发现这是个代理服务器,也有一定几 率追查到客户端的真实E。 代理服务器通常会加入的头信息有HTTP_VIA和 HTTP_X_FORWARD_FOR。
  • 透明代理: 不但改动了数据包 还会告诉服务器客户端的真实IP。 这种代理除了能用缓存技术提高浏览速度,能用内容过滤提高安全性之外,并无其他显著作用,最常见的例子是内网的硬件防火墙。
  • 间谍代理: 指组织或个人创建的用于记录用户传输的数据,然后进行研究、 监控等目的的代理服务器。

相关阅读


相关推荐
  1. 一文看懂Python中的协程
  2. 武汉女子网上做兼职被骗六十五万
  3. 狗熊捕鱼
  4. 方丈开门纳蚊
  5. 小瓜和针筒怪兽
  6. 内蒙古呼和浩特回民区爱心双语幼儿园 - 呼和浩特幼儿园黄页
  7. 天津市河北区启智学校
  8. 大连市星海小学
  9. Python公开课 - 详解模块
  10. Python公开课 - 爬虫介绍
  11. Python公开课 - Django自定义404/404/500页面的两种方法
  12. 易中天给英雄武汉的一首诗 - 武汉新鲜事
  13. 白蛇传说
  14. 佛山市南海区罗村小学
  15. Python公开课 - 全文检索模块Whoosh详解(1)
  16. 武汉推出越王勾践剑交通卡
  17. 宝宝被蚊子咬了怎么消肿止痒最快 - 育儿经验
  18. 机遇精灵
  19. 武汉00后大二学妹拍视频月入七十万
  20. 脱单!武汉的相亲角在哪你知道吗?
  21. 辽宁省鞍山市立山区红孩子幼儿园(二分园) - 鞍山幼儿园黄页
  22. 死在兔岛上的狼
  23. 警方通报:武汉男子持刀至五死一伤,嫌犯已跳桥
  24. 哈尔滨市尚志小学校
  25. maven中<parent>标签作用
  26. 奥迪客户不满加价,被武汉4S店销售群殴
  27. 电池技术 - 电动汽车的核心
  28. 啼笑皆非的帝王梦
  29. 河北省邯郸市东马庄幼儿园 - 邯郸幼儿园黄页
  30. 北京市海淀区红太阳双语艺术早教基地 - 北京幼儿园黄页
  31. 鸡冠山下金鸡叫
  32. 金碧辉煌
  33. 北京市海淀区厂洼幼儿园 - 北京幼儿园黄页
  34. 武汉市江汉区美林幼儿园 - 武汉幼儿园黄页
  35. 上海市黄浦区北京东路小学
  36. 利用openCV的QRCodeDetector识别图片中的二维码
  37. 株洲市金轮侨心学校
  38. 潍坊市潍城区北门大街小学
  39. 宁海县强蛟镇中心学校(小学部)
  40. 沈阳市法库县第二幼儿园 - 沈阳幼儿园黄页
  41. 柳树下的梦
  42. Django的Cache框架(上)
  43. 武汉一女子七天被骗220万
  44. 上海市长宁区愚园路第一小学向红分校(愚园路一小向红分校)
  45. 武汉动物园火烈鸟孔雀排队打疫苗
  46. 世纪星幼儿园(永壁中心卫生院西南) - 石家庄幼儿园黄页
  47. 哈尔滨市万宝镇巨宝小学校
  48. 启动TOGAF之前的10个步骤 - TOGAF系列教程(2)
  49. 央媒聚焦!国庆假期173.78万人次打卡大美黄陂
  50. 河北省唐山市滦南县喜阳阳幼儿园 - 唐山幼儿园黄页