问题来源 朋友通过Discuz搭建了一个pixel的手机社区论坛，并运营了几年，目前Alexa全球排名10000以内。 但是前几天突然不能访问了，苦于没有技术人员，不知和解，向本人求救。 第一步：ping主机 可以ping通，至少说明网络是OK的 ping示例： root@...

前言 Selenium Python提供非常方便的API和浏览器进行交互，目前支持Python2.7和Python3版。 本章将从爬虫的视角来介绍Selenium的具体使用。 Selenium访问今日头条的简单使用 我们以今日头条的Web站点为例： from selenium i...

1. 前言 在上一章中，我们阐述了如何抓取Ajax页面的内容，但是实际情况动态网页的产生不单单只有Ajax这一种方式。 网页通过Javascript编写展现逻辑代码，也是实现页面动态展示的非常普遍的方式。如果这段代码中涉及到计算、加密等，会让你很难逆向解析。 这时候可以考虑Seleniu...

1. 前言 微服务是相对传统的单服务而言的，其实也是因为系统的复杂度增加而开始自然演化的一个过程。 2. 微服务的产生之前 传统服务，一般会是一个单应用，完成整个的业务逻辑闭包，包括用户管理、业务管理、运维与监控，运营服务等。 当业务逻辑还比较简单的时候，一个单应用相对开发和运维都比较...

前言 目前HTML页面分为静态网页和动态网页，动态页面是指前端页面的主要代码一样，但是动态展现部分是根据后台的数据不同而表现各异。 对于静态页面的抓取比较简单，但是往往动态页面的价值更大，因为它联系着后端的结构化数据。 其中Ajax技术的出现又让前端动态页面的展现更加灵活，用户体...

前言 MardownM语法简洁明了、学习容易、输出内容样式丰富，很受大众喜爱。兔子先生的内容就是通过Markdown的格式来编辑发布的。 如何在Django中使用Markdown 可以直接使用django-markdown-deux这个django的第三方插件，它的核心实现其实还是通...

亚马逊股东希望公司停止向执法部门销售面部识别软件 - Rekognition 亚马逊股东正在要求该公司停止向执法部门销售面部识别软件 Rekognition。除非董事会能确定，该技术“不会导致或可能导致侵犯公民权利和人权的行为”，否则股东就希望亚马逊停止向政府机构销售该软件。 Reko...

前言 现在很多站长都会使用Nginx作为反向代理服务器，但是Nginx的Gzip默认配置是关闭的。 这种情况，页面将会以原始大小输出，如果页面很大的话，在浏览器则会有一定的加载时间，影响用户体验。 互联网行业，凡事以快为先，那么我们该如何开启Gzip来压缩呢。 在开始之前，我们需要...

为什么网站要设置为HTTPS HTTPS是安全上网的保证，如果有条件还是有必要给自己的网站安装安全证书，保障用户上网安全。 同时百度对HTTPS的网站还会扶持，将影响搜索的排序，见百度对HTTPS的态度 谷歌对HTTPS网站的态度也很坚决，在Chrome中所有非HTTPS网站，会被标记为...

前言 pyquery是一个非常强大又灵活的网页解析库，如果你觉得BeautifulSoup语法太难记，如果你熟悉jQuery的语法，那么pyquery就是不错的选择。它允许您对xml文档进行jquery查询，API与与jquery类似，使用lxml进行快速xml和html操作。 安装 ...