对称加密非对称加密
数据的编码与加密ASCII编码 ASCII ((American Standard Code for Information Interchange): 美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是最通用的信息交换标准，并等同于国际标准ISO/IEC 646。ASCII第一次以规范标准的类型发表是在1967年，最后一次更新则是在1986
常见加密
常见加密算法： 对称加密（加密解密密钥相同）：DES、3DES、AES、RC4、Rabbit 非对称加密（区分公钥和私钥）：RSA、DSA、ECC 消息摘要算法/签名算法：MD5、SHA、HMAC、PBKDF2 常见编码算法：Base64 JavaScript 加密解密模块Crypto-JSCrypto-JS 支持 MD5、SHA、RIPEMD-160、HMAC、PBKDF2、AES
Selenium概念
来源:CSDN 参考即可 上个课时我们讲解了 Ajax 的分析方法，利用 Ajax 接口我们可以非常方便地完成数据的爬取。只要我们能找到 Ajax 接口的规律，就可以通过某些参数构造出对应的的请求，数据自然就能被轻松爬取到。 但是，在很多情况下，Ajax 请求的接口通常会包含加密的参数，如 token、sign 等，如：https://dynamic2.scrape.cuiqingcai.com
爬虫静态提取
页面解析之数据提取一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值，内容一般分为两部分，非结构化的文本，或结构化的文本。 关于结构化的数据JSON、XML 关于非结构化的数据关于HTML文本（包含JavaScript代码）HTML文本（包含JavaScript代码）是最常见的数据格式，理应属于结构化的文本组织，但因为一般我们需要的关键信息并非直接可以得到，需要进行对HTM
HTTP协议介绍
HTTP协议介绍设计HTTP(HyperText Transfer Protocol)是为了提供一种发布和接收HTML(HyperText Markup Language)页面的方法。 Http组成由两部分组成：请求与响应 客户端请求消息客户端发送一个HTTP请求到服务器的请求消息包括以下格式：请求行（request line）、请求头部（header）、空行和请求数据四个部分组成，下图给出了请
HTTP代理神器Fidder
HTTP代理神器FidderFiddler不但能截获各种浏览器发出的HTTP请求, 也可以截获各种智能手机发出的HTTP/HTTPS请求。 Fiddler能捕获IOS设备发出的请求，比如IPhone, IPad, MacBook. 等等苹果的设备。 同理，也可以截获Andriod，Windows Phone的等设备发出的HTTP/HTTPS。 工作原理Fiddler 是以代理w
爬虫基本原理
爬虫基本原理爬虫是 模拟用户在浏览器或者某个应用上的操作，把操作的过程、实现自动化的程序 当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入http://www.sina.com.cn/ 简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求。 服务器响应请求，发回网页内容。 浏览器解析网页内容。 (解析?) 网络爬虫本质本质就是浏
Linux下Docker安装Tomcat
Linux下Docker安装Tomcat（不好用别用了）首先，需要准备一台服务器。这里我使用的是一台腾讯云的轻量应用服务器，CentOS 8.2的服务操作系统，建议直接在服务器上安装官方的Docker基础镜像，这样省去了配置Docker的步骤。 Tomcat是由Apache軟體基金會屬下Jakarta專案開發的Servlet容器，按照Sun Microsystems提供的技術規範，實現了對Serv
