爬取过程

安装自动模块，通过驱动浏览器登录微信公众号后台；

使用该功能需要安装对应浏览器的驱动插件。

注意：谷歌浏览器版本对应需求，否则启动时会报错。

微信公众号登录地址：

微信公众号的文章界面地址可以在微信公众号后台创建，可以通过超链接功能获取：

搜索公众号名称

获取要爬取的公众号

选择要爬取的公众号，获取文章接口地址

文章列表翻页和内容获取

代理批次收集

1、微信客户端：可以是安装了微信应用的手机，也可以是电脑上的安卓模拟器。

2. 微信个人账号：要收集内容，不仅需要微信客户端，还需要微信个人账号才能收集。

3.本地代理服务器系统：将公众号历史消息页中的文章列表通过代理服务器发送到自己的服务器。

4.文章列表分析存储系统，对文章列表进行分析，建立采集队列，实现内容的批量采集。

设置代理并捕获数据包

通过捕获和分析多个账户，可以确定：

_biz：这个14位的字符串是每个公众号的“id”，可以从搜狗的微信平台获取。

uin：与访客相关，微信ID

key：与访问的公众号相关

步：

1.编写按钮向导脚本，在手机端自动点击公众号文章列表页面，即“查看历史新闻”；

2、使用代理劫持手机访问php 微信公众平台开发教程，将URL转发到php编写的本地网页；

3、将接收到的URL备份到php网页上的数据库中；

4. 用于从数据库中检索URL网站建设，然后进行正常爬取。

潜在问题：

如果只是想爬取文章的内容，貌似没有访问频率限制php 微信公众平台开发教程，但是如果想爬取阅读点赞数网站建设，在一定频率之后，返回值就会变成空。

付费平台

例如，如果你只是想看数据，你可以不花钱只看每日清单。如果你需要访问自己的系统，他们也提供了一个api接口

3 项目步骤

3.1 基本原则

目标爬取网站收录微信平台大部分优质微信公众号文章，会定期更新。经过测试，发现对爬虫更加友好。

1.网站页面的排版和排版规则，不同公众号通过链接区分

2.公众号收藏下的文章也有定期翻页：id号每翻一页+12

所以过程思路是

获取预查询微信公众号ID（不是直接显示的名字，而是信息名片中的ID号，一般由数字和字母组成）

请求一个html页面判断公众号是否被收录

如果不包含，页面显示结果为：404 页面不存在，可以直接使用正则表达式匹配提示信息

正则匹配查找目标公众号收录文章的最大页数

解析请求的页面，提取文章链接和标题文本

保存信息提取结果

调用和转换网页

3.2 环境

()

(.6)

安装转换套件

3.3 公众号信息检索

通过向目标url发起请求，获取页面的html信息，然后调用正则方法匹配两条信息

1、公众号是否存在？

2.如果存在，文章最多包含多少页

当公众号存在时，直接调用解析目标请求链接。

注意一定要添加目标爬虫网站，否则会直接拒绝访问

3.4 正则解析、提取链接和文章标题

以下代码用于从 html 文本中解析链接和标题文本信息

3.5 自动跳转页面

下面的代码通过循环递增赋值来改变url中的页码参数

3.6 去除标题中的非法字符

因为file命令，有些字符不能使用，所以需要使用正则剔除

itle = re.sub('[\\\\/:*?\"|]', '', info.loc[][''])

3.7 将html转换为PDF

使用的函数读取爬取的 csv 文件并循环通过“链接”、“标题”、“日期”

然后调用函数转换生成PDF文件

3.7 将html转换为PDF

使用的函数读取爬取的 csv 文件并循环通过“链接”、“标题”、“日期”

然后调用函数转换生成PDF文件

3.8 生成的 PDF 结果

4 结果显示

​​​