如果您正在寻找最强大的爬虫？ 不要再观望！ 这一行代码将让您立即启动并运行。

是一个库，可以轻松地抓取网页并从中提取数据。 它可用于从单个页面抓取数据或从多个页面抓取数据。 它还可用于从 PDF 和 HTML 表格中提取数据。

让你只用一行代码就可以抓取网站，它非常易于使用并为你处理一切。 您只需指定要抓取的站点以及要接收的数据类型，剩下的就由它来完成。

爬虫在编写时考虑到了快速使用。 它提供了以下主要功能：

如何使用

通过点子下载

$ 点

用它

考虑易用性。首先，从

从 , 页

初始化网站

首先，让我们创建一个新的网站对象。 对于此方法，只需提供主页的 URL。 我将使用多年前创建的网站的 URL：

网页 =("

获取所有子站点的链接

好的，现在我们的站点已经初始化，我们对存在于 上的所有子站点感兴趣，为了找出这一点，让 web 对象接收到所有子页面的链接。

= 网页.()

根据您本地的互联网连接和您要抓取的网站的服务器速度，此请求可能需要一段时间，请确保不要使用这种非常笨重的方法抓取整个网页。

但是回到链接获取：通过调用 .()网站开发，您请求所有子页面作为链接，并将收到一个 URL 列表。

= 网页.()

您可能已经注意到缺乏典型。 这没有任何意义，只会让您的生活更轻松地进一步使用该链接。 但请确保 - 当您真正想在浏览器中或通过请求调用它们时 - 在每个链接前加上。

寻找媒体

让我们试着找到他们网站上所有图片的链接。

我们通过调用 .() 方法来做到这一点。

= 网页.()

响应将包含指向所有可用图像的链接。

下载媒体

现在让我们做一些更高级的事情。 我们喜欢他们网站上的图片，所以让我们将它们全部下载到我们的本地磁盘。 听起来工作量很大？ 其实很简单！

网络。（“img”，“/”）

首先，我们定义通过关键字 img 下载所有图像媒体。 接下来，我们定义输出文件夹，图像应保存到的位置。 而已！ 运行代码php统计网站访问量代码网站优化，看看会发生什么。 几秒钟之内，您就收到了网站上的所有图片。

获取链接

接下来，让我们找出链接到哪些页面。 为了获得总体概览，让我们找出它链接到的其他站点，因此我们指定只获取域链接。

= web.(=, =, =True)

所以我们得到了所有链接的列表。

好的，但是现在我们想知道更多关于这些链接的信息，我们该怎么做呢？

获取链接域

好吧，更详细的链接不过是外部链接，所以，我们做同样的请求，但这次包括外部，但不包括域。

= web.(=, =True, =)

在这里，我们将详细了解所有外部链接。

初始化页面

好的，到目前为止我们已经了解了很多关于网站的内容，但是，我们还没有发现页面的作用。

好吧，如前所述，这个页面只是网站中的一个站点，让我们通过初始化页面来尝试一个不同的例子。

w3 = 页面("")

如果您还没有猜到，您很快就会明白我为什么选择这个页面。

下载视频

是的，你听到的是对的。 让您在几秒钟内从网页下载视频php统计网站访问量代码，让我们看看如何。

w3.("", "w3/")

是的，仅此而已。 只需指定您希望将所有视频媒体下载到输出文件夹 w3/ 即可。 当然，您也可以仅收到视频链接并稍后下载，但这不会那么酷。

= w3.()

下载其他文件类型（例如 pdf 或图像）

现在让我们更笼统地谈谈，如何下载特殊文件类型，如 .pdf、.php 或 .ico？ 使用通用的 .get() 方法接收链接，或使用将文件类型作为参数的 .() 方法。

= Page("").get("php")

目前为止就这样了。

现在让我们下载一些PDF。