{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}

Scrapling

使用 Scrapling 进行网页抓取——HTTP 获取、隐身浏览器自动化、Cloudflare 绕过及通过 CLI 和 Python 进行爬虫抓取。

Skill 元数据


来源	可选——使用 `hermes skills install official/research/scrapling` 安装
路径	`optional-skills/research/scrapling`
版本	`1.0.0`
作者	FEUAZUR
许可证	MIT
平台	linux, macos, windows
标签	`Web Scraping`, `Browser`, `Cloudflare`, `Stealth`, `Crawling`, `Spider`
相关 skill	`duckduckgo-search`, `domain-intel`

参考：完整 SKILL.md

信息

以下是 Hermes 在触发此 skill 时加载的完整 skill 定义。这是 agent 在 skill 激活时所看到的指令内容。

Scrapling

Scrapling 是一个具备反机器人绕过、隐身浏览器自动化和爬虫框架的网页抓取框架。它提供三种获取策略（HTTP、动态 JS、隐身/Cloudflare）以及完整的 CLI。

本 skill 仅供教育和研究目的使用。 用户必须遵守当地及国际数据抓取法律，并尊重网站服务条款。

使用场景

抓取静态 HTML 页面（比浏览器工具更快）

抓取需要真实浏览器的 JS 渲染页面

绕过 Cloudflare Turnstile 或机器人检测

使用爬虫抓取多个页面

当内置 web_extract 工具无法返回所需数据时

安装

最小安装（仅 HTTP，无浏览器）：

仅含浏览器自动化：

快速参考

方式	类	使用场景
HTTP	`Fetcher` / `FetcherSession`	静态页面、API、快速批量请求
动态	`DynamicFetcher` / `DynamicSession`	JS 渲染内容、SPA
隐身	`StealthyFetcher` / `StealthySession`	Cloudflare、反机器人保护站点
爬虫	`Spider`	跟随链接的多页面抓取

CLI 用法

提取静态页面

使用 CSS 选择器和浏览器模拟：

提取 JS 渲染页面

提取 Cloudflare 保护页面

POST 请求

输出格式

输出格式由文件扩展名决定：

.html —— 原始 HTML

.md —— 转换为 Markdown

.txt —— 纯文本

.json / .jsonl —— JSON

Python：HTTP 抓取

单次请求

POST / PUT / DELETE

使用代理

Python：动态页面（JS 渲染）

适用于需要执行 JavaScript 的页面（SPA、懒加载内容）：

等待特定元素

禁用资源以提升速度

阻止字体、图片、媒体、样式表（速度提升约 25%）：

自定义页面自动化

Python：隐身模式（反机器人绕过）

适用于 Cloudflare 保护或高度指纹识别的站点：

隐身 Session

元素选择

所有 fetcher 均返回一个 Selector 对象，包含以下方法：

CSS 选择器

XPath

Find 方法

相似元素

查找具有相似结构的元素（适用于商品列表等）：

Python：爬虫框架

适用于跟随链接的多页面抓取：

多 Session 爬虫

将请求路由到不同的 fetcher 类型：

暂停/恢复抓取

注意事项

需要安装浏览器：pip 安装后运行 scrapling install——否则 DynamicFetcher 和 StealthyFetcher 将无法使用

超时：DynamicFetcher/StealthyFetcher 的超时单位为毫秒（默认 30000），Fetcher 的超时单位为秒

Cloudflare 绕过：solve_cloudflare=True 会增加 5-15 秒的获取时间——仅在必要时启用

资源占用：StealthyFetcher 运行真实浏览器——限制并发使用量

法律合规：抓取前务必检查 robots.txt 和网站服务条款。本库仅供教育和研究目的使用

Python 版本：需要 Python 3.10+

"Scrapling"

Scrapling

Skill 元数据

参考：完整 SKILL.md

Scrapling

使用场景

安装

快速参考

CLI 用法

提取静态页面

提取 JS 渲染页面

提取 Cloudflare 保护页面

POST 请求

输出格式

Python：HTTP 抓取

单次请求

POST / PUT / DELETE

使用代理

Python：动态页面（JS 渲染）

等待特定元素

禁用资源以提升速度

自定义页面自动化

Python：隐身模式（反机器人绕过）

隐身 Session

元素选择

CSS 选择器

XPath

Find 方法

相似元素

导航

Python：爬虫框架

多 Session 爬虫

暂停/恢复抓取

注意事项

"Scrapling"

Scrapling#

Skill 元数据#

参考：完整 SKILL.md#

Scrapling#

使用场景#

安装#

快速参考#

CLI 用法#

提取静态页面#

提取 JS 渲染页面#

提取 Cloudflare 保护页面#

POST 请求#

输出格式#

Python：HTTP 抓取#

单次请求#

Session（持久化 Cookie）#

POST / PUT / DELETE#

使用代理#

Python：动态页面（JS 渲染）#

等待特定元素#

禁用资源以提升速度#

自定义页面自动化#

Python：隐身模式（反机器人绕过）#

隐身 Session#

元素选择#

CSS 选择器#

XPath#

Find 方法#

相似元素#

导航#

Python：爬虫框架#

多 Session 爬虫#

暂停/恢复抓取#

注意事项#

Scrapling

Skill 元数据

参考：完整 SKILL.md

Scrapling

使用场景

安装

快速参考

CLI 用法

提取静态页面

提取 JS 渲染页面

提取 Cloudflare 保护页面

POST 请求

输出格式

Python：HTTP 抓取

单次请求

Session（持久化 Cookie）

POST / PUT / DELETE

使用代理

Python：动态页面（JS 渲染）

等待特定元素

禁用资源以提升速度

自定义页面自动化

Python：隐身模式（反机器人绕过）

隐身 Session

元素选择

CSS 选择器

XPath

Find 方法

相似元素

导航

Python：爬虫框架

多 Session 爬虫

暂停/恢复抓取

注意事项