{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}

Nemo Curator

用于 LLM 训练的 GPU 加速数据整理工具。支持文本/图像/视频/音频。具备模糊去重（速度提升 16×）、质量过滤（30+ 启发式规则）、语义去重、PII 脱敏、NSFW 检测等功能。通过 RAPIDS 跨 GPU 扩展。适用于准备高质量训练数据集、清洗网络数据或对大型语料库去重。

Skill 元数据


来源	可选 — 通过 `hermes skills install official/mlops/nemo-curator` 安装
路径	`optional-skills/mlops/nemo-curator`
版本	`1.0.0`
作者	Orchestra Research
许可证	MIT
依赖项	`nemo-curator`, `cudf`, `dask`, `rapids`
平台	linux, macos
标签	`Data Processing`, `NeMo Curator`, `Data Curation`, `GPU Acceleration`, `Deduplication`, `Quality Filtering`, `NVIDIA`, `RAPIDS`, `PII Redaction`, `Multimodal`, `LLM Training Data`

参考：完整 SKILL.md

信息

以下是 Hermes 在触发该 skill 时加载的完整 skill 定义。这是 agent 在 skill 激活时所看到的指令内容。

NeMo Curator - GPU 加速数据整理

NVIDIA 用于为 LLM 准备高质量训练数据的工具包。

何时使用 NeMo Curator

在以下情况下使用 NeMo Curator：

从网络抓取数据（Common Crawl）准备 LLM 训练数据

需要快速去重（比 CPU 快 16×）

整理多模态数据集（文本、图像、视频、音频）

过滤低质量或有害内容

跨 GPU 集群扩展数据处理

性能：

16× 更快的模糊去重（8TB RedPajama v2）

降低 40% TCO（总拥有成本），优于 CPU 方案

近线性扩展，跨 GPU 节点

以下情况请使用替代方案：

datatrove：基于 CPU 的开源数据处理

dolma：Allen AI 的数据工具包

Ray Data：通用 ML 数据处理（无数据整理专项功能）

快速开始

安装

基础文本整理流水线

数据整理流水线

阶段 1：质量过滤

阶段 2：去重

精确去重：

模糊去重（GPU 上速度提升 16×）：

语义去重：

阶段 3：PII 脱敏

阶段 4：分类器过滤

GPU 加速

GPU 与 CPU 性能对比

操作	CPU（16 核）	GPU（A100）	加速比
模糊去重（8TB）	120 小时	7.5 小时	16×
精确去重（1TB）	8 小时	0.5 小时	16×
质量过滤	2 小时	0.2 小时	10×

多 GPU 扩展

多模态数据整理

图像整理

视频整理

音频整理

常见模式

网络抓取数据整理（Common Crawl）

分布式处理

性能基准

模糊去重（8TB RedPajama v2）

CPU（256 核）：120 小时

GPU（8× A100）：7.5 小时

加速比：16×

精确去重（1TB）

CPU（64 核）：8 小时

GPU（4× A100）：0.5 小时

加速比：16×

质量过滤（100GB）

CPU（32 核）：2 小时

GPU（2× A100）：0.2 小时

加速比：10×

成本对比

基于 CPU 的数据整理（AWS c5.18xlarge × 10）：

费用：36/小时

处理 8TB 耗时：120 小时

合计：$4,320

基于 GPU 的数据整理（AWS p4d.24xlarge × 2）：

费用：65.54/小时

处理 8TB 耗时：7.5 小时

合计：$491.55

节省：降低 89%（节省 $3,828）

支持的数据格式

输入：Parquet、JSONL、CSV

输出：Parquet（推荐）、JSONL

WebDataset：用于多模态的 TAR 归档

使用场景

生产部署：

NVIDIA 使用 NeMo Curator 准备 Nemotron-4 训练数据

已整理的开源数据集：RedPajama v2、The Pile

参考资料

过滤指南 - 30+ 质量过滤器与启发式规则

去重指南 - 精确、模糊、语义去重方法

资源

GitHub：https://github.com/NVIDIA/NeMo-Curator ⭐ 500+

文档：https://docs.nvidia.com/nemo-framework/user-guide/latest/datacuration/

版本：0.4.0+

许可证：Apache 2.0

"Nemo Curator — 用于 LLM 训练的 GPU 加速数据整理工具"

Nemo Curator#

Skill 元数据#

参考：完整 SKILL.md#

NeMo Curator - GPU 加速数据整理#

何时使用 NeMo Curator#

快速开始#

安装#

基础文本整理流水线#

数据整理流水线#

阶段 1：质量过滤#

阶段 2：去重#

阶段 3：PII 脱敏#

阶段 4：分类器过滤#

GPU 加速#

GPU 与 CPU 性能对比#

多 GPU 扩展#

多模态数据整理#

图像整理#

视频整理#

音频整理#

常见模式#

网络抓取数据整理（Common Crawl）#

分布式处理#

性能基准#

模糊去重（8TB RedPajama v2）#

精确去重（1TB）#

质量过滤（100GB）#

成本对比#

支持的数据格式#

使用场景#

参考资料#

资源#

Nemo Curator

Skill 元数据

参考：完整 SKILL.md

NeMo Curator - GPU 加速数据整理

何时使用 NeMo Curator

快速开始

安装

基础文本整理流水线

数据整理流水线

阶段 1：质量过滤

阶段 2：去重

阶段 3：PII 脱敏

阶段 4：分类器过滤

GPU 加速

GPU 与 CPU 性能对比

多 GPU 扩展

多模态数据整理

图像整理

视频整理

音频整理

常见模式

网络抓取数据整理（Common Crawl）

分布式处理

性能基准

模糊去重（8TB RedPajama v2）

精确去重（1TB）

质量过滤（100GB）

成本对比

支持的数据格式

使用场景

参考资料

资源