数据管理（管理视角）
「数据管理（管理视角）」面向平台/租户管理员，用于跨工作空间、跨项目查看和管理数据集、数据清洗任务、数据增强任务与在线增强工具。管理员可以代表指定项目创建数据资源，也可以查看全平台数据任务的运行状态。
入口路径：左侧菜单 AI 智算管理 > 数据管理，页面路由
/admin/ai/manage/data。
页面菜单
| 页面 | 路由 | 说明 |
|---|---|---|
| 数据集 | /admin/ai/manage/data/dataset | 跨租户数据集列表与管理 |
| 数据集详情 | /admin/ai/manage/data/dataset/detail/:uuid | 查看版本、文件、Hub 导入 |
| 数据清洗 | /admin/ai/manage/data/data-cleaning | 跨租户数据清洗任务列表 |
| 创建数据清洗 | /admin/ai/manage/data/data-cleaning/create | 代指定项目创建清洗任务 |
| 数据清洗详情 | /admin/ai/manage/data/data-cleaning/detail/:uuid | 查看任务详情、日志、结果 |
| 数据增强 | /admin/ai/manage/data/data-augmentation | 跨租户数据增强任务列表 |
| 创建数据增强 | /admin/ai/manage/data/data-augmentation/create | 代指定项目创建增强任务 |
| 数据增强详情 | /admin/ai/manage/data/data-augmentation/detail/:uuid | 查看任务详情、日志、结果 |
| 在线增强 | /admin/ai/manage/data/online-augment | 单条文本实时改写/扩写 |
数据集
查看与筛选数据集
- 进入 AI 智算管理 > 数据管理 > 数据集。
- 在列表顶部筛选栏选择查询条件：
- 工作空间：选择目标租户，留空表示全部。
- 项目：选择工作空间后联动显示项目列表。
- 可见范围：项目 / 租户 / 公开。
- 名称：支持模糊搜索。
- 列表展示：名称、描述、格式、多模态类型、可见范围、最新版本、状态、所属工作空间、所属项目、创建人、创建时间。
- 点击数据集名称进入详情页，查看版本列表与文件浏览器。
代项目创建数据集
- 在数据集列表页点击「创建数据集」，右侧会弹出抽屉。
- 填写基础信息：
- 工作空间/项目：选择目标租户和项目。
- 名称：英文字母/数字/中划线/下划线，2-64 字符，如
alpaca-train。 - 显示名称：中文或英文，便于识别。
- 描述：可选，255 字以内。
- 数据格式：Alpaca / ShareGPT / 自定义。
- 多模态类型：无 / 图片 / 音频 / 视频；选择后创建不可修改。
- 可见范围：项目可见 / 租户可见 / 公开。
- 存储路径：可选，留空系统自动生成。
- 点击「创建」，数据集创建成功后进入详情页。
管理版本与文件
进入数据集详情页：
- 新建版本：点击「新建版本」，输入版本名称（如
v1）和描述，系统会生成独立存储路径。 - 上传文件：在版本详情中上传本地文件；支持嵌套子目录。
- 文件操作：
- 预览文本/JSON 文件内容。
- 在线编辑 JSON 文件。
- 下载、删除、重命名文件或目录。
- Hub 导入：点击「Hub 导入」，选择 ModelScope 或 HuggingFace，填写仓库 ID 与访问 Token，系统会自动下载并创建版本；导入过程中可查看进度徽标。
- 版本归档/删除：对于不再使用的 Ready 版本可归档；未就绪版本可直接删除。
- 标记为就绪：如果版本处于「创建中/上传中」状态，且本地文件已确认上传完成，可点击「标记为就绪」手动确认版本可用。
数据清洗
查看与筛选清洗任务
- 进入 AI 智算管理 > 数据管理 > 数据清洗。
- 使用顶部筛选栏按工作空间、项目、状态、任务名称查询。
- 列表展示：任务名称、源数据集、版本、输出版本、状态、创建时间、所属工作空间、创建人。
- 点击任务名称进入详情页，查看「概览」「容器组」「运行日志」「事件」「清洗配置」「清洗结果」等页签。
代项目创建清洗任务
- 在数据清洗列表页点击「创建数据清洗任务」。
- 第一步：基本信息
- 工作空间/项目：选择目标租户和项目。
- 任务名称：小写英文/数字/中划线。
- 源数据集与版本：选择要清洗的数据集版本。
- 清洗字段：选择要处理的字段（如
instruction、output、content），支持自定义。 - 输出版本名称：清洗结果会保存为源数据集下的新版本。
- 第二步：清洗配置
- 清洗配置：去除乱码、去除 HTML 标签/网页标识符。
- 过滤配置：长度过滤（最小/最大长度）、特殊字符比例、有害内容过滤；高级选项支持语言检测（目标语言中文/英文）、困惑度过滤（最大困惑度阈值）。
- 去重配置：模糊去重、精确去重、重复内容检测（最大重复比率）。
- 隐私保护：隐私信息替换为
[NAME]/[PHONE]占位符，或隐私信息移除。 - 规范化配置：Unicode 规范化、空白清理、繁体转简体。
- 第三步：确认提交
- 系统会调用 preflight 校验数据集 schema，展示文件扫描结果（各文件字段、共有字段、差异字段、缺失的 cleaning 字段）。
- 核对源数据集、清洗规则、输出版本，点击「提交任务」。
- 任务运行过程中列表会展示四阶段步骤条：下载源数据 → 写入配置 → 执行清洗 → 上传结果。
- 任务完成后，进入源数据集详情查看最新版本。
管理清洗任务
- 在列表行内点击「更多操作」：
- 详情：查看任务概览、日志、事件、清洗配置与结果。
- 克隆：基于当前任务配置快速创建新任务，系统会预填任务名称（追加
-copy）、清洗配置、清洗字段、数据集/版本及输出版本名称。 - 停止：终止运行中/等待中的任务。
- 删除：删除终态任务；支持批量删除。
数据增强
查看与筛选增强任务
- 进入 AI 智算管理 > 数据管理 > 数据增强。
- 使用顶部筛选栏按工作空间、项目、状态、任务名称查询。
- 列表展示：任务名称、源数据集、版本、输出版本、状态、创建时间、所属工作空间、创建人。
- 点击任务名称进入详情页，查看「概览」「容器组」「运行日志」「事件」「增强配置」「增强结果」等页签。
代项目创建增强任务
- 在数据增强列表页点击「创建数据增强任务」。
- 选择数据集
- 工作空间/项目：选择目标租户和项目。
- 任务名称：小写英文/数字/中划线。
- 源数据集与版本：仅展示 Ready 状态的版本。
- 输出版本名称：增强结果会保存为源数据集下的新版本。
- 模型配置
- 模型 Endpoint：用于生成的大模型服务地址。
- 模型名称：具体调用的模型名。
- API 密钥：访问模型服务的密钥。
- 点击「模型检测」校验模型连通性；成功后会提示「模型连接正常」。
- 增强配置
- 数据扩写（默认开启）：选择操作字段、扩写倍数、自定义扩写 Prompt。
- 数据质检（默认关闭）：选择操作字段、自定义质检 Prompt（500 字以内）。
- 至少启用「数据扩写」或「数据质检」之一，否则无法提交。
- 点击「创建」，任务开始运行。
管理增强任务
- 在列表行内点击「更多操作」：
- 详情：查看任务概览、日志、事件、增强配置与结果。
- 克隆：基于当前任务配置快速创建新任务；克隆时会自动剔除源任务的 API 密钥，防止密钥泄露。
- 停止：终止运行中/等待中的任务。
- 删除：删除终态任务；支持批量删除。
在线增强
「在线增强」提供单条文本的实时改写/扩写入口，无需提交后台任务即可快速查看效果。
使用在线增强
- 进入 AI 智算管理 > 数据管理 > 在线增强。
- 配置模型 Endpoint、模型名称、API 密钥，点击「模型检测」确认连通性。
- 在「系统提示词」文本框中编写增强改写提示词。
- 在「原始数据」文本框中输入待增强的单条文本。
- 设置增强倍数，点击「开始数据增强」。
- 系统会按全部成功/部分失败/失败分级提示；增强结果以表格展示，支持单条复制/删除、一键清空、一键复制全部。
常见问题
Q：管理员能否查看其他租户的数据集？ A：在管理视角下，通过工作空间筛选可查看授权范围内的租户数据；未授权的工作空间不会出现在下拉列表中。
Q：数据集版本状态一直 Creating 怎么办？ A：Hub 导入或大文件上传可能需要几分钟；可点击版本「详情」查看文件数与状态，若失败会显示错误信息。本地文件上传完成后可手动「标记为就绪」。
Q：清洗任务报错「找不到模型路径」？ A：数据清洗不加载模型，该错误通常指任务镜像或启动命令配置异常，检查任务详情页日志。
Q：多模态数据集在微调任务中无法识别图片？ A：确认创建数据集时选择了正确的多模态类型，且媒体文件路径与 JSON 中占位符相对路径一致。