跳到主要内容

DatomsDBS 用户使用说明书

数据资产管理与智能交互平台

版本:v1.0


DatomsDBS
企业级数据资产管理平台

技术支持: jerry.zhang@datoms.cn
官方网站: https://www.datoms.cn
版权所有 © 2024


目录

第一章:欢迎使用DatomsDBS

  • 1.1 关于本手册
  • 1.2 DatomsDBS概述
  • 1.3 系统要求与访问

第二章:快速入门

  • 2.1 首次登录与界面导览
  • 2.2 基本概念

第三章:数据资源管理

  • 3.1 查看数据资源列表
  • 3.2 添加新的数据资源
  • 3.3 编辑数据资源
  • 3.4 删除数据资源
  • 3.5 测试数据资源连接

第四章:数据资产管理

  • 4.1 理解数据资产
  • 4.2 从数据资源创建数据资产
  • 4.3 查看数据资产列表与详情
  • 4.4 数据资产版本管理
  • 4.5 管理数据资产访问控制
  • 4.6 编辑与删除数据资产

第五章:数据产品管理与订阅

  • 5.1 理解数据产品
  • 5.2 发布数据资产为数据产品
  • 5.3 管理已发布的数据产品
  • 5.4 订阅管理
  • 5.5 订阅数据产品

第六章:使用Datoms Agent进行智能交互

  • 6.1 访问Datoms Agent
  • 6.2 使用自然语言进行交互
  • 6.3 使用结构化JSON指令进行交互
  • 6.4 Agent的能力与限制
  • 6.5 Agent交互最佳实践

第七章:用户管理

  • 7.1 查看用户列表
  • 7.2 创建新用户
  • 7.3 编辑用户信息
  • 7.4 删除用户
  • 7.5 理解用户角色与权限

第八章:系统设置

  • 8.1 修改个人密码
  • 8.2 系统级配置

第九章:故障排除与常见问题

  • 9.1 常见登录问题
  • 9.2 数据源连接失败排查
  • 9.3 数据资产创建问题
  • 9.4 Agent交互无响应或结果不准确
  • 9.5 订阅问题
  • 9.6 如何报告问题或获取支持

第十章:术语表

附录

  • 附录A:API接口文档摘要
  • 附录B:配置文件示例

第一章:欢迎使用DatomsDBS

1.1 关于本手册

手册目的

本手册旨在帮助用户全面了解和使用DatomsDBS数据资产管理与智能交互平台。无论您是数据分析师、数据工程师、业务人员还是系统管理员,都能从本手册中找到适合的使用指导。

适用读者

  • 主要用户: 数据分析师、数据科学家、数据工程师、业务人员
  • 管理员用户: IT管理员、数据治理负责人
  • 前提: 读者具备基础的计算机操作知识和对数据管理概念有初步了解

如何使用本手册

  • 按章节阅读: 如果您是新用户,建议按章节顺序阅读
  • 按需查阅: 如果您是有经验的用户,可以直接查阅相关功能章节
  • 故障排查: 遇到问题时,请优先查阅第九章故障排除部分

符号约定

本手册中使用以下符号约定:

  • 【按钮名称】 - 表示界面上的按钮或菜单项
  • 代码/路径 - 表示文件路径、代码片段或特定文本
  • 注意 - 重要信息提示
  • 提示 - 操作建议和技巧

1.2 DatomsDBS概述

什么是DatomsDBS

DatomsDBS(DatomsDB Server)是一个基于Node.js的企业级数据资产管理与智能交互平台,版本v0.1.0。该系统提供了完整的数据源连接、数据资产管理、用户认证、权限控制等功能,特别针对中小企业数据治理痛点而设计。

核心价值与目标

DatomsDBS致力于解决中小企业在数据管理中面临的三大核心问题:

  1. 数据孤岛问题 - 通过统一的数据资产管理平台,整合来自不同系统的数据源
  2. 技术门槛问题 - 通过自然语言智能交互Agent,降低数据查询和分析的技术门槛
  3. 数据价值挖掘 - 通过数据产品化机制,让数据资产产生更大的业务价值

主要功能模块

  • 数据资源管理 - 连接和管理多种类型的数据源
  • 数据资产管理 - 将数据源转换为可管理的数据资产
  • 数据产品管理 - 将数据资产包装为可订阅的数据产品
  • 订阅管理 - 管理数据产品的访问权限和使用统计
  • Datoms Agent - 基于自然语言的智能数据交互助手
  • 用户管理 - 基于角色的访问控制和用户权限管理
  • 系统设置 - 个人和系统级配置管理

1.3 系统要求与访问

浏览器兼容性

DatomsDBS支持以下现代浏览器:

  • Chrome 80+
  • Firefox 75+
  • Safari 13+
  • Edge 80+

注意: 建议使用Chrome或Firefox获得最佳用户体验。

如何访问DatomsDBS平台

  1. 打开浏览器,访问您组织提供的DatomsDBS URL
  2. 默认端口为9000,标准访问地址格式为:http://your-server:9000
  3. 管理控制台地址:http://your-server:9000/admin/

账户与登录

  • 联系您的系统管理员获取登录凭据
  • 首次登录建议立即修改密码
  • 系统支持JWT令牌认证,会话有效期由管理员配置

第二章:快速入门

2.1 首次登录与界面导览

登录步骤

  1. 在浏览器中打开DatomsDBS管理控制台
  2. 您将看到登录界面,包含以下元素:
    • Username 输入框
    • Password 输入框
    • 【Login】按钮

[此处插入截图:登录页面界面]

  1. 输入您的用户名和密码
  2. 点击【Login】按钮完成登录

注意: 如果登录失败,错误信息将显示在输入框上方的红色区域中。

主界面布局介绍

成功登录后,您将进入DatomsDBS主控制台,界面主要包含以下区域:

[此处插入截图:主界面布局,标注各个区域]

1. 顶部导航栏(Header)

  • 左侧: DatomsDBS Logo和平台标题
  • 右侧: 用户信息、主题切换开关、【Logout】按钮

2. 侧边导航栏(Sidebar)

分为三个主要区域:

数据资产目录

  • 显示已创建的数据资产库列表
  • 提供数据资产创建入口

数据资产管理

  • 📊 数据资源 - 管理数据源连接
  • 📦 数据产品 - 管理发布的数据产品
  • 🔔 订阅 - 管理数据产品订阅

系统管理

  • 👥 用户管理 - 用户和角色管理
  • ⚙️ 系统设置 - 个人和系统配置

3. 主工作区(Content Area)

显示当前选中功能的详细内容和操作界面。

主题切换

点击顶部导航栏右侧的主题切换开关,可以在明亮主题和深色主题之间切换。

2.2 基本概念

在开始使用DatomsDBS之前,了解以下核心概念非常重要:

数据源(Data Source)

数据源是指外部的数据存储系统或文件,包括:

  • 关系型数据库:MySQL、PostgreSQL等
  • NoSQL数据库:MongoDB等
  • 文件格式:CSV、Excel、JSON、PDF、Word文档、图片等
  • API接口:REST API、GraphQL等
  • 云存储:AWS S3等

数据资产(Data Asset)

数据资产是指已导入DatomsDBS系统并转换为DatomsDB格式的数据。数据资产具有以下特点:

  • 统一的数据格式(基于DatomsDB)
  • 完整的元数据信息
  • 访问控制机制
  • 版本管理能力

数据产品(Data Product)

数据产品是基于数据资产创建的、可对外提供服务的数据单元。数据产品特性:

  • 具有明确的业务用途
  • 可被其他用户或系统订阅
  • 拥有生命周期管理
  • 支持访问统计和监控

订阅(Subscription)

订阅是用户或系统获取数据产品访问权限的机制,包括:

  • 订阅申请和审批流程
  • 不同的定价模式(按月、按请求次数等)
  • 使用统计和配额管理
  • API密钥和访问凭证

Datoms Agent

Datoms Agent是DatomsDBS的AI智能助手,具备以下能力:

  • 理解自然语言查询
  • 执行数据查询和分析任务
  • 提供数据洞察和建议
  • 持久化对话记忆

用户角色(User Roles)

DatomsDBS采用基于角色的访问控制(RBAC),主要角色包括:

  • 管理员(Admin):系统管理和配置权限
  • 数据工程师(Data Engineer):数据源和资产管理权限
  • 分析师(Analyst):数据查询和分析权限
  • 普通用户(User):基础数据访问权限

第三章:数据资源管理

3.1 查看数据资源列表

访问数据资源管理页面

  1. 在侧边导航栏中,点击【数据资源】菜单项
  2. 系统将显示数据资源管理界面

[此处插入截图:数据资源管理页面]

数据资源列表字段说明

数据资源列表显示以下关键信息:

字段名称说明
名称数据资源的自定义名称
类型数据源类型(Database、File、API等)
状态连接状态(已连接、未连接、错误等)
创建时间数据资源创建的时间戳
操作可执行的操作按钮(编辑、删除、测试连接等)

筛选与搜索数据资源

在数据资源列表页面,您可以:

  • 使用搜索框快速查找特定名称的数据资源
  • 按类型筛选(数据库、文件、API等)
  • 按状态筛选(已连接、未连接、错误)
  • 按创建时间排序

3.2 添加新的数据资源

创建数据资源的前提条件

  • 确保您有足够的权限创建数据资源
  • 准备好目标数据源的连接信息
  • 确认网络连通性(对于远程数据库)

开始创建流程

  1. 在数据资源管理页面,点击【创建数据资源】按钮
  2. 系统将显示数据源类型选择界面

3.2.1 连接文件类型数据源(File)

支持的文件格式

DatomsDBS支持以下文件格式:

  • CSV文件 - 逗号分隔值文件
  • JSON文件 - JavaScript对象表示法文件
  • Excel文件 - .xlsx/.xls格式
  • PDF文档 - 便携式文档格式
  • Word文档 - .docx格式
  • 文本文件 - .txt/.md格式
  • 图片文件 - .png/.jpg/.jpeg格式

配置步骤

  1. 选择数据源类型为【File】
  2. 填写基本信息:
    • 数据资源名称:输入便于识别的名称
    • 描述:简要说明此数据源的用途和内容
  3. 选择文件上传方式:
    • 本地上传:直接从您的计算机选择文件
    • 服务器路径:输入服务器上已存在文件的路径
  4. 点击【选择文件】或输入文件路径
  5. 系统将自动检测文件格式并显示预览
  6. 点击【保存】完成创建

注意:

  • 单个文件大小限制为100MB
  • 大文件将自动进行分块处理
  • 系统会为每个文件生成唯一的哈希值用于去重

3.2.2 连接数据库类型数据源(Database)

支持的数据库类型

  • MySQL - 世界上最流行的开源关系型数据库
  • PostgreSQL - 功能强大的开源对象关系型数据库
  • MongoDB - 领先的NoSQL文档数据库

配置项说明

根据数据库类型,您需要提供以下连接信息:

MySQL/PostgreSQL连接配置:

  • 数据资源名称:自定义的识别名称
  • 描述:数据源用途说明
  • 主机地址(Host):数据库服务器IP或域名
  • 端口(Port):数据库服务端口(MySQL默认3306,PostgreSQL默认5432)
  • 数据库名(Database):要连接的数据库名称
  • 用户名(Username):数据库用户名
  • 密码(Password):数据库密码

MongoDB连接配置:

  • 数据资源名称:自定义的识别名称
  • 描述:数据源用途说明
  • 连接字符串(Connection String):MongoDB连接URI
  • 或分别配置:主机、端口、数据库名、用户名、密码

详细配置步骤

  1. 选择数据源类型为【Database】
  2. 选择具体的数据库类型(MySQL、PostgreSQL或MongoDB)
  3. 填写所有必需的连接参数
  4. 点击【测试连接】验证配置是否正确
  5. 连接测试成功后,点击【保存】完成创建

重要提示:

  • 强烈建议在保存前进行连接测试
  • 确保数据库用户具有适当的读取权限
  • 检查防火墙设置,确保网络连通性

3.2.3 连接API类型数据源(API)

支持的API类型

  • REST API - RESTful风格的Web API
  • GraphQL - 查询语言和运行时

配置项说明

  • 数据资源名称:自定义的识别名称
  • 描述:API数据源的用途说明
  • API端点URL:API的完整访问地址
  • HTTP方法:GET、POST、PUT、DELETE等
  • 认证方式
    • 无认证 - 公开API
    • API Key - 基于API密钥认证
    • Bearer Token - 基于令牌认证
    • Basic Auth - 基础用户名密码认证
  • 请求头(Headers):自定义HTTP请求头
  • 请求参数(Parameters):API调用所需参数

详细配置步骤

  1. 选择数据源类型为【API】
  2. 输入API端点URL
  3. 选择适当的HTTP方法
  4. 配置认证信息(如需要)
  5. 添加必要的请求头和参数
  6. 点击【测试连接】验证API是否可访问
  7. 测试成功后,点击【保存】完成创建

3.3 编辑数据资源

编辑操作步骤

  1. 在数据资源列表中找到需要编辑的数据源
  2. 点击该数据源行右侧的【编辑】按钮
  3. 系统将显示编辑界面,您可以修改:
    • 数据资源名称
    • 描述信息
    • 连接配置参数(根据数据源类型)
  4. 修改完成后,建议点击【测试连接】验证更改
  5. 点击【保存】应用更改

注意: 修改连接参数可能影响已创建的数据资产,请谨慎操作。

3.4 删除数据资源

删除前的重要确认

删除数据资源前,请确认:

  • 该数据源是否已被用于创建数据资产
  • 是否有正在运行的数据同步任务
  • 删除操作不可恢复

删除步骤

  1. 在数据资源列表中选择要删除的数据源
  2. 点击【删除】按钮
  3. 系统将显示确认对话框,列出删除的影响
  4. 仔细阅读提示信息
  5. 确认无误后,点击【确认删除】

警告: 删除数据资源将导致相关的数据资产变为不可访问状态。

3.5 测试数据资源连接

连接测试的重要性

连接测试可以帮助您:

  • 验证连接配置是否正确
  • 确认网络连通性
  • 检查认证信息是否有效
  • 预览数据源的基本信息

测试步骤

  1. 选择要测试的数据资源
  2. 点击【测试连接】按钮
  3. 系统将尝试连接到数据源并显示结果

测试结果解读

成功状态

  • 绿色指示器 - 连接成功
  • 基本信息显示 - 如数据库版本、表数量等
  • 数据预览 - 显示部分数据样本

失败状态

  • 红色指示器 - 连接失败
  • 错误信息 - 具体的失败原因
  • 建议解决方案 - 系统提供的修复建议

常见错误与解决方案

错误类型可能原因解决方案
连接超时网络不通或防火墙阻止检查网络配置和防火墙设置
认证失败用户名或密码错误验证认证凭据
数据库不存在数据库名称错误确认数据库名称拼写
权限不足用户权限不够联系数据库管理员分配权限

第四章:数据资产管理

4.1 理解数据资产

数据资产与数据源的关系

数据资产是基于数据源创建的、经过处理和优化的数据实体。两者的主要区别:

特性数据源数据资产
性质外部数据的连接配置内部管理的数据实体
格式保持原始格式转换为DatomsDB统一格式
访问需要连接外部系统直接在平台内访问
管理连接和认证管理版本、权限、元数据管理
性能依赖外部系统性能优化的查询性能

数据资产在DatomsDB中的存储

  • 统一格式:所有数据资产都转换为DatomsDB的Datoms格式
  • 实体-属性-值:采用EAV(Entity-Attribute-Value)模型
  • 时间维度:支持数据的时间版本管理
  • 完整性:保证数据的ACID特性

4.2 从数据资源创建数据资产

前提条件

在创建数据资产前,请确保:

  • 已成功创建并连接了数据源
  • 数据源状态为"已连接"
  • 您有足够的权限创建数据资产
  • 有足够的存储空间用于数据导入

创建数据资产的步骤

步骤1:选择数据源

  1. 在数据资源管理页面,找到状态为"已连接"的数据源
  2. 点击该数据源操作列中的【入库为资产】按钮

[此处插入截图:数据源列表,高亮"入库为资产"按钮]

步骤2:配置数据导入

系统将显示数据导入配置页面,包含以下选项:

基本信息配置:

  • 数据资产名称:为数据资产指定一个便于识别的名称
  • 描述:详细说明数据资产的内容和用途
  • 标签:添加便于分类和搜索的标签

数据选择配置(针对数据库类型):

  • 全库导入:导入整个数据库的所有表
  • 选择表导入:手动选择需要导入的表
  • 自定义查询:使用SQL查询导入特定数据

文件处理配置(针对文件类型):

  • 分块处理:大文件自动分块处理
  • 格式转换:指定数据格式转换规则
  • 编码设置:选择正确的字符编码

步骤3:预览和确认

  1. 系统将显示数据预览,包括:
    • 数据结构概览
    • 数据量统计
    • 预计导入时间
    • 存储空间需求

[此处插入截图:数据导入预览界面]

  1. 确认无误后,点击【开始导入】

步骤4:监控导入进度

  • 系统将显示实时导入进度
  • 大文件分块处理的进度
  • 内容哈希校验过程
  • 预计完成时间

大文件处理机制

对于大型数据源,DatomsDBS采用以下优化策略:

  • 分块处理:将大文件分割为小块进行处理
  • 并行导入:多个数据块同时进行导入
  • 断点续传:支持导入过程中断后的续传
  • 哈希校验:确保数据完整性

4.3 查看数据资产列表与详情

访问数据资产管理

数据资产可以通过两种方式访问:

  1. 侧边栏数据资产目录:显示所有数据资产的概览
  2. 主工作区详情页面:显示特定数据资产的详细信息

数据资产列表视图

侧边栏数据资产目录

[此处插入截图:侧边栏数据资产目录]

侧边栏显示的信息包括:

  • 数据资产名称:点击可进入详情页面
  • 状态指示器:绿色(正常)、黄色(警告)、红色(错误)
  • 类型图标:标识数据资产的原始类型

数据资产列表字段说明

在主工作区可以查看更详细的数据资产列表:

字段名称说明
名称数据资产的自定义名称
类型原始数据源类型(Database、File、API)
状态运行状态(正常、同步中、错误)
源ID关联的数据源标识
创建者创建此数据资产的用户
创建时间数据资产创建的时间戳
大小数据资产占用的存储空间
操作可执行的操作按钮

筛选与搜索数据资产

数据资产管理页面提供以下筛选选项:

  • 按名称搜索:快速查找特定名称的数据资产
  • 按类型筛选:Database、File、API
  • 按状态筛选:正常、同步中、错误
  • 按创建者筛选:查看特定用户创建的数据资产
  • 按创建时间排序:最新或最早创建

数据资产详情页面

访问详情页面

  1. 在侧边栏点击数据资产名称,或
  2. 在数据资产列表中点击数据资产名称

详情页面内容

基本信息卡片: [此处插入截图:数据资产详情页面基本信息]

  • 数据资产ID:系统生成的唯一标识符
  • 名称:用户定义的显示名称
  • 描述:详细说明
  • 类型:原始数据源类型
  • 状态:当前运行状态
  • 版本:当前数据版本号
  • 创建时间:首次创建时间
  • 最后更新:最近更新时间
  • 数据大小:存储占用空间
  • 记录数量:包含的数据记录总数

元数据信息:

  • 数据结构:实体、属性、关系的概览
  • 数据质量指标:完整性、一致性评分
  • 数据谱系:数据来源和转换历史
  • 使用统计:访问频率、查询次数

数据预览功能

在详情页面可以预览数据内容:

  • 结构预览:查看数据的entity-attribute-value结构
  • 样本数据:显示前100条记录
  • 统计信息:每个属性的值分布统计

[此处插入截图:数据预览界面]

4.4 数据资产版本管理

版本控制机制

DatomsDBS为每个数据资产提供版本管理功能:

  • 自动版本号:系统自动为每次更新分配版本号
  • 增量更新:只存储变化的数据
  • 版本比较:可以比较不同版本之间的差异
  • 版本回滚:可以回退到历史版本

查看版本历史

  1. 在数据资产详情页面,点击【版本历史】标签
  2. 系统将显示所有历史版本:
    • 版本号
    • 更新时间
    • 变更摘要
    • 操作用户

版本操作

  • 查看版本:浏览特定版本的数据内容
  • 比较版本:对比两个版本之间的差异
  • 回滚版本:将数据恢复到指定版本
  • 删除版本:清理不需要的历史版本

4.5 管理数据资产访问控制

数据资产的访问控制是确保数据安全的重要机制。DatomsDBS提供多层次的访问控制选项。

4.5.1 API密钥管理

API密钥的作用

API密钥用于:

  • 程序化访问数据资产
  • 身份验证和授权
  • 访问日志跟踪
  • 使用配额控制

生成API密钥

  1. 在数据资产详情页面,找到【访问控制】区域
  2. 在"API密钥"字段旁点击【生成】按钮
  3. 系统将生成一个新的API密钥并显示

[此处插入截图:API密钥生成界面]

管理API密钥

  • 查看密钥:显示当前有效的API密钥
  • 复制密钥:一键复制密钥到剪贴板
  • 重新生成:生成新密钥(旧密钥立即失效)
  • 吊销密钥:立即使当前密钥失效

安全提示:

  • API密钥应妥善保管,不要泄露给无关人员
  • 定期更换API密钥以提高安全性
  • 发现密钥泄露时应立即重新生成

4.5.2 IP白名单设置

IP白名单的作用

IP白名单限制只有特定的IP地址或IP段可以访问数据资产,提供额外的安全保护。

添加IP地址

  1. 在【访问控制】区域找到"允许的IP地址"字段
  2. 输入IP地址或IP段(支持CIDR格式)
  3. 多个IP地址用逗号分隔
  4. 点击【保存】应用设置

IP地址格式示例:

  • 单个IP:192.168.1.100
  • IP段:192.168.1.0/24
  • 多个IP:192.168.1.100, 10.0.0.50, 172.16.0.0/16

管理IP白名单

  • 查看列表:显示当前配置的IP白名单
  • 添加IP:向白名单添加新的IP地址
  • 删除IP:从白名单移除IP地址
  • 编辑IP:修改已有的IP地址配置

4.5.3 公开访问设置

公开访问的含义

启用公开访问后,任何人都可以在不提供认证信息的情况下访问数据资产。

开启公开访问

  1. 在【访问控制】区域找到"公开访问"选项
  2. 勾选【是否公开】复选框
  3. 点击【保存】应用设置

[此处插入截图:访问控制配置界面]

公开访问的适用场景

  • 开放数据集:政府公开数据、研究数据
  • 演示数据:用于展示的样本数据
  • 公共API:面向公众的数据服务

公开访问的风险

  • 数据泄露:敏感数据可能被未授权访问
  • 资源消耗:无限制访问可能导致服务过载
  • 合规问题:可能违反数据保护法规

安全建议:

  • 仅对非敏感数据启用公开访问
  • 设置适当的访问频率限制
  • 定期审查公开访问的数据资产

4.6 编辑与删除数据资产

编辑数据资产

可编辑的信息

  • 基本信息:名称、描述、标签
  • 访问控制:API密钥、IP白名单、公开访问设置
  • 元数据:用户自定义的元数据字段

编辑步骤

  1. 在数据资产详情页面,点击【编辑】按钮
  2. 修改需要更改的字段
  3. 点击【保存】应用更改

注意事项:

  • 某些系统字段(如ID、创建时间)无法修改
  • 访问控制变更会立即生效
  • 名称修改不会影响API访问(使用ID标识)

删除数据资产

删除前的重要确认

删除数据资产是不可逆的操作,删除前请确认:

  • 是否有其他用户或系统正在使用此数据资产
  • 是否有基于此数据资产创建的数据产品
  • 是否需要备份数据资产

删除操作步骤

  1. 在数据资产详情页面,点击【删除】按钮
  2. 系统将显示删除确认对话框
  3. 对话框会列出删除的影响范围:
    • 关联的数据产品
    • 现有的订阅
    • 依赖此数据资产的其他资源
  4. 输入数据资产名称确认删除意图
  5. 点击【确认删除】完成操作

删除影响:

  • 数据资产及其所有版本将被永久删除
  • 基于此数据资产的数据产品将无法访问
  • 相关的API访问将返回404错误
  • 订阅用户将无法继续访问数据

安全措施:

  • 只有数据资产的创建者或管理员可以删除
  • 删除操作会记录在审计日志中
  • 系统会在删除前检查依赖关系

第五章:数据产品管理与订阅

5.1 理解数据产品

数据产品与数据资产的关系

数据产品是基于数据资产创建的、可对外提供服务的数据单元。两者的主要区别:

特性数据资产数据产品
性质内部管理的数据实体对外提供服务的数据单元
格式统一格式根据业务需求定制
访问直接在平台内访问需要订阅获取访问权限
管理版本、权限、元数据管理生命周期管理、访问统计
性能优化的查询性能根据业务需求优化

数据产品在DatomsDB中的存储

  • 统一格式:所有数据产品都转换为DatomsDB的Datoms格式
  • 实体-属性-值:采用EAV(Entity-Attribute-Value)模型
  • 时间维度:支持数据的时间版本管理
  • 完整性:保证数据的ACID特性

5.2 发布数据资产为数据产品

前提条件

在发布数据资产为数据产品前,请确保:

  • 数据资产已成功创建并连接
  • 数据资产状态为"已连接"
  • 您有足够的权限发布数据产品
  • 有足够的存储空间用于数据导入

发布数据产品的步骤

步骤1:选择数据资产

  1. 在数据资产列表中找到需要发布的数据资产
  2. 点击该数据资产操作列中的【发布为产品】按钮

[此处插入截图:数据资产列表,高亮"发布为产品"按钮]

步骤2:配置数据产品发布

系统将显示数据产品发布配置页面,包含以下选项:

基本信息配置:

  • 数据产品名称:为数据产品指定一个便于识别的名称
  • 描述:详细说明数据产品的内容和用途
  • 标签:添加便于分类和搜索的标签

数据选择配置(针对数据库类型):

  • 全库导入:导入整个数据库的所有表
  • 选择表导入:手动选择需要导入的表
  • 自定义查询:使用SQL查询导入特定数据

文件处理配置(针对文件类型):

  • 分块处理:大文件自动分块处理
  • 格式转换:指定数据格式转换规则
  • 编码设置:选择正确的字符编码

步骤3:预览和确认

  1. 系统将显示数据预览,包括:
    • 数据结构概览
    • 数据量统计
    • 预计导入时间
    • 存储空间需求

[此处插入截图:数据产品发布预览界面]

  1. 确认无误后,点击【开始发布】

步骤4:监控发布进度

  • 系统将显示实时发布进度
  • 大文件分块处理的进度
  • 内容哈希校验过程
  • 预计完成时间

大文件处理机制

对于大型数据源,DatomsDBS采用以下优化策略:

  • 分块处理:将大文件分割为小块进行处理
  • 并行导入:多个数据块同时进行导入
  • 断点续传:支持导入过程中断后的续传
  • 哈希校验:确保数据完整性

5.3 管理已发布的数据产品

访问数据产品管理

数据产品可以通过两种方式访问:

  1. 侧边栏数据产品目录:显示所有数据产品的概览
  2. 主工作区详情页面:显示特定数据产品的详细信息

数据产品列表视图

侧边栏数据产品目录

[此处插入截图:侧边栏数据产品目录]

侧边栏显示的信息包括:

  • 数据产品名称:点击可进入详情页面
  • 状态指示器:绿色(正常)、黄色(警告)、红色(错误)
  • 类型图标:标识数据产品的原始类型

数据产品列表字段说明

在主工作区可以查看更详细的数据产品列表:

字段名称说明
名称数据产品的自定义名称
类型原始数据资产类型(Database、File、API)
状态运行状态(正常、同步中、错误)
源ID关联的数据资产标识
创建者创建此数据产品的用户
创建时间数据产品创建的时间戳
大小数据产品占用的存储空间
操作可执行的操作按钮

筛选与搜索数据产品

数据产品管理页面提供以下筛选选项:

  • 按名称搜索:快速查找特定名称的数据产品
  • 按类型筛选:Database、File、API
  • 按状态筛选:正常、同步中、错误
  • 按创建者筛选:查看特定用户创建的数据产品
  • 按创建时间排序:最新或最早创建

数据产品详情页面

访问详情页面

  1. 在侧边栏点击数据产品名称,或
  2. 在数据产品列表中点击数据产品名称

详情页面内容

基本信息卡片: [此处插入截图:数据产品详情页面基本信息]

  • 数据产品ID:系统生成的唯一标识符
  • 名称:用户定义的显示名称
  • 描述:详细说明
  • 类型:原始数据资产类型
  • 状态:当前运行状态
  • 版本:当前数据版本号
  • 创建时间:首次创建时间
  • 最后更新:最近更新时间
  • 数据大小:存储占用空间
  • 记录数量:包含的数据记录总数

元数据信息:

  • 数据结构:实体、属性、关系的概览
  • 数据质量指标:完整性、一致性评分
  • 数据谱系:数据来源和转换历史
  • 使用统计:访问频率、查询次数

数据预览功能

在详情页面可以预览数据内容:

  • 结构预览:查看数据的entity-attribute-value结构
  • 样本数据:显示前100条记录
  • 统计信息:每个属性的值分布统计

[此处插入截图:数据预览界面]

5.4 订阅管理

订阅与数据产品的关系

订阅是用户或系统获取数据产品访问权限的机制,包括:

  • 订阅申请和审批流程
  • 不同的定价模式(按月、按请求次数等)
  • 使用统计和配额管理
  • API密钥和访问凭证

订阅管理功能

DatomsDBS提供以下订阅管理功能:

  • 订阅申请:用户可以申请订阅数据产品
  • 订阅审批:管理员可以审批订阅申请
  • 订阅配置:用户可以配置订阅参数
  • 使用统计:监控数据产品使用情况
  • 订阅续费:管理订阅到期续费

订阅管理流程

  1. 申请订阅:用户在数据产品详情页面点击【申请订阅】按钮
  2. 审批流程:管理员审核订阅申请
  3. 配置订阅:用户配置订阅参数
  4. 使用统计:监控数据产品使用情况
  5. 续费管理:管理订阅到期续费

5.5 订阅数据产品

订阅数据产品的步骤

  1. 在数据产品列表中找到需要订阅的数据产品
  2. 点击该数据产品操作列中的【订阅】按钮

[此处插入截图:数据产品列表,高亮"订阅"按钮]

  1. 系统将显示订阅配置页面,包含以下选项:

订阅配置:

  • 订阅期限:选择订阅期限
  • 订阅价格:输入订阅价格
  • 订阅配额:设置订阅配额
  1. 确认无误后,点击【开始订阅】

订阅数据产品的注意事项

  • 订阅期限:订阅期限到期后,订阅将自动终止
  • 订阅价格:订阅价格根据数据产品类型和使用情况确定
  • 订阅配额:订阅配额根据数据产品类型和使用情况设置

第六章:使用Datoms Agent进行智能交互

6.1 访问Datoms Agent

访问Datoms Agent的步骤

  1. 在侧边栏导航栏中,点击【Datoms Agent】菜单项
  2. 系统将显示Datoms Agent界面

[此处插入截图:Datoms Agent界面]

6.2 使用自然语言进行交互

自然语言交互的步骤

  1. 在Datoms Agent界面中,输入自然语言查询
  2. 系统将解析查询并执行相应的数据查询和分析任务

[此处插入截图:自然语言交互界面]

6.3 使用结构化JSON指令进行交互

结构化JSON指令交互的步骤

  1. 在Datoms Agent界面中,输入结构化JSON指令
  2. 系统将解析指令并执行相应的数据查询和分析任务

[此处插入截图:结构化JSON指令交互界面]

6.4 Agent的能力与限制

Datoms Agent的能力

Datoms Agent具备以下能力:

  • 理解自然语言查询
  • 执行数据查询和分析任务
  • 提供数据洞察和建议
  • 持久化对话记忆

Datoms Agent的限制

Datoms Agent在以下情况下可能无法正常工作:

  • 网络连接问题
  • 数据源访问权限问题
  • 数据资产状态异常
  • 系统配置错误

6.5 Agent交互最佳实践

交互最佳实践的建议

  1. 清晰描述查询需求
  2. 提供足够的数据上下文
  3. 使用结构化JSON指令
  4. 定期检查Agent状态

第七章:用户管理

7.1 查看用户列表

访问用户管理页面

  1. 在侧边栏导航栏中,点击【用户管理】菜单项
  2. 系统将显示用户管理界面

[此处插入截图:用户管理页面]

用户列表字段说明

用户列表显示以下关键信息:

字段名称说明
用户名用户的唯一标识
角色用户角色(管理员、数据工程师、分析师、普通用户)
状态用户状态(正常、禁用、锁定)
创建时间用户创建的时间戳
操作可执行的操作按钮(编辑、删除、重置密码等)

筛选与搜索用户

在用户列表页面,您可以:

  • 使用搜索框快速查找特定用户
  • 按角色筛选(管理员、数据工程师、分析师、普通用户)
  • 按状态筛选(正常、禁用、锁定)
  • 按创建时间排序

7.2 创建新用户

创建新用户的步骤

  1. 在用户管理页面,点击【创建新用户】按钮
  2. 系统将显示用户创建界面,包含以下字段:
    • 用户名:输入唯一的用户名
    • 角色:选择用户角色(管理员、数据工程师、分析师、普通用户)
    • 状态:选择用户状态(正常、禁用、锁定)
    • 密码:设置用户密码
    • 邮箱:输入用户邮箱
    • 手机:输入用户手机号码
  3. 填写所有必需的信息
  4. 点击【保存】完成创建

7.3 编辑用户信息

编辑用户信息的步骤

  1. 在用户列表中找到需要编辑的用户
  2. 点击该用户行右侧的【编辑】按钮
  3. 系统将显示用户编辑界面,您可以修改:
    • 用户名
    • 角色
    • 状态
    • 密码
    • 邮箱
    • 手机号码
  4. 修改完成后,点击【保存】应用更改

7.4 删除用户

删除用户的步骤

  1. 在用户列表中选择要删除的用户
  2. 点击【删除】按钮
  3. 系统将显示确认对话框,列出删除的影响
  4. 仔细阅读提示信息
  5. 确认无误后,点击【确认删除】完成操作

警告: 删除用户将导致该用户创建的所有数据资产和数据产品变为不可访问状态。

7.5 理解用户角色与权限

用户角色与权限的说明

DatomsDBS采用基于角色的访问控制(RBAC),主要角色包括:

  • 管理员(Admin):系统管理和配置权限
  • 数据工程师(Data Engineer):数据源和资产管理权限
  • 分析师(Analyst):数据查询和分析权限
  • 普通用户(User):基础数据访问权限

角色权限的详细说明

  • 管理员(Admin):可以执行所有操作,包括数据资产和数据产品的发布、管理、删除等
  • 数据工程师(Data Engineer):可以执行数据源连接、数据资产管理、数据产品发布等操作
  • 分析师(Analyst):可以执行数据查询和分析任务
  • 普通用户(User):只能执行基础数据访问操作

第八章:系统设置

8.1 修改个人密码

修改个人密码的步骤

  1. 在侧边栏导航栏中,点击【系统设置】菜单项
  2. 系统将显示系统设置界面

[此处插入截图:系统设置界面]

  1. 在"个人设置"区域,找到"密码"字段
  2. 输入当前密码和新密码
  3. 点击【保存】应用更改

8.2 系统级配置

系统级配置的说明

系统级配置包括:

  • 数据源连接配置
  • 数据资产和数据产品管理配置
  • 用户和角色管理配置
  • 系统安全配置

系统级配置的详细说明

  1. 数据源连接配置:配置数据源连接参数
  2. 数据资产和数据产品管理配置:配置数据资产和数据产品发布、管理、删除等参数
  3. 用户和角色管理配置:配置用户和角色管理参数
  4. 系统安全配置:配置系统安全参数

第九章:故障排除与常见问题

9.1 常见登录问题

登录问题的可能原因

  1. 用户名或密码错误
  2. 网络连接问题
  3. 系统配置错误
  4. 账户状态异常

解决登录问题的方法

  1. 检查用户名和密码是否正确
  2. 检查网络连接是否正常
  3. 联系系统管理员重置密码
  4. 检查账户状态是否正常

9.2 数据源连接失败排查

数据源连接失败的可能原因

  1. 网络连接问题
  2. 数据库配置错误
  3. 防火墙设置阻止连接
  4. 数据源状态异常

解决数据源连接失败的方法

  1. 检查网络连接是否正常
  2. 检查数据库配置是否正确
  3. 检查防火墙设置是否阻止连接
  4. 检查数据源状态是否正常

9.3 数据资产创建问题

数据资产创建失败的可能原因

  1. 数据源连接失败
  2. 数据源状态异常
  3. 存储空间不足
  4. 数据格式不兼容

解决数据资产创建问题的方法

  1. 检查数据源连接是否正常
  2. 检查数据源状态是否正常
  3. 检查存储空间是否足够
  4. 检查数据格式是否兼容

9.4 Agent交互无响应或结果不准确

Agent交互无响应的可能原因

  1. 网络连接问题
  2. 系统配置错误
  3. 数据资产状态异常
  4. 数据源访问权限问题

解决Agent交互无响应的方法

  1. 检查网络连接是否正常
  2. 检查系统配置是否正确
  3. 检查数据资产状态是否正常
  4. 检查数据源访问权限是否正常

9.5 订阅问题

订阅问题的可能原因

  1. 订阅期限到期
  2. 订阅价格问题
  3. 订阅配额不足
  4. 数据产品状态异常

解决订阅问题的方法

  1. 检查订阅期限是否到期
  2. 检查订阅价格是否合理
  3. 检查订阅配额是否足够
  4. 检查数据产品状态是否正常

9.6 如何报告问题或获取支持

报告问题的方法

  1. 在DatomsDBS平台中,点击【帮助】菜单项
  2. 选择【报告问题】选项
  3. 填写问题描述和相关信息
  4. 点击【提交】完成问题报告

获取支持的方法

  1. 在DatomsDBS平台中,点击【帮助】菜单项
  2. 选择【获取支持】选项
  3. 填写联系信息和问题描述
  4. 点击【提交】完成支持请求

第十章:术语表

术语表

术语解释
DatomsDBS数据资产管理与智能交互平台
数据源外部数据的存储系统或文件
数据资产已导入DatomsDBS系统并转换为Datoms格式数据
数据产品基于数据资产创建的、可对外提供服务的数据单元
订阅用户或系统获取数据产品访问权限的机制
Datoms AgentDatomsDBS的AI智能助手
用户角色DatomsDBS采用基于角色的访问控制(RBAC)的主要角色

附录

附录A:API接口文档摘要

附录B:配置文件示例