数据表资产
数据表资产
使用场景:用户需将已开发治理完毕的资产发布,供消费人员的进行数据消费。
使用角色:数据消费人员。
功能描述:平台提供资产访问在线申请能力,消费人员申请经审批授权后,即可通过 API、数据库直连的方式访问资产,支持列级、行级多维度的数据消费。
注意
- 所有申请均有空间管理员审批,当空间管理员自行申请时,审批将自动通过,且默认授予整表所有字段权限;
- 当用户申请访问后,在该审批通过/不通过或者撤销之前,不可再申请访问;
- 当用户拥有该数据表的所有字段和所有访问方式的权限时,不可再申请访问;
- 当前用户如果对一张表进行申请访问通过后,再次提交申请访问并通过后,那么该用户对这张表的访问权限取决于最后一次的申请访问时申请的权限;
- 数据预览,当暂未申请访问权限时,按业务权限预览数据;当列级或行级访问已授权时,按已授权的访问列预览数据;当同时已授权行级和列级权限时,可预览全部列数据。
常规消费
列级申请
- 进入数据开放 > 本空间资产 > 数据表资产界面,点击目标数据表资产名称跳转至资产详情界面。在“元数据”标签页勾选所需字段后点击右下角的“列级申请”,在弹窗内按要求填写申请信息“保存”后,需等待空间管理员审批。
注意
- 共享方式为有条件共享时,列级申请需上传本地文件,请线下与责任人沟通确认“有条件共享”数据表所需证明材料,并上传,可上传多个文件;
- 待审批通过后,即可对数据表部分列按不同消费方式对数据进行访问。
行级申请
- 进入数据开放 > 本空间资产 > 数据表资产界面,点击目标数据表资产名称跳转至资产详情界面。在“元数据”标签页勾选所需字段后点击右下角的“行级申请”,在弹窗内按要求填写申请信息“保存”后,需等待空间管理员审批。
注意
- 个人中心 > 审批管理 > 我已申请中在查看审批详情时行级申请信息显示对应的行级权限视图英文名,后续消费人员通过访问该视图名获取行级权限;
- 行级申请支持消费数据表部分列的部分行数据;
- 共享方式为有条件共享时,行级申请需上传本地文件,请线下与责任人沟通确认“有条件共享”数据表所需证明材料,并上传,可上传多个文件。
- 行级配置说明
- 进行行级申请时,需要指定字段名称和字段值,若有多个指定字段值,则所有指定字段值的关系为“且”。
- 假设指定字段1“性别”,指定字段值为“等于男”,字段2“年龄”,指定字段值为“大于20”,则行级申请的为数据表中性别为男且年龄大于20的所有行数据。
- 待审批通过后,即可对数据表部分行按不同消费方式对数据进行访问。
行列混合
平台支持行列混合的权限申请,即支持消费数据表部分列的部分行数据,通过行级申请即可实现。
注意
- 行列混合时不要求过滤条件一定为所申请字段列,如申请列选择“姓名”,但行级过滤条件可选择“年龄”、“性别”等其他列,最终获取的权限为通过“年龄”、“性别”过滤后的“姓名”列部分行数据。
批量申请
进入数据开放 > 本空间资产 > 数据表资产界面,勾选多个目标数据表,点击列表上方的“批量申请”按钮,在弹窗内按要求填写申请信息“保存”后,需等待空间管理员审批。
注意
- 批量申请会自动申请所选表当前所有列的权限;
- 当勾选数据表包含共享方式为有条件共享时,对有条件共享数据表分别上传证明材料;
- 当勾选数据表包含共享方式为不予共享时,无法批量申请,需取消勾选再申请;
- 申请提交后,系统会自动将每个申请数据表拆分为一条独立申请记录,需审批人逐一审批。
智能消费
智能消费
使用场景:当用户所需的字段存在于多个数据表中时,批量申请多个数据表,待审批通过后再进行加工的效率太低,因此智能消费可以让用户直接消费需要的指定数据。
使用角色:数据消费人员。
功能描述:平台提供智能消费能力,支持通过AI生成多表连接SQL语句,将所选的搜索匹配字段涉及的数据表生成专属视图直接消费,以降低门槛、提升效率。
字段检索
- 在进行智能消费前需要先按字段搜索数据表并勾选待消费数据表,再点击“批量操作”下的“智能消费”按钮即可进入消费配置页面。
若要新增参与智能消费的数据表,可点击左上角的“新增”按钮增加数据表,新增删除数据表不会影响右侧已编写SQL语句。 - 智能消费的“智能核心”在于多表消费的融合视图,进入页面后会自动生成视图语句,并可通过Text to SQL智能解析生成SQL语句,大幅降低使用门槛。
智能解析
- Text to SQL(仅演示环境提供该功能,若需使用请联系商务)
- 若用户在上方输入框输入自然语言,点击生成,二次确认后,下方将智能生成SQL语句覆盖已生成内容;
- 用户也可不输入自然语言,直接在下方手动编写SQL语句。
- 使用帮助
- 表名前请添加具体的“数据库模式”前缀,即:数据库模式.表名,完整名称在左侧选择数据表后可在表头查看
- 仅支持单条SELECT语句;
- SQL语句中不支持函数、表名.列名的写法;
- 校验SQL:校验SQL语法,以及SQL中的表名、字段名能否对应已选数据资产中的表名与字段名;
- 运行:查询数据量限制为20条。
- 视图在审批通过后才真实创建,创建内容以 SQL 中内容为准,审批不通过不创建。
- 按要求完成申请信息项填写后点击“确定”,待审批通过后即可消费。
视图消费
- 智能消费视图中可能包含多个数据表,但仅生成一张审批单,统一由空间管理员审批;审批通过后,申请方可在“个人中心 > 审批管理 > 我已申请”中查看访问视图名。
- 视图消费同样支持API访问、数据库直连两种消费方式访问该视图名以消费数据,消费流程与配置逻辑与行列消费基本一致,详细配置参见:视图消费方式
说明:视图消费与视图中所有数据表资产的状态、内容的变更相关,具体如下表。
资产变更 | API访问 | 数据库直连 |
---|---|---|
资产下架 | 不可再消费 | 不可再消费 |
资产再上架(无变更) | 消费自动恢复 | 消费不自动恢复,需重新申请 |
资产再上架(新增字段) | 消费自动恢复,新增字段无权限消费 | 消费不自动恢复,需重新申请 |
资产再上架(修改申请字段) | 消费自动恢复,修改字段按最新内容消费; 若修改字段名称,则视图可能无法正常生成,无法恢复消费 | 消费不自动恢复,需重新申请 |
资产再上架(删除申请字段) | 视图可能无法正常生成,无法恢复消费 | 消费不自动恢复,需重新申请 |
元件资产
- 前置条件:元件判定需先由空间管理员在系统管理 > 评估体系设置元件判定规则
当数据表资产满足一定条件时,会自动标记为元件,并展示对应的质量合规得分、主数据引用诊断得分、标准字段引用诊断得分。
注意
系统每日凌晨会自动按元件判定规则进行扫描,因此元件标记刷新逻辑为T+1。
消费方式
API访问:
通过API访问数据表,支持表级、列级和行级消费。消费人员可在个人中心 > AKSK管理页面下载自己的 AKSK 密钥获取具有时效性的数据访问 token,之后可以使用该 token 多次访问数据 API 接口,获取已授权的数据。
- 基本步骤如下:
- 获取密钥:用户在平台中可以创建管理自己的 AKSK,可以进行下载操作获取 AKSK 具体信息;
- 生成密文:用户使用 AKSK 按规则自行生成密文;
- 获取令牌:使用上一步骤中生成的密文访问数据登录接口,通过验证后获得数据访问令牌;
- 访问数据:使用上一步骤中获取的数据访问令牌,可以在有效期内多次访问数据 API 接口,获取数据。
数据库直连:
申请消费审批通过后,自动生成直连数据库所需信息,包含该数据表在数据库的连接参数,登录数据库的用户名与密码。在个人中心 > 审批管理 > 我已申请页面找到对应申请单在操作栏可查看。
说明:数据消费与资产的状态、内容的变更相关,具体如下表。
资产变更 | API访问 | 数据库直连 |
---|---|---|
资产下架 | 不可再消费 | 不可再消费 |
资产再上架(无变更) | 消费自动恢复 | 消费不自动恢复,需重新申请 |
资产再上架(新增字段) | 消费自动恢复,新增字段无权限消费 | 消费不自动恢复,需重新申请 |
资产再上架(修改申请字段) | 消费自动恢复,修改字段按最新内容消费; 若修改字段名称,则需消费方同步修改API中的字段名称 | 消费不自动恢复,需重新申请 |
资产再上架(删除申请字段) | 消费自动恢复,但消费报错,需消费方同步删除API中对应字段 | 消费不自动恢复,需重新申请 |
资产订阅
- 点击目标数据表操作栏“订阅”按钮即可订阅该数据表;当待订阅数据表数量较多时,可勾选多个数据表资产后点击“批量订阅”按钮。
- 订阅数据表后用户可在个人中心 > 我的订阅查看已订阅信息,当所订阅资产发生状态、数据量、或结构变化时,自动接收站内消息通知。
- 订阅消息触发条件说明(订阅者消息通知列表收到消息)
- 数据表
- 资产发布、下架、删除
- 数据表数据量变化:总数据量小于10万条,变化量>=10%触发;总数据量大于等于10万条,变化量大于1万触发
- 数据表结构变化:删除字段、修改字段英文名、修改表层级、修改表英文名
- 数据表