常见问题
数据开发
如何保存测试脚本?
用户可在数据加工模块新建SQL加工作业并写入SQL脚本后,点击编辑界面上方的保存版本按钮即可保存当前写入的测试脚本。保存版本会产生什么记录?
用户保存版本后,在版本管理界面能看到每一次保存SQL脚本,版本管理仅保存近一百次的版本记录。产品数据开发可以使用哪几种开发语言进行数据开发处理?
目前在数据开发和数据分析中,无论是对数据进行加工还是探查,都支持SQL语句和自定义函数进行数据开发处理;同时,在数据开发中还支持shell、python、java语言进行数据开发处理。平台中的作业超时或失败时,重试次数以及重试间隔?
在加工作业中可以设置作业级失败重试策略及节点级失败重试次数。平台中的参数配置样例?
平台提供作业参数配置能力,以实现动态传参,具体样例参见:参数配置平台的质检功能主要是质检哪些内容?
平台提供内置质检规则和自定义质检规则。内置规则指通用性高,大多数据表都能使用的规则,可检测包括空值、格式、范围、枚举值、符合关键字等;自定义规则提供了一套扩展机制,通过正则表达式来满足内置规则之外的业务质检需求。具体内容参见质检作业界面。智能消费的授权在数据表再发布时为什么会失效?
智能消费的授权所引用的字段,在数据表再发布后可能已经失效,因此无法自动恢复。如果遇到这样的情况,可以尝试在个人中心 > 审批管理 > 我已申请中查看对应的审批单,在审批详情中点击 "刷新SQL" 尝试自动修复,如果自动修复失败,说明数据表的变化较大,需要重新申请。
数据开放
产品可以通过哪几种方式向外提供数据服务?
可通过数据库直连、API 访问或数据服务三种方式向外提供数据。具体访问教程可参考产品帮助中心数据表消费界面。是否支持权限回收?
支持。数据表责任人在我已审批中可对以审批通过数据表做授权回收操作。对行级数据申请是否支持?
目前支持列级、行级、行级和列级混合申请。
全局问题
产品分别有哪些角色设计?不同角色间的功能权限和职责如何划分?
平台常用人员分为五类:超级管理员、空间管理员、数据集成人员、数据开发人员、数据消费人员。其中数据集成人员、数据开发人员、数据消费人员三类角色是按用户的数据使用场景进行划分,需根据实际情况自行分配对应系统权限。
- 推荐使用谷歌 Chrome 浏览器、微软 Edge 浏览器、火狐浏览器,不建议使用 IE 浏览器。
- 推荐设置分辨率 1920*1080 以上。
错误码表
使用场景:出现技术错误时,用户根据报错时提供的代码和概要信息在帮助中心找到对应的解释以及可能的解决方案。
使用角色:空间管理员。
功能描述:平台提供错误提示,通过错误码可快速定位错误原因,辅助解决问题。
数据开发错误码
以下错误码主要为数据开发过程中相关组件的原始报错,一般在运行日志中返回,可用于问题定位,具体如下:
Code | 错误描述 |
---|---|
Common-00 | 您提供的配置文件存在错误信息,请检查您的作业配置 |
Common-01 | 同步数据出现业务脏数据情况,数据类型转换错误 |
Common-02 | 同步数据出现业务脏数据情况,数据类型转换溢出 |
Common-10 | 方法调用多次仍旧失败 |
Common-11 | 运行时内部调用错误 |
Common-12 | Hook运行错误 |
Common-20 | Task收到了shutdown指令,为failover做准备 |
Common-21 | 等待时间超出范围 |
Common-22 | 任务hung住,Expired |
Common-23 | 您提供的配置文件有误! |
Common-24 | 您提供的配置文件分片数错误! |
Common-25 | 根据字符串进行切分时仅支持 ASCII 字符串! |
Common-26 | 字段类型转换错误! |
TransformerErrorCode-01 | Transformer name illegal |
TransformerErrorCode-02 | Transformer name has existed |
TransformerErrorCode-03 | Transformer name not found |
TransformerErrorCode-04 | Transformer configuration error |
TransformerErrorCode-05 | Transformer parameter illegal |
TransformerErrorCode-06 | Transformer run exception |
TransformerErrorCode-07 | Transformer Groovy init exception |
Framework-00 | DataX引擎安装错误, 请联系您的运维解决 |
Framework-01 | DataX引擎运行错误,该问题通常是由于内部编程错误引起,请联系DataX开发团队解决 |
Framework-02 | DataX引擎运行过程出错,具体原因请参看DataX运行结束时的错误诊断信息 |
Framework-03 | DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 |
Framework-04 | DataX引擎加解密出错,该问题通常是由于DataX密钥配置错误引起,请联系您的运维解决 |
Framework-05 | 加载外部Hook出现错误,通常是由于DataX安装引起的 |
Framework-06 | 执行外部Hook出现错误 |
Framework-10 | DataX插件安装错误, 该问题通常是由于DataX安装错误引起,请联系您的运维解决 |
Framework-11 | DataX插件配置错误, 该问题通常是由于DataX安装错误引起,请联系您的运维解决 |
Framework-12 | DataX插件初始化错误, 该问题通常是由于DataX安装错误引起,请联系您的运维解决 |
Framework-13 | DataX插件运行时出错, 具体原因请参看DataX运行结束时的错误诊断信息 |
Framework-14 | DataX传输脏数据超过用户预期,该错误通常是由于源端数据存在较多业务脏数据导致 |
Framework-15 | DataX插件切分出错, 该问题通常是由于DataX各个插件编程错误引起,请联系DataX开发团队解决 |
Framework-16 | kill 任务超时,请联系PE解决 |
Framework-17 | taskGroup启动失败,请联系DataX开发团队解决 |
Framework-18 | 请求 DataX Service 出错 |
Framework-19 | 远程调用失败 |
Framework-143 | Job 收到了 Kill 命令 |
ESWriter-00 | The value you configured is not valid |
ESWriter-01 | Delete index error |
ESWriter-02 | Index creation error |
ESWriter-03 | The mappings error |
ESWriter-04 | Insert data error |
ESWriter-05 | Alias modification error |
ESWrite-06 | Json format parsing error |
ESWrite-07 | Update mode must specify column type with id |
ESWrite-08 | Field does not exist in the original table |
ESWriter-09 | get settings failed |
FtpReader-00 | 您缺失了必须填写的参数值 |
FtpReader-01 | 您填写的参数值不合法 |
FtpReader-02 | 您的列信息配置同时包含了index,value |
FtpReader-03 | 您明确的配置列信息,但未填写相应的index,value |
FtpReader-04 | 您配置的目录文件路径不存在或者没有权限读取 |
FtpReader-05 | 您配置的文件编码和实际文件编码不符合 |
FtpReader-06 | 您配置的文件在打开时异常 |
FtpReader-07 | 您配置的文件在读取时出现IO异常 |
FtpReader-08 | 您缺少权限执行相应的文件操作 |
FtpReader-09 | 您的参数配置错误 |
FtpReader-10 | 出现运行时异常, 请联系我们 |
FtpReader-11 | 您尝试读取的文件目录为空 |
FtpReader-12 | 登录失败,无法与ftp服务器建立连接 |
FtpReader-13 | 关闭ftp连接失败,无法与ftp服务器断开连接 |
FtpReader-14 | 与ftp服务器连接异常 |
FtpReader-15 | 超出允许的最大目录层数 |
FtpReader-16 | 您尝试读取的文件为链接文件 |
FtpReader-17 | 出现运行时异常 |
HdfsReader-00 | 您配置的值不合法 |
HdfsReader-01 | 您未配置path值 |
HdfsReader-02 | 您未配置defaultFS值 |
HdfsReader-03 | 值错误 |
HdfsReader-04 | 参数配置错误 |
HdfsReader-05 | 您缺失了必须填写的参数值 |
HdfsReader-06 | 没有 Index |
HdfsReader-07 | index 和 value 混合 |
HdfsReader-08 | 您尝试读取的文件目录为空 |
HdfsReader-09 | 您配置的path格式有误 |
HdfsReader-10 | 读取文件出错 |
HdfsReader-10 | ORCFILE格式异常 |
HdfsReader-11 | 文件类型配置错误 |
HdfsReader-12 | 文件类型目前不支持 |
HdfsReader-13 | KERBEROS认证失败 |
HdfsReader-14 | 读取SequenceFile文件出错 |
HdfsReader-15 | 读取RCFile文件出错 |
HdfsReader-16 | Deserialize RCFile, initialization failed! |
HdfsReader-17 | Error parsing ParquetSchema |
HdfsReader-18 | ParquetSchema is invalid |
HdfsReader-19 | Error reading Parquet file |
HdfsReader-20 | I/O exception in establishing connection with HDFS |
HdfsWriter-00 | 您的参数配置错误 |
HdfsWriter-01 | 您缺失了必须填写的参数值 |
HdfsWriter-02 | 您填写的参数值不合法 |
HdfsWriter-03 | 您配置的编码未能正常写入 |
HdfsWriter-04 | 您配置的文件在写入时出现IO异常 |
HdfsWriter-05 | 出现运行时异常, 请联系我们 |
HdfsWriter-06 | 与HDFS建立连接时出现IO异常 |
HdfsWriter-07 | 您column配置中缺失了必须填写的参数值 |
HdfsWriter-08 | 将文件移动到配置路径失败 |
HdfsWriter-09 | KERBEROS认证失败 |
HdfsWriter-10 | Parse parquet schema error |
HdfsWriter-11 | Init processor failed |
ILLEGAL_PARAMETER_VALUE | 参数不合法 |
ILLEGAL_ADDRESS | 不合法的Mongo地址 |
UNEXCEPT_EXCEPTION | 未知异常 |
JSONCAST_EXCEPTION | json类型转换异常 |
Oraclereader-00 | 您的 Hint 配置出错 |
MYSQLErrCode-01 | 数据库用户名或者密码错误,请检查填写的账号密码或者联系DBA确认账号和密码是否正确 |
MYSQLErrCode-02 | 数据库服务的IP地址或者Port错误,请检查填写的IP地址和Port或者联系DBA确认IP地址和Port是否正确 |
MYSQLErrCode-03 | 数据库名称错误,请检查数据库实例名称或者联系DBA确认该实例是否存在并且在正常服务 |
ORACLEErrCode-01 | 数据库用户名或者密码错误,请检查填写的账号密码或者联系DBA确认账号和密码是否正确 |
ORACLEErrCode-02 | 数据库服务的IP地址或者Port错误,请检查填写的IP地址和Port或者联系DBA确认IP地址和Port是否正确 |
ORACLEErrCode-03 | 数据库名称错误,请检查数据库实例名称或者联系DBA确认该实例是否存在并且在正常服务 |
MYSQLErrCode-04 | 表不存在,请检查表名或者联系DBA确认该表是否存在 |
MYSQLErrCode-05 | SQL语句执行出错,请检查Where条件是否存在拼写或语法错误 |
MYSQLErrCode-06 | Column信息错误,请检查该列是否存在,如果是常量或者变量,请使用英文单引号’包起来 |
MYSQLErrCode-07 | 读表数据出错,因为账号没有读表的权限,请联系DBA确认该账号的权限并授权 |
ORACLEErrCode-04 | 表不存在,请检查表名或者联系DBA确认该表是否存在 |
ORACLEErrCode-05 | SQL语句执行出错,原因可能是你填写的列不存在或者where条件不符合要求 |
ORACLEErrCode-06 | 读表数据出错,因为账号没有读表的权限,请联系DBA确认该账号的权限并授权 |
ORACLEErrCode-07 | SQL语法出错,请检查Where条件是否存在拼写或语法错误 |
MYSQLErrCode-08 | PreSQL语法错误,请检查 |
MYSQLErrCode-09 | PostSql语法错误,请检查 |
MYSQLErrCode-10 | SQL语法出错,请检查Where条件是否存在拼写或语法错误 |
ORACLEErrCode-08 | PreSQL语法错误,请检查 |
ORACLEErrCode-09 | PostSql语法错误,请检查 |
MYSQLErrCode-11 | SplitPK错误,请检查 |
ORACLEErrCode-10 | SplitPK错误,请检查 |
MYSQLErrCode-12 | 数据库没有写权限,请联系DBA |
MYSQLErrCode-13 | 数据库没有Delete权限,请联系DBA |
ORACLEErrCode-11 | 数据库没有写权限,请联系DBA |
ORACLEErrCode-12 | 数据库没有Delete权限,请联系DBA |
DBUtilErrorCode-20 | JDBC URL为空,请检查配置 |
DBUtilErrorCode-OB10-01 | JDBC OB10格式错误,请联系askdatax |
DBUtilErrorCode-00 | 您的配置错误 |
DBUtilErrorCode-10 | 连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助 |
DBUtilErrorCode-01 | 获取表字段相关信息失败 |
DBUtilErrorCode-12 | 不支持的数据库类型. 请注意查看 DataX 已经支持的数据库类型以及数据库版本 |
DBUtilErrorCode-13 | 根据主键进行切分失败 |
DBUtilErrorCode-14 | 设置 session 失败 |
DBUtilErrorCode-15 | 异步获取ResultSet next失败 |
DBUtilErrorCode-03 | 您缺失了必须填写的参数值 |
DBUtilErrorCode-02 | 您填写的参数值不合法 |
DBUtilErrorCode-04 | 您填写的主键列不合法, DataX 仅支持切分主键为一个,并且类型为整数或者字符串类型 |
DBUtilErrorCode-15 | DataX尝试切分表时, 执行数据库 Sql 失败. 请检查您的配置 table/splitPk/where 并作出修改 |
DBUtilErrorCode-06 | 执行数据库 Sql 失败, 请检查您的配置的 column/table/where/querySql或者向 DBA 寻求帮助 |
DBUtilErrorCode-07 | 读取数据库数据失败. 请检查您的配置的 column/table/where/querySql或者向 DBA 寻求帮助 |
DBUtilErrorCode-08 | 您配置凌乱了. 不能同时既配置table又配置querySql |
DBUtilErrorCode-09 | 您配置错误. table和querySql 应该并且只能配置一个 |
DBUtilErrorCode-05 | 往您配置的写入表中写入数据时失败 |
DBUtilErrorCode-11 | 数据库没有写权限,请联系DBA |
DBUtilErrorCode-16 | 数据库没有DELETE权限,请联系DBA |
DBUtilErrorCode-21 | DataX无法连接对应的数据库,可能原因是配置错误或鉴权失败 |
UnstructuredStorageReader-00 | 您的参数配置错误 |
UnstructuredStorageReader-01 | 您配置的列类型暂不支持 |
UnstructuredStorageReader-02 | 您缺失了必须填写的参数值 |
UnstructuredStorageReader-03 | 您填写的参数值不合法 |
UnstructuredStorageReader-04 | 您的列信息配置同时包含了index,value |
UnstructuredStorageReader-05 | 您明确的配置列信息,但未填写相应的index,value |
UnstructuredStorageReader-06 | 您配置的源路径不存在 |
UnstructuredStorageReader-07 | 您配置的编码和实际存储编码不符合 |
UnstructuredStorageReader-08 | 您配置的源在打开时异常,建议检查是否有隐藏实体等特殊文件 |
UnstructuredStorageReader-09 | 您配置的文件在读取时出现IO异常 |
UnstructuredStorageReader-10 | 您缺少权限执行相应的文件读取操作 |
UnstructuredStorageReader-11 | 出现运行时异常, 请联系我们 |
UnstructuredStorageReader-12 | 出现运行时异常 |
UnstructuredStorageWriter-00 | errorcode.illegal_value |
UnstructuredStorageWriter-01 | errorcode.repeated_file_name |
UnstructuredStorageWriter-02 | errorcode.required_value |
UnstructuredStorageWriter-00 | 您填写的参数值不合法 |
UnstructuredStorageWriter-01 | 您配置的编码未能正常写入 |
UnstructuredStorageWriter-02 | 您配置的文件在写入时出现IO异常 |
UnstructuredStorageWriter-03 | 出现运行时异常, 请联系我们 |
UnstructuredStorageWriter-04 | 您缺失了必须填写的参数值 |
UnstructuredStorageWriter-05 | errorcode.write_error |