跳到主要内容

普通探查

普通探查

使用场景：用户在面对临时的、有一定筛选条件的数据需求时，可通过数据探查查询数据，并下载结果以满足当前需求。

使用角色：数据开发人员。

功能描述：平台支持从业务视角，通过分组管理数据探查；支持普通SQL探查快速对仓内的数据进行查询、探索、调试等，并可对探查结果进行后续数据分析。

分组管理​

新建分组
进入数据分析 > 数据探查界面，点击界面上方的 “操作” 下拉框的 “新建分组” 按钮，出现弹窗后填写相关信息后保存即可。
数据探查
编辑分组/探查
选中页面左侧目录栏中的目标分组/探查，点击下方的 “修改” 按钮，修改分组可关联其他未分组探查；修改探查可将探查移至其他分组。
删除分组/探查
选中页面左侧目录栏中的目标分组/探查，点击下方的“删除”按钮，二次确认后即可删除分组/探查。

注意
  • 支持同级分组拖拽移动排序；支持分组下同级探查拖拽移动排序；
  • 删除分组需先将分组内的数据探查删除或移出。

SQL探查​

  1. 进入数据分析 > 数据探查界面，点击界面上方的 “操作” 下拉框的 “新建探查” 按钮，完成探查基本信息填写后保存即可。
    数据探查

  2. 选中新创建的探查，需在右侧SQL编辑器编写探查语句，可点击“使用帮助”查看语法要求。

  • 数据探查使用帮助
    • 表名前请添加具体的“数据库模式”前缀，即：数据库模式.表名，其中数据库模式在SQL编辑框上方的“字段检索”中可查看，例如：helpcenter_stg.user
    • 数据探查仅支持单条SELECT语句，查询数据返回结果显示限制10000条
    • 请不要用count(1)、count(*)进行行数统计，推荐使用count(具体字段)

SQL语法白名单​

分类支持语法
SQL语法select/with
条件查询WHERE
分组GROUP BY
排序查询ORDER BY
分组过滤HAVING
分页查询SELECT * FROM 表名 LIMIT 10 OFFSET 20
-- 返回第21到第30条记录
多表查询INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN
自连接：表与其自身进行连接
SELECT a.列名, b.列名 FROM 表名 a, 表名 b WHERE a.某列 = b.某列;
子查询：将一个查询嵌套在另一个查询中
SELECT 列名 FROM 表名 WHERE 列名 IN (SELECT 列名 FROM 另一个表名 WHERE 条件);
字段重命名as

字段检索​

单个检索
数据探查界面提供表信息查询，包括字段查询和表查询，以便快速找到所需目标表、字段。

  1. 点击“字段检索”按钮后弹出字段查询详情界面，提供字段查询或表查询两种方式进行数据库模式、名称复制，查询页面系统默认展示平台中当前用户所有可探查表、字段。
    数据探查
  2. 字段查询和表查询均可单独复制或快捷复制，单独复制点击字段/表名称前方的复制按钮即可复制目标字段/表名称；快捷复制需要勾选方框后，点击数据表英文名或字段英文名左侧的复制图标，即可复制对应名称。
    数据探查
  3. 表查询界面选中数据表还可展示当前数据表中所有字段信息，表中字段名也可进行复制操作。
    数据探查

批量拼接
点击 “字段检索” 按钮后在下拉框中选择 “批量拼接” 跳转至批量拼接界面，按照选择 SQL 模式 > 选择单表/多表对象 > 勾选字段 > 复制的操作流程即可完成批量拼接。
SQL加工

注意

界面右侧预览框展示批量拼接信息；不同操作模式下单表和多表可作用情况有所区别，用户需注意区分。

  • 操作项说明
    • 操作模式：下拉选择，平台提供四种 SQL 模式，即 SELECT、INSERT、DELETE、UPDATE；
    • 单表对象：下拉选择，支持输入数据表中英文名、拼音进行检索；
    • 多表对象：点击 “添加作用对象” 选择数据表，可多选；
    • 字段：勾选后在右侧实时预览可见，支持取消勾选，则预览框内容也会同步更新。

自定义函数​

点击 “自定义函数” 按钮后弹出自定义函数详情界面，页面展示系统中所有在数据开发 > 批量数据 >自定义函数中已创建完成的函数名称、命令格式及描述。
自定义函数页面提供单独复制和快捷复制操作，单独复制点击命令格式前方的复制按钮即可复制函数信息；使用时需先复制“数据库模式”，再复制命令格式方能正常引用函数。
除自定义函数，SQL编辑器本身也支持常见函数，详细参见：函数白名单 SQL加工

格式化​

点击“格式化”按钮后，系统将自动对SQL编辑器中已填写SQL脚本进行规范化排版。

运行​

SQL 脚本编写完成后，在当前界面上方点击 “运行” 按钮即可立即真实运行写入的 SQL 语句。运行结束后界面最下方会反馈执行信息与执行结果，其中结果最多返回10000条供查看。
数据探查

注意
  • 数据探查不可探查无业务权限的数据表、字段，保存时校验通过方可保存成功；
  • 运行时会校验当前操作人是否拥有探查SQL中所有数据表的业务权限，无权限则运行失败；
  • 数据探查可探查其他空间授权的跨空间数据表。

终止运行​

探查运行期间，可点击“终止”按钮，终止探查执行，避免由于查询数据量较大、网络异常等原因造成探查时间过长或卡死。

注意
  • 非运行中状态“终止”按钮不可点；
  • 后台提供“查询超时时间”机制，默认3分钟，超过该时间未返回数据则自动终止探查，并在执行信息中说明已终止；
  • 点击“终止”后立即返回显示执行已终止（包括手动终止、超时终止），后台异步处理终止，可能存在终止延时；
  • 终止的探查无执行结果，即使已探查出部分数据也不会显示。

数据探查

保存版本​

用户编写完 SQL 脚本后点击界面上方“保存版本”按钮会弹出“保存版本”弹窗。根据实际需求填写完版本描述后“确定”即可保存当前 SQL 脚本。保存后的版本信息可在版本管理中进行查看。

注意

作业上线时会校验此刻 SQL 加工中的脚本是否与该 SQL 脚本的最新版本一致，若一致则不会生成新版本，反之则自动生成最新版本，版本描述为“自动生成版本”。

数据探查

版本管理​

点击数据探查界面上方 “版本管理” 按钮会弹出 “版本管理” 弹窗界面。
数据探查
版本管理界面保留近 100 次的版本记录，并为用户提供查看 SQL 脚本、恢复当前选中 SQL 版本以及删除选中版本的操作权限。
数据探查

查看
点击目标版本后的 “查看” 按钮，即可查看当前版本具体的 SQL 脚本。
数据探查
恢复
点击目标版本后的 “恢复” 按钮，出现弹框后点击 “确定” 按钮二次确认，即可将数据探查界面上的 SQL 脚本恢复为当前选中版本。在恢复当前版本的 SQL 之前，要确认是否需要保存当前编辑器的内容，因为恢复操作将会覆盖当前编辑器中的内容。
数据探查
删除
点击目标版本后操作列中的 “删除” 按钮，出现弹窗后点击 “确定” 二次确认即可删除所选版本 SQL。
数据探查
版本比对
用户点击“版本管理”按钮可查看近100次的版本保存记录；任意选择两条版本记录并勾选记录前面的多选框后，点击“版本比对”按钮可对两个版本进行对比，结果差异部分高亮显示。
数据探查

结果导出​

执行结果支持数据导出，用户点击执行结果的“结果导出”按钮即可。
数据探查

注意
  • 结果导出为 Excel 文件，最多下载50万条执行结果；
  • 导出的数据不做脱敏、水印处理；
  • 导出异步执行，可在操作界面右上角下载中心查看下载；
  • 结果导出纳入系统权限管控，并记录系统操作审计。

结果分析​

结果分析

使用场景：用户基于数据探查结果快速配置分析，实现基础的可视化报表分析，指导业务，体现价值。

使用角色：数据开发人员。

功能描述：平台提供对数据探查的结果数据快速分析能力，支持通过“结果分析”进行简单的统计图可视化分析。

数据探查出结果后，点击操作列上的“结果分析”，将跳转至结果分析配置界面。

结果分析 结果分析

  • 配置项说明：

    • 数据列：显示数据探查结果表的所有列，结果为单表，显示英文名（中文名）；多表则仅显示英文名，支持中英文名模糊检索；
    • 业务卡片名称：必填，点击输入业务卡片名称；
    • 图表类型：下拉选择不同图表类型，下方配置将切换至对应图表配置，目前支持柱状图、分组柱状图、条形图、折线图、饼状图；
    • 图表配置：
      • 卡片名称：必填，100字符，不可重复，可修改；
      • 轴：必填，支持拖动多个数据列作为轴，对所选列进行group by后显示在下方横轴；饼图配置时，无轴配置，但图例必填；
        • 排序说明：先按第一个所选数据列进行排序，当第一个相同时再按第二个所选数据列进行排序，以此类推，图例同理；
      • 图例：除饼图外非必填，仅支持拖动单个数据列作为图例，对所选值进行group by后形成分组，多值不允许配置图例，同理，配置图例后不允许拖入多个值；
        注意

        当轴、图例组合数量过大会超过图表的承载上限，则会不展示预览效果，当前默认上限为1000，如柱状图最多支持展示1000个柱子

      • 值：必填，支持拖动多个数据列作为值，每个值独立计算（如柱状图，多值就多条柱），但有图例时仅支持单值，点击可配置计算方式、坐标轴、显示名称、数据标签；
        • 计算方式：数值型支持所有计算方式；时间型、字符型及其他型仅支持“计数”、“计数（去重）”；
        • 坐标轴：主坐标轴为左侧纵轴，次坐标轴为右侧纵轴，指定后对应纵轴按所选值的计算结果显示刻度；饼图值配置无坐标轴选择；
        • 显示名称：值的别名，如qyxybm，为英文名，可命名为企业数量，用于查看详细信息时展示；
        • 数据标签：将各统计结果值直接显示在图表上；
    • 图表预览：实时根据所拖入的数据列进行计算预览，预览时仅取1000条数据生成预览效果；
      注意
      • 配置完成后，会基于探查结果全量数据进行真实计算，此时结果数据也不会受探查10000条的数据限制。
    • 图表配置：点击配置图表样式、X轴、Y轴；
      • 名称对齐方式：选择左对齐、居中、右对齐；
      • 默认配色：选择 RGB 颜色；
      • 是否堆叠：图例的显示模式，开启后，图例将纵向叠加显示；
      • 基础配置：与自定义脚本为互斥逻辑，即切换之后需弹窗确认，确认即重置配置为初始默认状态；
      • 自定义脚本：点击新开浏览器页签，跳转至三方网站；
        • 简单的配置项点击开启或关闭即可，不再赘述；
        • 最小值：坐标轴刻度最小值，可以设置成特殊值 'dataMin'，此时取数据在该轴上的最小值作为最小刻度；
        • 最大值：坐标轴刻度最大值，可以设置成特殊值 'dataMax'，此时取数据在该轴上的最大值作为最大刻度。

  • 图表类型配置说明：

图表类型
轴（类别）图例值
柱状图必填，即维度，建议选取业务维度字段，如地区、时间等，对所选列进行group by后显示在下方横轴；支持多选则会多个轴联动group by生成多个立柱，如班级（4个值）、性别（2个值），则柱数量为4*2=8非必填，若填写则仅支持单个图例，会对轴所选数据列分别group by，生成多个立柱，且每个图例值为独立颜色必填，即指标值，建议选择数值字段，如学生人数、学生成绩等，对所选列按“计算方式（求和、计数、最大值、最小值、平均值）”计算值；支持多个值，每个值一个独立颜色立柱与轴group by，但选择图例后仅支持单值
条形图必填，即维度，建议选取业务维度字段，如地区、时间等，对所选列进行group by后显示在下方纵轴；支持多选则会多个轴联动group by生成多个横条，如班级（4个值）、性别（2个值），则条形数量为4*2=8非必填，若填写则仅支持单个图例，会对轴所选数据列分别group by，生成多个条形，且每个图例值为独立颜色必填，即指标值，建议选择数值字段，如学生人数、学生成绩等，对所选列按“计算方式（求和、计数、最大值、最小值、平均值）”计算值；支持多个值，每个值一个独立颜色条形与轴group by，但选择图例后仅支持单值
折线图必填，即维度，建议选取业务维度字段，如地区、时间等，对所选列进行group by后显示在下方纵轴；支持多选则会多个轴联动group by生成多个折线点，如班级（4个值）、性别（2个值），则折线点数量为4*2=8非必填，若填写则仅支持单个图例，会对轴所选数据列分别group by，生成多条折线，且每个图例值为独立颜色必填，即指标值，建议选择数值字段，如学生人数、学生成绩等，对所选列按“计算方式（求和、计数、最大值、最小值、平均值）”计算值；支持多个值，每个值一个独立颜色折线与轴group by，但选择图例后仅支持单值
饼图不支持配置轴必填，仅支持单个图例，建议选取业务维度字段，如地区、时间等，对所选列进行group by后将饼图分为多个分片，且每个图例值为独立颜色必填，即指标值，仅支持单值，建议选择数值字段，如学生人数、学生成绩等，对所选列按“计算方式（求和、计数、最大值、最小值、平均值）”计算值，并自动根据值展示各分片大小占比
  • 说明：全部配置完成后，点击右下角“保存”将在数据分析 > 业务卡片界面中生成一个新的业务卡片。

相关术语​

业务卡片