SQL查询功能支持您通过编写SQL语句的方式对有查询权限的数据源进行快速的数据查询与分析。本文将为您介绍SQL查询产品功能的使用方法。

背景信息

  • 自2022年10月13日起,DataWorks数据分析的SQL执行不再支持PostgreSQL、SQL Server、Oracle、DRDS的SQL查询服务,DataWorks SQL查询会加强对大数据相关引擎的支持,例如,MaxCompute、E-MapReduce、CDH、Hologres、AnalyticDB等。
    说明 SQL查询过程中如遇网络不通,请联系数据源配置Owner查看资源组与网络的联通性,尝试 添加白名单 自主解决。 如仍无法解决,可在 DataWorks交流钉钉群 进行人工答疑。
  • 自2022年11月14日起,SQl查询不再支持 返回旧版 返回旧版

新版SQL查询常见问题

  • :新版SQL查询的数据源设置在哪里?
    :SQL查询新版升级后,每个SQL文件均可以单独设置数据源。 配置数据源
  • :新版SQL查询的数据源可选项为什么变少了?

    :SQL查询新版升级后,可查询的数据源,需要经过租户管理员或者租户级安全管理员在 安全中心 进行授权。如有需要使用的数据源未经授权,可以联系管理员在安全中心对需要查询的数据源进行授权。

    可查询数据源的默认授权逻辑:
    • 标准模式工作空间下:在 工作空间配置 页面,绑定MaxCompute和Hologres引擎后,系统将默认授权数据分析师在SQL查询页面,可以使用该引擎 开发环境 的数据源。
    • 简单模式工作空间所有数据源及标准模式不符合上述条件的数据源:均需由租户管理员或者租户级安全管理员手动在 安全中心 进行设置。 数据源授权
  • :目录树中我的SQL文件为什么变多了?

    :SQL查询新版升级后,您可以在SQL查询中统一管控您在DataWorks中创建的归属于不同工作空间、不同数据源的所有SQL文件。因此,旧版SQL查询中归属于您个人名下不同工作空间、不同数据源的SQL文件,会统一在 我的文件 中呈现。

  • :目录树中 所有的表 没有了?
    :SQL查询新版升级后,您可以在 添加目录 中按需添加可查询数据源下的数据表,添加对应的数据表目录后,如果表数量过多,可通过搜索的方式找到目标表。对于经常使用的表,还可以将其添加 收藏 ,后续可在 我的收藏 中进行查看。 所有的表
  • :原 系统设置 中关于SQL查询结果查看和下载的开关及最大数量限制没有了?
    :SQL查询新版升级后,原系统设置中针对SQL查询结果查看、复制、下载等功能的设置,已迁移至 安全中心 > 安全策略 > 数据查询与分析管控 > 查询结果管控 ,策略列表中,管控范围包含“数据分析”的管控策略对SQL查询生效。 系统设置

前提条件

  • 已为工作空间绑定计算引擎,详情请参见 创建并管理工作空间
  • 工作空间已配置数据源:DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源,若要操作非引擎数据源,请确保已创建数据源,详情请参见 创建与管理数据源
  • 已拥有某数据源在数据分析模块的查询权限 :详情请参见 数据查询与分析管控
  • 操作账号已被添加为工作空间的以下角色之一:数据分析师、模型设计师、开发、运维角色、空间管理员或项目所有者,详情请参见: 为工作空间添加空间成员
    说明 使用SQL查询功能时,仅支持查询有权限的工作空间内的数据源数据,因此您需要先联系管理员将您添加为工作空间的数据分析师、模型设计师、开发、运维、空间管理员或项目所有者。

注意事项

在数据分析查询引擎绑定时自动创建的MaxCompute数据源时,默认使用个人账号执行任务,如果要访问生产表,您需要在SQL命令中指定生产项目名称,若查询的表数据无权限,请前往 安全中心 进行申请。

功能概览

功能 说明
添加目录 支持您将系统推荐目录及已授权的数据源下的数据表添加至目录,添加为目录后您可快速查看相应目录下的SQl文件或者数据表,对于数据表支持您快速查看表结构并快速生成查询SQL。
创建SQL查询 您可新建SQL查询文件并手动编辑SQL查询命令,还支持您将SQL提交到指定数据源执行。
执行查询语句 编写代码后,您可以运行代码,提取需要查询的数据。
查询结果操作 SQL执行完成后,您可在查询结果页面查看运行日志、查看运行结果、查看查询结果对应的SQL内容等,还支持您使用折线图、柱状图、条形图、饼图、交叉表等对查询结果进行可视化展现。
个性化SQL查询目录 在SQL查询页面,您可以统一管理SQL查询文件。

进入SQL查询

您可以通过如下两种方式进入:

  • 数据分析 首页的 快捷入口 区域,单击 SQL查询 模块图标进入 SQL查询 页面。
  • 数据分析 模块,单击左侧菜单栏的 SQL查询 进入 SQL查询 页面。

添加目录

SQL查询默认仅展示 我的文件 他人文件 ,其他文件目录需要通过单击搜索框右侧的 数据集 图标进行添加。支持您下面几类文件目录添加至SQL查询文件目录,添加为目录后您可快速查看相应目录下的SQl文件或者数据表,对于数据表支持您快速查看表结构并快速生成查询SQL。

目前支持添加的目录分以下几种:
  • 推荐目录:提供我的收藏、我的MaxCompute表、公共数据等。
  • 数据地图-元数据:支持您将有使用权限的DataWorks工作空间中的数据源下的数据表添加为SQL查询的目录,其中:
    • MaxCompute: 工作空间配置 > 计算引擎信息 中包含的所有MaxCompute项目的项目名称。详情请参见 管理工作空间引擎
    • 其他引擎: 工作空间配置 > 数据源管理 中包含的所有数据源名称。详情请参见 创建与管理数据源
  • 数据地图-数据专辑:支持您将我管理的、我创建的、我关注的数据专辑添加为SQL查询的目录。详情请参见 数据专辑
说明
  • 他人文件:展示当前租户下其他用户公开到工作空间的文件。
  • 目前最大支持添加8个数据集。

创建SQL查询

您可基于工作空间及引擎类型创建SQL查询文件。

  1. 新建SQL查询文件。
    您可以通过如下三种方式新增SQL查询文件。
    方式一:已有SQL文件被打开时 方式二:首次进入SQL查询页面或当前窗口没有打开SQL文件时 方式三:通用方式
    新增文件 单击已打开文件名称右侧的 图标 图标创建新的SQL查询窗口。 sql查询 单击右侧页面中的 新建sql查询 窗口。 左侧导航 在页面左侧区域,单击 我的文件 右侧的 添加 图标,选择 新建文件 ,根据界面提示创建SQL查询文件。
  2. 设置SQL执行数据源。
    在图示位置选择当前SQL查询需要查询的工作空间、引擎类型或数据源。目前支持查询MaxCompute、E-MapReduce、CDH、Hologres、AnalyticDB等数据源。 选择数据源
    说明 仅支持选择已授权您使用的数据源,若无目标数据源,您需要先联系管理员授权相关数据源的使用权限,并授予数据分析师、模型设计师、开发、运维、空间管理员或项目所有者。

执行查询语句

在SQL编辑框内编辑对应数据源的查询代码,完成后执行对应命令即可获取查询结果。

SQL查询 使用过程中,您可以:
  • 参数设置:支持使用带参数的SQL命令,将自动读取代码中 ${变量名} 格式的变量,运行前只需为变量赋值即可。
  • 运行代码:支持通过单击SQL语句左侧的快捷 运行 按钮直接执行代码,或选中部分代码后单击 运行 ,运行完成后可查看对应代码的运行结果。
  • 成本预估:单句运行时界面会提示您此次调试运行可能需要的费用,运行完整代码前,您也可以对全量代码运行可能需要的费用进行预估。
    说明 目前仅MaxCompute可以使用该功能。
  • 其他:您也可以通过 格式化 将自行排版的代码一键规范化排版,在 结果 日志 页签查看运行结果与日志详情。

查询结果操作

SQL语句执行成功后,您可以对查询结果进行如下操作:

功能 图示 操作说明
查看运行结果中表格数据 查询结果 您可以对查询结果表进行如下操作:
  • 数据分析:用于同步查询结果至 电子表格 ,对查询结果进行更大区域的查看等操作。详情请参见: 分析数据
  • 分享:用于同步查询结果至 电子表格 ,并通过电子表格的数据分享功能,分享该表数据至指定用户。详情请参见: 分享电子表格
  • 下载数据:用于将查询结果下载到本地。
    说明 租户管理员、租户安全管理员、授权空间管理员角色的RAM用户可以进入 数据查询与分析管控 对查询结果的展示条数、下载条数、是否允许下载等进行管控。注意:当前下载功能仅DataWorks增值版本支持使用。
查询结果可视化图表展示 可视化 支持您使用折线图、柱状图、条形图、饼图、交叉表对查询结果进行可视化展现。您可以拖拽字段到维度、指标等区域创建图表。同时,支持您单击字段,修改字段类型、设置字段别名等。
查看查询结果对应的SQL语句 sql 为您展示当前查询结果对应的SQL内容,支持对该查询结果对应的SQL语句进行快速复制和快速插入代码编辑区的操作。

个性化SQL查询目录

在SQL查询页面,您可以对SQL查询文件执行如下管理操作。 SQL查询
功能 描述
SQL查询目录树搜索功能 在区域①,您可以通过 搜索 搜索功能定位目标表。
运行历史 在区域①,您可以单击 历史 查看SQL查询历史执行记录,此记录不包括计划任务执行日志。
添加目录 在区域①,您可以单击 数据集 添加目录,支持您将系统推荐目录及已授权的数据源下的数据表添加至目录,添加为目录后您可快速查看相应目录下的SQl文件或者数据表,对于数据表支持您快速查看表结构并快速生成查询SQL。
我的文件 在区域②,我的文件为您展示您保存的SQL查询文件,包括已开启计划任务的临时查询文件。您可分享文件至指定工作空间。其中:
  • 分享 :表示该文件正在分享中,被分享的工作空间下的所有空间成员均可以在 他人文件 目录下看到您分享的文件。您可右键单击指定文件,对该文件进行分享操作。
  • 计划任务 :表示该文件已开启计划任务,您可单击进入SQL文件编辑页查看该计划任务的历史执行详情。
他人文件 在区域②,他人文件为您展示当前租户下其他用户公开到工作空间的文件。
公共数据 在区域②, 公共数据 目录需要通过单击 数据集 图标进行添加。公共数据为您展示数据分析默认提供且不需要申请权限的表,您可使用该表快速体验SQL查询产品功能。
我的MaxCompute表 在区域②, 我的MaxCompute表 目录需要通过单击 数据集 图标进行添加。我的MaxCompute表为您展示您个人名下的MaxCompute表。包括开发表与生产表。
我的收藏 在区域②, 我的收藏 目录需要通过单击 数据集 图标进行添加。我的收藏为展示您个人收藏的表,您在数据集下,右键单击目标表选择 收藏 ,收藏后文件将展示在该目录下。