除了 Azure 存储服务之外,用于 Microsoft Purview 的多云扫描连接器还可用于跨云提供商(包括 Amazon Web Services)浏览组织数据。

本文介绍如何使用 Microsoft Purview 扫描当前存储在 Amazon S3 标准存储桶中的非结构化数据,并发现数据中存在哪些类型的敏感信息。 本操作指南还介绍了如何确定当前存储数据的 Amazon S3 存储桶,以便于保护信息并实现数据合规性。

对于此服务,请使用 Microsoft Purview 为 Microsoft 帐户提供对 AWS(用于 Microsoft Purview 的多云扫描连接器将在其中运行)的安全访问。 用于 Microsoft Purview 的多云扫描连接器使用针对 Amazon S3 Bucket 的此访问权限读取数据,然后将扫描结果(其中仅包括元数据和分类)报告给 Azure。 请使用 Microsoft Purview 分类和标记报表来分析和查看数据扫描结果。

用于 Microsoft Purview 的多云扫描连接器是 Microsoft Purview 的单独加载项。 用于 Microsoft Purview 的多云扫描连接器的条款和条件包含在你获得 Microsoft Azure 服务所签署的协议中。 有关详细信息,请参阅 https://azure.microsoft.com/support/legal/ 中的“Microsoft Azure 法律信息”。

支持的功能

元数据提取 限定范围扫描

已知的限制

扫描 Glacier 存储类的 Amazon S3 时,不支持架构提取、分类和敏感度标签。

扫描 Amazon S3 时不支持 Microsoft Purview 专用终结点。

如需详细了解 Microsoft Purview 限制,请参阅:

  • 管理和增加 Microsoft Purview 资源的配额
  • Microsoft Purview 中支持的数据源和文件类型
  • 存储和扫描区域

    Amazon S3 服务的 Microsoft Purview 连接器当前仅在特定区域部署。 下表将存储数据的区域映射到 Microsoft Purview 将扫描的区域。

    客户将需根据其存储桶所在的区域支付所有相关的数据传输费用。

  • 你需要是 Microsoft Purview 数据源管理员。
  • 创建 Microsoft Purview 帐户 (如果没有)
  • 创建在 Microsoft Purview 中使用的新 AWS 角色
  • 创建 Microsoft Purview 凭据以用于扫描 AWS 存储桶
  • 为已加密的 Amazon S3 桶配置扫描 (如果相关)
  • 确保 Bucket 策略不会阻止连接。 有关详细信息,请参阅 Bucket 策略要求 和 SCP 策略要求 。 对于这些项目,可能需要咨询 AWS 专家,确保策略允许所需的访问权限。
  • 添加存储桶作为 Microsoft Purview 资源时,需要 AWS ARN 、 存储桶名称 的值,有时还会需要 AWS 帐户 ID 的值。
  • 创建 Microsoft Purview 帐户

  • 如果你已经有一个 Microsoft Purview 帐户,可以继续设置获取 AWS S3 支持所需的配置。 首先 创建 Microsoft Purview 凭据以用于扫描 AWS 存储桶 。

  • 如果需要创建 Microsoft Purview 帐户,请按照 创建 Microsoft Purview 帐户实例 中的说明操作。 创建完帐户后,返回到此处完成配置,并开始使用用于 Amazon S3 的 Microsoft Purview 连接器。

    为 Microsoft Purview 创建新的 AWS 角色

    Microsoft Purview 扫描程序部署在 AWS 的 Microsoft 帐户中。 若要允许 Microsoft Purview 扫描程序读取 S3 数据,必须在 AWS 门户的 IAM 区域创建一个专用角色供扫描程序使用。

    此过程描述了如何创建具有所需的 Microsoft 帐户 ID 和来自 Microsoft Purview 的外部 ID 的 AWS 角色,然后在 Microsoft Purview 中输入角色 ARN 值。

    查找 Microsoft 帐户 ID 和外部 ID:

  • 在 Microsoft Purview 中,转到“管理中心”>“安全性和访问”>“凭据”。

  • 选择“新建”以创建新凭据。

    在出现的“ 新建凭据 ”窗格中的 “身份验证方法 ”下拉列表中,选择“ 角色 ARN ”。

    然后将“Microsoft 帐户 ID”和“外部 ID”值复制到单独的文件中,或保留这两个 ID 以便将其粘贴到 AWS 中的相关字段 。 例如:

    为 Microsoft Purview 创建 AWS 角色 :

  • 打开“Amazon Web Services”控制台,在“安全性、标识与合规性”下选择“IAM”。

  • 依次选择“角色”和“创建角色” 。

  • 选择“另一个 AWS 帐户”,然后输入以下值:

    AmazonS3ReadOnlyAccess 策略提供扫描 S3 桶所需的最低权限,也可能包括其他权限。

    若要仅应用扫描桶所需的最低权限,请根据你是要扫描帐户中的单个桶还是所有桶,使用 AWS 策略的最低权限 中列出的权限创建新策略。

    将新策略应用于角色而不是 AmazonS3ReadOnlyAccess。

  • 在“添加标签(可选)”区域中,可以选择为此新角色创建一个有意义的标签。 通过这些有用的标签,可以整理、跟踪和控制所创建的每个角色的访问权限。

    根据需要为标签输入新密钥和值。 完成此步骤后,或者根据需要跳过此步骤后,选择“下一步: 查看”,可查看角色详细信息并完成角色创建。

  • 在“查看”区域中,执行以下操作:

  • 在“角色名称”字段中,为角色输入一个有意义的名称
  • 在“角色说明”框中,输入描述以标识该角色的用途(可选)
  • 在“策略”部分中,确认已将正确的策略 (AmazonS3ReadOnlyAccess) 附加到角色。
  • 然后选择“创建角色”以完成此过程。 例如:

    额外所需的配置:

  • 对于使用 AWS-KMS 加密的 Bucket,需要完成 特殊配置 才能启用扫描。

  • 确保 Bucket 策略不会阻止连接。 有关详细信息,请参见:

  • 确认 Bucket 策略访问权限
  • 确认 SCP 策略访问权限
  • 创建 Microsoft Purview 凭据以用于扫描 AWS S3 存储桶

    此过程介绍了如何创建新的 Microsoft Purview 凭据以在扫描 AWS 存储桶时使用。

    如果你是直接从 为 Microsoft Purview 创建新的 AWS 角色 继续操作的,则可能已在 Microsoft Purview 中打开了“新建凭据”窗格。

    你也可以在 配置扫描 过程中创建新凭据。 在这种情况下,请在“凭据”字段中选择“新建”。

  • 在 Microsoft Purview 中,转到“管理中心”,然后在“安全性和访问”下选择“凭据”。

  • 选择“新建”,然后在右侧显示的“新建凭据”窗格中,使用以下字段创建 Microsoft Purview 凭据:

    有关 Microsoft Purview 凭据的详细信息,请参阅 Microsoft Purview 中用于源身份验证的凭据 。

    为加密 Amazon S3 存储桶配置扫描

    AWS 存储桶支持多种加密类型。 对于使用 AWS-KMS 加密的存储桶,需要完成特殊配置才能启用扫描。

    对于未使用加密、使用 AES-256 或 AWS S3 加密的存储桶,请跳过此部分,继续 检索 Amazon S3 存储桶名称 。

    查看 Amazon S3 存储桶使用的加密类型:

  • 在 AWS 中,导航到“存储”>“S3”,然后从左侧菜单中选择“Bucket”。

  • 选择要查看的存储桶。 在相应存储桶的详细信息页上,选择“属性”选项卡,然后向下滚动到“默认加密”区域。

  • 如果所选存储桶配置了除 AWS-KMS 以外的任何加密设置,包括禁用了存储桶的默认加密,请跳过此过程的其余部分,继续 检索 Amazon S3 存储桶名称 。

  • 如果所选存储桶配置了“AWS-KMS”加密,请按照下面的说明继续添加一个新策略,允许扫描使用自定义 AWS-KMS 加密的存储桶。

    添加新策略以允许扫描使用自定义 AWS-KMS 加密的存储桶:

  • 在 AWS 中,导航到“服务”>“IAM”>“策略”,然后选择“创建策略”。

  • 在“创建策略”>“可视化编辑器”选项卡上,使用以下值定义策略:

  • 在 AWS 中,导航到 S3 Bucket,然后选择“权限”选项卡>“Bucket 策略”。
  • 检查策略详细信息,确保它不会阻止来自 Microsoft Purview 扫描程序服务的连接。
  • 确认 SCP 策略访问权限

    确保没有 SCP 策略 在阻止与 S3 Bucket 的连接。

    例如,你的 SCP 策略可能会阻止读取对 AWS 区域 托管 S3 存储桶的位置)的 API 调用。

  • SCP 策略必须允许的必需 API 调用包括: AssumeRole 、 GetBucketLocation 、 GetObject 、 ListBucket 、 GetBucketPublicAccessBlock 。
  • SCP 策略还必须允许调用 us-east-1 AWS 区域,这是 API 调用的默认区域。 有关详细信息,请参阅 AWS 文档 。
  • 按照 SCP 文档 检查组织的 SCP 策略,确保 Microsoft Purview 扫描程序所需的所有权限 均可用。

    检索新的角色 ARN

    你将需要记录 AWS 角色 ARN,并在 创建 Amazon S3 存储桶扫描 时将其复制到 Microsoft Purview。

    检索角色 ARN:

  • 在 AWS“标识和访问管理(IAM)”>“角色”区域中,搜索并选择 为 Microsoft Purview 创建 的新角色。

  • 在角色的“摘要”页上,选择“角色 ARN”值右侧的“复制到剪贴板”按钮。

    在 Microsoft Purview 中,可编辑 AWS S3 的凭据,然后将检索到的角色粘贴到“角色 ARN”字段中。 有关详细信息,请参阅 创建一个或多个 Amazon S3 Bucket 的扫描 。

    检索 Amazon S3 存储桶名称

    你需要有 Amazon S3 存储桶的名称,以便在 创建 Amazon S3 存储桶扫描 时将该名称复制到 Microsoft Purview

    检索存储桶名称:

  • 在 AWS 中,导航到“存储”>“S3”,然后从左侧菜单中选择“Bucket”。

  • 搜索并选择你的存储桶,以查看该存储桶的详细信息页,然后将存储桶名称复制到剪贴板。

    将存储桶名称粘贴到一个安全的文件中,并为该文件添加 s3:// 前缀,以创建将存储桶配置为 Microsoft Purview 帐户时需要输入的值。

    例如: s3://purview-tutorial-bucket

    只支持将存储桶的根级别作为 Microsoft Purview 数据源。 例如,下面的 URL 不受支持,因为其中包括一个子文件夹: s3://purview-tutorial-bucket/view-data

    但是,如果为特定 S3 Bucket 配置扫描,可以选择一个或多个特定文件夹进行扫描。 有关详细信息,请查看用于 确定扫描范围 的步骤。

    找到 AWS 帐户 ID

    你需要使用 AWS 帐户 ID 将 AWS 帐户及其所有存储桶注册为 Microsoft Purview 数据源。

    AWS 帐户 ID 是用于登录到 AWS 控制台的 ID。 在你登录后,也可以在 IAM 仪表板左侧导航选项下找到该 ID,它在仪表板顶部也显示为你的登录 URL 的数字部分:

    添加一个 Amazon S3 存储桶作为 Microsoft Purview 帐户

    如果你只有一个 S3 存储桶,并且想要将它注册到 Microsoft Purview 作为数据源,或者你的 AWS 帐户中有多个存储桶,但你并不想将这些存储桶全部都注册到 Microsoft Purview,请使用此过程。

    添加 Bucket:

  • 在 Microsoft Purview 中,转到“数据映射”页,然后选择“注册” 注册图标。 >“Amazon S3”>“继续”。

    如果有多个 集合 ,并且想要将 Amazon S3 添加到特定集合,请在右上方选择“映射视图”,然后在相应集合中选择“注册” “注册”图标 。

  • 在打开的“注册源(Amazon S3)”窗格中,输入以下详细信息:

    存储桶 URL 使用下面的语法输入 AWS Bucket URL: s3://<bucketName>

    注意:请务必只使用 Bucket 的根级别。 有关详细信息,请参阅 检索 Amazon S3 存储桶名称 。 选择一个集合 如果已选择注册某个集合内的数据源,则该集合已列出。

    根据需要选择其他集合,选择“无”表示不指定任何集合,也可选择“新建”来立即创建新集合。

    有关 Microsoft Purview 集合的详细信息,请参阅 管理 Microsoft Purview 中的数据源 。

    继续执行 创建一个或多个 Amazon S3 Bucket 的扫描 。

    添加 AWS 帐户作为 Microsoft Purview 帐户

    如果你的 Amazon 帐户中有多个 S3 存储桶,并且你想要将所有存储桶都注册为 Microsoft Purview 数据源,请使用此过程。

    配置扫描 时,如果不希望同时扫描所有 Bucket,则可以选择要扫描的特定 Bucket。

    添加 Amazon 帐户:

  • 在 Microsoft Purview 中,转到“数据映射”页,然后选择“注册” 注册图标。 >“Amazon 帐户”>“继续”。

    如果有多个 集合 ,并且想要将 Amazon S3 添加到特定集合,请在右上方选择“映射视图”,然后在相应集合中选择“注册” “注册”图标 。

  • 在打开的“注册源(Amazon S3)”窗格中,输入以下详细信息:

    继续执行 创建一个或多个 Amazon S3 Bucket 的扫描 。

    创建一个或多个 Amazon S3 Bucket 的扫描

    当你添加存储桶作为 Microsoft Purview 数据源后,可以配置一个按计划的时间间隔运行或立即运行的扫描。

  • 在 Microsoft Purview 治理门户 的左侧窗格中选择“数据映射”选项卡,然后执行以下操作之一:

  • 在“映射视图”中,选择数据源框中的“新建扫描” “新建扫描”图标 。
  • 在“列表视图”中,将鼠标悬停在数据源行上,然后选择“新建扫描” “新建扫描”图标 。
  • 在右侧打开的“扫描...”窗格上,定义以下字段,然后选择“继续”:

    只有当你添加了 AWS 帐户并且其中包含所有存储桶时,此字段才会显示。

    当前选项只有“所有”>“Amazon S3”。 随着 Microsoft Purview 支持矩阵扩大,敬请期待更多可选选项。 为角色 ARN 选择 Microsoft Purview 凭据。

    提示:如果你要立即创建新凭据,请选择“新建”。 有关详细信息,请参阅 创建 Microsoft Purview 凭据以用于扫描 AWS 存储桶 。 Amazon S3 只有当你添加了 AWS 帐户并且其中包含所有存储桶时,此字段才会显示。

    选择一个或多个 Bucket 进行扫描,或选择“全选”以扫描帐户中的所有 Bucket。
  • 在“确定扫描范围”窗格中,选择要包括在扫描中的特定 Bucket 或文件夹。

    为整个 AWS 帐户创建扫描时,可以选择要扫描的特定 Bucket。 为特定 AWS S3 Bucket 创建扫描时,可以选择要扫描的特定文件夹。

  • 在“选择扫描规则集”窗格上,选择默认规则集“AmazonS3”,或选择“新建扫描规则集”来创建新的自定义规则集。 选择规则集后,选择“继续”。

    如果你选择创建新的自定义扫描规则集,请使用向导来定义以下设置:

    选择文件类型 选择你要包含在扫描范围中的所有文件类型,然后选择“继续”。

    若要添加新的文件类型,请选择“新建文件类型”,并定义以下内容:
    - 要添加的文件扩展名
    - 一段说明(可选)
    - 文件内容是具有自定义分隔符还是属于系统文件类型。 然后,输入自定义分隔符,或选择系统文件类型。

    选择“创建”,创建自定义文件类型。 选择分类规则 导航到你要在数据集上运行的分类规则,并选择这些规则。

    有关详细信息,请参阅 浏览 Microsoft Purview 扫描结果 。

    浏览 Microsoft Purview 扫描结果

    对 Amazon S3 存储桶的 Microsoft Purview 扫描完成后,请在 Microsoft Purview 的“数据映射”区域中向下钻取,查看扫描历史记录。

    选择数据源以查看其详细信息,然后选择“扫描”选项卡,查看当前正在运行或已完成的任何扫描。 如果你已添加包含多个存储桶的 AWS 帐户,此帐户下将显示每个存储桶的扫描历史记录。

    在 Microsoft Purview 的其他区域中,可以详细了解数据资产中的内容(包括 Amazon S3 存储桶):

  • 在 Microsoft Purview 数据目录中搜索,筛选特定存储桶。 例如:

  • 查看见解报告,了解关于分类、敏感度标签、文件类型的统计信息,以及有关你的内容的更多细节。

    所有 Microsoft Purview 见解报告都包括 Amazon S3 扫描结果,以及来自 Azure 数据源的其余结果。 报告筛选选项中也可能会额外添加一个 Amazon S3 资产类型(如果具有相关性)。

    有关详细信息,请参阅 了解 Microsoft Purview 中的数据资产见解 。

    AWS 策略的最低权限

    扫描 S3 桶时要使用的、用于 为 Microsoft Purview 创建 AWS 角色 的默认过程使用 AmazonS3ReadOnlyAccess 策略。

    AmazonS3ReadOnlyAccess 策略提供扫描 S3 桶所需的最低权限,也可能包括其他权限。

    若要仅应用扫描桶所需的最低权限,请根据你是要扫描帐户中的单个桶还是所有桶,使用以下部分中列出的权限创建新策略。

    将新策略应用于角色而不是 AmazonS3ReadOnlyAccess。

    扫描单个 S3 桶时,最低 AWS 权限包括:

  • GetBucketLocation
  • GetBucketPublicAccessBlock
  • GetObject
  • ListBucket
  • 请确保使用特定的桶名称定义资源。 "Version": "2012-10-17", "Statement": [ "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:GetBucketPublicAccessBlock", "s3:GetObject", "s3:ListBucket" "Resource": "arn:aws:s3:::<bucketname>" "Effect": "Allow", "Action": [ "s3:GetObject" "Resource": "arn:aws:s3::: <bucketname>/*"

    帐户中的所有桶

    扫描 AWS 帐户中的所有桶时,最低 AWS 权限包括:

  • GetBucketLocation
  • GetBucketPublicAccessBlock
  • GetObject
  • ListAllMyBuckets
  • ListBucket .
  • 请确保使用通配符定义资源。 例如:

    "Version": "2012-10-17", "Statement": [ "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:GetBucketPublicAccessBlock", "s3:GetObject", "s3:ListAllMyBuckets", "s3:ListBucket" "Resource": "*" "Effect": "Allow", "Action": [ "s3:GetObject" "Resource": "*"

    扫描 Amazon S3 资源时,需要 在 AWS IAM 中创建角色 ,在 AWS 的 Microsoft 帐户中运行的 Microsoft Purview 扫描程序服务才能读取数据。

    角色中的配置错误可能会导致连接失败。 本部分介绍设置扫描时可能会发生的一些连接失败示例,以及每种情况的故障排除指南。

    如果正确配置了以下部分中所述的所有项,但扫描 S3 Bucket 时仍然失败并出现错误,请联系 Microsoft 支持部门。

    对于策略访问问题,请确保存储桶策略和 SCP 策略均未阻止从 Microsoft Purview 访问 S3 Purview。

    有关详细信息,请参阅 确认 Bucket 策略访问 和 确认 SCP 策略访问 。

    Bucket 已使用 KMS 加密

    确保 AWS 角色具有“KMS 解密”权限。 有关详细信息,请参阅 为已加密的 Amazon S3 Bucket 配置扫描 。

    AWS 角色缺少外部 ID

    确保 AWS 角色具有正确的外部 ID:

  • 在“AWS IAM”区域中,选择“角色”>“信任关系”选项卡。
  • 再次按照 为 Microsoft Purview 创建新的 AWS 角色 中的步骤验证详细信息。
  • 发现的角色 ARN 错误

    这是一个常规错误,表明在使用角色 ARN 时存在问题。 例如,建议按如下所示进行故障排除:

  • 确保 AWS 角色具有读取所选 S3 Bucket 所需的权限。 所需权限包括 AmazonS3ReadOnlyAccess 或 最低读取权限 ,以及已加密 Bucket 的 KMS Decrypt 。

  • 确保 AWS 角色具有正确的 Microsoft 帐户 ID。 在“AWS IAM”区域中,选择“角色”>“信任关系”选项卡,然后再次按照 为 Microsoft Purview 创建新的 AWS 角色 中的步骤验证详细信息。

    有关详细信息,请参阅 找不到指定的 Bucket 。

    找不到指定的 Bucket

    确保正确定义了 S3 Bucket URL:

  • 在 AWS 中,导航到 S3 Bucket,然后复制 Bucket 名称。
  • 在 Microsoft Purview 中,编辑 Amazon S3 数据源,并更新存储桶 URL,使其包含复制的存储桶名称,名称采用以下语法: s3://<BucketName>
  • 详细了解 Microsoft Purview 见解报表:

    了解 Microsoft Purview 中的数据资产见解