Agrega aspectos de Dataplex Catalog según las estadísticas de los perfiles de datos

En esta página, se describe cómo agregar automáticamente aspectos de Dataplex a tus datos después de que Sensitive Data Protection genere perfiles de tus recursos. En esta página, también se proporcionan ejemplos de consultas que puedes usar para encontrar datos en tu organización y proyectos con valores de aspectos específicos.

Esta función es útil si deseas enriquecer tus metadatos en Dataplex con estadísticas recopiladas de los perfiles de datos de la Protección de datos sensibles. Los aspectos generados incluyen las siguientes estadísticas:

  • Nivel de sensibilidad calculado de la tabla o el conjunto de datos
  • Nivel de riesgo de datos calculado de la tabla o el conjunto de datos
  • Tipos de información (infoTypes) que se detectaron en la tabla o el conjunto de datos

Las estadísticas de los perfiles de datos de la Protección de datos sensibles pueden ayudarte a usar Dataplex para descubrir datos sensibles y de alto riesgo en tu organización. Usa estas estadísticas para tomar decisiones fundamentadas sobre cómo administrar y gobernar tus datos.

Acerca de los perfiles de datos

Puedes configurar la protección de datos sensibles para generar automáticamente perfiles sobre los datos en una organización, una carpeta o un proyecto. Los perfiles de datos contienen métricas y metadatos sobre tus datos y te ayudan a determinar dónde residen los datos sensibles y de alto riesgo. La protección de datos sensibles informa estas métricas en varios niveles de detalle.

Puedes enviar perfiles de datos a otros Google Cloud servicios, como Dataplex, Pub/Sub, Security Command Center y Google Security Operations para enriquecer tus flujos de trabajo de administración de datos, alertas y seguridad.

Acerca de Dataplex Catalog

Dataplex Catalog es una función de Dataplex que proporciona un inventario unificado de recursos de Google Cloud .

Dataplex Catalog te permite usar aspectos para agregar metadatos técnicos y empresariales a tus datos y capturar contexto y conocimiento sobre tus recursos. Luego, puedes buscar y descubrir datos en toda tu organización, y habilitar la administración de datos sobre tus recursos de datos. Para obtener más información, consulta Aspectos.

Recursos admitidos

Sensitive Data Protection puede adjuntar aspectos automáticamente a las entradas de Dataplex para los siguientes recursos:

  • tablas de BigQuery
  • Tablas de Cloud SQL

  • Conjuntos de datos de Vertex AI creados a partir de tablas de BigQuery

Dataplex Catalog no transfiere buckets de Cloud Storage, por lo que esta función no está disponible cuando creas perfiles de datos de Cloud Storage.

Cómo funciona

El flujo de trabajo de alto nivel para crear aspectos de Dataplex Catalog automáticamente según los perfiles de datos es el siguiente:

  1. Crea o edita una configuración de análisis para un tipo de recurso admitido.

  2. En el paso Agregar acciones, asegúrate de que la acción Enviar a Dataplex Catalog como aspectos esté habilitada.

    Si estás creando una configuración de análisis, esta acción está habilitada de forma predeterminada.

    Si estás editando la configuración de un análisis, habilita esta acción.

La Protección de datos sensibles agrega o actualiza el aspecto Sensitive Data Protection profile de la entrada de Dataplex para cada recurso compatible que crees un perfil. Luego, puedes buscar en Dataplex Catalog todos los datos de tu organización o proyecto con valores de aspectos específicos.

Cuando habilitas la acción Enviar a Dataplex Catalog como aspectos, la Protección de datos sensibles aplica esta acción solo a los perfiles nuevos y actualizados. Los perfiles existentes que no se actualizan no se envían al catálogo de Dataplex.

Campos de nivel superior

El aspecto resultante de una tabla perfilada puede tener los siguientes campos de nivel superior:

Nombre visible Valor de ejemplo Descripción
Sensitivity MODERATE El nivel de sensibilidad calculado de la tabla
Risk MODERATE El nivel de riesgo de datos calculado de la tabla
InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
  • infoType: US_SOCIAL_SECURITY_NUMBER
Es una lista de todos los infotipos que se encontraron en la tabla, incluidos los infotipos previstos y los otros infotipos. Este campo se incluye si se detectó al menos un infoType en la tabla.
Column InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
Es una lista de todos los infotipos previstos que se encuentran en todas las columnas de la tabla. Este campo se incluye si se detectó al menos un infoType previsto en la tabla.
Project Profile Consulta Perfil de proyecto y perfil de organización en esta página. Se incluye si se creó un perfil del recurso a través de una configuración de análisis a nivel del proyecto.
Organization Profile Consulta Perfil de proyecto y perfil de organización en esta página. Se incluye si se creó un perfil del recurso a través de una configuración de análisis a nivel de la organización o de la carpeta.

Si se creó un perfil del recurso a nivel del proyecto y de la organización o la carpeta, la Protección de datos sensibles agrega los valores de ambos perfiles. El aspecto proporciona una unión de los infotipos detectados y usa las calificaciones de riesgo de datos y sensibilidad más altas de ambos perfiles.

Por ejemplo, supongamos que el perfil a nivel del proyecto califica la sensibilidad del recurso como MODERATE y el perfil a nivel de la organización califica la sensibilidad como LOW. En este caso, el valor en el campo Sensitivity de nivel superior del aspecto es MODERATE.

Campos del perfil del proyecto y de la organización

El aspecto Sensitive Data Protection profile resultante incluye uno o ambos de los siguientes campos de nivel superior, según el nivel en el que se analizó el recurso:

Project Profile
Se incluye en el aspecto si el recurso se perfiló a través de una configuración de análisis a nivel del proyecto.
Organization Profile
Se incluye en el aspecto si se generó un perfil del recurso a través de una configuración de análisis a nivel de la organización o de la carpeta.

Si se creó un perfil del recurso a nivel del proyecto y de la organización o de la carpeta, el aspecto resultante tendrá los campos Project Profile y Organization Profile.

Cada campo Project Profile o Organization Profile contiene campos Sensitivity y Risk anidados con los valores que se enumeran en el perfil de datos. Si el perfil de datos tiene infotipos previstos y otros infotipos enumerados, también están disponibles como campos Column InfoTypes y InfoTypes anidados. Además, cada campo Project Profile o Organization Profile contiene los siguientes campos anidados:

Profile

Es el nombre de recurso completo del perfil de datos. Ejemplos:

  • Perfil a nivel del proyecto: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Perfil a nivel de la organización o de la carpeta: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

Un vínculo al perfil en la Google Cloud consola. Ejemplos:

  • Perfil a nivel del proyecto: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Perfil a nivel de la organización o de la carpeta: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Habilitar la API de Dataplex

La API de Dataplex debe estar habilitada en cada proyecto que contenga los recursos a los que deseas agregar aspectos. En esta sección, se describe cómo habilitar la API de Dataplex en un solo proyecto o en todos los proyectos de una organización o carpeta.

Habilita la API de Dataplex en un solo proyecto

  1. Selecciona el proyecto en el que deseas habilitar la API de Dataplex.

    Ir al selector de proyectos

  2. Enable the Dataplex API.

    Enable the API

Habilita la API de Dataplex en todos los proyectos de una organización o carpeta

En esta sección, se proporciona una secuencia de comandos que busca todos los proyectos en una organización o carpeta y habilita la API de Dataplex en cada uno de esos proyectos.

Para obtener los permisos que necesitas para habilitar la API de Dataplex en todos los proyectos de una organización o carpeta, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para habilitar la API de Dataplex en todos los proyectos de una organización o carpeta. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para habilitar la API de Dataplex en todos los proyectos de una organización o carpeta:

  • Para buscar todos los proyectos de una organización o carpeta, haz lo siguiente: cloudasset.assets.searchAllResources en la organización o carpeta
  • Para habilitar la API de Dataplex, haz lo siguiente: serviceusage.services.use en cada proyecto en el que deseas habilitar la API de Dataplex

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para habilitar la API de Dataplex en todos los proyectos de una organización o carpeta, sigue estos pasos:

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Ejecuta la siguiente secuencia de comandos:

    #!/bin/bash
    
    RESOURCE_ID="RESOURCE_ID"
    
    gcloud asset search-all-resources \
        --scope="RESOURCE_TYPE/$RESOURCE_ID" \
        --asset-types="cloudresourcemanager.googleapis.com/Project" \
        --format="value(name)" |
        while read project_name; do
          project_id=$(echo "$project_name" | sed 's|.*/||')
          gcloud services enable "dataplex.googleapis.com" --project="$project_id"
        done
    

    Reemplaza lo siguiente:

    • RESOURCE_ID: El número de organización o de carpeta del recurso que contiene los proyectos
    • RESOURCE_TYPE: Es el tipo de recurso que contiene los proyectos: organizations o folders.

Roles y permisos para ver aspectos

Para obtener los permisos que necesitas para buscar aspectos asociados con tus recursos, pídele a tu administrador que te otorgue los siguientes roles de IAM en los recursos:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para buscar aspectos asociados con tus recursos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para buscar aspectos asociados con tus recursos:

  • Ver entradas de Dataplex:
    • dataplex.entries.list
    • dataplex.entries.get
  • Consultar conjuntos de datos y tablas de BigQuery:
    • bigquery.datasets.get
    • bigquery.tables.get
  • Consulta los conjuntos de datos de Vertex AI: aiplatform.datasets.get

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para obtener más información sobre los permisos necesarios para usar Dataplex, consulta Permisos de IAM de Dataplex.

Busca el aspecto generado para un perfil de datos de tabla determinado

  1. En la Google Cloud consola, ve a la página Búsqueda de Dataplex.

    Ir a Búsqueda

  2. Selecciona tu organización o proyecto.

  3. En Elige una plataforma de búsqueda, selecciona Dataplex Catalog como el modo de búsqueda.

  4. En el campo Búsqueda, ingresa lo siguiente:

    name:TABLE_ID
    

    Reemplaza TABLE_ID por el ID de la tabla de la que se generaron perfiles.

  5. En la lista que aparece, haz clic en el nombre de la tabla. Aparecerán los detalles de la tabla de BigQuery. Cualquier aspecto Sensitive Data Protection profile asociado con él se muestra en la sección Aspectos y etiquetas opcionales.

Para obtener más información sobre cómo buscar recursos, consulta Cómo buscar recursos en Dataplex Catalog.

Ejemplos de consultas de búsqueda

En esta sección, se proporcionan ejemplos de consultas de búsqueda que puedes usar en Dataplex para encontrar datos en tu organización o proyecto con valores de aspectos específicos.

Solo puedes encontrar los datos a los que tienes acceso. El acceso a los datos se controla a través de los permisos de IAM. Para obtener más información, consulta Roles y permisos para ver aspectos en esta página.

Puedes ingresar estas consultas de ejemplo en el campo Búsqueda de la página Búsqueda de Dataplex.

Ir a Búsqueda

Para obtener información sobre cómo formular las consultas, consulta Sintaxis de búsqueda de Dataplex Catalog.

Busca todos los recursos que tengan el aspecto de perfil de Protección de datos sensibles

aspect:sensitive-data-protection-profile

Busca todos los recursos con una puntuación de sensibilidad determinada

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

Reemplaza SENSITIVITY_SCORE por HIGH, MODERATE, UNKNOWN o LOW.

Para obtener más información, consulta Niveles de sensibilidad y riesgo de datos.

Busca todos los recursos con una puntuación de riesgo determinada

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

Reemplaza DATA_RISK_LEVEL por HIGH, MODERATE, UNKNOWN o LOW.

Para obtener más información, consulta Niveles de sensibilidad y riesgo de datos.

Busca todos los recursos que tengan un perfil a nivel del proyecto

aspect:sensitive-data-protection-profile.projectProfile

Busca todos los recursos que tengan un perfil a nivel de la organización

aspect:sensitive-data-protection-profile.organizationProfile