Adicionar aspectos do Dataplex Catalog com base em insights dos perfis de dados

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Esta página descreve como adicionar automaticamente aspectos do Dataplex aos seus dados depois que a Proteção de dados sensíveis cria perfis dos seus recursos. Esta página também oferece exemplos de consultas que podem ser usadas para encontrar dados na sua organização e projetos com valores de aspecto específicos.

Esse recurso é útil se você quiser enriquecer seus metadados no Dataplex com insights coletados dos perfis de dados da Proteção de dados sensíveis. Os aspectos gerados incluem os seguintes insights:

• Nível de sensibilidade calculado da tabela ou do conjunto de dados
• Nível de risco de dados calculado da tabela ou do conjunto de dados
• Tipos de informações (infoTypes) detectados na tabela ou no conjunto de dados

Os insights dos perfis de dados da Proteção de dados sensíveis podem ajudar você a usar o Dataplex para descobrir dados sensíveis e de alto risco na sua organização. Use esses insights para tomar decisões fundamentadas sobre como gerenciar e controlar seus dados.

Sobre os perfis de dados

É possível configurar a Proteção de dados sensíveis para gerar automaticamente perfis sobre dados em uma organização, pasta ou projeto. Os perfis de dados contêm métricas e metadados sobre seus dados e ajudam a determinar onde os dados sensíveis e de alto risco residem. A Proteção de dados sensíveis informa essas métricas em vários níveis de detalhes.

É possível enviar perfis de dados para outros Google Cloud serviços, como o Dataplex, o Pub/Sub, o Security Command Center e o Google Security Operations para melhorar a governança de dados, os alertas e os fluxos de trabalho de segurança.

Sobre o Catálogo do Dataplex

O Dataplex Catalog é um recurso do Dataplex que fornece um inventário unificado de recursos Google Cloud .

Com o Dataplex Catalog, você pode usar aspectos para adicionar metadados técnicos e de negócios aos seus dados e capturar o contexto e o conhecimento sobre seus recursos. Depois, você pode pesquisar e descobrir dados em toda a organização e ativar a governança de dados sobre seus recursos. Para mais informações, consulte Aspectos.

Recursos suportados

A Proteção de dados sensíveis pode anexar aspectos automaticamente às entradas do Dataplex para os seguintes recursos:

• tabelas do BigQuery

• Tabelas do Cloud SQL

• Conjuntos de dados da Vertex AI criados com base em tabelas do BigQuery

O Dataplex Catalog não ingere buckets do Cloud Storage. Portanto, esse recurso não está disponível quando você cria perfis de dados do Cloud Storage.

Como funciona

O fluxo de trabalho de alto nível para criar automaticamente aspectos do Dataplex Catalog com base em perfis de dados é o seguinte:

1. Crie ou edite uma configuração de verificação para um tipo de recurso com suporte.

2. Na etapa Adicionar ações, verifique se a ação Enviar para o Dataplex Catalog como aspectos está ativada.

   Se você estiver criando uma configuração de verificação, essa ação será ativada por padrão.

   Se você estiver editando uma configuração de verificação, ative essa ação.

A Proteção de dados sensíveis adiciona ou atualiza o aspecto Sensitive Data Protection profile da entrada do Dataplex para cada recurso compatível que você cria o perfil. Em seguida, pesquise no Dataplex Catalog todos os dados na sua organização ou projeto com valores de aspecto específicos.

Quando você ativa a ação Enviar como aspectos para o Dataplex Catalog, a Proteção de dados sensíveis aplica essa ação apenas a perfis novos e atualizados. Os perfis atuais que não forem atualizados não serão enviados para o Dataplex Catalog.

Campos de nível superior

O aspecto resultante de uma tabela com perfil pode ter os seguintes campos de nível superior:

Se o recurso tiver sido criado no nível do projeto e da organização ou da pasta, a Proteção de Dados Sensíveis vai agregar os valores dos dois perfis. O aspecto fornece uma união dos infoTypes detectados e usa as classificações de confidencialidade e risco de dados mais altas dos dois perfis.

Por exemplo, suponha que o perfil no nível do projeto classifique a sensibilidade do recurso como MODERATE e o perfil no nível da organização como LOW. Nesse caso, o valor no campo Sensitivity de nível superior do aspecto é MODERATE.

Campos do perfil do projeto e da organização

O aspecto Sensitive Data Protection profile resultante inclui um ou ambos os seguintes campos de nível superior, dependendo do nível em que o recurso foi criado:

Project Profile

Incluído no aspecto se o recurso foi criado no perfil por uma configuração de verificação no nível do projeto

Organization Profile

Incluído no aspecto se o recurso tiver sido criado com uma configuração de verificação no nível da organização ou da pasta

Se o recurso tiver sido criado no nível do projeto e da organização ou da pasta, o aspecto resultante terá os campos Project Profile e Organization Profile.

Cada campo Project Profile ou Organization Profile contém campos Sensitivity e Risk aninhados com os valores listados no perfil de dados. Se o perfil de dados tiver infoTypes previstos e outros infoTypes listados, eles também estarão disponíveis como campos Column InfoTypes e InfoTypes aninhados. Além disso, cada campo Project Profile ou Organization Profile contém os seguintes campos aninhados:

Profile

O nome completo do recurso do perfil de dados. Exemplos:

• Perfil do projeto: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
• Perfil no nível da organização ou da pasta: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Profile Link

Um link para o perfil no console do Google Cloud . Exemplos:

• Perfil do projeto: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
• Perfil no nível da organização ou da pasta: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Ativar a API Dataplex

A API Dataplex precisa ser ativada em cada projeto que contém recursos aos quais você quer adicionar aspectos. Esta seção descreve como ativar a API Dataplex em um único projeto ou em todos os projetos de uma organização ou pasta.

Ativar a API Dataplex em um único projeto

1. Selecione o projeto em que você quer ativar a API Dataplex.

   Acessar o seletor de projetos

2. Enable the Dataplex API.

   Enable the API

Ativar a API Dataplex em todos os projetos de uma organização ou pasta

Esta seção fornece um script que pesquisa todos os projetos em uma organização ou pasta e ativa a API Dataplex em cada um desses projetos.

Para receber as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Visualizador de recursos do Cloud (roles/cloudasset.viewer) na organização ou pasta
• Usuário do DLP (roles/dlp.user) em cada projeto em que você quer ativar a API Dataplex.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos têm as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para ativar a API Dataplex em todos os projetos de uma organização ou pasta, siga estas etapas:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Execute o script a seguir:

   #!/bin/bash
   
   RESOURCE_ID="RESOURCE_ID"
   
   gcloud asset search-all-resources \
       --scope="RESOURCE_TYPE/$RESOURCE_ID" \
       --asset-types="cloudresourcemanager.googleapis.com/Project" \
       --format="value(name)" |
       while read project_name; do
         project_id=$(echo "$project_name" | sed 's|.*/||')
         gcloud services enable "dataplex.googleapis.com" --project="$project_id"
       done
   

   Substitua:

   • RESOURCE_ID: o número da organização ou da pasta do recurso que contém os projetos
   • RESOURCE_TYPE: o tipo de recurso que contém os projetos: organizations ou folders.

Papéis e permissões para visualizar aspectos

Para ter as permissões necessárias para pesquisar aspectos associados aos seus recursos, peça ao administrador para conceder a você os seguintes papéis do IAM nos recursos:

• Leitor do Dataplex Catalog (roles/dataplex.catalogViewer)
• Visualizador de dados do BigQuery (roles/bigquery.dataViewer)
• Visualizador da Vertex AI (roles/aiplatform.viewer)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para pesquisar aspectos associados aos seus recursos. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre as permissões necessárias para usar o Dataplex, consulte Permissões do IAM do Dataplex.

Encontrar o aspecto gerado para um determinado perfil de dados da tabela

1. No Google Cloud console, acesse a página Pesquisa do Dataplex.

   Acesse Pesquisar

2. Selecione a organização ou o projeto.

3. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

4. No campo Pesquisar, digite o seguinte:

   name:TABLE_ID
   

   Substitua TABLE_ID pelo ID da tabela que foi criada.

5. Na lista que aparece, clique no nome da tabela. Os detalhes da tabela do BigQuery aparecem. Todos os aspectos Sensitive Data Protection profile associados a ele são mostrados na seção Tags e aspectos opcionais.

Para mais informações sobre como pesquisar recursos, consulte Pesquisar recursos no Dataplex Catalog.

Exemplo de consultas de pesquisa

Esta seção fornece exemplos de consultas de pesquisa que podem ser usadas no Dataplex para encontrar dados na sua organização ou projeto com valores de aspecto específicos.

Você só encontra os dados a que tem acesso. O acesso aos dados é controlado por permissões do IAM. Para mais informações, consulte Papéis e permissões para visualizar aspectos nesta página.

É possível inserir esses exemplos de consultas no campo Pesquisar na página Pesquisa do Dataplex.

Acesse Pesquisar

Para saber como formar as consultas, consulte Sintaxe de pesquisa para o Dataplex Catalog.

Encontrar todos os recursos com o aspecto de perfil de proteção de dados sensíveis

aspect:sensitive-data-protection-profile

Encontrar todos os recursos com uma determinada pontuação de sensibilidade

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

Substitua SENSITIVITY_SCORE por HIGH, MODERATE, UNKNOWN ou LOW.

Para saber mais, consulte Níveis de sensibilidade e risco de dados.

Encontrar todos os recursos com uma determinada pontuação de risco

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

Substitua DATA_RISK_LEVEL por HIGH, MODERATE, UNKNOWN ou LOW.

Para saber mais, consulte Níveis de sensibilidade e risco de dados.

Encontrar todos os recursos que têm um perfil no nível do projeto

aspect:sensitive-data-protection-profile.projectProfile

Encontrar todos os recursos que têm um perfil no nível da organização

aspect:sensitive-data-protection-profile.organizationProfile