Usar o Dataplex Attribute Store

Neste documento, mostramos como usar o Dataplex Attribute Store.

O Dataplex Attribute Store é uma infraestrutura extensível que permite especificar comportamentos relacionados a políticas nos recursos associados. Os administradores do Dataplex podem usar o Attribute Store para definir certos dados devem ser tratados, associando dados a atributos.

O principal benefício de usar o armazenamento de atributos é que você pode adicionar várias atributos a um objeto, como uma coluna. As mesclagens do Attribute Store o comportamento de todos os atributos associados a um objeto e o apresenta como uma única política no recurso subjacente.

É possível definir atributos para conjuntos de dados publicados. Os conjuntos de dados publicados se referem ao conjuntos de dados criados pelo Dataplex a partir das tabelas descobertas em um bucket ativo.

Há suporte para os seguintes comportamentos de política:

  • Especificações de recursos: especifica o acesso a um recurso, como uma tabela.
  • Especificações da coluna: especifica o acesso a uma coluna em uma tabela do BigQuery.

Você pode usar o Attribute Store para definir uma hierarquia de atributos chamada de taxonomia. Em uma taxonomia, um atributo filho herda especificações do pai na hierarquia de atributos. Especificações da pasta pai são mescladas em um arquivo unificado lista, que é propagada para o recurso.

É possível usar o Dataplex Attribute Store para executar o seguinte:

  • Criar taxonomias.
  • Criar atributos e organizá-los em uma hierarquia.
  • Associe um ou mais atributos a tabelas.
  • Associe um ou mais atributos às colunas.

Terminologia

A terminologia a seguir é usada neste documento:

Taxonomia do atributo

Uma taxonomia de dados é uma hierarquia de atributos. Em uma taxonomia, os atributos os nós pais permitem que os atributos abaixo deles (atributos filhos) herdem e adicionem as especificações de comportamento dos atributos pai aos próprios.

Por exemplo: Se um atributo com o nome PII tiver uma especificação de recurso group-a@company.com e um atributo filho de PII chamado Social Security numbers tiver um recurso especificação group-b@company.com, as especificações de recursos aplicadas as políticas em que o atributo Social Security numbers está associado, group-a@company.com e group-b@company.com.

Ao definir um atributo, é possível escolher se ele é pai ou filho . Ao definir um atributo filho, é preciso especificar o atributo pai.

Especificações de coluna

As especificações de comportamento para colunas. Ela especifica pessoas ou grupos que têm acesso de leitor às colunas. Se você associar um atributo contendo uma especificação de coluna com uma coluna da tabela, ele adiciona uma tag de política de colunas do BigQuery a essa .

Especificações dos recursos

As permissões para que pessoas ou grupos acessem recursos (tabelas). Se você associar um atributo à especificação de recursos, o Dataplex propaga os papéis do IAM para os usuários especificados para acessar as tabelas associadas com o atributo.

Antes de começar

Limitações

O Dataplex propaga as políticas de especificação de coluna Tags de política do BigQuery. O BigQuery tem uma limitação de uma tag de política por coluna. Se já existir uma tag de política em uma coluna, O Dataplex gera um erro na tabela fazer login na guia Gerenciar.

Cotas

Confira a seguir as cotas e os limites que se aplicam ao Dataplex Attribute Store:

Limite Padrão
Número máximo de taxonomias em uma região 100
Número máximo de atributos em todas as taxonomias em uma região 10.000
Número máximo de atributos que podem ser associados a um recurso (tabela) 50
Número máximo de atributos que podem ser associados a uma coluna 100
Profundidade máxima por árvore de atributo de dados em uma taxonomia de atributos 4

Papéis e permissões necessárias

Para receber as permissões necessárias para usar o repositório de atributos do Dataplex, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esses papéis predefinidos têm as permissões necessárias para usar o repositório de atributos do Dataplex. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para usar o repositório de atributos do Dataplex:

  • Gerenciar taxonomias e atributos:
    • dataplex.datataxonomies.*
    • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
  • Confira as vinculações associadas a recursos e atributos:
    • dataplex.datataxonomies.get
    • dataplex.datataxonomies.list
    • dataplex.dataattributes.get
    • dataplex.dataattributes.list
    • dataplex.dataattributebindings.get
    • dataplex.dataattributebindings.list
  • Criar e gerenciar recursos de vinculação em um projeto: dataplex.dataattributebindings.*
  • Gerenciar especificações de recursos e acesso a dados:
    • dataplex.datataxonomies.configureResourceAccess
    • dataplex.datataxonomies.configureDataAccess

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Exemplos de casos de uso

Considere uma empresa chamada ACME que tem três tipos de dados:

  • Dados sensíveis de Red.
  • Green dados restritos, mas menos sensíveis.
  • Dados sem classificação.

O administrador do Dataplex da ACME cria o seguinte conjunto de atributos:

  • Atributo: Red

    • Especificações da coluna: secrets_team@acme com permissão de leitura
    • Especificações de recursos: secrets_team@acme e tenured_employees@acme com permissão de leitura

  • Atributo: Green

    • Especificações da coluna: full_time_employees@acme com permissão de leitura
    • Especificações de recursos: full_time_employees@acme com permissão para edição

Esta imagem contém as especificações de coluna e recurso para os atributos vermelho e verde.

Os atributos Red e Green controlam o comportamento de acesso aos recursos (tabelas) de acordo com os atributos associados às tabelas e colunas.

Considere uma tabela com as seguintes colunas:

  • ID
  • CEP
  • Nome
  • Endereço
  • Valor

Caso de uso 1: associar o mesmo atributo à tabela e a uma coluna

Esta imagem mostra o atributo vermelho sendo associado à tabela e à coluna "Name".

Se você associar o atributo Red à tabela e à coluna Nome dela, o Dataplex propaga as seguintes políticas:

  • Os funcionários em secrets_team@acme e tenured_employees@acme podem ler o em uma tabela, ver os metadados e consultá-la.
  • Somente funcionários em secrets_team@acme podem consultar a coluna Name, como é protegido por especificações de coluna.

Caso de uso 2: combinar atributos

Considere as seguintes associações:

  • Associe os atributos Red e Green à tabela.
  • Associe os atributos Red e Green à coluna Nome.
  • Associe o atributo Red à coluna $Value.

Esta imagem mostra os atributos vermelho e verde sendo associados à tabela e ao nome da coluna, e o atributo vermelho sendo associado à coluna $value

Nesse caso, o Dataplex propaga as seguintes políticas:

  • Funcionários em secrets_team@acme, tenured_employees@acme e full_time_employees@acme pode acessar a tabela. Isso ocorre porque O Dataplex mescla as especificações de recursos dos atributos Red e Green.
  • Os funcionários em secrets_team@acme e full_time_employees@acme podem acesse a coluna Nome. Isso ocorre porque o Dataplex mescla os especificações de coluna dos atributos Red e Green.
  • Somente funcionários em secrets_team@acme podem consultar a coluna $Value.

Caso de uso 3: organizar atributos em uma hierarquia

Você pode organizar atributos em uma hierarquia especificando os subtipos de atributos. Considere o seguinte conjunto de atributos:

Atributo pai 1:
Atributo: PII

  • Especificações da coluna: secrets_team@acme
  • Especificações de recursos: secrets_team@acme e tenured_employees@acme

Atributo filho de PII:
Atributo: Email

  • Especificações da coluna: email_comm@acme
  • Especificações do recurso: email_comm@acme

Atributo pai 2:
Atributo: Financial

  • Especificações da coluna: full_time_employees@acme
  • Especificações do recurso: full_time_employees@acme

Esta imagem mostra um exemplo de hierarquia de atributos.

Considere as seguintes associações:

  • Associe os atributos Email e Financial à tabela.
  • Associe os atributos Email e Financial à coluna Nome.
  • Associe o atributo PII à coluna $Value.

Esta imagem mostra como os atributos em uma hierarquia podem ser associados à tabela e às colunas.

Nesse caso, o Dataplex propaga as seguintes políticas:

  • Funcionários em secrets_team@acme, tenured_employees@acme, full_time_employees@acme e email_comm@acme podem acessar a tabela. Isso é que o Dataplex mescla as especificações de recursos os atributos Financial e Email, e o atributo Email herda os do atributo PII.
  • Funcionários em secrets_team@acme, email_comm@acme, full_time_employees@acme pode acessar a coluna Nome. Isso ocorre porque O Dataplex mescla as especificações de coluna da atributos Financial e Email.
  • Somente funcionários em secrets_team@acme podem consultar a coluna $Value.

Configurar atributos

Para criar um atributo, crie primeiro uma taxonomia e depois crie a atributos de dados pai e filho.

Criar uma taxonomia de atributo de dados

  1. No console do Google Cloud, acesse a página Attribute Store do Dataplex.

    Acessar Attributes Store (link em inglês)

  2. Clique em Criar taxonomia.

  3. Insira o Nome da taxonomia, o ID e a Descrição.

  4. Selecione uma região.

  5. Clique em Enviar.

    A nova taxonomia aparece na página Taxonomias de dados.

Criar um atributo pai

  1. No console do Google Cloud, acesse a página Attribute Store do Dataplex.

    Acessar Attributes Store (link em inglês)

  2. Na página Taxonomias de dados, clique na taxonomia em que você quer criar o atributo pai.

  3. Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.

  4. Selecione Criar atributo de dados pai.

  5. Insira um nome, um ID e uma descrição para o atributo pai.

  6. Opcional: configure as especificações dos atributos.

    1. Configure as especificações de recursos:

      1. Clique em Gerenciar permissões para Recurso.
      2. Clique em Adicionar.
      3. No campo Novos principais, insira o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso ao recurso.
      4. Selecione os Papéis necessários e clique em Salvar.
      5. Clique em Salvar.

    2. Configure as especificações da coluna:

      1. Clique em Gerenciar permissões para a Coluna.
      2. Clique em Adicionar.
      3. No campo Novos principais, insira o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso à coluna.
      4. Selecione os Papéis necessários e clique em Salvar.
      5. Clique em Salvar.

  7. Clique em Criar.

Criar um atributo filho

  1. No console do Google Cloud, acesse a página Attribute Store do Dataplex.

    Acessar Attributes Store (link em inglês)

  2. Na página Taxonomias de dados, clique na taxonomia em que você quer criar o atributo filho.

  3. Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.

  4. Selecione Criar atributo de dados filho.

  5. Selecione um Atributo de dados pai para o atributo filho que você está criando.

  6. Insira um nome, um ID e uma descrição para o atributo filho.

  7. Opcional: configure as especificações dos atributos.

    1. Configure as especificações de recursos:

      1. Clique em Gerenciar permissões para Recurso.
      2. Clique em Adicionar.
      3. No campo Novos principais, insira o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso ao recurso.
      4. Selecione os Papéis necessários e clique em Salvar.
      5. Clique em Salvar.

    2. Configure as especificações da coluna:

      1. Clique em Gerenciar permissões para a Coluna.
      2. Clique em Adicionar.
      3. No campo Novos principais, insira o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso à coluna.
      4. Selecione os Papéis necessários e clique em Salvar.
      5. Clique em Salvar.

  8. Clique em Criar.

Atualizar recursos do Attribute Store

Atualizar detalhes da taxonomia

  1. No console do Google Cloud, acesse a página Attribute Store do Dataplex.

    Acessar Attributes Store (link em inglês)

  2. Clique na taxonomia que você quer atualizar.

  3. Clique em Editar.

  4. Edite o nome e a descrição da taxonomia conforme necessário.

  5. Clique em Enviar.

Atualizar detalhes do atributo

  1. No console do Google Cloud, acesse a página Attribute Store do Dataplex.

    Acessar Attributes Store (link em inglês)

  2. Clique na taxonomia que contém o atributo que você quer atualizar.

  3. Clique no atributo que você quer atualizar.

  4. Para atualizar o nome e a descrição do atributo, clique em Editar.

    1. Se estiver atualizando um atributo pai, você tem a opção de atualizá-lo. a um atributo filho e vice-versa. Selecione as opções de maneira adequada.
    2. Edite o nome e a descrição do atributo conforme necessário.
    3. Clique em Atualizar.

  5. Para atualizar as especificações de recursos do atributo, clique em para Especificações de recursos.

    1. Para adicionar um novo principal, siga estas etapas:

      1. Clique em Adicionar.
      2. No campo Novos principais, insira o endereço de e-mail de uma pessoa. ou um grupo que precisa de acesso ao recurso.
      3. Selecione os Papéis necessários.
      4. Clique em Salvar.

    2. Para atualizar um principal, siga estas etapas:

      1. Clique em na principal que você que deseja atualizar.
      2. Selecione os Papéis necessários.
      3. Clique em Salvar.

    3. Para remover um principal, siga estas etapas:

      1. Selecione a principal que você quer remover.
      2. Clique em Remover.

  6. Para atualizar as especificações da coluna para o atributo, clique em para Especificações da coluna.

    1. Para adicionar um novo principal, siga estas etapas:

      1. Clique em Adicionar.
      2. No campo Novos principais, insira o endereço de e-mail de uma pessoa. ou um grupo que precisa de acesso à coluna.
      3. Selecione os Papéis necessários.
      4. Clique em Salvar.

    2. Para atualizar um principal, siga estas etapas:

      1. Clique em na principal que você que deseja atualizar.
      2. Selecione os Papéis necessários.
      3. Clique em Salvar.

    3. Para remover um principal, siga estas etapas:

      1. Selecione a principal que você quer remover.
      2. Clique em Remover.

Associar atributos a recursos

Associar um atributo a uma tabela

  1. No console do Google Cloud, acesse a página Attribute Store do Dataplex.

    Acessar Attributes Store (link em inglês)

  2. Clique na taxonomia que contém o atributo.

  3. Clique no atributo que você quer associar a uma tabela.

  4. Clique na guia Recursos.

  5. Clique em Adicionar recursos.

  6. Selecione uma tabela na lista.

  7. Clique em Selecionar.

Associar um atributo a uma coluna

  1. No console do Google Cloud, acesse a página Attribute Store do Dataplex.

    Acessar Attributes Store (link em inglês)

  2. Pesquise e selecione a tabela em que você quer associar um atributo a uma coluna.

  3. Clique na guia Tags de coluna e esquema.

  4. Clique em nas Tags de política do com o qual você deseja associar um atributo.

  5. Selecione a taxonomia que contém o atributo.

  6. Selecione o atributo.

  7. Clique em Anexar.

A seguir