Diagnosticar problemas nas migrações do PostgreSQL para AlloyDB

Solucionar erros de migração

O processo de tarefa de migração pode incorrer em erros durante o tempo de execução.

  • Alguns erros, como uma senha incorreta no banco de dados de origem, são recuperáveis, o que significa que podem ser corrigidos e o trabalho de migração é retomado automaticamente.
  • Alguns são irrecuperáveis, como erros na replicação de dados, o que significa que o trabalho de migração precisa ser reiniciado desde o início.

Quando ocorre um erro, o status do trabalho de migração muda para Failed e o substatus reflete o último status antes da falha.

Para solucionar um erro, navegue até o trabalho de migração com falha para visualizar o erro e siga as etapas descritas na mensagem de erro.

Para ver mais detalhes sobre o erro, navegue até Cloud Monitoring usando o link no job de migração. Os logs são filtrados para o trabalho de migração específico.

Na tabela a seguir, você encontra alguns exemplos de problemas e como eles podem ser resolvidos:

Sintoma Possíveis causas Coisas para tentar
Falha na conexão com a instância do banco de dados de origem. Houve um problema de conectividade entre a instância do banco de dados de origem e a instância de destino. Siga as etapas em Depurando conectividade .
Falha ao executar o trabalho de migração devido a versões incompatíveis do banco de dados de origem e destino. As versões do banco de dados de origem e destino não são uma combinação compatível. Especificamente, a versão do banco de dados de origem fornecida é incompatível com a versão do banco de dados de destino. Certifique-se de que a versão do banco de dados de destino seja a mesma ou uma versão principal acima da versão do banco de dados de origem. Em seguida, crie um novo trabalho de migração.
Linguagens de definição de dados (DDLs) ou linguagens de manipulação de dados (DMLs) são bloqueadas na origem. DDLs que requerem o bloqueio ACCESS EXCLUSIVE e estão em execução durante a fase de dump completo são bloqueados.

Durante o processo de sincronização inicial (full dump), DDLs ou programas que exigem bloqueios ACCESS EXCLUSIVE , como ALTER TABLE ou DROP TABLE devem ser evitados nas tabelas. Caso contrário, os DDLs ou programas aguardarão até que a sincronização inicial termine.

Por exemplo, se uma tabela ainda estiver no processo de sincronização inicial e um comando ALTER TABLE for executado na mesma tabela, o comando não será executado e os comandos DDL e DML subsequentes serão bloqueados até que a sincronização inicial termine.

Mensagem de erro: No pglogical extension installed on databases (X) Um ou mais bancos de dados de origem não possuem pglogical instalado. Siga estas diretrizes para instalar pglogical nos bancos de dados da instância de origem.
Mensagem de erro: Replication user 'x' doesn't have sufficient privileges. O usuário que está usando o Database Migration Service não tem os privilégios necessários para executar a operação designada. Siga estas diretrizes para garantir que esse usuário tenha os privilégios necessários.
Mensagem de erro: Unable to connect to source database server. O Serviço de Migração de Banco de Dados não consegue estabelecer uma conexão com o servidor de banco de dados de origem. Certifique-se de que as instâncias de banco de dados de origem e de destino possam se comunicar entre si e que você tenha atendido todos os pré-requisitos necessários que apareceram quando você definiu suas configurações para o trabalho de migração .
Mensagem de erro: The source database 'wal_level' configuration must be equal to 'logical'. O wal_level do banco de dados de origem está configurado com um valor diferente de logical . Defina wal_level como logical .
Mensagem de erro: The source database 'max_replication_slots' configuration is not sufficient. O parâmetro max_replication_slots não foi configurado corretamente. Siga estas diretrizes para definir esse parâmetro corretamente.
Mensagem de erro: The source database 'max_wal_senders' configuration is not sufficient. O parâmetro max_wal_senders não foi configurado corretamente. Siga estas diretrizes para definir esse parâmetro corretamente.
Mensagem de erro: The source database 'max_worker_processes' configuration is not sufficient. O parâmetro max_worker_processes não foi configurado corretamente. Siga estas diretrizes para definir esse parâmetro corretamente.

Mensagem de erro: Cleanup may have failed on source due to error: generic::unknown: failed to connect to on-premises database.

OU

Mensagem de erro: Error promoting EM replica: finished drop replication with errors.

 As configurações necessárias para replicação não podem ser limpas durante a promoção de um trabalho de migração.

Para cada banco de dados, execute comandos como um usuário com privilégio superuser .

Para obter mais informações sobre quais comandos executar, consulte Limpar slots de replicação .

Mensagem de erro: x509 certificate signed by unknown authority.

O certificado CA de origem fornecido ao Database Migration Service pode conter apenas o certificado raiz. No entanto, o certificado de origem requer o certificado raiz e quaisquer certificados intermediários.

Por exemplo, para o Amazon Relational Database Service, o uso do certificado rds-ca-2019-root.pem pode resultar nesse problema.

Crie um certificado CA de origem combinado que contenha o certificado raiz e todos os certificados intermediários necessários.

Para o caso de uso do Amazon Relational Database Service, em vez do certificado rds-ca-2019-root.pem , use o certificado rds-combined-ca-bundle.pem .

Mensagem de erro: ERROR: Out of shared memory HINT: You might need to increase max_locks_per_transaction.

 O valor definido para o parâmetro max_locks_per_transaction não é suficiente. Configure o valor desse parâmetro como pelo menos { max_number_of_tables_per_database }/( max_connections + max_prepared_transactions ).

Mensagem de erro: ERROR: no data left in message.

 O pacote pglogical não está instalado corretamente na instância de origem. Para obter mais informações sobre como instalar este pacote corretamente, consulte Instalar o pacote pglogical na instância de origem .

Mensagem de erro: Cannot assign TransactionIds during recovery.

 A fonte configurada está no modo de recuperação. Configure uma fonte que não esteja no modo de recuperação.
O despejo completo é lento. O destino AlloyDB pode ser lento na importação de dados grandes do banco de dados de origem.
  • Ao criar o destino, defina o tamanho do disco de dados para que fique próximo do tamanho final. A fase de despejo completo usa uma carga de trabalho com uso intenso de gravação de E/S e um tamanho de disco maior tem melhor desempenho de E/S. Para obter mais informações, consulte Desempenho do armazenamento em blocos .
  • Escolha um nível mais alto para o destino AlloyDB para obter o máximo disponível de rede e largura de banda de disco.
  • Ajuste o sinalizador max_wal_size do destino AlloyDB. Normalmente, 32 GB ou 64 GB é um bom valor a ser definido para esse sinalizador. A atualização deste sinalizador não exige que você reinicie o servidor.
Mensagem de erro: subscriber {subscriber_name} initialization failed during nonrecoverable step (d), please try the setup again

O trabalho de migração falhou durante a fase de despejo completo e o trabalho não é recuperável. A instância do banco de dados de origem foi reiniciada ou estava em modo de recuperação, ou as conexões de replicação foram encerradas devido a um valor insuficiente definido para o parâmetro wal_sender_timeout .

Para encontrar a causa raiz do problema:

  1. Acesse a página do Explorador de registros no Google Cloud Console.
  2. Na lista de recursos, selecione sua instância do AlloyDB. Uma lista dos logs mais recentes da instância é exibida.
  3. Nos nomes dos arquivos de log, selecione postgres.log .
  4. Defina o nível de gravidade do log para todos os níveis acima de Warning . Os primeiros logs de erros podem ser a causa raiz da falha.
  • Certifique-se de que o Database Migration Service sempre possa se conectar à instância do banco de dados de origem durante a fase de dump completo.
  • Verifique se o valor do parâmetro wal_sender_timeout está definido como um número maior (por exemplo, 0 ) na instância do banco de dados de origem.
  • Reinicie o trabalho de migração e tente novamente.
Mensagem de erro: ERROR: unknown column name {column_name}

Uma coluna foi adicionada a uma tabela replicada no nó primário, mas não no nó de réplica.

Somente alterações na linguagem de manipulação de dados (DML) são atualizadas automaticamente durante migrações contínuas. O gerenciamento de alterações na linguagem de definição de dados (DDL) para que os bancos de dados de origem e destino permaneçam compatíveis é de responsabilidade do usuário e pode ser feito de duas maneiras:

  • Pare as gravações no banco de dados de origem e execute os comandos DDL na origem e no destino. Antes de executar os comandos DDL no destino, conceda o papel cloudsqlexternalsync ao usuário do Cloud SQL que aplica as alterações DDL.
  • Use o pglogical.replicate_ddl_command para permitir que comandos DDL sejam executados na origem e no destino em um ponto consistente. O usuário que executa os comandos deve ter o mesmo nome de usuário na origem e no destino e deve ser o superusuário ou o proprietário do artefato que está sendo migrado (por exemplo, a tabela, sequência, visualização ou banco de dados).

    • Consulte Migração contínua para encontrar exemplos de uso do pglogical.replicate_ddl_command.

Mensagem de erro: ERROR: cannot truncate a table referenced in a foreign key constraint

O usuário tentou truncar uma tabela que possui uma restrição de chave estrangeira.

Remova primeiro a restrição de chave estrangeira e depois trunque a tabela.

Mensagem de erro: ERROR: connection to other side has died

A conexão de replicação foi encerrada devido a um valor insuficiente definido para o wal_sender_timeout parameter . O erro geralmente ocorre durante a fase de replicação após o sucesso do dump inicial.

Considere aumentar o valor do parâmetro wal_sender_timeout ou desabilitar o mecanismo de tempo limite definindo seu valor como 0 na instância do banco de dados de origem.

Quando você migra bancos de dados selecionados e o trabalho de migração não consegue replicar dados para um ou mais bancos de dados, um status Com falha é exibido na lista de bancos de dados. Vários erros de trabalho de migração.

Na coluna Erros , clique em Visualizar erros e corrigi-los. Você também pode remover os bancos de dados com falha do trabalho de migração.

Para obter mais informações sobre como remover um banco de dados com falha de um trabalho de migração, consulte Gerenciar trabalhos de migração .

Limpar slots de replicação

Você verá uma das seguintes mensagens:

  • Cleanup may have failed on source due to error: generic::unknown: failed to connect to on-premises database.
  • Error promoting EM replica: finished drop replication with errors.

Possíveis causas

Ao promover uma instância do AlloyDB, se a instância de origem não puder ser acessada a partir da instância do AlloyDB (por exemplo, a instância de origem não estiver em execução ou você tiver removido a instância do AlloyDB da lista de permissões de instâncias de origem), as configurações necessárias para a replicação não poderão ser limpas durante a promoção de um trabalho de migração. Você deve limpar os slots de replicação manualmente.

Coisas para tentar

Para cada banco de dados, execute os seguintes comandos como um usuário com privilégio superuser :

  1. Obtenha os nomes dos slots de replicação na mensagem de erro e execute o seguinte comando para eliminar os slots, um por um:

    select pg_drop_replication_slot({slot_name});

  2. Se os nomes dos slots de replicação não estiverem disponíveis na mensagem de erro, execute o seguinte comando para consultar os slots de replicação existentes:

    select pg_drop_replication_slot(slot_name) from pg_replication_slots where slot_name like '%alloydb%' and active = 'f';

  3. Se não houver réplicas do AlloyDB usando a instância de origem, execute o seguinte comando para limpar as configurações pglogical :

    select pglogical.drop_node(node_name) from pglogical.node where node_name like 'alloydb';

  4. Se a extensão pglogical não for mais necessária, execute o seguinte comando para desinstalar a extensão:

    DROP EXTENSION IF EXISTS pglogical;

Exclua clusters órfãos do AlloyDB no modo de inicialização

Em raros casos extremos, você pode descobrir que seu trabalho de migração foi excluído, enquanto o cluster AlloyDB associado não foi excluído e ainda está no modo de inicialização. É possível excluir o cluster usando o comando gcloud do AlloyDB para excluir um cluster , combinado com a opção --force .

Observe que a exclusão de um cluster de inicialização enquanto ele está sendo usado por um trabalho de migração resulta em um comportamento indefinido.

Gerenciar usuários e funções

Migrar usuários existentes

Atualmente, o Database Migration Service não oferece suporte à migração de usuários existentes de uma instância de origem para uma instância de destino do AlloyDB. Você pode gerenciar essa migração criando os usuários no AlloyDB manualmente.

Sobre o usuário alloydbexternalsync

Durante a migração, todos os objetos no AlloyDB primário pertencem ao usuário alloydbexternalsync . Depois que os dados forem migrados, será possível modificar a propriedade dos objetos para outros usuários concluindo as etapas a seguir:

  • Execute o comando GRANT alloydbexternalsync to {USER} .
  • Em cada banco de dados, execute a reassign owned by alloydbexternalsync to {USER} ; comando.
  • Para remover o usuário alloydbexternalsync , execute o comando drop role alloydbexternalsync .