Esegui la migrazione a Cloud Composer 3 da Cloud Composer 1 (Airflow 2)

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina spiega come trasferire DAG, dati e configurazione dagli ambienti Cloud Composer 1 e Airflow 2 esistenti a Cloud Composer 3 e Airflow 2 utilizzando gli snapshot.

Da To Metodo Guida
Cloud Composer 2 Cloud Composer 3 Accanto, utilizzando lo script di migrazione Guida alla migrazione degli script
Cloud Composer 2 Cloud Composer 3 Accanto, utilizzando gli snapshot Guida alla migrazione degli snapshot
Cloud Composer 1, Airflow 2 Cloud Composer 3 Accanto, utilizzando gli snapshot Questa guida
Cloud Composer 1, Airflow 2 Cloud Composer 2 Accanto, utilizzando gli snapshot Guida alla migrazione degli snapshot
Cloud Composer 1, Airflow 2 Cloud Composer 2 Trasferimento manuale affiancato Guida alla migrazione manuale
Cloud Composer 1, Airflow 1 Cloud Composer 2, Airflow 2 Accanto, utilizzando gli snapshot Guida alla migrazione degli snapshot
Cloud Composer 1, Airflow 1 Cloud Composer 2, Airflow 2 Trasferimento manuale affiancato Guida alla migrazione manuale
Cloud Composer 1, Airflow 1 Cloud Composer 1, Airflow 2 Trasferimento manuale affiancato Guida alla migrazione manuale

Prima di iniziare

  • Cloud Composer supporta la migrazione affiancata da Cloud Composer 1 a Cloud Composer 3. Non è possibile eseguire l'upgrade da Cloud Composer 1 a Cloud Composer 3 in situ.

  • Consulta l'elenco delle differenze tra Cloud Composer 1, Cloud Composer 2 e Cloud Composer 3.

  • La dimensione massima del database Airflow che supporta gli snapshot è di 20 GB. Se il database del tuo ambiente occupa più di 20 GB, riduci le dimensioni del database Airflow.

  • Per creare gli snapshot, il numero totale di oggetti nelle cartelle /dags,/plugins e /data nel bucket dell'ambiente deve essere inferiore a 100.000.

  • Se utilizzi il meccanismo XCom per trasferire i file, assicurati di utilizzarlo in base alle linee guida di Airflow. Il trasferimento di file di grandi dimensioni o di un numero elevato di file utilizzando XCom influisce sul rendimento del database Airflow e può causare errori durante il caricamento degli snapshot o l'upgrade dell'ambiente. Valuta la possibilità di utilizzare alternative come Cloud Storage per trasferire grandi volumi di dati.

Assicurati che i DAG siano compatibili con Cloud Composer 3

Assicurati che i DAG siano compatibili con Cloud Composer 3 seguendo questi suggerimenti:

  • L'[elenco dei pacchetti][cc-versions] nell'ambiente Cloud Composer 3 può essere diverso da quello nell'ambiente Cloud Composer 1. Ciò potrebbe influire sulla compatibilità dei DAG con Cloud Composer 3.

  • Cloud Composer carica le sostituzioni di configurazione, le variabili di ambiente e i pacchetti PyPI dallo snapshot dell'ambiente Cloud Composer 1 in Cloud Composer 3 senza modificarli o adattarli per la compatibilità. Se i pacchetti PyPI personalizzati causano conflitti di dipendenza, puoi saltarne l'installazione quando carichi lo snapshot.

  • In Cloud Composer 3, il cluster dell'ambiente si trova nel progetto del tenant. Assicurati che i DAG siano compatibili con questa modifica. In particolare, i workload KubernetesPodOperator ora si scalano indipendentemente dal tuo ambiente e non è possibile utilizzare le configurazioni di affinità dei pod.

  • In Cloud Composer 3 non è possibile accedere direttamente al database Airflow. Assicurati che i tuoi DAG siano compatibili con questa modifica.

Mettere in pausa i DAG nell'ambiente Cloud Composer 1

Per evitare esecuzioni duplicate dei DAG, metti in pausa tutti i DAG nell'ambiente Cloud Composer 1 prima di salvare lo snapshot. Salta il DAG di monitoraggio della funzionalità (airflow_monitoring), che viene utilizzato a scopo di monitoraggio e non è incluso nelle istantanee dell'ambiente.

Puoi utilizzare una delle seguenti opzioni:

  • Nell'interfaccia web di Airflow, vai a DAG e metti in pausa manualmente tutti i DAG.

  • Utilizza lo script composer_dags per mettere in pausa tutti i DAG:

    python3 composer_dags.py --environment COMPOSER_1_ENV \
  --project PROJECT_ID \
  --location COMPOSER_1_LOCATION \
  --operation pause

    Sostituisci:

    • COMPOSER_1_ENV con il nome dell'ambiente Cloud Composer 1.
    • PROJECT_ID con l'ID progetto.
    • COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente.

  • (versioni Airflow 2.9.1 e successive) Se si verificano errori di quota durante la messa in pausa di un numero elevato di DAG, puoi utilizzare i seguenti comandi CLI Airflow per mettere in pausa tutti i DAG contemporaneamente:

    gcloud composer environments run COMPOSER_1_ENV dags pause \
  --project PROJECT_ID \
  --location COMPOSER_1_LOCATION \
  -- -y --treat-dag-id-as-regex ".*"

  • (versioni di Airflow precedenti alla 2.9.1) Se si verificano errori di quota durante la messa in pausa di un numero elevato di DAG, è possibile mettere in pausa i DAG utilizzando l'API REST Airflow. Consulta anche la sezione Provare l'API nella documentazione di Airflow.

Salvare lo snapshot dell'ambiente Cloud Composer 1

Console

Crea uno snapshot del tuo ambiente:

  1. Nella Google Cloud console, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente Cloud Composer 1. Viene visualizzata la pagina Dettagli dell'ambiente.

  3. Fai clic su Crea snapshot.

  4. Nella finestra di dialogo Crea snapshot, fai clic su Invia. In questa guida, salvi lo snapshot nel bucket dell'ambiente Cloud Composer 1, ma puoi selezionare una posizione diversa, se vuoi.

  5. Attendi che Cloud Composer crei lo snapshot.

gcloud

  1. Recupera l'URI del bucket del tuo ambiente Cloud Composer 1:

    1. Esegui questo comando:

      gcloud composer environments describe COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
     --format="value(config.dagGcsPrefix)"

      Sostituisci:

      • COMPOSER_1_ENV con il nome dell'ambiente Cloud Composer 1.
      • COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente.

    2. Nell'output, rimuovi la cartella /dags. Il risultato è l'URI del bucket del tuo ambiente Cloud Composer 1.

      Ad esempio, cambia gs://us-central1-example-916807e1-bucket/dags in gs://us-central1-example-916807e1-bucket.

  2. Crea uno snapshot del tuo ambiente Cloud Composer 1:

    gcloud composer environments snapshots save \
  COMPOSER_1_ENV \
  --location COMPOSER_1_LOCATION \
  --snapshot-location "COMPOSER_1_SNAPSHOTS_FOLDER"

    Sostituisci:

    • COMPOSER_1_ENV con il nome dell'ambiente Cloud Composer 1.
    • COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 1.
    • COMPOSER_1_SNAPSHOTS_FOLDER con l'URI del bucket del tuo ambiente Cloud Composer 1. In questa guida, salvi lo snapshot nel bucket dell'ambiente Cloud Composer 1, ma puoi selezionare una posizione diversa, se vuoi. Se specifichi una posizione personalizzata, gli account di servizio di entrambi gli ambienti devono avere autorizzazioni di lettura e scrittura per qualsiasi posizione disponibile per gli account di servizio di entrambi gli ambienti.

Crea un ambiente Cloud Composer 3

Crea un ambiente Cloud Composer 3. Puoi iniziare con un ambiente preimpostato che corrisponda alle tue richieste di risorse previste e in un secondo momento scalare e ottimizzare ulteriormente l'ambiente.

Non è necessario specificare gli override di configurazione e le variabili di ambiente perché li sostituirai in un secondo momento quando caricherai lo snapshot del tuo ambiente Cloud Composer 1.

Carica lo snapshot nell'ambiente Cloud Composer 3

Console

Per caricare lo snapshot nell'ambiente Cloud Composer 3:

  1. Nella Google Cloud console, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente Cloud Composer 3. Viene visualizzata la pagina Dettagli dell'ambiente.

  3. Fai clic su Carica snapshot.

  4. Nella finestra di dialogo Carica snapshot, fai clic su Sfoglia.

  5. Seleziona la cartella con lo snapshot. Se utilizzi la posizione predefinita per questa guida, la cartella si trova nel bucket dell'ambiente Cloud Composer 1 nella cartella /snapshots e il suo nome corrisponde al timestamp dell'operazione di salvataggio dello snapshot. Ad esempio, us-central1-example-916807e1-bucket/snapshots_example-project_us-central1_example-environment/2022-01-05T18-59-00.

  6. Fai clic su Carica e attendi che Cloud Composer carichi lo snapshot.

gcloud

Carica lo snapshot dell'ambiente Cloud Composer 1 nell'ambiente Cloud Composer 3:

gcloud composer environments snapshots load \
  COMPOSER_3_ENV \
  --location COMPOSER_3_LOCATION \
  --snapshot-path "SNAPSHOT_PATH"

Sostituisci:

  • COMPOSER_3_ENV con il nome del tuo ambiente Cloud Composer 3.
  • COMPOSER_3_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 3.
  • SNAPSHOT_PATH con l'URI del bucket del tuo ambiente Cloud Composer 1, seguito dal percorso dello snapshot. Ad esempio, gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00.

Riattivare i DAG nell'ambiente Cloud Composer 3

Puoi utilizzare una delle seguenti opzioni:

  • Nell'interfaccia web di Airflow, vai a DAG e riattiva manualmente tutti i DAG uno per uno.

  • Utilizza lo script composer_dags per riattivare tutti i DAG:

    python3 composer_dags.py --environment COMPOSER_3_ENV \
  --project PROJECT_ID \
  --location COMPOSER_3_LOCATION \
  --operation unpause

    Sostituisci:

    • COMPOSER_3_ENV con il nome del tuo ambiente Cloud Composer 3.
    • PROJECT_ID con l'ID progetto.
    • COMPOSER_3_LOCATION con la regione in cui si trova l'ambiente.

  • (versioni Airflow 2.9.1 e successive) Se si verificano errori di quota durante la rimozione della messa in pausa di un numero elevato di DAG, puoi utilizzare i seguenti comandi della CLI Airflow per rimuovere la messa in pausa di tutti i DAG contemporaneamente:

    gcloud composer environments run COMPOSER_3_ENV dags unpause \
  --project PROJECT_ID \
  --location COMPOSER_3_LOCATION \
  -- -y --treat-dag-id-as-regex ".*"

  • (versioni di Airflow precedenti alla 2.9.1) Se si verificano errori di quota durante la rimozione della messa in pausa di un numero elevato di DAG, è possibile rimuovere la messa in pausa dei DAG utilizzando l'API REST Airflow. Consulta anche la sezione Provare l'API nella documentazione di Airflow.

Verificare la presenza di errori DAG

  1. Nell'interfaccia web di Airflow, vai a DAG e controlla se sono stati segnalati errori di sintassi dei DAG.

  2. Verifica che le esecuzioni del DAG siano pianificate all'ora corretta.

  3. Attendi l'esecuzione dei DAG nell'ambiente Cloud Composer 3 e controlla se sono andati a buon fine. Se l'esecuzione di un DAG è andata a buon fine, non riprendere la sua esecuzione nell'ambiente Cloud Composer 1. In caso contrario, nell'ambiente Cloud Composer 1 verrà eseguita un'esecuzione del DAG per la stessa data e ora.

  4. Se l'esecuzione di un DAG specifico non va a buon fine, prova a risolvere i problemi relativi al DAG finché non viene eseguito correttamente in Cloud Composer 3.

Monitora l'ambiente Cloud Composer 3

Dopo aver trasferito tutti i DAG e la configurazione nell'ambiente Cloud Composer 3, monitoralo per rilevare potenziali problemi, esecuzioni di DAG non riuscite e l'integrità complessiva dell'ambiente.

Se l'ambiente Cloud Composer 3 funziona senza problemi per un periodo di tempo sufficiente, valuta la possibilità di eliminare l'ambiente Cloud Composer 1.

Passaggi successivi