Desarrolla una aplicación en el clúster de Ray en Vertex AI

• Conéctate al clúster de Ray en Vertex AI a través del cliente de Ray con la versión del SDK de Vertex AI para Python que incluye la funcionalidad del cliente de Ray. Usa esta opción si prefieres un entorno de desarrollo interactivo de Python.

  • Usa el SDK de Vertex AI para Python dentro del notebook de Colab Enterprise en la Google Cloud consola.

  • Usa el SDK de Vertex AI para Python dentro de una sesión de Python, una shell o un notebook de Jupyter.

• Escribe una secuencia de comandos de Python y envía la secuencia de comandos al clúster de Ray en Vertex AI mediante la API de trabajos de Ray. Si prefieres enviar trabajos de manera programática, usa esta opción.

Conéctate a un clúster de Ray a través de Ray Client

Para usar el cliente interactivo de Ray, conéctate a tu clúster de Ray en Vertex AI. La red del entorno de conexión depende de la configuración de red del clúster. No se aplican restricciones al entorno de conexión, siempre y cuando el clúster tenga acceso a Internet pública. Es decir, no especificaste una red de VPC durante la creación del clúster. Sin embargo, si el clúster está en una red de VPC privada que intercambia tráfico con Vertex AI, el entorno de conexión debe estar en la misma red de VPC que el clúster.

La versión de Ray del cliente debe coincidir con la versión de Ray del clúster. pip install "google-cloud-aiplatform[ray]" instala la versión 2.47 de Ray en el lado del cliente de forma predeterminada. Si la versión de Ray del clúster es anterior a la 2.42, por ejemplo, usa pip install ray==2.42.0 para que coincida la versión de Ray del cliente con la versión de Ray del clúster.

import ray

# Necessary even if aiplatform.* symbol is not directly used in your program.
from google.cloud import aiplatform
import vertex_ray

import vertexai
vertexai.init()
# The CLUSTER_RESOURCE_NAME is the one returned from vertex_ray.create_ray_cluster.
CLUSTER_RESOURCE_NAME='projects/{}/locations/{}/persistentResources/{}'.format(PROJECT_ID, LOCATION, CLUSTER_NAME)

ray.init('vertex_ray://{}'.format(CLUSTER_RESOURCE_NAME))

Python version:  3.10.12
Ray version: 2.47
Vertex SDK version: 1.46.0
Dashboard: xxxx-dot-us-central1.aiplatform-training.googleusercontent.com

@ray.remote
def square(x):
  print(x)
  return x * x

# Launch four parallel square tasks.
futures = [square.remote(i) for i in range(4)]

print(ray.get(futures))
# Returns [0, 1, 4, 9]

Desarrolla una aplicación con la API de Ray Jobs

En esta sección, se describe cómo enviar un programa de Python al clúster de Ray en Vertex AI con la API de Ray Jobs.

Escribe una secuencia de comandos de Python

Desarrolla tu aplicación como una secuencia de comandos de Python en cualquier editor de texto. Por ejemplo, coloca la siguiente secuencia de comandos en un archivo my_script.py:

import ray
import time

@ray.remote
def hello_world():
    return "hello world"

@ray.remote
def square(x):
    print(x)
    time.sleep(100)
    return x * x

ray.init()  # No need to specify address="vertex_ray://...."
print(ray.get(hello_world.remote()))
print(ray.get([square.remote(i) for i in range(4)]))

Envía un trabajo de Ray con la API de Ray Jobs

Envía un trabajo de Ray con Python, la CLI de Ray Jobs o la dirección pública del panel de Ray.

import ray
import vertex_ray
from ray.job_submission import JobSubmissionClient
from google.cloud import aiplatform  # Necessary even if aiplatform.* symbol is not directly used in your program.

CLUSTER_RESOURCE_NAME='projects/{}/locations/REGION/persistentResources/{}'.format(PROJECT_ID, CLUSTER_NAME)

client = JobSubmissionClient("vertex_ray://{}".format(CLUSTER_RESOURCE_NAME))

job_id = client.submit_job(
  # Entrypoint shell command to execute
  entrypoint="python my_script.py",
  # Path to the local directory that contains the my_script.py file.
  runtime_env={
    "working_dir": "./directory-containing-my-script",
    "pip": ["numpy",
            "setuptools<70.0.0",
            "xgboost",
            "ray==CLUSTER_RAY_VERSION", # pin the Ray version to the same version as the cluster
           ]
  }
)

# Ensure that the Ray job has been created.
print(job_id)

from ray.job_submission import JobSubmissionClient
import vertex_ray

DASHBOARD_ADDRESS=DASHBOARD_ADDRESS

client = JobSubmissionClient(
  "vertex_ray://{}".format(DASHBOARD_ADDRESS),
)

job_id = client.submit_job(
  # Entrypoint shell command to execute
  entrypoint="python my_script.py",
  # Path to the local directory that contains the my_script.py file
  runtime_env={
    "working_dir": "./directory-containing-my-script",
    "pip": ["numpy",
            "setuptools<70.0.0",
            "xgboost",
            "ray==CLUSTER_RAY_VERSION", # pin the Ray version to the same version as the cluster
           ]
  }
)
print(job_id)

$ ray job submit --working-dir ./ --address vertex_ray://{CLUSTER_RESOURCE_NAME} -- python my_script.py

Después de enviar un trabajo de Ray de larga duración, si deseas supervisar el estado del trabajo con client.get_job_status(job_id), vuelve a crear una instancia de client.get_job_status(job_id) para actualizar el token de autenticación.JobSubmissionClient(client = JobSubmissionClient("vertex_ray://{}".format(CLUSTER_RESOURCE_NAME)) )

Compatibilidad con el intercambio de tráfico de VPC y la cuenta de servicio personalizada

Ray en Vertex AI admite la API de Ray Client y Ray Jobs (JobSubmissionClient) en una red pública para el agente de servicio predeterminado y las cuentas de servicio personalizadas.

En la siguiente tabla, se muestra la compatibilidad de Ray en Vertex AI con el intercambio de tráfico de VPC cuando creas el clúster de Ray con la red de VPC:

Los Controles del servicio de VPC (VPC-SC) requieren configuraciones adicionales. Consulta Conectividad privada y pública para obtener más información.

Usa el sistema de archivos de red (NFS) en tu código de Ray

Si configuras una activación de NFS cuando creas el clúster de Ray, lee y escribe esos volúmenes NFS en el código de tu aplicación.

RayClient

En esta sección, se muestra cómo usar el sistema de archivos de red (NFS) en tu código de Ray.

1. Inicializa RayClient en un entorno de Python

   import ray
   from google.cloud import aiplatform
   import vertex_ray
   aiplatform.init(project=PROJECT_ID, location=REGION)
   ray.init(address='vertex_ray://projects/{}/locations/us-central1/persistentResources/{}'.format(PROJECT_NUMBER, PERSISTENT_RESOURCE_ID))

2. Ejecuta la secuencia de comandos del trabajo

   import ray
   import logging
   import os
   import sys
   
   @ray.remote
   def main():
   logging.info("list all files in mounted folder")
   return os.listdir("/mnt/nfs/test")
   
   print(''.join(ray.get(main.remote())))

Envía un trabajo de Ray con Python, la CLI de Ray Jobs o la dirección pública del panel de Ray. Para obtener más información, consulta Desarrolla una aplicación en el clúster de Ray en Vertex AI.

¿Qué sigue?

• Usa Ray en Vertex AI con BigQuery

• Implementa un modelo en Vertex AI y obtén inferencias

• Visualiza registros de tu clúster de Ray en Vertex AI

• Borra un clúster de Ray