Dataproc 구성요소

클러스터를 만들면 클러스터에 표준 Apache Hadoop 에코시스템 구성요소가 자동으로 설치됩니다(Dataproc 클러스터 이미지 버전 목록 참조). 클러스터를 만들 때 클러스터에 '선택적 구성요소'라는 추가 구성요소를 설치할 수 있습니다. 선택적 구성요소를 클러스터에 추가하는 것은 초기화 작업을 통해 구성요소를 추가하는 것과 비슷하지만 다음과 같은 이점이 있습니다.

  • 클러스터 시작 시간 단축
  • 특정 Dataproc 버전과의 호환성 입증
  • 초기화 작업 스크립트 대신 클러스터 매개변수 사용

사용 가능한 선택적 구성요소

선택적 구성요소 Google Cloud CLI 명령어 및 API 요청의
COMPONENT_NAME		 이미지 버전 출시 단계
Delta Lake DELTA 2.2.46 이상 GA
Docker DOCKER 1.5 이상 GA
Flink FLINK 1.5 이상 GA
HBase HBASE 1.5 이상
(2.1 이상에서는 사용할 수 없음) 		베타
Hive WebHCat HIVE_WEBHCAT 1.3 이상 GA
Hudi Hudi 1.5 이상 GA
Iceberg Iceberg 2.2 이상 GA
Jupyter 노트북 JUPYTER 1.3 이상 GA
Presto PRESTO 1.3 이상
(2.1 이상에서는 사용할 수 없음) 		GA
Ranger RANGER 1.3 이상 GA
Solr SOLR 1.3 이상 GA
Trino TRINO 2.1 이상 GA
Zeppelin 노트북 ZEPPELIN 1.3 이상 GA
Zookeeper ZOOKEEPER 1.0 이상 GA

선택적 구성요소 추가

콘솔

  1. Google Cloud 콘솔에서 Dataproc 클러스터 만들기 페이지로 이동합니다.

    클러스터 만들기로 이동

    클러스터 설정 패널이 선택되었습니다.

  2. 구성요소 섹션의 선택적 구성요소에서 클러스터에 설치할 구성요소를 하나 이상 선택합니다.

Google Cloud CLI

Dataproc 클러스터를 만들고 클러스터에 하나 이상의 선택적 구성요소를 설치하려면 gcloud beta dataproc clusters create cluster-name 명령어를 --optional-components 플래그와 함께 사용하세요.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

선택적 구성요소는 SoftwareConfig.Component를 clusters.create 요청의 일부로 사용하여 Dataproc API를 통해 지정될 수 있습니다.