Amazon SageMaker 모델 빌딩 파이프라인 소개::이유동, AI/ML 스페셜리스트 솔루션즈 아키텍트, AWS::AWS AIML 스페셜 웨비나

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Amazon
SageMaker
Pipelines
이유동 (Yudong Lee)
AI ML Solutions Architect
Amazon Web Services

Agenda
• 머신러닝과 MLOps
• SageMaker Pipelines 오버뷰
• SageMaker Pipelines 상세 정보
• 키 메세지 및 맺음말
2

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 3
머신러닝과 MLOps

최신 머신 러닝의 근황
4
• 현재
• 53% of POCs make it into production
• Average 9 months
2024 까지
• 75% of organizations will shift from
piloting to operationalizing AI
- Gartner
지난 10년
• Focusing mostly on building ML models
• Operationalization was an afterthought
https://www.idgconnect.com/article/3583467/gartner-accelerating-ai-deployments-paths-of-least-resistance.html
- Gartner

머신 러닝 개발은 어렵고 시간이 많이 걸립니다.
5
6–18 개월
데이터 수집
데이터 정리와
포맷팅
데이터 준비
및 정제
모델 학습
모델 평가
운영으로 통합
모니터링/디버깅
/개선

ML
코드
MLOps 와 실행환경으로의 여정
머신 러닝 코드는…

설정
데이터 수집
데이터 검증 머신 리소스 관리
추론 인프라
분석 툴
프로세스 관리 툴
피쳐 추출 및 관리
모니터링
“Only a small fraction of real-world ML systems is composed of the ML code”
source: Hidden Technical Debt in Machine Learning Systems [D. Sculley, & al.] – 2015
https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
ML
코드
MLOps 와 실행환경으로의 여정
… 전체 고려 사항중 일부에 지나지 않습니다.

비지니스
문제
머신 러닝 문제
도출
데이터 수집
데이터 통합
데이터 준비 및
정제
데이터 시각화와
분석
피쳐 도출
모델 학습과
파라미터 재조정
모델 검증
모니터링과 디버깅
모델 배포
예측
비지니스
목표 달성?
예
데이터
증강
피쳐
보강
재학습
머신 러닝 솔루션 라이프 사이클
아니오

비지니스
문제
도출
데이터 수집
데이터 통합
정제
분석
피쳐 도출
모델 학습과
모델 검증
모델 배포
예측
예
아니오
데이터
증강
피쳐
보강
재학습
비지니스
목표 달성?

비지니스
문제
도출
데이터 수집
데이터 통합
정제
분석
피쳐 도출
모델 학습과
모델 검증
모델 배포
예측
예
데이터
증강
피쳐
보강
재학습
아니오 비지니스
목표 달성?

비지니스
문제
도출
데이터 수집
데이터 통합
정제
분석
피쳐 도출
모델 학습과
모델 평가
모델 배포
예측
예
데이터
증강
피쳐
보강
재학습
목표 달성?

피쳐
보강
비지니스
문제
도울
데이터 수집
데이터 통합
정제
분석
피쳐 도출
모델 학습과
모델 검증
모델 배포
예측
예
데이터
통합
예측
AWS Step Functions AWS CodePipeline
목표 달성?

MLOPS
principles
Separation
of AWS
accounts
Automation
of steps
Versioning of
everything
• 데이터 (예: S3 폴더 구조)
• 코드 (예: 코드 저장소)
• 피쳐 (예: 피쳐 저장소)
• 모델 (예: 모델 레지스트리)
• 개발 환경
• ML 수명 주기의 여러 단계에 대해 별도의 AWS 계정,
• 예: 개발, 자동화, 프러덕션
• 개발 계정 → 데이터 과학자
• 자동화 계정 → SysOps 엔지니어
• 프로덕션 계정 → DevOps 엔지니어
• 다른 단계로 전파되는 우발적인 실수 방지
• 모델 학습 자동화
• CI/CD로 배포 자동화
• 자동화되고 재현 가능한 작업 생성
주요 MLOps 원칙

계정별 ML 플랫폼
멀티 계정 아키텍쳐
• Shared services account
• Data Management account
• Data Science account (Dev)
• Testing/UAT account
• Production account

Amazon
SageMaker
• 에서 제공되는 DevOps
기능들
ML 워크로드의 엄격한 보안 요구 사항을 충족하는데
도움이 되는 보안 기능
보안
PCI, HIPAA, SOC 1/2/3, FedRAMP, 그리고 ISO
9001/27001/27017/27018
규정 준수
수천 개의 모델을 지원하는 자동화된 워크플로를
몇 분안에 생성 가능
ML 워크플로
방대한 데이터 세트로 복잡한 모델 학습
확장성
관리형 인프라 구조를 통한 작업의 자동화된 스케쥴링과 실행
오케스트레이션

SageMaker Pipelines
Overview

ML 워크플로를 만들고 관리하는 것은 어려울 수 있습니다.
17
모델 학습
데이터 준비 모델 배포
코드 레시피
반복적인 워크플로
엔드 투 엔드 모니터링 관리

Amazon SageMaker Pipelines
관리형 머신 러닝 CI/CD 서비스
18
워크플로의 각 단계를
중앙에서 관리
Built-in (내장)
템플릿에서 선택
워크플로의 공유 및
재사용

Amazon
SageMaker
Pipelines
스케일이 가능하고 완전
자동화된 머신 러닝
워크플로 구축
실행을 위한 매개 변수, 파이프라인 단계 (데이터 처리, 학습, 튜닝, 배치 추론, 모델 등록)
및 파이프라인 DAG를 정의합니다. 파이프라인 단계
데이터를 인지하고 한 단계의 출력이 다음 단계의 입력이 될 수 있습니다.
ML 워크플로를 빠르고 쉽게 빌드하기 위한 Python SDK
파이프라인 실행, 관련 지표 및 로그가 유지되고 SageMaker Studio 내에서
실시간으로 볼 수 있어 파이프라인을 쉽게 디버깅할 수 있습니다. 재사용 및 문제
해결을 위해 파이프라인 실행을 캐시합니다.
SageMaker가 관리하는 워크플로 실행
학습된 모델을 중앙 모델 레지스트리에 등록합니다. 기본 제공 모델 버전 관리
및 교차 계정 지원. 모델 지표 보기 및 승인, 모델 배포가 가능합니다.
모델 레지스트리에서 모델 버전 리스팅
모델 구축 및 배포를 위한 기본 제공 MLOps 템플릿은 AWS Code* 서비스들을
사용하여 ML 워크플로를 자동화합니다. DevOps는 AWS Service Catalog 에
게시된 사용자 지정 템플릿을 가져올 수 있습니다. Model Monitor를 사용하여
이벤트, 코드 및 데이터 변경, 드리프트 감지를 기반으로 ML 파이프라인을
자동화할 수 있습니다.
CI/CD에 대한 지원이 내장된 완전 관리형 MLOps
데이터, 코드, 모델 지표 및 모델 아티팩트에 대한 계보 추적을 위한 내장 기능을
지원합니다.
거버넌스 및 감사를 위한 엔드 투 엔드 계보 추적

Amazon SageMaker 스튜디오 내에서 직접 워크플로 구축 및 시각화
Amazon SageMaker 스튜디오 통합
SageMaker Training 및 SageMaker Processing 과 같은 기능과의 통합 기능이
내장된 다른 SageMaker 기능을 활용할 수 있습니다.
Amazon SageMaker 기능 통합
Amazon
SageMaker
Pipelines
스케일이 가능하고 완전
자동화된 머신 러닝
워크플로 구축

Amazon SageMaker Pipelines – 구성 요소
21
엔드 투 엔드 추적성 및 통합
모델 빌드
워크플로 자동화
모델 관리를 위한 중앙
저장소
모델 배포
파이프라인
소스 코드
관리
내장형
트리거
</>
1
2 3
Project
Pipelines Model Registry

• CI/CD 모범 유즈 케이스를 통합하는
엔드 투 엔드 파이프라인에 Project 를
사용합니다.
• 필요에 따라 프로젝트 없이 Pipelines
또는 Model Registry 를 사용하여 유즈
케이스의 요구 사항을 충족할 수
있습니다.
유용성
22

• 기본 제공 Built-in MLOps Project
템플릿 활용
또는
• 기업 또는 규제 요구 사항의 고유한
요구 사항을 충족하는 맞춤형 MLOps
Project 템플릿 생성
확장성
23

Cross Account Deployment
24
모델 빌드
저장소
모델 배포
파이프라인
1
2 3
Project
AWS Account (Staging)
AWS Account (Prod)
Reference: https://aws.amazon.com/blogs/machine-learning/multi-account-model-deployment-with-amazon-sagemaker-pipelines/

SageMaker Pipelines
상세 정보

구성요소 – Pipelines
26
엔드 투 엔드 추적성 및 통합
모델 빌드
저장소
모델 배포
파이프라인
소스 코드
관리
내장형
트리거
</>
1
2 3
Project

모델 빌딩 워크플로
27
워크플로 예제 데이터 전처리
원시 데이터
학습
데이터
모델 학습
모델
모델 평가
Accuracy
> 90%
모델 등록
Yes

지원하는 스텝들:
• Processing:
▪ 데이터 전처리 및 모델 평가
• Training:
▪ SageMaker Training Jobs 을 이용한 모델 학습
• Conditional:
▪ 조건분 실행
• BatchTransform:
▪ 배치 추론
• RegisterModel:
▪ 모델 패키지 리소스 생성
• CreateModel:
▪ 배포를 위해 모델 패키지화
28

Amazon SageMaker 자동화 파이프라인 만들기
29
1 각 스텝들 생성 →
코드를 통해 각 단계 정의 및 구성
 Step 1
 Step 2
 Step 3
 Step 5
 Step 4
2 파이프라인 정의 → 3 파이프라인 실행 →
워크플로 정의 및 구성 파이프라인 실행

30
1 스텝 생성 →
from sagemaker.inputs import TrainingInput
from sagemaker.workflow.steps import TrainingStep
step_train = TrainingStep(
name="TrainAbaloneModel",
estimator=xgb_train,
inputs={
"train": TrainingInput(
s3_data=step_process.properties.ProcessingOutputConfig.Outputs[
"train"
].S3Output.S3Uri,
content_type="text/csv"
),
"validation": TrainingInput(
s3_data=step_process.properties.ProcessingOutputConfig.Outputs[
"validation"
].S3Output.S3Uri,
content_type="text/csv"
)
}
)
예제:
Training Step

2 파이프라인 정의 →
from sagemaker.workflow.pipeline import Pipeline
pipeline_name = f"AbalonePipeline"
pipeline = Pipeline(
name=pipeline_name,
parameters=[
processing_instance_type,
processing_instance_count,
training_instance_type,
model_approval_status,
input_data,
batch_data,
],
steps=[step_process, step_train, step_eval,
step_cond],
)
#Submit the pipeline definition
pipeline.upsert(role_arn=role)
3 파이프라인 실행 →
execution = pipeline.start()

32
데이터 전처리
SageMaker Processing Job
원시 데이터
스텝 캐이싱 지원 →
학습 데이터
학습
SageMaker Training Job
만약 다음을 수행한다면:
- 하이퍼 파라미터 조정?
- 학습 코드 수정?

33
파이프라인 파라미터 지원 →
1 파라미터 설정 →
from sagemaker.workflow.parameters import (
ParameterInteger,
ParameterString,
ParameterFloat
)
processing_instance_count = ParameterInteger(
name="ProcessingInstanceCount",
default_value=1
)
2 파이프라인 생성 시 파라미터 전달 →
pipeline = Pipeline(
name=pipeline_name,
parameters=[
processing_instance_count
],
steps=[step_process]
)
3 혹은 파이프라인 생성시
변수로 전달 →
execution = pipeline.start(
parameters=dict(
ProcessingInstanceType="ml.c5.xlarge
", ModelApprovalStatus="Approved”
)
)

Pipeline 실행 세부 내역과 실시간 지표 확인
• 완료된 단계를 추적하고 진행중인 단계를
모니터링
• 출력 로그를 통해 각 단계의 출력을 분석
• 각 단계에 대한 매개변수 모니터링, 변경 및
관리
34

Pipeline 실행 내역 살펴보기
• Pipeline 실행 내역은 SageMaker Studio
내에서 확인 가능
35

Model Registry 에서 모델 카탈로그 및 검색
• 모델 레지스트리는 학습된 모델의 중앙
저장소
• SageMaker Studio 또는 Python SDK를 통해
모델 레지스트리에 엑세스 가능
36

학습 단계의 평가 측정 항목의 확인 및 비교
37

운영 환경을 위한 모델 승인 과정
38

Key Messages
• SageMaker Pipelines 의 다양한 기능 및 장점
▪ Python SDK 사용
▪ 모델 버져닝
▪ CI/CD 지원의 MLOps
• SageMaker Pipelines 생성 및 실행 순서
▪ 각 스텝 생성
▪ 파이프라인 정의
▪ 파이트라인 실행
• SageMaker Pipelines 실행 내역, 평가 및 승인 과정
39

Thank you!
40

Amazon SageMaker 모델 빌딩 파이프라인 소개::이유동, AI/ML 스페셜리스트 솔루션즈 아키텍트, AWS::AWS AIML 스페셜 웨비나

Recommended

More Related Content

What's hot (20)

Similar to Amazon SageMaker 모델 빌딩 파이프라인 소개::이유동, AI/ML 스페셜리스트 솔루션즈 아키텍트, AWS::AWS AIML 스페셜 웨비나 (20)

More from Amazon Web Services Korea (20)

Amazon SageMaker 모델 빌딩 파이프라인 소개::이유동, AI/ML 스페셜리스트 솔루션즈 아키텍트, AWS::AWS AIML 스페셜 웨비나