현대백화점 리테일테크랩과 AWS Prototyping 팀 개발자가 들려주는 인공 지능 무인 스토어 개발 여정 - 최권열 AWS 프로토타이핑 엔지니어 / 강신훈 책임, 박윤진 선임 현대IT&E :: AWS Summit Seoul 2021

K O R E A | M A Y 1 1 - 1 2 , 2 0 2 1

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
현대백화점 리테일테크랩과
AWS Prototyping팀 개발자가
들려주는 인공 지능 무인 스토어 개발 여정
최권열
프로핑타이핑 엔지니어
AWS
강신훈
책임
현대 IT&E
박윤진
선임
현대 IT&E

01. 발표자 소개
02. 여의도 더현대서울 언커먼스토어(무인매장)
03. 구현 여정
04. AWS Prototyping
05. Detecting & Tracking
06. MLOps
07. 구매 행동 파악
08. 정리
AGENDA

01. 발표자 소개

AWS Prototyping Program
Development Operation
Machine
Learning
Planning Sprint Review
AWS Cloud
Cloud Native
Modern APP
MSA IaC CICD
Serverless/Container Monitoring/Security
deliver & Enable
üimplement architectures
üintegrate customer codes
ülead project/scrum/sprint
üenable the customer
AWS Services, Tools and SDKs
provide & develop
üprovide legacy source codes
üintegrate legacy source codes
üprovide legacy data
ülearn aws services
Domain-Specific Business Logics
prototype engineer customer developer
partner developer
2 Pizza - One Team
DevOps Agile

HYUNDAI IT&E
Total Living
ㆍ 현대리바트
ㆍ 현대L&C
Retail
ㆍ 현대백화점
ㆍ 현대백화점면세점
Food Service
ㆍ 현대그린푸드
ㆍ 현대캐터링시스템
Fashion
ㆍ 한섬
Media
ㆍ 홈쇼핑
ㆍ 퓨처넷
Growth Driver
ㆍ 현대렌탈케어
ㆍ 현대드림투어
ㆍ 현대바이오랜드
ㆍ 에버다임
현대백화점그룹의 IT 전문 회사

02. 여의도 더현대서울 언커먼스토어
(무인매장)

03. 무인 스토어 구현 여정

구현 여정
IT 기술 연구 조직으로 약 2년간 미래형 매장 기술 연구
1st. Retailtech LAB
ㆍ 비즈니스 로직 구체화
ㆍ 주요 기술 개발
3rd. 테스트 매장 OPEN
ㆍ 임직원 테스트 (AWS cloud)
ㆍ 정확도 향상, 비용 효율화
2nd. Proof of Concept
ㆍ 임직원 테스트 (On-premise)
4th. Uncommon Store OPEN
ㆍ 여의도 더현대서울
언커먼스토어 그랜드 오픈

구현 여정
On-Premise에서 AWS 클라우드로의 전환
On-Premise
유연성 확장성
신뢰성
CLOUD
장비들이 점점 많아지고, 매장 이벤트가 예측이 안되는데?
내가 필요할 때 마다 빠르게 늘려야 하는데…
비즈니스 로직만으로도 힘든데 보안까지?
장애없이 안정적으로 운영하고 싶다
데이터 학습할 때는 한 번에 많이 빠르게 하고
매장 운영할 때는 적절하게 조절하고 싶은데…
신속성

04. AWS Prototyping

인공지능 무인 스토어 상용화 어려움
이렇게 큰 서비스를 정말
개발할 수 있을까?
카메라도 늘리고, 센서도 늘리고
이거 다 어떻게 확장하지?
Machine Learning 모델만
잘 만들면 될꺼야!
어디서부터 개발 시작해야지??
군인이 단체가 들어오면
어떻게???

AI/ML 기반 서비스 상용화 어려움
복잡성 & 반복성
실효성 & 불확실
확장성 & 신뢰성

인공지능 무인 스토어 상용화 어려움
복잡성 & 반복성
실효성 & 불확실
확장성 & 신뢰성
수백개의 센서
수십대의 카메라
수십명의 방문객
수백개의 상품
데이터 수집
데이터 라벨링
모델 설계, 학습, 튜닝
모델 검증
모델 배포
Person Identification
Object Detection
Object Tracking
Pose Estimation
Sensor Fusion

실용적인 Practice를 적용하여 접근
Agile/Scrum Modern Application

실용적인 Practice를 적용하여 접근
Agile/Scrum

애자일 스크럼 기반 개발
Scrum/Sprint
Product
Backlog
Sprint
Planning
Sprint
Backlog
Sprint
Review/Retro
Potentially
Shippable Product
Product Owner Team
Sprint
24H
Daily Scrum
Scrum Master
작은 단위로, 점진적 반복, 실행되는 결과물 중심으로

애자일 스크럼 기반 개발 적용 사례
Sprint
Iteration
한 명 입장
바로 퇴장
한 명 입장
물건 한 개 구매
퇴장
두 명 입장
다른 선반에서
각자 구매
퇴장
두 명 입장
같은 선반에서
다른 상품 구매
퇴장
두 명 입장
같은 선반에서
같은 상품 구매
퇴장
처음부터 완벽한 것보다는 작은 단위의 실제 동작하는 결과로부터 복잡한 상황으로

애자일 스크럼 기반 개발 적용 사례
Camera Device
Cloud로 Thing 관리
Camera Video
Cloud로 업로드
사용자 선반
비젼 처리
센서 데이터
Cloud로 업로드
누가 무엇을
종합 판단
영수증 발행
사용자 출입구
비젼 처리
선반 제품
종류 판단
방문객 입장
퇴장 판단
Who Pipeline
What Pipeline
Who bought What Pipeline
1 device → nn devices 5 frame/sec → nn frame/sec
70% Accuracy → nn% Accuracy
작은 결과물로부터 기민하고 유연하게 반복하여 확장 가능하게
1 device →nnn devices
Sprint
Iteration

현대식 애플리케이션 개발
Modern Application

변화에 빠르게 대응할 수 있고 혁신할 수
있도록 민첩성을 확보하기 위해,
애플리케이션을 개발하는 방식으로
클라우드 친화적으로 설계 및 구축하여
개발 속도는 높이고 동시에 리스크를
최소화함
(Modern Application)
Feedback
Ideas
Experiment
Innovation
Flywheel

운영: 가능한 서버리스로
소프트웨어 전달: 자동화, 표준화
보안: 모든 구성원의 책임
아키텍처: 마이크로서비스
데이터: 결합 해제, 용도에 맞도록

현대식 애플리케이션 개발 적용 사례
운영: 가능한 서버리스로
소프트웨어 전달: 자동화, 표준화
보안: 모든 구성원의 책임
아키텍처: 마이크로서비스
데이터: 결합 해제, 용도에 맞도록
AWS CloudFormation: Stack
AWS Systems Manager: Parameter Store
AWS CDK: Infrastructure as Code (IaC)
AWS CodePipeline: CICD Pipeline
AWS Step Functions: MLOps Pipeline
Amazon S3: ML Dataset
AWS DynamoDB: Realtime data
AWS RDS: Web Service
Amazon Lambda: REST APIs
Amazon ECS: Batch/Realtime Processing
AWS IoT Core: Thing Management
Amazon Cognito: User AuthN/Z
AWS WAF: Firewall
AWS IAM: Access Security

Device Pipeline
Stream Lambda CCVM Lambda
Device Control
Admin
KVS IoT Core
User
Cloud
Thing
01
02 04
05
06
07
08
01
03
DynamoDB
01
02
03
Stack 04
• Input : Stack 02-Lamba ARN + Stack 03-Lamba ARN
• Use : Stack 02 + Stack 03
• Create : API Gateway
• Output :
Stack 02
• Lambda for registering IoT thing
• Input : DynamoDB ARN/Name
• Use : IoT Core , DynamoDB
• Create : Lambda Role/Policy + IoT Thing + Certificate
• Output : Lambda ARN
Stack 03
• Lambda for creating stream pipeline
• Input : DynamoDB ARN/Name
• Use : IoT Core , DynamoDB
• Create : Lambda Role/Policy + Stream + EC2/ECS
• Output : Lambda ARN
Stack 01
• Input : DynamoDB Config
• Create : DynamoDB
• Output : DynamoDB ARN/Name
DynamoDB ARN
Lambda Export Name
CDK Stacks
CommonInfraStack
ApiGatewayStack
CCVMStack VideoProducerStack
SystemLogInfraStack
VideoConsumerStack ModelEndpointStack
EntranceStack
Store
Cloud Common Infra (Static)
Store-Specific Infra (Dynamic)
Video Data Pipeline
(Who / When / Where)
Sensor Data Pipeline
(What / When / Where)
Pipeline Management
Thing Management
APIs
Decision
(Who / What
/ When / Where)
Data Archive
(Person History /
Confusing Scene)
Web Management Console
Configuration
(Store / Device)
Rig
(control /
pipeline)
Camera
Sensor
Rack
Shelf
Model Archive
(Tracker /
Re-Identifier)
Monitoring
Operating
DevOps / MLOps
Continuous CI/CD
Continuous Model Serving
<<Model>>
Opposite View
Person Detector
<<Model>>
Person Tracker
<<Model>>
Person Feature Extractor
<<Model>>
Person Pose Estimator
<<Compute>>
Sensor Consumer
for Product ID
<<Stream>>
Sensor Provider
at Shelf
<<Model>>
Top Down View
Person Detector
<<Compute>>
Data Consumer
for Association Decision
<<Database>>
Sensor Index
<<Storage>>
Video Frames
<<Database>>
Video Index
<<Compute>>
Video Consumer
for Person ID
<<Stream>>
Video Provider
at Shelf
<<Model>>
<<Compute>>
Multi-Image Consumer
for Person ID
<<Compute>>
Video Consumer
for Person ID
<<Stream>>
Video Provider
at Shelf
<<Compute>>
Video Consumer
for Person ID
<<Stream>>
Video Provider
at Shelf
<<Compute>>
Single-Video Consumer
for Person ID
<<Stream>>
Video Provider
at Shelf
<<Stream>>
Data Provider
at Shelf
<<API>>
Image Provider
at Entry
<<Compute>>
Image Consumer
for Person ID
<<Database>>
Person ID Finder
<<Database>>
Who took what at when
<<API>>
Image Provider
at Exit
<<Compute>>
Image Consumer
for Person ID
<<Compute>>
Data Consumer
for Association Decision
<<Database>>
<<Compute>>
Trigger other service
<<Model>>
Opposite View
Person Detector
<<Model>>
Pose Estimator
<<Model>>
Feature Extractor
<<Model>>
<<Compute>>
Sensor Consumer
for Product ID
<<Stream>>
Sensor Provider
at Shelf
<<Model>>
Top Down View
Person Detector
<<Action Compute>>
Data Fusor
for Pick Event Decision
<<Database>>
Which Product(Sensor
Index), Where, When
<<Storage>>
Video Frames
<<Database>>
Where, Who, When,
Video Index
<<Compute>>
Video Consumer
for Person ID
<<Stream>>
Video Provider
at Shelf
<<Model>>
<<Compute>>
Video Consumer
for Person ID
<<Stream>>
Video Provider
at Shelf
<<Compute>>
Video Consumer
for Person ID
<<Stream>>
Video Provider
at Shelf
<<Stream Compute>>
Single-Video Consumer
for Tracking Person & Estimating Pose
<<Stream>>
Video Provider
at Shelf
<<API>>
Image Provider
at Entry
<<Compute>>
Image Consumer
for Person ID
<<Database>>
Person ID Finder
<<Database>>
<<API>>
Image Provider
at Exit
<<Compute>>
Image Consumer
for Person ID
<<Action Compute>>
Receipts Generator
<<Database>>
Receipts
<<Compute>>
Trigger other service
<<Model>>
Person Tracker
<<Database>>
Pose, Who, When
<<Compute>>
Warning Analysis
& Notice
<<Notification>>
Alert Warning
<<Database>>
Customer Session
<<Event Hub>>
Register Event & Trigger Event
Pick Event
Exit Event
Cam
Cam
Cam
Cam
Load Cell – Sensor Hub
Load Cell – Sensor Hub
……
.
Cam
Cam
Cam
QR
<<Notification>>
Receipt Alarm

CDK Application
WebServiceStack
IoTThingStack
VideoIngestStack
VideoConsumeStack
BaseVPCStack
AutoScalingStack
CICDPipelineStack
ModelServingStack
UserPoolStack
CommonDataStack
SensorIngestStack
APITestingStack
…… ……
AWS Systems Manager
Parameter store
Amazon API Gateway
Endpoint
Amazon Lambda
Function
Amazon DynamoDB
Table

CDK Application
ModelServingStack
Amazon Elastic
Container Service
Amazon DynamoDB
Amazon SageMaker
Amazon Simple
Storage Service
ThingMangementStack
AWS Lambda
Amazon API
Gateway
Amazon DynamoDB
AWS IoTCore
VideoIngestStack
Amazon Elastic
Container Service
Amazon Kinesis
Video Streams
Amazon Kinesis
Data Streams
Amazon DynamoDB
SensorIngestStack
AWS Lambda
Amazon API
Gateway
Amazon DynamoDB
AWS Lambda

05. Detecting & Tracking

객체 탐지 및 추적
매장에 방문한 고객이 누군지, 어떻게 행동하는지 파악 필요
+
Customer
만약 점원이 있다면....
갈색 패딩을 입으신 고객님이 방금 입장하셨네! 흰디 구역으로 가시는구나!
그렇다면 우리 인공지능은 고객을 어떻게 식별하고 따라갈 수 있을까?

폐색 현상에 따른 트래킹 문제점
다양한 알고리즘을 연구했지만…
폐색 현상 해결을 위해 Top-View로 해결
폐색 현상 발생
최대한 폐색이 될 수 있는
상황을 제한하자!
Top-View로 바라보자!
Faster RCNN
Mask RCNN
SSD
VGG
YOLO
Detectron2
Blob
Centroid
Boosting
Dlib
Kalman filter
DeepSORT2

폐색 현상에 따른 트래킹 문제점
대장정의 첫걸음

학습용 데이터셋 확보
Top-view용 데이터셋
의도적오버피팅을통한정확도향상
당사에 필요한 View PersonLabeling

트래킹을 위한 최적의 속도
On-Premise로는 성능 향상의 한계 도달
Tracking할 때 초당 프레임 수가 매우 중요
AWS서비스를활용하여성능향상
→ AWS를 통한 분산 아키텍쳐

사람 재인식
트래킹 성능을 향상시킬 수 있는 더욱 효율적인 방법
A B
? ?
A
B
사람이 겹치지 않으면
트레커 신뢰도 높음
사람이 겹치지면
트레커 신뢰도 낮음
다시 겹치지 않으면
사람 재인식
(이후 다시 트래킹)

06. MLOps

MLOps

MLOps
Operation
(Infra/Tool)
Development
(Logic/Test)
Machine Learning
(Model/Data)
Practice Culture Tool/Infra

MLOps Collaboration using AWS CDK
Development
(Logic/Test)
Machine Learning
(Model/Data)
Operation
(Infra/Tool)

MLOps Pipeline
IaC
Automation
Model Training
Data Collection
Data
ETL
Model Loading
Monitoring
Model Serving
MSA
MLOps Pipeline

MLOps Pipeline
MLOps Pipeline
Data Pipeline
Collect→ Filter→ Transform→ Augmentate→ Label
Training Pipeline
Prepare→ Train→ Tune→ Validate→ Archive
Serving Pipeline
Deploy(Batch/Realtime)→ Monitor→ Scale→ Update

Amazon ECS
Amazon S3
Amazon SageMaker
(HyperParameter/Training Job)
Amazon SageMaker
(Model)
Amazon SageMaker
(Endpoint)
AWS Lambda
(Trigger)
Amazon S3 Amazon SageMaker
Ground Truth
Amazon SageMaker
(EndpointConfig)
Model Training (AWS Step Functions)
Model Serving (AWS Cloud Development Kit)
Data Preparation
AWS Cloud
AWS Lambda
Event
(time-based)
MLOps Pipeline 적용 사례
Data Pipeline
Serving Pipeline Training Pipeline

MLOps Pipeline 적용 사례

07. 구매행동 파악

구매 행동 파악
매장에 방문한 고객이 무엇을 샀는지 확인 필요
+
Product
만약 점원이 있다면....
검은 옷을 입은 고객이 흰디 머그컵을 집으셨네!
그렇다면 우리 인공지능은 무엇을 구매했는지 어떻게 알 수 있을까

상품 인식 및 분류
Object Detection + Image Classification

Pose Estimation
고객의 상품 구매 행동 연구
센서와 카메라에서 나오는 데이터를 Sync

Custom Labeling Tool + SageMaker
유연한 AWS

08. 정리

여러분의 소중한 피드백을 기다립니다.
강연 종료 후, 강연 평가에 참여해 주세요!

감사합니다

현대백화점 리테일테크랩과 AWS Prototyping 팀 개발자가 들려주는 인공 지능 무인 스토어 개발 여정 - 최권열 AWS 프로토타이핑 엔지니어 / 강신훈 책임, 박윤진 선임 현대IT&E :: AWS Summit Seoul 2021

Recommended

More Related Content

What's hot (20)

Similar to 현대백화점 리테일테크랩과 AWS Prototyping 팀 개발자가 들려주는 인공 지능 무인 스토어 개발 여정 - 최권열 AWS 프로토타이핑 엔지니어 / 강신훈 책임, 박윤진 선임 현대IT&E :: AWS Summit Seoul 2021 (15)

More from Amazon Web Services Korea (20)

Recently uploaded (20)

현대백화점 리테일테크랩과 AWS Prototyping 팀 개발자가 들려주는 인공 지능 무인 스토어 개발 여정 - 최권열 AWS 프로토타이핑 엔지니어 / 강신훈 책임, 박윤진 선임 현대IT&E :: AWS Summit Seoul 2021