수화 인식 자동 번역 iOS 앱 프로젝트 제안서
- 1. Project Proposal Team: Argo B411051 김종욱 B471008 김지현 Sign language recognition translator
- 2. Sign language recognition translator 프로젝트 제목 : A Real-time Sign language recognition translator (실시간 수화 인식 번역기) 프로젝트 목적 : Gesture recognition과 신경망 모델(CNN, RNN) 활용 è 청각 장애인들의 의사소통을 돕는 AI 앱 / 소프트웨어 개발
- 3. Sign Language Recognition translator 개발 내용 및 방법
- 4. 개발 내용 • 스마트폰의 카메라를 이용하여 수화 동작 인식 • 모바일 디바이스에서 추론이 가능하도록 머신 러닝 모델을 사용한 지능형 앱 구현 • 인식한 동작에 대한 결과를 텍스트로 화면에 출력 개발 환경 - iOS / MacOS(MacBook Pro 13 inch, 2018 과 MacBook Pro Retina 13 inch, Early 2015) 언어: C++ , Swift, Python Development details and methods
- 5. - 개발 방법 신경망 모델 + OpenCV + Mediapipe + Core ML 활용 • 신경망 모델 training / test data 제작 • Hand detection을 위해 Google ML framework (Mediapipe) 사용 • CNN/RNN을 이용한 신경망 모델 제작 • Web Server를 만든 이후 학습이 완료된 신경망 모델을 Web Server에 구축함 • Apple ML framework (CoreML)을 사용하여 모바일 디바이스에 학습이 완료된 신경망 모델을 구축함 • 수화 인식률을 높이기 위한 다양한 테스트 시행 Development details and methods
- 6. Difficulties
- 7. Sign Language Recognition translator 예상되는 결과물
- 8. Gesture to Text or Audio “ Simple UX/UI 동작을 인식할 구간을 카메라 버튼으로 지정 인식한 결과를 텍스트나 오디오로 출력
- 9. 1. Take a video of sign language 2. Train a machine learning model 3. Recognize gestures and display text on app What time is it? Project model flow
- 10. 이 름 역할 김종욱 • 딥러닝 모델 분석 및 수정(영상데이터에서 단어 추출) • 머신 러닝 모델 앱 통합 (CoreML 활용) • 데이터 전처리(Hand detection API에서 들어오는 데이터를 처리하는 방법 구현) • 웹 서버 구축 • 학습/테스트용 데이터 만들기 김지현 • iOS 앱 개발(UX/UI) • 머신 러닝 모델 앱 통합 (CoreML 활용) • Hand detection API수정(OpenAPI를 프로젝트의 방향에 알맞게 수정하는 작업이 필요) • 문장 생성 언어 모델 분석 및 수정(추출된 단어를 이용하여 문장을 생성) • 학습/테스트용 데이터 만들기 팀원 별 업무 분담 및 일정
- 11. Sign Language Recognition translator 현재까지 개발한 내용
- 12. 현재까지 개발한 내용 1. 기존의 RNN과 CNN을 이용한 수화 인식 신경망 모델을 활용하여 (github 소스코드 참고) 수화 단어(아르헨티나) 12개를 학습시키고 결과값 도출 기존 모델 정확도 87.3% è 기존의 수화 인식 신경망 모델 수정 / 개선이 필요 자체 제작한 데이터셋으로 학습 / 평가가 필요
- 13. 현재까지 개발한 내용 2. Google의 hand tracking 오픈소스를 활용하여 손 인식 수행 아이폰에서 hand tracking 테스트 è 나오는 손의 좌표 값들의 사용 방법 연구 필요
- 14. Reference • 수화 인식 신경망 모델 코드 https://github.com/hthuwal/sign-language-gesture-recognition • Google AI에서 공개한 hand tracking 코드 https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_mobile_gpu.md
- 15. Thank You