[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)
6 likes4,739 views
[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-1-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-2-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-3-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-4-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-8-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-9-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-11-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-14-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-23-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-26-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-32-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-33-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-40-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-47-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-48-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-49-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-50-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-53-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-54-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-55-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-56-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-57-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-58-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-62-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-68-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-71-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-72-320.jpg)
![[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)](https://image.slidesharecdn.com/222voice-181012004315/85/222-73-320.jpg)
[222]누구나 만드는 내 목소리 합성기 (부제: 그게 정말 되나요?)
- 5. “ 음성 합성기를 사용하는 서비스! “
- 6. Speech Synthesis 인공적으로 사람의 음성을 만드는 것
- 10. 텍스트에 존재하지 않는 발음, 속도, 호흡(끊어 읽기), 운율 등의 정보를 추정하여 녹음한 화자와 가장 비슷한, 자연스러운 음성 생성
- 15. 호감가는 목소리 정확한 발음 일관된 목소리
- 16. 읽기 쉬운 스크립트 서비스 도메인에 따라 내용과 분량 선정 모호한 발음은 미리 알려줌 (01:07 -> 1대 7로 읽어주세요. 또는 1시 7분으로 읽어주세요) 보강 어휘 발성스크립트 1 2 3 4
- 17. “ 아무 곳에서나 하면 안돼요? “ “ 그냥 하면 되는 거 아닌가요? “ “ 특별히 신경 써야 하나요? ” “ 녹음이 뭐 어려운가요? ”
- 18. 높은 볼륨 vs 숨소리 (흡~, 습~) 노이즈 제거 (60Hz 전원 노이즈 등) 좋은 녹음실과 훌륭한 사운드 엔지니어
- 19. 각 음소별 음성 분할 음소 전사 (실제 발음열) 장르 감성 Transcription 기타 등등
- 20. 1. Preprocess 2. Sentence split 3. Tokenization 4. Text Normalization 5. Grapheme-to-Phoneme Conversion 6. Break Index Classification 7. Genre Classification 8. Emotion Classification 9. … 언어 처리 모듈 구현
- 21. Pitch Energy Duration - Center and Bound - Center and Bound
- 22. 가장 자연스러운 합성 단위 찾기 각 음소별로 꼭 붙어야 vs 떨어져도 상관 없는 연결성 vs 추정값 자연스러운 접합 (PSOLA 등) 음소 접합
- 24. 이 모든 과정을 거쳐 한 화자의 합성기가 만들어집니다.
- 25. 모든 서비스에서 나오는 똑같은 목소리 괜찮은가요?
- 27. 내 여자친구 목소리로 깨워주는 알람 아이유의 목소리로 읽어주는 나의 일정 엄마, 아빠의 목소리로 읽어주는 동화
- 28. 내 여자친구 목소리로 깨워주는 알람 아이유의 목소리로 읽어주는 나의 일정 엄마, 아빠의 목소리로 읽어주는 동화 “ 10년 전부터 있었던 서비스 요구 “
- 29. 짧은 시간 쉽게 녹음하여 개인의 특성을 살리는 자연스러운 음성 생성
- 31. 왜 없을까요?
- 34. • 일정한 톤 유지? • 깨끗한 발성? • 정확한 발음? • 녹음 분량?
- 35. “ 아무 곳에서나 하면 안돼요? “ “ 그냥 하면 되는 거 아닌가요? “ “ 특별히 신경 써야 하나요? ” “ 녹음이 뭐 어려운가요? ”
- 36. “ 아무 곳에서나 하면 안돼요? “ “ 그냥 하면 되는 거 아닌가요? “ “ 특별히 신경 써야 하나요? ” “ 녹음이 뭐 어려운가요? ” 특별히 다른 소리나 섞이지 않으면 다행!
- 37. 각 음소별 음성 분할 음소 전사 (실제 발음열) 장르 감성 Transcription 기타 등등
- 38. 각 음소별 음성 분할 음소 전사 (실제 발음열) 장르 감성 Transcription 기타 등등 전사 작업 결과물 품질
- 39. 1. 발성 목록 선택 2. 언어처리 3. 운율 모델 4. 제작 시간
- 43. Text Database Speech Database Statistical Model Model Training (HMM, DNN, RNN) Feature Extraction (PoN, Straight, World) Parameter Estimation Waveform Synthesis
- 44. 1. Voice, Unvoice 2. F0 (fundamendal frequency) 3. LSF (line spectral frequency from spectral envelope) 4. BAP (mean band aperiodicity from aperiodicity)
- 45. 전사
- 46. 어떤 네트워크를 사용? 무엇을 추정? 어떻게 소리를 만들어 내는가? 기본적으로 attention 기반의 seq2seq 네트워크 mel spectrogram, vocoder parameter Griffin-Lim, Vocoder, WaveNet
- 51. 품질 합성 속도 학습 속도 Wavenet > Vocoder >>> Griffin-Lim Vocoder > Griffin-Lim >>>>>>>>>>>>>>>>>>>>>>>>>> WaveNet Vocoder == Griffin-Lim >>>>>>>>>>>>>>>>>>>>>>>>> WaveNet
- 52. - 잘못 추정된 파라미터에 의한 품질 저하가 큼 - 모델이 Unvoice 구간을 Voice로 잘못 추정하였을 때, 큰 잡음 발생 (반대의 경우는 상대적으로 안정적) - 여러 F0 추출 방법을 사용하여 최대한 넓게 Unvoice 구간 확정 - 짧은 Unvoice, Voice 구간은 잘못 추정되었을 수 있기 때문에 무시 - 잘못 추정된 경우 합성음 품질 저하를 줄이기 위해 전 구간 F0값 사용
- 59. - 대량의 추가적인 음성 데이터와 개인의 적은 음성 데이터를 사용하여 모델 구축 - 대량의 음성 데이터 · 각 화자당 소량 데이터, 여러 화자 · 각 화자당 대량 데이터, 적은 화자 - Adaptation 방법 · Explicit Adaption · Implicit Adaptation
- 63. - 대량의 데이터로 base model 구축 - 100문장, 약 8분 데이터로 Speaker Adaptation - 90문장 학습 (7분) - 10문장 검증 (1분) - 시연 문장 모두 학습 데이터에는 포함되지 않음
- 64. NES Base Model Recording NES Target
- 65. NES Base Model Recording NES Target
- 66. NES Base Model Recording NES Target
- 67. NES Base Model Recording NES Target
- 69. - 품질 향상 - 전처리 기술 고도화 - 더 적은 데이터 사용 - 새로운 End-to-End 모델 - 새로운 adaptation 방법 - Voice Conversion - …
- 70. Positions - Speech Recognition - Speech Synthesis - Computer Vision - Natural Language - NSML / AutoML - Finance AI - App/Web Services - Research Scientist - Research Engineer - SW Engineer - Android / iOS Engineer - Backend Engineer - Data Engineer - UI/UX Engineer - Internship Member - Global Residency Domains