Luận văn: Nhận dạng cảm xúc khuôn mặt người, HAY, 9đ

ii
TRƢỜNG ĐH SPKT TP. HỒ CHÍ MINH
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT
NAM
KHOA ĐIỆN-ĐIỆN TỬ ĐỘC LẬP - TỰ DO - HẠNH PHÚC
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y
SINH ----o0o----
Tp. HCM, ngày 5 tháng 7 năm 2018
NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên: Nguyễn Thị Đài Trang MSSV: 13141378
Hà Tiến Dƣơng MSSV: 13141047
Chuyên ngành: Kỹ thuật Điện tử - Truyền thông Mã ngành:
Hệ đào tạo: Đại học chính quy Mã hệ:
Khóa: 2013 Lớp: 13141
I. TÊN ĐỀ TÀI: NHẬN DẠNG CẢM XÚC KHUÔN MẶT NGƢỜI
II. NHIỆM VỤ
1. Các số liệu ban đầu:
(ghi những thông số, tập tài liệu tín hiệu, hình ảnh,…)
..............................................................................................................................
..............................................................................................................................
..............................................................................................................................
..............................................................................................................................
..............................................................................................................................
2. Nội dung thực hiện:
(ghi những nội dung chính cần thực hiện như trong phần tổng quan)
..............................................................................................................................
..............................................................................................................................
..............................................................................................................................
..............................................................................................................................
..............................................................................................................................
..............................................................................................................................
III. NGÀY GIAO NHIỆM VỤ:
IV. NGÀY HOÀN THÀNH NHIỆM VỤ:
V. HỌ VÀ TÊN CÁN BỘ HƢỚNG DẪN: Ts. Nguyễn Thanh Hải
CÁN BỘ HƢỚNG DẪN BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

iii
TRƢỜNG ĐH SPKT TP. HỒ CHÍ
MINH
CỘNG HÒA XÃ HỘI CHỦ NGHĨA
VIỆT NAM
KHOA ĐIỆN-ĐIỆN TỬ ĐỘC LẬP - TỰ DO - HẠNH PHÚC
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP
– Y SINH
----o0o----
Tp. HCM, ngày 5 tháng 7 năm
2018
LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên 1: Hà Tiến Dƣơng
Lớp: 13141DT MSSV: 13141047
Họ tên sinh viên 2:
Lớp: 13141DT MSSV: 13141378
Tên đề tài: NHẬN DẠNG CẢM XÚC KHUÔN MẶT NGƢỜI
Tuần/ngày Nội dung
Xác nhận
GVHD
Tuần 1 Tìm đề tài
Tuần 2,3 Nghiên cứu đề tài cũ.
Tìm hiểu hoạt động Arduino và Matlab.
Tuần 4 Cài đặt Matlab, cài Arduino, cài webcam trên Matlab.
Tuần 5 Lập trình Arduino với các chân I/O để nhúng dữ liệu.
Tuần 6 Lập trình và xây dựng bộ ảnh huấn luyện để nhận
dạng.
Tuần 7 Lập trình nhận dạng cảm xúc từ bộ ảnh huấn luyện.
Tuần 8,9 Lập trình nhận dạng cảm xúc qua Webcam.
Tuần 10 Hiệu chỉnh toàn bộ chƣơng trình.
Tuần
11,12
Viết luận văn.
Tuần
13,14,15
Chỉnh sửa, in đồ án.
GV HƢỚNG DẪN
(Ký và ghi rõ họ và tên)

iv
LỜI CAM ĐOAN
Đề tài này là do Nguyễn Thị Đài Trang và Hà Tiến Dƣơng tự thực hiện dựa
vào một số tài liệu trƣớc đó và không sao chép từ tài liệu hay công trình đã có
trƣớc đó.
Ngƣời thực hiện đề tài
Nguyễn Thị Đài Trang
Hà Tiến Dƣơng

v
LỜI CẢM ƠN
Trong thời gian thực hiện đề tài, nhóm thực hiện đƣợc sự giúp đỡ của gia
đình, quý thầy cô và bạn bè nên đề tài đã đƣợc hoàn thành. Nhóm thực hiện xin
chân thành gửi lời cảm ơn đến:
Thầy Nguyễn Thanh Hải, giảng viên trƣờng Đại Học Sƣ Phạm Kỹ Thuật
Tp.HCM đã trực tiếp hƣớng dẫn và tận tình giúp đỡ tạo điều kiện để nhóm có thể
hoàn thành tốt đề tài.
Nhóm thực hiện cũng xin chân thành cám ơn đến các thầy cô trong khoa
Điện - Điện tử của trƣờng Đại Học Sƣ Phạm Kỹ Thuật Tp.HCM đã tận tình dạy dỗ,
chỉ bảo, cung cấp cho những ngƣời thực hiện những kiến thức nền, chuyên môn làm
cơ sở để hoàn thành đề tài này.
Cảm ơn gia đình đã động viên và luôn luôn bên cạnh trong những lúc khó
khăn nhất.
Xin gửi lời cảm ơn đến những ngƣời bạn sinh viên khoa Điện-Điện tử đã
giúp đỡ những ngƣời thực hiện đề tài để có thể hoàn thành tốt đề tài này.
Xin chân thành cảm ơn!
Ngƣời thực hiện đề tài:
Nguyễn Thị Đài Trang
Hà Tiến Dƣơng

vi
MỤC LỤC
Contents
NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP........................................................................ii
LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP...............................................iii
LỜI CAM ĐOAN...................................................................................................iv
LỜI CẢM ƠN .........................................................................................................v
LIỆT KÊ HÌNH VẼ..............................................................................................viii
Chƣơng 1. TỔNG QUAN........................................................................................1
ĐẶT VẤN ĐỀ.....................................................................................................1
1.1. MỤC TIÊU ................................................................................................1
1.2. NỘi DUNG NGHIÊN CỨU.......................................................................2
1.3. GIỚI HẠN .................................................................................................2
1.4. BỐ CỤC.....................................................................................................2
Chƣơng 2. CƠ SỞ LÝ THUYẾT.............................................................................1
2.1 PHẦN CỨNG ............................................................................................1
2.1.1 Kit Arduino..........................................................................................1
2.1.2. Kit Arduino Uno ....................................................................................1
2.1.3. PHẦN MỀM MATLAB........................................................................3
2.2.CÁC CẢM XÚC TRÊN KHUÔN MẶT........................................................4
2.3. PHƢƠNG PHÁP NHẬN DẠNG PCA - EIGENFACES...............................5
2.3.1. Phƣơng pháp nhận dạng PCA................................................................5
2.3.2 Eigenfaces trong nhận dạng cảm xúc trên khuôn mặt. ............................8
2.3.3. Các bƣớc cơ bản trong Eigenfaces .......................................................10
2.4. Các hàm xử lý trong matlab ........................................................................15
Các hàm chính hiển thị ảnh trong matlab:..........................................................15
Chƣơng 3. TÍNH TOÁN VÀ THIẾT KẾ .........................................................18
3.1 GIỚI THIỆU ............................................................................................18
3.2 TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG ..............................................18
3.2.2.Thiết kế các khối hệ thống ....................................................................21
3.3. CÀI ĐẶT CÁC GÓI HỖ TRỢ PHẦN CỨNG CHO MATLAB..................22
3.3.1. Kết nối Arduino với Matlab .................................................................22
3.3.2. Cài đặt Camera cho Matlab..................................................................25

vii
Chƣơng 4. THI CÔNG HỆ THỐNG................................................................26
4.1 GIỚI THIỆU ............................................................................................26
4.2 THI CÔNG HỆ THỐNG..........................................................................26
4.3 LẬP TRÌNH HỆ THỐNG ........................................................................28
4.4 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC.......................32
4.4.1 Tài liệu hƣớng dẫn sử dụng................................................................32
Chƣơng 5. KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ............................................36
5.1 KẾT QUẢ................................................................................................36
5.1.1. Tổng quan kết quả đạt đƣợc.....................................................................36
5.1.2. Kết quả thực tế.....................................................................................36
5.2 NHẬN XÉT VÀ ĐÁNH GIÁ...................................................................42
Chƣơng 6. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ............................................44
6.1 KẾT LUẬN..............................................................................................44
6.2 Ƣu và nhƣợc điểm .......................................................................................44
6.3 HƢỚNG PHÁT TRIỂN ...........................................................................45
PHỤ LỤC..............................................................................................................47
1. Hàm train .................................................................................................47
2. Chƣơng trình lấy mẫu đầu vào..................................................................48
3. Giao diện chính chƣơng trình ...................................................................49
4. Chƣơng trình mô phỏng............................................................................52

viii
LIỆT KÊ HÌNH VẼ
Hình Trang
Hình 2.1: Cấu trúc phần cứng của Arduino Uno. .......................................................5
Hình 2.2: Cấu trúc phần cứng của Arduino Uno. .......................................................12
Hình 2.3: Lấy ảnh đầu vào.........................................................................................16
Hình 2.4: Ảnh trong tập mẫu. ....................................................................................17
Hình 3.1. Sơ đồ khối của hệ thống.............................................................................20
Hình 3.2. Sơ đồ khối quá trình tạo dữ liệu huấn luyện. .............................................20
Hình 3.3. Sơ đồ khối quá trình nhận dạng.................................................................20
Hình 3.4. Get Hardware Support Package..................................................................23
Hình 3.5. Cửa sổ Support Package Installer. ..............................................................24
Hình 3.6. Giao diện cài Package cho Arduino............................................................24
Hình 3.7. Kết nối Arduino và Matlab thành công.......................................................25
Hình 3.8. Cài đặt Camera cho Matlab........................................................................25
Hình 4.1. Sơ đồ đấu nối dây của Arduino với Servo. .................................................28
Hình 4.2. Sơ đồ đấu nối dây của Arduino với led.......................................................29
Hình 4.3. Lƣu đồ chƣơng trình chính.........................................................................30
Hình 4.4. Sơ đồ chƣơng trình nhận dạng....................................................................31
Hình 4.5. Sơ đồ chƣơng trình xử lý ảnh chụp.............................................................32
Hình 4.6. Sơ đồ chƣơng trình trích đặc trƣng.............................................................33
Hình 4.7. Khởi động phần mềm ................................................................................34
Hình 4.8. Giao diện chính..........................................................................................35
Hình 4.9. Giao diện chƣơng trình mô phỏng .............................................................36
Hình 4.10. Kết quả nhận đƣợc từ ảnh chụp trực tiếp. .................................................37
Hình 4.11. Kết quả nhận đƣợc từ ảnh chụp lƣu sẵn ...................................................37
Hình 5.1. Giao diện chính..........................................................................................38
Hình 5.2. Giao diện chƣơng trình mô phỏng..............................................................38
Hình 5.3. Ảnh chụp để kiểm tra.................................................................................39
Hình 5.4. Data ảnh huấn luyện...................................................................................40
Hình 5.5. Nhận dạng thành công cảm xúc “vui” từ ảnh có sẵn...................................41
Hình 5.6. Nhận dạng thành công cảm xúc “buồn” từ ảnh có sẵn................................41
Hình 5.7. Nhận dạng thành công cảm xúc “ngạc nhiên” từ có sẵn .............................42
Hình 5.8 . Nhận dạng thành công cảm xúc “vui” từ webcam .....................................42
Hình 5.9. Nhận dạng thành công cảm xúc “buồn” từ camera. ....................................43

ix
Hình 5.10. Nhận dạng thành công cảm xúc “ngạc nhiên” từ webcam .......................43
Hình 5.11. Nhận dạng thành công cảm xúc “vui” thì mở cửa. ...................................44
Hình 5.12. Nhận dạng thành công cảm xúc “buồn” thì mở đèn. ................................44
Hình 5.13. Nhận dạng thành công cảm xúc “ngạc nhiên” thì mở cửa tắt đèn. ...........45

x
LIỆT KÊ BẢNG
Bảng Trang
Bảng 2.1. Thông số kỹ thuật Arduino Uno..................................................................... 5
Bảng 2.2 Các hàm xử lý hình ảnh khác trong Matlab. ................................................. 17
Bảng 4.1. Danh sách các linh kiện, module.................................................................. 27
Bảng 5.1. Thống kê kết quả nhận dạng từ ảnh chụp.................................................... 45
Bảng 5.2. Thống kê kết quả nhận dạng từ camera........................................................ 45

CHƢƠNG 1. TỔNG QUAN
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 1
Chương 1. TỔNG QUAN
ĐẶT VẤN ĐỀ
Trong những năm gần đây, xử lý ảnh đang đƣợc nghiên cứu và phát triển với
tốc độ nhanh chóng bởi các trung tâm nghiên cứu, trƣờng đại học và học viện.
Trong đó, nhận dạng và phân loại hình ảnh là một trong những lĩnh vực đƣợc theo
đuổi một cách tích cực. Ý tƣởng cốt lỗi từ việc nhận dạng và phân loại hình ảnh là
phân tích ảnh từ dữ liệu thu đƣợc bởi các cảm biến hình ảnh nhƣ camera, webcam.
Nhờ hệ thống xử lý hình ảnh mà con ngƣời đã giảm bớt khối công việc cũng nhƣ
tăng sự chính xác trong việc đƣa ra các quyết định liên quan đến xử lý ảnh trên
nhiều lĩnh vực: quân sự và quốc phòng, các hệ thống kỹ nghệ hoá sinh, giải phẫu,
các hệ thống thông minh, robotics, các hệ thống an ninh [1].
Cùng với các hình thức nhận dạng khác nhƣ: nhận dạng giọng nói, chữ viết,
dấu vân tay, võng mạc [2], thì bài toán nhận dạng cảm xúc trên khuôn mặt ngƣời
đang đƣợc nhóm quan tâm chú ý. Trên cơ thể con ngƣời có rất nhiều đặc điểm để
nhận dạng, nhƣng khuôn mặt là nơi thể hiện nhiều trạng thái cảm xúc: vui, buồn,
giận dữ, phẫn nộ.
Điều quan trọng nhất trong xã hội hiện nay là các thiết bị điện tử hầu nhƣ tự
động hoá, thông minh, hiểu ý con ngƣời mà không cần phải thiết bị điều khiển trung
gian nào. Các thuật toán nhận dạng và xử lý ngày càng đƣợc sử dụng rộng rãi. Vì
vậy từ những vấn đề trên, ĐATN kiến nghị thực hiện đề tài “Nhận diện cảm xúc
khuôn mặt người” bằng xử lý ảnh.
1.1. MỤC TIÊU
Xây dựng hệ thống nhận diện cảm xúc khuôn mặt bằng cách nối board mạch
Arduino với phần mềm Matlab. Mô hình sẽ nhận diện cảm xúc trên khuôn mặt
ngƣời, đồng thời ứng với mỗi cảm xúc Arduino sẽ điều khiển trạng thái của cửa và
đèn led. Khi nhận đƣợc cảm xúc vui (cƣời) sẽ điều khiển servo mở cửa. Khi buồn
(không cƣời) sẽ điều khiển mở đèn. Khi nhận đƣợc cảm xúc ngạc nhiên sẽ điều
khiển servo đóng cửa và tắt đèn.

1.2. NỘi DUNG NGHIÊN CỨU
Mục tiêu xây dựng hệ thống: “Nhận dạng cảm xúc trên khuôn mặt” nhƣ
trên thì nhóm sẽ thực hiện những nội dung nhƣ sau :
 Tìm hiểu các tài liệu, đồ án trƣớc đó.
 Xử lý ảnh đầu vào từ camera hoặc từ thƣ mục có sẵn.
 Kết nối và cài đặt nguồn thƣ viện cho Arduino trên phần mềm Matlab.
 Xây dựng hệ thống nhận dạng cảm xúc trên khuôn mặt.
 Lắp ráp các khối điều khiển vào mô hình.
 Lập trình và viết code cho các ứng dụng trên kit Arduino.
 Chạy thử và điều chỉnh mô hình.
 Đánh giá kết quả thực hiện.
 Viết báo cáo.
1.3. GIỚI HẠN
Mô hình chỉ nhận dạng cảm xúc trên khuôn mặt với ba trạng thái: vui, buồn
và ngạc nhiên.
Sử dụng webcam từ máy tính .
1.4. BỐ CỤC
Đồ án tốt nghiệp: “Nhận dạng cảm xúc trên khuôn mặt” trình bày trong 6
chƣơng với bố cục nhƣ sau:
 Chƣơng 1: Tổng quan
Chƣơng này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nội
dung nghiên cứu, các giới hạn thông số và bố cục đồ án.
 Chƣơng 2: Cơ sở lý thuyết.
Giới thiệu về kit Arduino, giới thiệu về cách cài đặt thƣ viện cho Arduino và
camera webcam trên phần mềm Matlab.
Giới thiệu về phép phân tích thành phần chính PCA và áp dụng vào bài toán
nhận dạng cảm xúc trên khuôn mặt ngƣời.
 Chƣơng 3: Thiết kế và Tính toán

Phân tích, xây dựng sơ đồ khối, sơ đồ phần cứng, thiết kế về chƣơng trình
cho hệ thống nhận dạng cảm xúc trên khuôn mặt ngƣời đƣợc viết trên phần mềm
Matlab, sử dụng thƣ viện của Matlab cho kit Arduino.
 Chƣơng 4: Thi công hệ thống
Xây dựng chƣơng trình hoàn chỉnh cho toàn hệ thống, các hàm, các lƣu đồ,
các chƣơng trình đƣợc sử dụng. Tạo tập tin huấn luyện, lắp ráp và test cho chƣơng
trình. Viết tài liệu hƣớng dẫn sử dụng, quy trình thao tác.
 Chƣơng 5: Kết quả, Nhận xét và đánh giá
Nêu các kết quả đạt đƣợc khi thực hiện chƣơng trình, phân tích, nhận xét,
đánh giá kết quả thực thi đƣợc.
 Chƣơng 6: Kết luận và Hƣớng phát triển
Tóm tắt những kết quả đạt đƣợc, những hạn chế và nêu lên các hƣớng phát
triển trong tƣơng lai.

CHƢƠNG 2. CƠ SỞ LÝ THUYẾT
Chƣơng 2. CƠ SỞ LÝ THUYẾT
2.1 PHẦN CỨNG
2.1.1 Kit Arduino
Arduino ra đời tại thị trấn Ivrea – Italy, đƣợc giới thiệu vào năm 2005 nhƣ
một công cụ cho sinh viên tìm tòi, học hỏi, phát triển, nhƣng đến nay Arduino đã
đƣợc sử dụng rộng rãi trên thế giới và chứng tỏ đƣợc hiệu quả thông qua vô số ứng
dụng từ ngƣời dùng.
Arduino là một board mạch vi xử lý đƣợc dùng để tƣơng tác với các thiết bị
phần cứng nhƣ cảm biến, động cơ, đèn hay các thiết bị khác. Một board Arduino
bao gồm một vi điều khiển AVR với nhiều linh kiện bổ sung đã làm nên board
mạch với nhiều thế mạnh hơn so với các vi điều khiển khác nhƣ: chạy đƣợc trên
nhiều hệ điều hành khác nhau (Windows, Linux..), dễ dàng lắp ráp và mở rộng phần
cứng, phát triển dựa trên nguồn mở, dễ dàng chia sẻ mã nguồn với nhau mà không
phải lo lắng ngôn ngữ hay hệ điều hành đang sử dụng…
Arduino thƣờng sử dụng các dòng chip megaAVR, đặc biệt là ATmega8,
ATmega168, ATmega328, ATmega1280 và ATmega2560. Hầu hết các mạch gồm
một bộ điều chỉnh tuyến tính 5V và một thạch anh dao động 16 MHz, các board
Arduino hiện tại đƣợc lập trình thông qua cổng USB.
2.1.2. Kit Arduino Uno
Kit Arduino có nhiều phiên bản với tính năng và mục đích sử dụng khác
nhau. Board Arduino Uno là một trong những phiên bản đƣợc sử dụng rộng rãi nhất
bởi chi phí và tính linh động của nó.
Arduino Uno [3] là một board mạch vi điều khiển dựa trên chip Atmega328
với 14 chân vào/ra bằng tín hiệu số đƣợc đánh số từ 0 đến 13, trong đó 6 chân có
thể tạo xung PWM đƣợc đánh dấu “~” trƣớc mã số của chân, 6 chân nhận tín hiệu
analog đƣợc đánh dấu từ A0 đến A5, có thể sử dụng nhƣ là 6 chân I/O số. Có 2 mức
điện áp là 0V và 5V với dòng vào/ra tối đa trên mỗi chân là 30 mA.

Bảng 2.1. Thông số kỹ thuật Arduino Uno.
Vi điều khiển Atmega328P họ 8 bit
Điện áp hoạt động 5V
Điện áp đầu vào 7-12V
Điện áp đầu vào giới hạn 6-20V
Số chân Digital I/O 14 (có 6 chân PWM)
Số chân Analog 6 ( độ phân giải 10bit)
DC current per I/O pin 20mA
DC current for 3.3V pin 50mA
Flash Memory 32KB (ATmega328P)
SRAM 2KB (Atmega328P)
EEPROM 1KB (Atmega328P)
Clock Speed 16MHZ
Length 68.6 mm
Width 53.4 mm
Weight 25 g
Hình 2.1 Cấu trúc phần cứng của Arduino Uno.

 Cổng USB(1): Cổng USB dùng để kết nối với máy tính và thông qua đó để
upload chƣơng trình cho Arduino từ máy tính, đồng thời cung cấp nguồn cho
Arduino.
 Nguồn (2 và 4): Sử dụng jack cấm nguồn 2.1mm (cực dƣơng ở giữa) hoặc có
thể dùng chân Vin và GND để cấp nguồn cho Arduino. Board mạch hoạt động ở
điện áp ngoài khoảng 5-20V, nhƣng nếu cấp nguồn lớn hơn 5V thì ngõ ra chân 5V
sẽ lớn hơn, không nên cấp nguồn lớn hơn 12V vì board sẽ nóng và dễ bị hỏng. Chân
5V và chân 3.3v là 2 chân lấy nguồn từ Arduino ra ngoài, không đƣợc cấp nguồn
vào nó, sẽ làm hỏng.
 Chip Atmega328P(6): Có 32KB bộ nhớ flash trong đó có 0.5KB dùng cho
bootloader, 2KB SRAM, 1KB EEPROM.
 Output và input(3 và 5): Arduino có 14 chân Digital với các chức năng Input
và Output.
2.1.3. PHẦN MỀM MATLAB.
Matlab (Matrix Laboratory ) là một môi trƣờng tính toán số và lập trình,
đƣợc thiết kế bởi công ty MathWorks.
Matlab [4] là ngôn ngữ lập trình thực hành bậc cao đƣợc sử dụng nhiều để
giải các bài toán kỹ thuật. Matlab tích hợp việc tính toán thể hiện kết quả cho phép
lập trình, giao diện làm việc rất dễ dàng cho ngƣời sử dụng. Dữ liệu cũng với thƣ
viện đƣợc lập trình sẵn cho phép ngƣời dùng có đƣợc những ứng dụng nhƣ:
 Tính toán các phép toán học thông thƣờng, tính toán ma trận,
 Lập trình tạo ra những ứng dụng mới.
 Cho phép mô phỏng các mô hình thực tế.
 Phân tích, khảo sát, hiển thị dữ liệu.
 Matlab đƣợc sử dụng trong nhiều lĩnh vực, bao gồm xử lý tín hiệu và ảnh,
truyền thông, thiết kế điều khiển tự động, đo lƣờng kiểm tra, phân tích mô hình tài
chính, hay tính toán sinh học. Matlab cung cấp giải pháp chuyên dụng gọi là
Toolbox. Toolbox là một tập hợp toàn diện các hàm của Matlab (M-file).
Hệ thống Matlab gồm 5 phần chính:

Môi trƣờng làm việc: bao gồm các phƣơng tiện cho việc quản lý các biến
trong không gian làm việc Workspace cũng nhƣ xuất nhập dữ liệu. Nó cũng bao
gồm các công cụ phát triển, quản lý, gỡ rối và định hình M-file.
Xử lý đồ họa: bao gồm các lệnh cao cấp cho trực quan hóa dữ liệu hai chiều
và ba chiều, xử lý ảnh, ảnh động. Cung cấp các giao diện tƣơng tác giữa ngƣời sử
dụng và máy tính.
Thƣ viện toán học: các hàm cơ bản nhƣ cộng, trừ, nhân, chia, sin, cos..các
hàm phức tạp nhƣ tính ma trận nghịch đảo, trị riêng, chuyển đổi fourier, laplace,
symbolic library.
Giao diện ngƣời dùng (Application Program Interface): cho phép viết
chƣơng trình tƣơng tác với các ngôn ngữ khác C, C++.
Simulink là một chƣơng trình đi kèm với Matlab, là một hệ thống tƣơng tác
với việc mô phỏng các hệ thống động phi tuyết, mô phỏng mạch.
2.2.CÁC CẢM XÚC TRÊN KHUÔN MẶT
Cảm xúc trên khuôn mặt là một quy luật rất quan trọng trong giao tiếp giữa
ngƣời với ngƣời. Những công nghệ giao tiếp tiến bộ nhanh chóng gần đây cùng với
sựu phát triển của khoa học máy tính đã cho chúng ta những hi vọng rằng cảm xúc
trên khuôn mặt sẽ trở thành một giải pháp then chốt trong lĩnh vực giao diện ngƣời
máy và các hƣớng phát triển giao tiếp khác trong tƣơng lai.
Trong các cách biểu đạt ngôn ngữ cơ thể, cảm xúc là nơi thể hiện rõ nhất
những gì mà ngƣời khác cảm nhận đƣợc. Qua nghiên cứu của nhà tâm lý học
Mehrabian năm 1968 đã chỉ ra rằng khi một thông điệp từ một ngƣời chuyển tới
ngƣời khác, phần từ ngữ chỉ chiếm 7% ảnh hƣởng, 38% âm lƣợng của giọng nói,
trong khi ngôn ngữ cơ thể của ngƣời nói chiếm tới 55% ảnh hƣởng của thông điệp
đó [5]. Nhận dạng cảm xúc đƣợc ứng dụng trong rất nhiều lĩnh vực khác nhau nhƣ y
học [6], tƣơng tác giao diện giữa ngƣời và máy [7], chuyển động thân ngƣời [8]…
Trong đề tài đồ án tốt nghiệp này, chúng em xây dựng một hệ thống nhận
dạng cảm xúc dựa trên 3 cảm xúc cơ bản trên đó là: vui, buồn, ngạc nhiên.
Các dấu hiệu nhận biết cảm xúc:
 Vui: Cảm xúc này thể hiện qua nét mặt rạng rỡ trên khuôn mặt. Nụ
cƣời chính là dấu hiệu đơn giản nhất để nhận biết cảm xúc này.

 Buồn: Biểu hiện của cảm xúc này thông qua khuôn mặt là vùng trán
nhăn lại, đôi mắt trùng xuống, không có thần thái, vẻ mặt biểu lộ rõ sự buồn khổ,
sầu não kèm theo những tiếng thở dài. Nhìn vào dễ dàng tạo cảm giác lặng lẽ, trầm
buồn.
 Ngạc nhiên: Đây là trạng thái dễ gây cảm giác thú vị khi nhìn vào. Sự
ngạc nhiên thể hiện qua lông mày nhô cao, mắt mở to, phần hàm dƣới trề xuống,
miệng mở tròn ra.
2.3. PHƢƠNG PHÁP NHẬN DẠNG PCA - EIGENFACES.
2.3.1. Phƣơng pháp nhận dạng PCA
Phân tích thành phần chính PCA (Principal Component Analysis) là một
thuật toán sử dụng phép biến đổi trực giao để biến đổi một tập hợp dữ liệu từ một
không gian nhiều chiều sang một không gian mới ít chiều hơn (2 hoặc 3 chiều)
nhằm tối ƣu hóa việc thể hiện sự biến thiên của dữ liệu. PCA một trong những ứng
dụng hữu ích trong việc nhận dạng mặt và nén ảnh, là phƣơng pháp phân tích dữ
liệu nhiều biến đơn giản nhất.
Phép biến đổi tạo ra những ƣu điểm nhƣ:
 Giảm sổ chiều của không gian chứa dữ liệu: tạo ra một ảnh mới từ ảnh
ban đầu, ảnh này có kích thƣớt nhỏ hơn nhiều so với ảnh ban đầu nhƣng vẫn giữ lại
những nét đặc trƣng nhất từ ảnh ban đầu.
 Thay vì giữ lại các trục tọa độ của không gian cũ. PCA xây dựng
những trục tọa độ mới nhƣng có khả năng biểu diễn dữ liệu tƣơng đƣơng, và đảm
bảo độ biến thiên của dữ liệu trên mỗi chiều mới.
 Trong không gian mới, các liên kết tiềm ẩn của dữ liệu có thể đƣợc
khám phá, mà nếu đặt trong không gian cũ thì khó phát hiện hơn vì những liên kết
này không thể hiện rõ.
 Các trục tọa độ trong không gian mới là tổ hợp tuyến tính của không
gian cũ. Các trục này luôn đƣợc trực giao đôi một với nhau mặc dù trong không
gian ban đầu các trục có thể không trực giao.
 Nói một cách ngắn gọn, mục tiêu của PCA là tìm một không gian mới với số
chiều nhỏ hơn không gian cũ. Các trục tọa độ không gian mới đƣợc xây dựng sao
cho trên mỗi trục, độ biến thiên của dữ liệu trên đó là lớn nhất.

Các khái niệm toán học đƣợc sử dụng trong PCA bao gồm: Độ lệch chuẩn,
phƣơng sai, hiệp phƣơng sai, véctơ riêng, giá trị riêng.
a. Độ lệch chuẩn.
Độ lệch chuẩn đƣợc sử dụng để đo lƣờng mức độ phân tán của dữ liệu, kí
hiệu là S. Cho một tập dữ liệu : X = [1 3 6 12 25 68 67 65 98] .
Chúng ta dùng kí hiệu X để chỉ tập dữ liệu. Để truy xuất đến từng phần tử
trong tập dữ liệu, ta sử dụng chỉ số dƣới, ví dụ X1 sẽ là định danh của phân tử thứ
1, X2 sẽ là định danh cho phần tử thứ 2.
Giá trị trung bình cho chúng ta biết giá trị trung bình của tập dữ liệu, đƣợc
tính theo công thức:
̅ ∑
(2.1)
 Trong đó: ̅ là giá trị trung bình.
là giá trị thứ i.
i là số thứ tự phần tử trong mảng X
n là tổng số phần tử có trong mảng
Để tính độ lệch chuẩn chúng ta sử dụng công thức sau:
s= √
∑ ( ̅)
(2.2)
Ví dụ: Cho tập dữ liệu X = [2 10 14 22] và Y= [5 12 13 18]
Muốn tính độ lệch chuẩn cho tập dữ liệu X:
Bƣớc 1: Ta dùng công thức 2.1 để tính giá trị trung bình của dữ liệu X:
̅ = 12
Bƣớc 2: Ta sử dụng công thức 2.2 để tính độ lệch chuẩn:

sx= √
( ) ( ) ( ) ( )
= 8.3
Tƣơng tự ta tính cho tập dữ liệu Y:
Bƣớc 1: Tính giá trị trung bình cho tập dữ liệu Y:
̅ = 12
Tính độ lệch chuẩn:
sx= √
( ) ( ) ( ) ( )
= 5.4
 Ta thấy SX >SY, cho thấy tập X có độ phân tán dữ liệu lớn hơn tập Y mặc dù
cả hai đều có chung giá trị trung bình là 12.
b. Phƣơng sai.
Phƣơng sai dùng để đo lƣờng độ phân tán dữ liệu của một tập dữ liệu.
Công thức của phƣơng sai là :
s2
=
∑ ( ̅)
(2.3)
c. Hiệp phƣơng sai.
Hiệp phƣơng sai: là một giá trị đo để xem xét mối liên hệ giữa 2 biến. Kí
hiệu là Cov(X,Y) với X,Y là 2 biến.
Công thức tính hiệp phƣơng sai:
Cov(X,Y) =
∑ ( ̅) ( ̅)
(2.4)
Giả sử chúng ta nghiên cứu về mối liên hệ giữa số giờ của học sinh ôn tập và
điểm của họ. Vậy là dữ liệu ta cần thu thập có 2 chiều, chiều X là số giờ ôn tập và
chiều Y là điểm. Nếu hiệp phƣơng sai là một giá trị dƣơng cho thấy số giờ ôn thi
tăng thì điểm cũng tăng ngƣợc lại thì số giờ học tăng thì điểm số giảm, cuối cùng
hiệp phƣơng sai bằng không thì cho thấy chúng không liên quan gì đến nhau.

Đặc tính của hiệp phƣơng sai là chỉ tính toán với dữ liệu có hai chiều và
Cov(X,Y) và Cov(Y,X) bằng nhau.
d. Ma trận hiệp phƣơng sai
Hiệp phƣơng sai chỉ dùng để tính toán cho dữ liệu có 2 chiều. Vậy đối với dữ
liệu có nhiều chiều (n>2), chúng ta có rất nhiều hiệp phƣơng sai. Ma trận hiệp
phƣơng sai là ma trận chứa tất cả các hiệp phƣơng sai có thể đƣợc tạo ra. Dữ liệu 3
chiều x,y,z thì ma trận hiệp phƣơng sai sẽ là:
C = (
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
) (2.5)
e. Vector riêng.
Vector riêng của một ma trận vuông (n x n) là vector mà khi nhân ma trận đó
với vector riêng thì sẽ thu đƣợc 1 vector mà giá trị của từng phần tử tƣơng ứng sẽ
bằng k lần so với giá trị của phần tử của eigenvector.
Ví dụ: ta có một phép tính nhƣ sau:
( ) ( ) ( ) ( )
Trong đó: Vector ( ) gọi là vector riêng
Các tính chất của vectơ riêng:
 Chỉ các ma trận vuông (n x n) mới có vectơ riêng.
 Không phải mọi ma trận vuông đều có vectơ riêng.
 Nếu 1 ma trận vuông (n x n) có vectơ riêng thì sẽ có n vectơ riêng.
 Nếu nhân vectơ riêng với 1 số thì kết quả sau khi nhân với ma trận
chuyển đổi, vectơ kết quả vẫn là vectơ ban đầu.
 Tất cả các vector riêng của 1 ma trận đều trực giao với nhau
f. Giá trị riêng.
Giá trị riêng và vector riêng là hai khái niệm liên hệ mật thiết với nhau
và chúng luôn đi thành cặp. Ở ví dụ trên ta đƣợc giá trị riêng là 4 .
2.3.2 Eigenfaces trong nhận dạng cảm xúc trên khuôn mặt.
Trong bài toán nhận dạng, thông thƣờng cần phải “nghiên cứu” dữ liệu trƣớc

khi xây dựng các mô hình dựa trên dữ liệu đó. Tuy nhiên đôi khi dữ liệu có số chiều
lớn, trong không gian 2 hay 3 chiều, do đó cần phải tìm cách đƣa dữ liệu về không
gian có số chiều nhỏ hơn. PCA đã giải quyết bài toán trên.
Eigenfaces là một phƣơng pháp đã đƣợc nghiên cứu về nhận dạng trên khuôn
mặt dựa trên phân tích các thành phần chính (PCA). Eigenface là phƣơng pháp áp
dụng trực tiếp phép phân tích các thành phần PCA, nó đã đƣợc áp dụng rất nhiều
vào biễu diễn, phát hiện và nhận dạng mặt. Ƣu điểm của phƣơng pháp này là biểu
diễn đƣợc toàn bộ ảnh và có độ nén rất tốt (loại bỏ nhiễu và dƣ thừa). Eigenfaces
đƣợc phát triển từ các chuyên đề nghiên cứu của Turk & Pentland, mặc dù phƣơng
pháp này hiện đã đƣợc thay thế bằng những phƣơng pháp chính xác hơn nhƣng vẫn
đƣợc dùng để so sánh hiệu suất với các phƣơng pháp khác. Eigenfaces là một cách
để làm quen với nhận dạng khuôn mặt dựa trên không gian con.
Hình 2.2 Không gian dữ liệu mới với các Eigen vector.
x= a1v1+a2v2+…+aNvN y= b1u1+b2u2+…+bKuK
Vec tơ y chỉ
còn K chiều
Vec tơ x ban
đầu có N chiều
Ánh xạ
tuyến tính
T
Không gian N chiều
với hệ cơ sở v1.v2...vN
Không gian K chiều (K<<N)
với hệ cơ sở u1
.u2
...uK

2.3.3. Các bƣớc cơ bản trong Eigenfaces
a. Xử lý ảnh đầu vào.
Bƣớc đầu tiên cần làm là phải có một cơ sở dữ liệu cho riêng mình. Các yêu
cầu chính của cơ sở dữ liệu:
 Chuyển ảnh màu sang ảnh xám. Thống nhất về độ phân giải (600x800), ảnh
phải đƣợc cắt, chỉnh sửa sao cho có cùng kích thƣớc nhất định.
 Tạo cơ sở dữ liệu dựa trên các đặc trƣng trên khuôn mặt nhƣ mắt, mũi và
miệng.
 Ở đồ án này, tác giả xây dựng cơ sở dữ liệu: 390 hình ảnh với 3 trạng thái
(vui, ngạc nhiên,buồn).
Các hình ảnh I1, I2…In đƣợc chuyển thành một vectơ cột và đƣợc nạp vào
một ma trân kích thƣớc M x N với N là số lƣợng điểm ảnh và M là tổng số hình
ảnh.
Để đơn giản dùng 5 ảnh minh họa với kích thƣớc 3x3:
=
[ ]
=
[ ]
=
[ ]
=
[ ]
=
[ ]
b. Huấn luyện ảnh.
Để tạo một cơ sở dữ liệu huấn luyện cần các bƣớc sau:
Bƣớc 1: Tính vector khuôn mặt trung bình theo công thức:
∑ (2.6)
Ta tính đƣợc cho 5 ảnh minh họa trên.

=
[ ]
Bƣớc 2: Trừ vector ảnh đầu vào cho vector ảnh khuôn mặt trung bình đƣợc
:
(2.7)
Ta tính đƣợc:
=
[ ]
=
[ ]
=
[ ]
=
[ ]
=
[ ]
Bƣớc 3: Tính ma trận hiệp phƣơng sai (Covariance) C:
C sẽ có kích thƣớc N2
x N2
.
∑ (2.8)
A = [ ] (2.9)
A sẽ có kích thƣớc N2
x M.
A=
[ ]

Bƣớc 4: Tính các vector riêng ui tƣơng ứng với các giá trị riêng của hiệp phƣơng
sai A.AT
(C có kích thƣớc N2
xN2
):
Xét ma trận AT
.A có kích thƣớc MxM.
Tìm vector riêng vi của ma trận AT
.A có kích thƣớc Mx1.
v1 =
[ ]
v2 =
[ ]
v3 =
[ ]
v4 =
[ ]
Các giá trị riêng ứng với các vector riêng của ma trận AT
.A.
1 = 384.15
2 = 58.98
3 = 22.67
4 = 7
Tìm vector riêng ui có kích thƣớc N2
x1:
(2.10)
Chú ý nên chuẩn hóa các vector ui ( 1iu ), nghĩa là:
i
i
i
u
u
u  .
Vector ui đã chuẩn hóa:
=
[ ]
=
[ ]
=
[ ]
=
[ ]
Bƣớc 5: Chỉ giữ lại K vector riêng trong số M vector nói trên với K đƣợc
xác định nhƣ sau:
 Sắp xếp theo thứ tự dãy giảm dần các eigenvalues tìm đƣợc.
 Theo dõi sự biến thiên của dãy trên, khi không còn biến thiên (hoặc
xấp xỉ bằng không) thì lúc đó ta đã chọn đủ K.
Ở ví dụ trên có 4 giá trị riêng sắp xếp theo thứ tự giảm dần chọn K = 4.

Bƣớc 6: Biểu diễn các khuôn mặt có sẵn (tập huấn luyện) vào trong không gian
vector mới. Mỗi khuôn mặt i trong tập huấn luyện có thể đƣợc biểu diễn lại là 1
tổ hợp tuyến tính của K vector riêng giới hạn:
i=1,2,…,M
[ ]
J= 1,2,…,K (2.11)
c. Nhận dạng cảm xúc.
Bƣớc 1: Chuyển ảnh cần nhận dạng sang chiều không gian mới nhƣ đã làm với
ảnh huấn luyện.
Bƣớc 2: Tìm khuôn mặt thứ l trong tập mẫu có khoảng cách gần nhất với khuôn
mặt có cảm xúc cần nhận dạng.
er = minl|| || (2.12)
Ta có thể tính er bằng khoảng cách Euclid.
2.3.4. Phân tích thành phần chính (PCA)
Các bƣớc cơ bản trong PCA:
 Bƣớc 1 Lấy dữ liệu làm mẫu.
Hình 2.3 Lấy ảnh đầu vào
 Bƣớc 2 : Trừ trung bình mẫu

Hình 2.4 Ảnh trong tập mẫu
Với mỗi chiều dữ liệu giả sử ở chiều x, ta đều có 1 trung bình mẫu
Công việc ở bƣớc này chỉ là trừ tất cả giá trị trong mẫu cho trung bình mẫu
 Bƣớc 3: Tính ma trận hiệp phƣơng sai.
 Bƣớc 4:Tính các vector riêng,giá trị riêng của ma trận hiệp phƣơng
sai.
 Bƣớc 5: Chọn các thành phần chính
=> Trong bƣớc này tùy thuộc vào số lƣợng thành phần chính cần lấy, ta lấy
lần lƣợt các thành phần vector riêng tƣơng ứng với các giá trị cao nhất.
2.3.5 Nhận dạng cảm xúc dựa trên PCA:
2.3.5.1 Trích chọn đặc trƣng:
Xây dựng một tập các vector đặc trƣng (S1,S2,…Sk) cho mỗi hình huấn
luyện.
Mỗi cảm xúc gồm một tập huấn luyện
 Cảm xúc vui:
I( vui 1)= (bvui 1 1,bvui 1 2,bvui 1 3….bvui 1 n)
I( vui 2)= (bvui 2 1,bvui 2 2,bvui 2 3….bvui 2 n)
I( vui 3)= (bvui 3 1,bvui 3 2,bvui3 3….bvui 3 n)
.
.
I( vui m)= (bvui m 1,bvui m 2,bvui m 3….bvui m n)
 Cảm xúc buồn:
I( buồn 1)= (bbuồn 1 1,bbuồn 1 2,bbuồn 1 3….bbuồn 1 n)
I( buồn 2)= (bbuồn 2 1,bbuồn 2 2,bbuồn 2 3….bbuồn 2 n)

I( buồn 3)= (bbuồn 3 1,bbuồn 3 2,bbuồn3 3….bbuồn 3 n)
.
.
I( buồn m)= (bbuồn m 1,bbuồn m 2,bbuồn m 3….bbuồn m n)
Cảm xúc ngạc nhiên:
I( ngạc nhiên 1)= (bngạc nhiên 1 1,bngạc nhiên 1 2,bngạc nhiên 1 3….bngạc nhiên 1 n)
I( ngạc nhiên 2)= (bngạc nhiên 2 1,bngạc nhiên 2 2,bngạc nhiên 2 3….bngạc nhiên 2 n)
I( ngạc nhiên 3)= (bngạc nhiên 3 1,bngạc nhiên 3 2,bngạc nhiên3 3….bngạc nhiên 3 n)
.
.
I( ngạc nhiên m)= (bngạc nhiên m 1,bngạc nhiên m 2,bngạc nhiên m 3….bngạc nhiên m n)
Với một ảnh đầu vào bất kí muốn nhận dạng cảm xúc, đầu tiên phải qua
bƣớc tiền xử lý là nhận diện đƣợc vùng chứa khuôn mặt và xác định đƣợc miệng
trong khuôn mặt đó. Từ đó ta sử dụng PCA cho ra tập các giá trị riêng nhƣ sau:
Cảm xúc cần nhận dạng
I( nhan dang )= (bnhan dang 1 ,bnhan dang 2,bnhan dang 3….bnhan dang n)
2.3.5.2 Quá trinh nhận dạng
Ta lần lƣợt tính các khoảng cách Euclid từ ảnh cần nhận dạng đến mỗi ảnh
trong tập huấn luyện
S( vui 1)= (bvui 1 1- bnhan dang 1)2
+(bvui 1 2- b nhan dang2 )2
+….+(bvui 1 n –bnhan dang n)2
S( vui 2)= (bvui 2 1- bnhan dang 1)2
+(bvui 2 2- b nhan dang2 )2
+….+(bvui 2 n –bnhan dang n)2
….
S( vui m)= (bvui m 1- bnhan dang 1)2
+(bvui m 2- b nhan dang2 )2
+….+(bvui m n –bnhan dang n)2
S( buồn 1)= (bbuồn 1 1- bnhan dang 1)2
+(bbuồn 1 2- b nhan dang2 )2
+….+(bbuồn 1 n –bnhan dang n)2
S( buồn 2)= (bbuồn 2 1- bnhan dang 1)2
+(bbuồn 2 2- b nhan dang2 )2
+….+(bbuồn 2 n –bnhan dang n)2
….
S( buồn m)= (bbuồn m 1- bnhan dang 1)2
+(bbuồn m 2- b nhan dang2 )2
+….+(bbuồn m n –bnhan dang n)2
S( ngạc nhiên 1)= (bngạc nhiên 1 1- bnhan dang 1)2
+(bngạc nhiên 1 2- b nhan dang2 )2
+….+(bngạc nhiên 1 n –
bnhan dang n)2
S( ngạc nhiên 2)= (bngạc nhiên 2 1- bnhan dang 1)2
+(bngạc nhiên 2 2- b nhan dang2 )2
+….+(bngạc nhiên 2 n –
bnhan dang n)2
….
S( ngạc nhiên m)= (bngạc nhiên m 1- bnhan dang 1)2
+(bngạc nhiên m 2- b nhan dang2 )2
+….+(bngạc nhiên m n
–bnhan dang n)2
Sau đó cảm xúc sẽ của ảnh cần nhận dạng sẽ đƣợc xác định bằng cảm xúc
ảnh trong tập huấn luyện có khoảng cách mà khoảng cách Euclid từ ảnh đó đến ảnh
cần nhận dạng là bé nhất
2.4. Các hàm xử lý trong matlab
Các hàm chính hiển thị ảnh trong matlab:
 Hàm image(x,y,c) hiển thị hình ảnh biểu diễn bởi ma trận c kích
thƣớc m x n lên hệ trục tọa độ, x,y là các véctơ xác định vị trí của các pixel c(m,n).

 Hàm imagesc tƣơng tự hàm image, dữ liệu ảnh sẽ đƣợc co giãn để sử
dụng toàn bộ bản đồ màu hiện hành.
 Hàm imshow cho phép hiển thị ảnh trên một figure và tự động thiết
lập giá trị các đối tƣợng image, axes, figure để hiển thị hình ảnh.
Các hàm khác đƣợc sử dụng trong đề tài
 Hiển thị hộp thoại chọn đƣờng dẫn file. Giá trị trả về tên file, và
đƣờng dẫn.
 T=strcat(s1,s2,s3…): ghép các chuỗi lại với nhau, trả về chuỗi nối
tiếp s1s2s3…
 textscan() đọc dữ liệu từ file .txt.
 length() lấy chiều dài.
 zeros(m,n) tạo ma trận m hàng n cột.
 [...] = princomp(X,'econ') hàm thực hiện phân tích thành phần chính
PCA kết quả trả về vector riêng, giá trị riêng và không gian cơ sở dữ liệu mới chứa
các vector riêng.
 strcmp(s1,s2): hàm so sánh, trả về 1 nếu s1 giống s2, ngƣợc lại trả về
0
 T=dir(pathname): Lấy thông tin của một Folder bao gồm: số file
chứa trong folder, tên file, ngày tạo, kích thƣớc file…
 S=int2str(x): Chuyển đổi số kiểu integer thành chuỗi ký tự
 N=num2str(x): Chuyển đổi các số(bất kỳ có thể số nguyên hoặc thực)
thành chuỗi ký tự.
 D=size(a): Trả về giá trị là ma trận có dạng [x,y] là kích thƣớc của ma
trận a
 mean(X): Ma trận X có kích thƣớc MxN, hàm trả về ma trận có kích
thƣớc 1xN mỗi phần tử là trung bình từng cột trong ma trận X
 mean(X,dim): với dim là chiều lấy trung bình, nếu dim bằng 1 lấy
trung bình theo cột, nếu dim bằng 2 lấy trung bình theo hàng. Không có tham số
dim thì mặc định dim bằng 1.
 double(X): Chuyển đổi gấp đôi chính xác giá trị ma trận X .
 Min(X): Trả về vị trí của phần tử nhỏ nhất của ma trận X.

Bảng 2.2 Các hàm xử lý hình ảnh khác trong Matlab.
Các hàm chuyển đổi loại ảnh và kiểu dữ liệu ảnh
Dither Tạo ảnh nhị phân hay ảnh RGB
gray2ind Chuyển ảnh trắng đen thành ảnh indexed
im2bw Chuyển ảnh thành ảnh kiểu dữ liệu nhị phân
im2double Chuyển ảnh thành ảnh kiểu dữ liệu double
im2uint16 Chuyển ảnh thành ảnh kiểu dữ liệu uint16
ind2rgb Chuyển ảnh indexed thành ảnh RBG
mat2gray Tạo ảnh gray scale từ ma trận
rgb2ind Chuyển ảnh RBG thành ảnh indexed
rgb2gray Chuyển ảnh RBG thành ảnh gray scale
Các hàm truy xuất dữ liệu ảnh
Imfinfo Truy xuất thông tin ảnh
Imread Đọc ảnh từ file và xuất ra ma trận ảnh
Imwrite Lƣu ma trận ảnh thành file ảnh
Các hàm biến đổi hình học
Imcrop Trích xuất một phần ảnh
Imresize Thay đổi kích thƣớc ảnh
Imrotate Thực hiện phép quay ảnh
Imtranform Thực hiện phép biến đổi hình học tổng quát

CHƢƠNG 3. TÍNH TOÁN VÀ THIẾT KẾ
Chƣơng 3. TÍNH TOÁN VÀ THIẾT KẾ
3.1 GIỚI THIỆU
Nhận dạng cảm xúc trên khuôn mặt đƣợc hy vọng sẽ đƣợc áp dụng cho nhiều
ứng dụng trong cuộc sống. Trong khóa luận này nhóm nghiên cứu chỉ xây dựng một
chƣơng trình mô hình nhỏ để minh họa cho các lý thuyết ở trên. Cụ thể, đây là
chƣơng trình huấn luyện và nhận dạng cảm xúc trên khuôn mặt mặt đƣợc viết trên
phần mềm Matlab, sử dụng các gói hỗ trợ để điều khiển minh họa các ứng dụng
trong thực thế trên kit Arduino.
Nhiệm vụ chính của chƣơng trình là nhận dạng cảm xúc trên khuôn mặt từ
ảnh đầu vào (ảnh chụp sẵn có trong file hoặc lấy trực tiếp từ webcam). Nhận dạng
bằng cách so sánh với một cơ cở dữ liệu huấn luyện có sẵn đƣa ra kết quả. Cuối
cùng nhúng dữ liệu cảm xúc nhận dạng đƣợc xuống Kit Arduino điều khiển thiết bị
ứng với mỗi cảm xúc đã nhận dạng đƣợc.
Nhƣ vậy, ở chƣơng này nhóm sẽ thực hiện các nội dung:
 Cài đặt các gói hỗ trợ cho phần mềm Matlab
 Giải thích sơ đồ nguyên lý của kit Arduino.
 Tính toán và thiết kế sơ đồ khối cho toàn hệ thống
3.2 TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG
3.2.1 Thiết kế sơ đồ khối hệ thống
Với mục tiêu xây dựng cơ sở dữ liệu huấn luyện cho hệ thống và chƣơng
trình nhận dạng ảnh đầu vào từ cơ sở dữ liệu huấn luyện.
Nhóm xây dựng sơ đồ khối toàn bộ hệ thống nhƣ sau:

Hình 3.1 Sơ đồ khối của hệ thống
Khối Camera: là khối có chức năng lấy ảnh từ webcam máy tính.
Khối PC: là khối có chức năng nhận ảnh từ khối ảnh đầu vào, tiền xử lý ảnh
trƣớc khi xử lý, so sánh ảnh cần nhận dạng với ảnh dữ liệu đã đƣợc tập huấn thông
qua phần mềm Matlab. Sau khi xử lí xong sẽ trả về các giá trị tƣơng ứng với cái
trạng thái cảm xúc khuôn mặt, đồng thời ứng với mỗi giá trị cảm xúc đó khối xử lý
trung tâm sẽ đƣa dữ liệu xuống khối điều khiển để điều khiển thiết bị ra.
Khối điều khiển: có chức năng nhận tín hiệu từ máy tính và điều khiển
Servo, Led ứng với mỗi tín hiệu đƣợc gửi đến từ máy tính.
Khối Nguồn: có chức năng nhận cung cấp nguồn cho khối điều khiển, động
cơ servo và tải (Led).
Hệ thống đƣợc chia thành thành 2 phần chính: Huấn luyện và nhận dạng.
 Huấn luyện gồm các quá trình: Lấy ảnh đầu vào, xử lý ảnh đầu vào,
tạo cơ sở dữ liệu.
Camera
PC
Khối điều khiển
Động cơ
Servo
Nguồn 5V
Tải (Led)

Hình 3.2. Sơ đồ khối quá trình tạo cơ sở dữ liệu huấn luyện.
 Nhận dạng gồm các quá trình: Lấy ảnh đầu vào, xử lý đầu vào, so
sánh với cơ sở dữ liệu huấn luyện, đƣa ra kết quả
Hình 3.3. Sơ đồ khối quá trình nhận dạng.
Lấy ảnh vào để huấn luyện
( ảnh chụp hoặc camera)
Xử lý ảnh
Tạo cở sở dữ liệu
(lƣu lại cảm xúc)
Xử lý ảnh
Xuất kết quả- ứng dụng
Lấy ảnh vào để nhận dạng
( ảnh chụp hoặc từ camera)
Tiền xử lý ảnh
So sánh với cơ sở dữ liệu đã
huấn luyện

Khối lấy ảnh đầu vào (bao gồm khối lấy ảnh đầu vào để huấn luyện và khối
lấy ảnh đầu vào để nhận dạng). Chƣơng trình nhận đầu vào từ ảnh chụp hoặc từ
camera, tuy nhiên việc nhận dạng cảm xúc khuôn mặt đƣợc thực hiện trên các bức
ảnh, do đó việc lấy ảnh từ camera ta phải chuyển thành các ảnh tĩnh và xử lý trên
từng ảnh tĩnh. Khi đã có ảnh đầu vào, tiếp tục chuyển ảnh cho quá trình xử lý tiếp
theo.
Khối xử lý ảnh đầu vào: Hệ thống đòi hỏi ảnh đầu vào, ảnh huấn luyện và
ảnh nhận dạng phải có cùng kích thƣớc với nhau. Do đó, ảnh sau khi lấy ảnh, ảnh
phải đƣợc cắt, chỉnh sửa sao cho có cùng kích thƣớc nhất định.
Khối tạo cơ sở dữ liệu: Các ảnh sau khi đƣợc xử lý trong quá trình huấn
luyện sẽ đƣợc lƣu cảm xúc tƣơng ứng vào cơ sở dữ liệu để phục vụ nhận dạng.
Khối so sánh với cơ sở dữ liệu đã huấn luyện: Các ảnh sau khi đƣợc xử lý
cảm xúc ở quá trình nhận dạng sẽ đƣợc đem đi so sánh với ảnh đƣợc huấn luyện
trong cơ sở dữ liệu để đƣa ra kết luận.
Khối xuất kết quả- ứng dụng: Hệ thống sẽ đƣa ra thông tin ảnh cần nhận
dạng có cảm xúc nhƣ thế nào, sau đó chạy ứng dụng trên kit Arduino.
3.2.2.Thiết kế các khối hệ thống
Hệ thống đƣợc xây dựng toàn bộ trên nền Matlab nhúng dữ liệu xuống kit
Arduino nên quá trình tính toán và thiết kế đƣợc thực hiện chủ yếu trên phần mềm.
a. Thiết kế khối đầu lấy ảnh đầu vào
Ở khối đầu vào nhóm sử dụng 2 bộ ảnh để luyện:
 Một lấy ảnh từ ảnh chụp trƣớc đó, có sẵn,
 Một chụp từ camera webcam của máy tính hoặc camera.
Mỗi bộ ảnh có tất cả 390 ảnh bao gồm: 130 ảnh cho cảm xúc vui, 130 ảnh
cho cảm xúc buồn, 130 ảnh cho cảm xúc ngạc nhiên và. Các bức ảnh này phải có
cùng kích thƣớc, đƣợc chụp ở cùng một khoảng cách để hổ trợ cho việc xử lý vào
cở sở dữ liệu phục vụ cho nhận dạng.
Khi lấy ảnh chụp từ camera ta dùng các hàm:
 camlist= webcamlist: hiển thông tin camera.
 cam= webcam() : kết nối với webcam.
 preview(cam) : mở cửa sổ webcam để ảnh

 snapshot(cam): chụp ảnh
b. Thiết kế khối xử lý đầu vào
Ở khối xử lý đầu vào: xây dựng một chƣơng trình để xử lý bằng các lệnh,
hàm đƣợc thƣ viện Matlab hỗ trợ. Sau khi có ảnh đầu vào chuyển đổi chúng sang
cùng kích thƣớc, chuyển đổi hình ảnh màu RGB sang xám bằng cách sử dụng chức
năng imresize(), rgb2gray(). Tiếp theo tách ảnh khuôn mặt bằng công cụ Image
Processing toolbox bằng hàm regionprops(L,properties).
c. Thiết kế khối tạo cơ sở dữ liệu
Ở khối này hệ thống sẽ lƣu trữ các các ảnh đầu vào đã đƣợc xử lý trƣớc đó
để phục vụ quá trình nhận dạng bằng cách tạo một file.txt lƣu trữ tên cảm xúc từng
ảnh đã đƣợc xử lý.
d. Thiết kế so sánh với cơ sở dữ liệu huấn luyện.
Ở khối này hệ thống sử dụng phƣơng pháp Eigenfaces bằng cách chuyển các
ảnh trong cơ sở dữ liệu thành các véctơ riêng, biểu diễn chúng trong một không
gian mới, sau đó làm tƣơng tự cho ảnh cần nhận dạng. Tìm khoảng cách gần nhất
giữa ảnh cần nhận dạng với ảnh trong cơ sở dữ liệu bằng phƣơng pháp Euclid và
ảnh đó chính là cảm xúc cần nhận dạng..
e. Thiết kế khối xuất kết quả- ứng dụng.
Khối này sẽ đọc kết quả cảm xúc nhận dạng đƣợc từ khối so sánh với cơ sở
dữ liệu huấn luyện, tƣơng ứng với mỗi cảm xúc điều khiển ứng dụng trên kit
Arduino:
Cảm xúc vui điều khiển mở cửa.
Cảm xúc buồn điều khiển mở đèn
Cảm xúc ngạc nhiên điều khiển đóng cửa tắt đèn
3.3. CÀI ĐẶT CÁC GÓI HỖ TRỢ PHẦN CỨNG CHO MATLAB
3.3.1. Kết nối Arduino với Matlab
Đầu tiên tiến hành cài đặt gói Arduino trên nền Matlab. Matlab có hỗ trợ các
Package từ phần cứng Ardunio và giao tiếp với nhau thông qua cổng USB. Các gói
Package đƣợc tạo ra dựa trên hoạt động của các chƣơng trình trên board, nó có hỗ
trợ trên môi trƣờng nhƣ Windows, Mac OS, Linux. Trong phần này nhóm chỉ tập
trung vào giao tiếp giữa Ardunio và Matlab.Để cài đặt gói Package làm nhƣ sau:

 Bƣớc 1: Từ giao diện Matlab, click vào Add-Ons chọn Get
Hardware Support Package
Hình 3.4. Get Hardware Support Package.
Bƣớc 2: Cửa sổ Support Package Installer hiện lên, chọn Install from
Internet
Hình 3.5.Cửa sổ Support Package Installer.

Bƣớc 3: Sau đó chọn vào Arduino và tick vào cài đặt các Package
Hình 3.6. Giao diện cài Package cho Arduino.
Bƣớc 4: Đăng nhập vào tài khoản Matlab. Sau khi đăng nhập xong, nhấn
Next để cài đặt đến hết. Nhấn Finish để kết thúc phần cài đặt.
Muốn kiểm tra kết nối Arduino với Matlab thì ta có thể làm nhƣ sau:
 Bƣớc 1: Trên Command Window gõ lệnh: a= arduino
Đây là câu lệnh để kiểm tra kết nối giữa Arduino với Matlab và các Packages
đã đƣợc cài đặt để hỗ trợ cho Arduino hay chƣa.
Hình 3.7.Kết nối Arduino và Matlab thành công.

3.3.2. Cài đặt Camera cho Matlab
Để kết nối Camera , chúng ta cài đặt các gói hỗ trợ phần cứng bổ sung vào
Matlab. Từ cửa sổ Support Package Installer ở Hình 2.4, chúng ta cài đặt tƣơng
tự giống nhƣ cho Arduino.
Bƣớc 1: Chọn vào USB webcam và OS Generic video Interface để cài đặt .
Hình 3.8.Cài đặt Camera cho Matlab.
Bƣớc 2: Đăng nhập vào tài khoản Matlab và nhấn Next cho đến khi cài đặt xong.

CHƢƠNG 4. THI CÔNG HỆ THỐNG
Chƣơng 4. THI CÔNG HỆ THỐNG
4.1 GIỚI THIỆU
Chƣơng này nhóm giới thiệu về hệ thống nhóm đã thực hiện, lƣu đồ cho
chƣơng trình nhận dạng cảm xúc trên khuôn mặt, chƣơng trình chính và các bƣớc
thao tác để sử dụng mô hình.
4.2 THI CÔNG HỆ THỐNG
4.2.1 Thi công bo mạch
Mô hình của nhóm dùng hoàn toàn các module thiết kế sẵn đƣợc bán trên thị
trƣờng.
Bảng 4.1. Danh sách các linh kiện, module.
STT Tên linh kiện Số lƣợng Loại Chú thích
1 Arduino 1 Arduino Uno
2 Động cơ servo 1 SG90
3 Led 4 Led trắng, đỏ
4 Camera 1 Webcam
4.2.2 Lắp ráp và kiểm tra
a. Kết nối Arduino với động cơ servo SG90
Bƣớc 1: chuẩn bị một board Arduino và một động cơ servo
Hình 4.1. Sơ đồ đấu nối dây của Arduino với Servo.

Bƣớc 2: Vì động cơ servo có ba dây: đỏ, đen, vàng
 Dây đỏ: dây cấp nguồn 5V cho động cơ servo, ta kết nối với ngõ ra 5V của
Arduino.
 Dây đen: dây cấp nguồn 0V cho động cơ servo, ta kết nối với ngõ ra 0V của
Arduino.
 Dây vàng: dây tín hiệu điều khiển của động cơ servo, ta kết nối với ngõ ra có
kí hiệu “~” trên các chân ngõ ra của Arduino.
Bƣớc 3. Kiểm tra: Ta có thể dùng chƣơng trình mẫu của phần mềm Arduino
cung cấp sẵn để kiểm tra động cơ servo hoạt động có ổn định hay không?
b. Kết nối Arduino với Led.
Bƣớc 1: Chuẩn bị đèn Led và Arduino và điện trở để hạn dòng cho led
Hình 4.2 Sơ đồ đấu nối dây của Arduino với led.
Bƣớc 2. Ta kết nối chân dƣơng của đèn led với môt ngõ ra tín hiệu của
arduino, chân còn lại của đèn led ta kết nối với một đầu của điện trở, đầu kia của
điện trở kết nối với GND của board arduino.
Ta có công thức tính điện trở hạn dòng cho led: (Ω)
Trong đó: R là điện trở.(Ω)
U: là điện áp.(V)
I: là dòng điện.(A)

Ta có: dòng điện của led là 15mA, điện áp cấp là 5V, điện áp của led là 0,7V

Bƣớc 3. Kiểm tra: Ta có thể dùng chƣơng trình mẫu của phần mềm Arduino
cung cấp sẵn để kiểm tra đèn led hoạt động có ổn định hay không?
4.3 LẬP TRÌNH HỆ THỐNG
4.3.1 Lƣu đồ giải thuật
Lƣu đồ hệ thống:

Hình 4.3. Lưu đồ chương trình chính.
Lấy ảnh đầu vào
Phân tích tính đặc trƣng
Xác định khuôn
mặt
Xác định vùng
miệng
Không xác định
khuôn mặt
Không xác định
vùng miệng
Tập cơ sở dữ
liệu
Nhận dạng cảm xúc
Không nhận dạng
cảm xúc
Điều khiển thiết bị
Đ
Đ
Đ
S
S
S
Bắt đầu
Kết thúc

Để đi đến mục tiêu là nhận dạng đƣợc cảm xúc trên khuôn mặt, ta phải xây
dựng thành công chƣơng trình huấn luyện ảnh và chƣơng trình nhận dạng ảnh đầu
vào.
Đầu tiên khởi tạo cơ sở dữ liệu hay nói cách khác là tạo bộ ảnh huấn luyện
bằng cách tạo chƣơng trình con huấn luyện ảnh.
Sau đó tiến hành nhận dạng ảnh và cho ra kết quả nhận dạng để điều khiển
ứng dụng. Hệ thống nhận dạng trên hai loại ảnh:
 Ảnh có chụp sẵn lƣu trong máy.
 Ảnh trực tiếp chụp bằng webcam máy tính.
Chế độ huấn luyện ảnh sẽ tiến hành chụp 390 ảnh có chứa các cảm xúc trên
khuôn mặt gồm: cảm xúc vui, cảm xúc buồn, và cảm xúc ngạc nhiên. Đầu tiên đặt
một biến đếm bằng 0, sau đó tiến hành khởi động camera. Camera sẽ tiến hành chụp
ảnh các cảm xúc trên khuôn mặt sau đó hệ thống sẽ cân bằng xám và hiệu chỉnh
kích thƣớc ảnh theo kích thƣớc đã quy định trƣớc sau đó lƣu thông tin ảnh. Quá
trình đƣợc thực hiện đến khi hoàn tất với một thông báo.
Chƣơng trình tiến hành nhận dạng ảnh theo sơ đồ:
Hình 4.4. Sơ đồ chương trình nhận dạng.

 Xử lý cơ sở dữ liệu: quá trình bắt đầu với việc tạo file .mat
trong matlab sau đó tiến hành xử lý tập ảnh huấn luyện và lƣu lại dữ liệu.
Khi cần so sánh ảnh chụp với cơ sở dữ liệu phải tiến hành nạp lại file .mat.
 Xử lý ảnh chụp: xử lý ảnh đầu vào chụp từ camera theo sơ đồ
Hình 4.5. Sơ đồ chương trình xử lý ảnh chụp.
 Trích đặc trƣng sử dụng thuật toán để lấy thông tin mang tính
chất riệng biệt của một ảnh.
Các khâu trong quá trình trích đặc trƣng:
 Đầu vào sử dụng ảnh đã đƣợc chuẩn hóa.
 Đầu ra cho ra vector đặc trƣng của ảnh đầu vào.
Quá trình trích đặc trƣng thể hiện theo lƣu đồ:

Hình 4.6. Sơ đồ chương trình trích đặc trưng.
 So sánh ảnh chụp với cơ sở dữ liệu : Tiến hành so sánh ảnh chụp với
cơ sở dữ liệu cụ thể là dùng phƣơng pháp Euclid để tìm ảnh thuộc cơ sở dữ
liệu trong không gian Eigenfaces có khoảng cách gần nhất với ảnh cần nhận
dạng. Từ đó, xuất ra trạng thái cảm xúc tƣơng ứng.
4.4 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC.
4.4.1 Tài liệu hƣớng dẫn sử dụng.
Bƣớc 1: Khởi động phần mềm và kit arduino.

Hình 4.7 Khởi động phần mềm Matlab
Hình 4.8 Giao diện chƣơng trình mô phỏng

Bƣớc 2: Tiến hành chạy chƣơng trình: Đầu tiên bấm chọn biểu Mô Phỏng
trên màn hình để tiến hành chạy chƣơng trình. Sau đó ta sẽ nhìn thấy giao diện nhƣ
sau:
Hình 4.9 Giao diện bên trong chƣơng trình mô phỏng
Trong đó: 1. Open Camera là biểu tƣợng mở camera.
2. Show Image là biểu tƣợng chụp lấy hình ảnh.
3. Add Image là biểu tƣợng lấy ảnh có sẵn trong máy.
4. Result là biểu tƣợng kết quả nhận dạng đƣợc
5. Axes1 khung hiển thị ảnh từ webcam máy tính.
6. Axes2 khung hiển thị ảnh chụp hoặc ảnh lƣu sẵn từ
webcam máy tính.
8. Open Data là biểu tƣợng mở dữ liệu nhận dạng trƣớc đó.
9. Close là biểu tƣợng đóng chƣơng trình.
Bƣớc 3: Ta chọn biểu tƣởng Open Camera để mở camera, điều kiện là đƣa
khuôn mặt trực diện với khoảng cách nhận diện tốt nhất là 50cm so với webcam,
ánh sáng đủ sáng, không quá tối hoặc quá chói.
Bƣớc 4: Chọn biểu tƣợng Result để hiện thị kết quả nhận dạng đƣợc lên
bảng hiện thị.
Bƣớc 5: Quan sát kết quả.

Hình 4.10 Kết quả nhận đƣợc từ ảnh chụp trực tiếp
Hình 4.11 Kết quả nhận đƣợc từ ảnh lƣu sẵn

CHƢƠNG 5. KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ
Chƣơng 5. KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ
5.1KẾT QUẢ
5.1.1. Tổng quan kết quả đạt đƣợc
Sau hơn 3 tháng tìm hiểu tài liệu chuyên môn, tài liệu trên Internet cùng với
sự giúp đỡ tận tình của giáo viên hƣớng dẫn, nhóm thực hiện đề tại : “Nhận dạng
cảm xúc trên khuôn mặt” đã hoàn thành xong theo yêu cầu và đúng thời gian quy
định với những nội dung sau:
 Nắm đƣợc kiến thức cơ bản về kit Arduino, cài đặt đƣợc gói hỗ trợ
Arduino, webcam trên phần mềm Matlab.
 Nắm đƣợc phƣơng pháp trích đặc trƣng PCA, đồng thời áp dụng đƣợc
phƣơng pháp này vào bài toán nhận dạng cảm xúc trên khuôn mặt.
 Xây dựng tốt chƣơng trình huấn luyện ảnh (từ ảnh chụp và webcam)
để tạo cơ sở dữ liệu nhận dạng .
 Xây dựng đƣợc chƣơng trình nhận dạng cảm xúc từ ảnh huấn luyện.
 Nhận dạng thành công trên 80% cho từng loại cảm xúc.
 Tƣơng ứng với từng loại cảm xúc, điều khiển thành công ứng dụng cơ
bản (đóng mở cửa) cho kit Arduino từ phần mềm Matlab.
5.1.2. Kết quả thực tế
Giao diện chính:
Hình 5.1. Giao diện chính
Giao diện chƣơng trình mô phỏng

Hình 5.2. Giao diện chƣơng trình mô phỏng
Nhóm xây dựng chƣơng trình huấn luyện gồm 390 ảnh gồm :130ảnh cảm xúc
vui, 130 ảnh cảm xúc buồn, 130 ảnh cảm ngạc nhiên.
Hình 5.3. Ảnh chụp để kiểm tra

Hình 5.4 Data ảnh huấn luyện
a. Kết quả nhận dạng từ ảnh chụp và chụp sẵn
 Nhận dạng từ ảnh chụp sẵn
Hình 5.5 Nhận dạng thành công cảm xúc “vui” từ ảnh có sẵn.

Hình 5.7 Nhận dạng thành công cảm xúc “buồn” từ ảnh có sẵn.
Hình 5.8 Nhận dạng thành công cảm xúc “ngạc nhiên” từ ảnh có sẵn.
 Nhận dạng ảnh chụp trực tiếp từ webcam
Hình 5.8 Nhận dạng thành công cảm xúc “vui” từ ảnh webcam.

Hình 5.8 Nhận dạng thành công cảm xúc “buồn” từ ảnh chụp
Hình 5.8 Nhận dạng thành công cảm xúc “ngạc nhiên” từ ảnh chụp.
 Kết quả nhận đƣợc.
Hình 5.6 Nhận dạng thành công cảm xúc “vui” mở cửa.

Hình 5.8. Nhận dạng thành công cảm xúc “buồn” mở đèn
Hình 5.9 Nhận dạng thành công cảm xúc “ngạc nhiên” đóng cửa, tắt đèn
b. Kết quả điều khiển ứng dụng trên Arduino
Sau quá trình nhận dạng cảm xúc từ chƣơng trình chính là quá trình nhúng
dữ liệu từ Matlab xuống kit Arduino:

 Cảm xúc vui điều khiển cửa mở
 Cảm xúc buồn điều khiển mở đèn.
 Cảm xúc ngạc nhiên điều khiển đóng cửa tắt đèn.
Ứng dụng hoạt động chƣa ổn định lắm, thiếu chính xác chỉ đáp ứng một phần
yêu cầu nhóm.
c. Kết quả thống kê
 Thống kê kết quả nhận dạng 100 ảnh từ ảnh chụp cho mỗi trạng cảm
xúc ( ảnh huấn luyện và nhận dạng đều là ảnh chụp sẵn, đồng thời ảnh nhận
dạng đƣợc chụp trong cùng điều kiện ảnh huấn luyện) .
Bảng 5.1. Thống kê kết quả nhận dạng từ ảnh chụp.
Cảm xúc Vui Buồn Ngạc nhiên
Số lần thử 100 100 100
Số lần đúng 95 82 89
Số lần sai 5 18 11
Độ chính xác 95% 82% 89%
Thống kê kết quả nhận dạng 100 ảnh lấy trực tiếp từ camera cho mỗi trạng
thái cảm xúc, đồng thời các ảnh lấy trực tiếp từ camera trong cùng điều kiện môi
trƣờng huấn luyện.
Bảng 5.2. Thống kê kết quả nhận dạng từ camera.
Cảm xúc Vui Buồn Ngạc nhiên
Số lần thử 100 100 100
Số lần đúng 90 83 86
Số lần sai 10 17 14
Độ chính xác 90% 83% 86%
5.2NHẬN XÉT VÀ ĐÁNH GIÁ
Đồ án do nhóm thực hiện đã đạt đƣợc khoảng 90% mục tiêu do nhóm đặt ra.

 Điều khiển các ứng dụng trên Arduino tƣơng đối tốt, đúng yêu cầu đặt
ra.Tuy nhiên, do chƣa có nhiều kinh nghiệm nên việc cài đặt Arduino cho
Matlab lúc ban đầu gặp nhiều khó khăn làm tốn nhiều thời gian.
 Tỉ lệ nhận dạng đúng cao nhất cho cả hai trƣờng hợp (nhận dạng từ
ảnh chụp và webcam) là khoảng 95% ở cảm xúc “vui” và thấp nhấp nhất là
82% ở cảm xúc “buồn”. Việc nhận dạng cảm xúc còn phụ thuộc rất nhiều
vào môi trƣờng huấn luyện, nếu khác môi trƣờng huấn luyện độ chính xác
cho từng loại cảm xúc sẽ giảm.

CHƢƠNG 6. KẾT QUẢ VÀ HƢỚNG PHÁT TRIỂN
Chƣơng 6. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN
6.1 KẾT LUẬN
Sau khi tìm hiểu và thực hiện đề tài: “Nhận dạng cảm xúc trên khuôn mặt”,
nhóm đã đạt đƣợc những kết quả nhƣ sau:
 Mô hình “Nhận dạng cảm xúc trên khuôn mặt” hoạt động ổn định, đáp ứng
đƣợc 90% yêu cầu đặt ra ban đầu.
 Mô hình đã nhận dạng đƣợc 3 cảm xúc vui, buồn, ngạc nhiên trên khuôn mặt
với ảnh đầu đầu vào là ảnh đƣợc chụp từ webcam trên máy tính và ảnh đã đƣợc
chụp sẵn.
 Ứng với trạng thái cảm xúc vui thì mô hình đã điều khiển đƣợc động cơ mở
cửa. Cảm xúc buồn mô hình điều khiển mở đèn. Khi cảm xúc ngạc nhiên sẽ điều
khiển đóng cửa và tắt đèn.
6.2 Ƣu và nhƣợc điểm
6.2.1 Ưu điểm
 Mô hình đơn giản, nhỏ gọn, dễ vận hành hệ thống.
 Dễ dàng thay đổi tăng số lƣợng nhận dạng sao cho phù hợp khi có nhu cầu.
 Các linh kiện trên mạch dễ dàng thay thế nếu gặp sự cố.
6.2.2 Nhƣợc điểm
 Hƣớng mặt phải tƣơng đối trực diện với webcam. Nghiêng, xoay
trái, xoay phải, ngẩng đầu và cúi xuống góc lớn hơn 30 thì giải thuật có thể
không phát hiện đƣợc cảm xúc hoặc phát hiện đƣợc nhƣng tỉ lệ nhận dạng
đúng rất thấp.
 Khi khoảng cách càng xa (lớn hơn 50cm) thì tỉ lệ nhận dạng đúng
càng giảm xuống.
 .Mô hình vẫn còn xảy ra tình trạng nhận dạng không chính xác cảm
xúc buồn và ngạc nhiên hoặc không nhận dạng. Dẫn đến hệ thống điều khiển
hoạt động với độ chính xác không cao.

CHƢƠNG 6. KẾT QUẢ VÀ HƢỚNG PHÁT TRIỂN
6.3 HƢỚNG PHÁT TRIỂN
Trong phạm vi đồ án nhóm chỉ trình bày những phần cơ bản đƣợc lập trình
trên Matlab. Tuy nhiên việc mở rộng mô hình nhận dạng cảm xúc để điều khiển các
ứng dụng thực tế hơn thì cần có thời gian nghiên cứu và cải tiến. Nhóm nghiên cứu
nhận thấy có thể phát triển thêm các tính năng sau:
 Tăng thêm số lƣợng nhận dạng cảm xúc khác trên khuôn mặt ngƣời
nhƣ nhận dạng cảm xúc giận dữ, hốt hoảng, sợ hãi. Để có thể ứng dụng vào
thực tiễn nhƣ điều khiển các thiết bị trong gia đình, robot, các cảnh báo .
 Xây dựng một chƣơng trình hoàn chỉnh để chƣơng trình nhận dạng
không phụ thuộc vào khoảng cách và điều kiện môi trƣờng nhận dạng, có thể
nhận dạng ở mọi khoảng cách, điều kiện môi trƣờng khác nhau. Đồng thời có
giao diện để tƣơng tác trực tiếp với ngƣời sử dụng thông qua web hoặc phần
mền trên điện thoại.

MỤC LỤC
Sách tham khảo
[1] Đinh Xuân Nhất, Nghiên cứu các thuật toán nhận dạng cảm xúc khuôn mặt
trên ảnh 2D, Khóa luận tốt nghiệp, Trƣờng Đại học Công nghệ-ĐHQGHN, 2010.
[2] Lê Mạnh Tuấn, Phát hiện mặt người trong ảnh và ứng dụng, Khóa luận tốt
nghiệp, Trƣờng Đại học Công nghệ-ĐHQGHN, 2009.
[3] Võ Hồng Hoan, Nhận dạng mặt người trên Matlab, Khóa luận tốt nghiệp,
Trƣờng Đại học sƣ pham kỹ thuật TP.HCM, 2010.
[4] Nguyễn Thanh Hải, Giáo trình: Xử lý ảnh, Nhà xuất bản ĐH Quốc Gia TP. Hồ
Chí Minh, 2014.
[5] Lê Hồng Anh – Nguyễn Thái Bình, Ứng dụng ngôn ngữ hình thể trên Matlab,
Khóa luận tốt nghiệp, Trƣờng Đại học Công Nghiệp HN, 2011
[6] Nguyễn Trung Hiếu- Bùi Ngọc Liêm, Dò Tìm và Cắt Ảnh Mặt Người Dùng
PCA, Khóa luận tốt nghiệp, Trƣờng Đại học Công Nghiệp TP.HCM, 2010
[7]Ngô Quốc Tạo, Ngô Phƣơng Đông, Nguyễn Thanh Hòa, Phạm Việt Bình
(2003), Báo cáo “Nhận dạng mặt người trong môi trường độ sáng không đồng
nhất”, Hội thảo Công nghệ thông tin quốc gia lần thứ VIII, Thái Nguyên, 29-
31/8/2003
[8]. Các Wedsite:
http://www.mathworks.com/matlabcentral/fileexchange/?term=Variable
http://www.picvietnam.com/forum//showthread.php?t=387
www. diendandientu. com
www. dientuvienthong. net

PHỤ LỤC
PHỤ LỤC
1. Hàm train
function [isSucceed] = EigenFace(strTrainPath, strLabelFile, strTestPath)
isSucceed = 0;
if (exist('strTrainPath')==0)
strTrainPath = input('Enter Train Folder Name:','s');
end
if (exist('strLabelFile')==0)
strLabelFile = input('Enter Label File Name:','s');
end
somau = input('Enter So Mau:','s');
fid=fopen(strLabelFile);
imageLabel=textscan(fid,'%s %s','whitespace',',');
fclose(fid);
numImage = length(imageLabel{1,1}); % Total Observations: Number of Images
in training set
numImage = length(imageLabel{1,1});
TrainImages='';
for i = 1:numImage
TrainImages{i,1} = strcat(strTrainPath,'',imageLabel{1,1}(i));
end
imageSize = [60,40];
% load train data
img = zeros(imageSize(1)*imageSize(2),numImage);
for i = 1:numImage
ab =
imresize(imresize(imread(cell2mat(TrainImages{i,1})),[375,300]),imageSize);
a1= rgb2gray(ab);
aa=histeq(uint8(a1));
img(:,i) = aa(:);
disp(sprintf('Loading Train Image # %d',i));
end
meanImage = mean(img,2); % trung binh mau
img = (img - meanImage*ones(1,numImage))'; % dau vao PCA
[C,S,L]=princomp(img,'econ');% Performing PCA Here
EigenRange = [1:(somau-1)]; % doi tuy thuoc vao so anh dau vao
C = C(:,EigenRange);

PHỤ LỤC
save('somau.mat','somau');
save('C.mat','C');
save('S.mat','S');
save('L.mat','L');
save('imageLabel.mat','imageLabel');
save('meanImage.mat','meanImage');
2. Chƣơng trình lấy mẫu đầu vào
vid=videoinput('winvideo', 1,'YUY2_640x480');
preview(vid);
for k=0:10%
capcha = getsnapshot(vid);
videoFrame=ycbcr2rgb(capcha);
%figure(1), imshow(videoFrame);
FaceDetect = vision.CascadeObjectDetector;
BB = step(FaceDetect,videoFrame);
figure(2),imshow(videoFrame);
hold on
%BB(:,3)
%BB(:,4)
%if c > 6400
for i = 1:size(BB,1)
c=BB(i,3)*BB(i,4);
% vung chua khuon mat
if c > 6400
a=rectangle('Position',BB(i,:),'LineWidth',3,'LineStyle','-','EdgeColor','r');
J= imcrop(videoFrame,[BB(i,1),BB(i,2),BB(i,3),BB(i,4)+15]);
[x y]=size(J(:,:,1));
MouthDetect =
vision.CascadeObjectDetector('Mouth','MergeThreshold',16);
B=step(MouthDetect,J);
% tim vung chua mouth
j=size(B,1);
if j>1
a=max(B(:,2));
[ik jk]=find(B(:,2)==a);
if B(ik,2)> x/2
if B(ik,2)< 0.65*x
rectangle('Position',[BB(i,1)+B(ik,1),BB(i,2)+B(ik,2)+x/15,B(ik,3),B(ik,4)],'LineWi
dth',4,'LineStyle','-','EdgeColor','b');
I= imcrop(J,[B(ik,1),B(ik,2)+x/15,B(ik,3),B(ik,4)]);
pathname='D:DAITRANGDOANTOT NGHIEPDATN_TRANGcam
xuc khuon matcam xuc khuon matdata';
filename = [pathname num2str(j+k*(size(B,1))) '.jpg'];
imwrite(I,filename);

PHỤ LỤC
else
rectangle('Position',[BB(i,1)+B(ik,1),BB(i,2)+B(ik,2),B(ik,3),B(ik,4)],'LineWidth',4
,'LineStyle','-','EdgeColor','b');
I= imcrop(J,[B(ik,1),B(ik,2),B(ik,3),B(ik,4)]);
pathname='D:DAITRANGDOAN TOT NGHIEPDATN_TRANGcam
xuc khuon matcam xuc khuon matdata';
end
end
elseif j==1
if B(1,2)>x/2
if B(1,2)< 0.65*x
rectangle('Position',[BB(i,1)+B(1,1),BB(i,2)+B(1,2)+x/15,B(1,3),B(1,4)],'LineWidt
h',4,'LineStyle','-','EdgeColor','b');
I= imcrop(J,[B(1,1),B(1,2)+x/15,B(1,3),B(1,4)]);
pathname='D:DAI TRANGDO AN TOT
NGHIEPDATN_TRANGcam xuc khuon matcam xuc khuon matdata';
else
rectangle('Position',[BB(i,1)+B(1,1),BB(i,2)+B(1,2),B(1,3),B(1,4)],'LineWidth',4,'L
ineStyle','-','EdgeColor','b');
I= imcrop(J,[B(1,1),B(1,2),B(1,3),B(1,4)]);
pathname='D:DAI TRANGDO AN TOT
NGHIEPDATN_TRANGcam xuc khuon matcam xuc khuon matdata';
end
end
end
end
end
end
%figure(10), imshow(J);
3. Giao diện chính chƣơng trình
function varargout = giaodienchuongtrinh(varargin)
% GIAODIENCHUONGTRINH MATLAB code for giaodienchuongtrinh.fig

PHỤ LỤC
% GIAODIENCHUONGTRINH, by itself, creates a new
GIAODIENCHUONGTRINH or raises the existing
% singleton*.
%
% H = GIAODIENCHUONGTRINH returns the handle to a new
GIAODIENCHUONGTRINH or the handle to
% the existing singleton*.
%
% GIAODIENCHUONGTRINH('CALLBACK',hObject,eventData,handles,...)
calls the local
% function named CALLBACK in GIAODIENCHUONGTRINH.M with the
given input arguments.
%
% GIAODIENCHUONGTRINH('Property','Value',...) creates a new
GIAODIENCHUONGTRINH or raises the
% existing singleton*. Starting from the left, property value pairs are
% applied to the GUI before giaodienchuongtrinh_OpeningFcn gets called. An
% unrecognized property name or invalid value makes property application
% stop. All inputs are passed to giaodienchuongtrinh_OpeningFcn via varargin.
%
% *See GUI Options on GUIDE's Tools menu. Choose "GUI allows only one
% instance to run (singleton)".
%
% See also: GUIDE, GUIDATA, GUIHANDLES
% Edit the above text to modify the response to help giaodienchuongtrinh
% Last Modified by GUIDE v2.5 04-May-2018 22:48:07
% Begin initialization code - DO NOT EDIT
gui_Singleton = 1;
gui_State = struct('gui_Name', mfilename, ...
'gui_Singleton', gui_Singleton, ...
'gui_OpeningFcn', @giaodienchuongtrinh_OpeningFcn, ...
'gui_OutputFcn', @giaodienchuongtrinh_OutputFcn, ...
'gui_LayoutFcn', [] , ...
'gui_Callback', []);
if nargin && ischar(varargin{1})
gui_State.gui_Callback = str2func(varargin{1});
end
if nargout
[varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:});
else
gui_mainfcn(gui_State, varargin{:});
end
% End initialization code - DO NOT EDIT

PHỤ LỤC
% --- Executes just before giaodienchuongtrinh is made visible.
function giaodienchuongtrinh_OpeningFcn(hObject, eventdata, handles, varargin)
% This function has no output args, see OutputFcn.
% hObject handle to figure
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
% varargin command line arguments to giaodienchuongtrinh (see VARARGIN)
axes(handles.axes1);
A=imread('logo.jpg');
imshow(A);
% Choose default command line output for giaodienchuongtrinh
handles.output = hObject;
% Update handles structure
guidata(hObject, handles);
% UIWAIT makes giaodienchuongtrinh wait for user response (see UIRESUME)
% uiwait(handles.figure1);
% --- Outputs from this function are returned to the command line.
function varargout = giaodienchuongtrinh_OutputFcn(hObject, eventdata, handles)
% varargout cell array for returning output args (see VARARGOUT);
% Get default command line output from handles structure
varargout{1} = handles.output;
% --- Executes on button press in pushbutton1.
function pushbutton1_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton1 (see GCBO)
close
mophong

PHỤ LỤC
close
% --- Executes during object creation, after setting all properties.
function text2_CreateFcn(hObject, eventdata, handles)
% hObject handle to text2 (see GCBO)
% handles empty - handles not created until after all CreateFcns called
4. Chƣơng trình mô phỏng
function varargout = mophong(varargin)
% MOPHONG MATLAB code for mophong.fig
% MOPHONG, by itself, creates a new MOPHONG or raises the existing
% singleton*.
%
% H = MOPHONG returns the handle to a new MOPHONG or the handle to
% the existing singleton*.
%
% MOPHONG('CALLBACK',hObject,eventData,handles,...) calls the local
% function named CALLBACK in MOPHONG.M with the given input
arguments.
%
% MOPHONG('Property','Value',...) creates a new MOPHONG or raises the
% existing singleton*. Starting from the left, property value pairs are
% applied to the GUI before mophong_OpeningFcn gets called. An
% unrecognized property name or invalid value makes property application
% stop. All inputs are passed to mophong_OpeningFcn via varargin.
%
% *See GUI Options on GUIDE's Tools menu. Choose "GUI allows only one
% instance to run (singleton)".
%
% See also: GUIDE, GUIDATA, GUIHANDLES
% Edit the above text to modify the response to help mophong
% Last Modified by GUIDE v2.5 17-Jul-2018 12:13:54
% Begin initialization code - DO NOT EDIT
gui_Singleton = 1;
gui_State = struct('gui_Name', mfilename, ...
'gui_Singleton', gui_Singleton, ...
'gui_OpeningFcn', @mophong_OpeningFcn, ...
'gui_OutputFcn', @mophong_OutputFcn, ...
'gui_LayoutFcn', [] , ...

PHỤ LỤC
'gui_Callback', []);
if nargin && ischar(varargin{1})
gui_State.gui_Callback = str2func(varargin{1});
end
if nargout
[varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:});
else
gui_mainfcn(gui_State, varargin{:});
end
% End initialization code - DO NOT EDIT
% --- Executes just before mophong is made visible.
function mophong_OpeningFcn(hObject, eventdata, handles, varargin)
% This function has no output args, see OutputFcn.
% varargin command line arguments to mophong (see VARARGIN)
biendem=1;
biendem1=1;
save('dulieu.mat')
save('bien.mat','biendem');
save('bien1.mat','biendem1');
% Choose default command line output for mophong
handles.output = hObject;
% Update handles structure
% UIWAIT makes mophong wait for user response (see UIRESUME)
% uiwait(handles.figure1);
% --- Outputs from this function are returned to the command line.
function varargout = mophong_OutputFcn(hObject, eventdata, handles)
% varargout cell array for returning output args (see VARARGOUT);
% Get default command line output from handles structure
varargout{1} = handles.output;

PHỤ LỤC
% show webcam
vid = videoinput('winvideo', 1,'YUY2_640x480');
% only capture one frame per trigger, we are not recording a video
vid.FramesPerTrigger = 1;
% output would image in RGB color space
vid.ReturnedColorspace = 'rgb';
% tell matlab to start the webcam on user request, not automatically
triggerconfig(vid, 'manual');
% we need this to know the image height and width
vidRes = get(vid, 'VideoResolution');
% image width
imWidth = vidRes(1);
% image height
imHeight = vidRes(2);
% number of bands of our image (should be 3 because it's RGB)
nBands = get(vid, 'NumberOfBands');
% create an empty image container and show it on axPreview
hImage = image(zeros(imHeight, imWidth, nBands), 'parent', handles.axes1);
% begin the webcam preview
preview(vid, hImage);
handles.vid=vid;
vid= handles.vid;
capcha = getsnapshot(vid);
%videoFrame=ycbcr2rgb(capcha);
%FaceDetect = vision.CascadeObjectDetector;
% BB = step(FaceDetect,capcha);
%figure(2),imshow(videoFrame);

PHỤ LỤC
% hold on
%if c > 6400
% i=size(BB,1)
%
a=rectangle('Position',[BB(i,1),BB(i,2),BB(i,3),BB(i,4)+15],'LineWidth',3,'LineStyl
e','-','EdgeColor','r');
% J= imcrop(BB,[BB(i,1),BB(i,2),BB(i,3),BB(i,4)+15]);
%[x y]=size(J(:,:,1));
% MouthDetect =
% B=step(MouthDetect,J);
imshow(capcha);
%imshow(BB)
%videoFrame=ycbcr2rgb(capcha);
%figure(1), imshow(videoFrame);
handles.capcha=capcha;
fclose(instrfind);
close
%%%%%
%%%%%
load('bien.mat')
load('bien1.mat')
a=load('C.mat');
b=load('S.mat');
c=load('L.mat');
d=load('imageLabel.mat');
e=load('meanImage.mat');

PHỤ LỤC
f=load('somau.mat');
C=a.C;
S=b.S;
L=c.L;
somau=f.somau;
meanImage=e.meanImage;
imageLabel=d.imageLabel;
imageSize = [60,40];
numImage=size(S,1);
global w;
w = serial('COM5'); %% khai báo chân k?t n?i v?i arduino
videoFrame=handles.capcha;
FaceDetect = vision.CascadeObjectDetector;
BB = step(FaceDetect,videoFrame);
%figure(2),imshow(videoFrame);
% hold on
for i = 1:size(BB,1)
c=BB(i,3)*BB(i,4);
if c > 6400
i=size(BB,1)
%
a=rectangle('Position',[BB(i,1),BB(i,2),BB(i,3),BB(i,4)+15],'LineWidth',3,'LineStyl
e','-','EdgeColor','r');
J= imcrop(videoFrame,[BB(i,1),BB(i,2),BB(i,3),BB(i,4)+15]);
[x y]=size(J(:,:,1));
MouthDetect =
B=step(MouthDetect,J);
%figure(3), imshow(B); da sua
% tim vung chua mouth
j=size(B,1);
if j>1
a=max(B(:,2));
[ik jk]=find(B(:,2)==a);
if B(ik,2)> x/2
if B(ik,2)< 0.65*x
%
rectangle('Position',[BB(i,1)+B(ik,1),BB(i,2)+B(ik,2)+x/15,B(ik,3),B(ik,4)],'LineWi
dth',4,'LineStyle','-','EdgeColor','b');
I= imcrop(J,[B(ik,1),B(ik,2)+x/15,B(ik,3),B(ik,4)]);
%I= imcrop(J,[B(ik,1),B(ik,2),B(ik,3),B(ik,4)]);
figure(4), imshow(I);

PHỤ LỤC
else
%
rectangle('Position',[BB(i,1)+B(ik,1),BB(i,2)+B(ik,2),B(ik,3),B(ik,4)],'LineWidth',4
,'LineStyle','-','EdgeColor','b');
I= imcrop(J,[B(ik,1),B(ik,2),B(ik,3),B(ik,4)]);
end
% chac chan co cam xuc
% nhan dang cam xuc
img = zeros(imageSize(1)*imageSize(2),1);
ab = imresize(imresize(I,[375,300]),imageSize); %% cat anh ra lay khuon mieng
doianh=size(ab,3);
if doianh==1
a1=ab;
else
a1=rgb2gray(ab);
end
img(:,1) = aa(:);% luu hinh test dang cot%
img = (img - meanImage*ones(1,1))';
Projected_Test = img*C;
EigenRange = [1:(somau-1)];
TestImage = Projected_Test(1,:);
Other_Dist = zeros(1,numImage);
for i = 1:numImage
Other_Dist(1,i) = sqrt((TestImage'-S(i,EigenRange)')' ...
*(TestImage'-S(i,EigenRange)'));
end
[Min_Dist,Min_Dist_pos] = min(Other_Dist,[],2);
Expr = cell2mat(imageLabel{1,2}(Min_Dist_pos));
fopen(w);
pause(2); % thoi gian delay
fwrite(w,1);
fclose(instrfind); %buon
%%%%%%%%%%%%%%%%%%%%%%%
%data{k}=Expr;
%so = cell2mat(imageLabel{1,1}(Min_Dist_pos));
%set(handles.edit1,'string',so);

PHỤ LỤC
a=clock;
s1=sprintf('%d - %d - %d',a(3),a(2),a(1));
s2=sprintf('%d:%d:%d',a(4),a(5),round(a(6)));
%data = {s1,s2,Expr};
load('dulieu.mat');
data{biendem,1}=s1;
data{biendem,2}=s2;
data{biendem,3}=Expr;
save('dulieu.mat','data');
load('dulieu.mat')
biendem=biendem+1;
save('bien.mat','biendem')
set(handles.uitable1,'Data',data);
data
% nhan dang xong cam xuc
end
elseif j==1
if B(1,2)>x/2
if B(1,2)<0.65*x
%
rectangle('Position',[BB(i,1)+B(1,1),BB(i,2)+B(1,2)+x/8,B(1,3),B(1,4)],'LineWidth'
,4,'LineStyle','-','EdgeColor','b');
I= imcrop(J,[B(1,1),B(1,2)+x/15,B(1,3),B(1,4)]);
%I= imcrop(J,[B(1,1),B(1,2),B(1,3),B(1,4)]);
else
%rectangle('Position',[BB(i,1)+B(1,1),BB(i,2)+B(1,2),B(1,3),B(1,4)],'LineWidth',4,'
LineStyle','-','EdgeColor','b');
I= imcrop(J,[B(1,1),B(1,2),B(1,3),B(1,4)]);
end
% chac chan co cam xuc
% nhan dang cam xuc
img = zeros(imageSize(1)*imageSize(2),1);
ab = imresize(imresize(I,[375,300]),imageSize);
doianh=size(ab,3);
if doianh==1
a1=ab;

PHỤ LỤC
else
a1=rgb2gray(ab);
end
img(:,1) = aa(:);% luu hinh test dang cot%
img = (img - meanImage*ones(1,1))';
Projected_Test = img*C;
EigenRange = [1:(somau-1)];
TestImage = Projected_Test(1,:);
Other_Dist = zeros(1,numImage);
for i = 1:numImage
Other_Dist(1,i) = sqrt((TestImage'-S(i,EigenRange)')' ...
*(TestImage'-S(i,EigenRange)'));
end
[Min_Dist,Min_Dist_pos] = min(Other_Dist,[],2);
Expr = cell2mat(imageLabel{1,2}(Min_Dist_pos));
%%global w;
%%w = serial('COM5');
fopen(w);
pause(2);
fwrite(w,2); % vui
fclose(instrfind);
%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%
%so = cell2mat(imageLabel{1,1}(Min_Dist_pos));
%set(handles.edit1,'string',so);
%data{k}=Expr;
% nhan dang xong cam xuc
a=clock;
s1=sprintf('%d - %d - %d',a(3),a(2),a(1));
%d = {s1,s2,Expr};
load('dulieu.mat');
data{biendem,1}=s1;
data{biendem,2}=s2;

PHỤ LỤC
data{biendem,3}=Expr;
load('dulieu.mat')
biendem=biendem+1;
%save('luu.mat','data');
data
if (strcmp(Expr,'ngac nhien'))
tam = 3;
fopen(w);
pause(2);
fwrite(w,3); %ngac nhien
fclose(instrfind);
%tam
end
end
end
end
end
biendem1=biendem1+1;
save('bien1.mat','biendem1')
if biendem<biendem1
a=clock;
s1=sprintf('%d - %d - %d',a(3),a(2),a(1));
%d = {s1,s2,Expr};
load('dulieu.mat');
data{biendem,1}=s1;
data{biendem,2}=s2;
data{biendem,3}='Khong Chua Khuon Mat';
load('dulieu.mat')
biendem=biendem+1;
end

PHỤ LỤC
load('dulieu.mat')
xlswrite('data.xls',data);
winopen('data.xls');
function edit1_Callback(hObject, eventdata, handles)
% hObject handle to edit1 (see GCBO)
% Hints: get(hObject,'String') returns contents of edit1 as text
% str2double(get(hObject,'String')) returns contents of edit1 as a double
function edit1_CreateFcn(hObject, eventdata, handles)
% hObject handle to edit1 (see GCBO)
% Hint: edit controls usually have a white background on Windows.
% See ISPC and COMPUTER.
if ispc && isequal(get(hObject,'BackgroundColor'),
get(0,'defaultUicontrolBackgroundColor'))
set(hObject,'BackgroundColor','white');
end
[filename, pathname] = uigetfile('*','LOAD AN IMAGE');
A=imread(fullfile(pathname, filename));
imshow(A);
handles.capcha= A;

PHỤ LỤC
% --- Executes when entered data in editable cell(s) in uitable1.
function uitable1_CellEditCallback(hObject, eventdata, handles)
% hObject handle to uitable1 (see GCBO)
% eventdata structure with the following fields (see
MATLAB.UI.CONTROL.TABLE)
% Indices: row and column indices of the cell(s) edited
% PreviousData: previous data for the cell(s) edited
% EditData: string(s) entered by the user
% NewData: EditData or its converted form set on the Data property. Empty if
Data was not changed
% Error: error string when failed to convert EditData to appropriate value for Data
function axes1_CreateFcn(hObject, eventdata, handles)
% hObject handle to axes1 (see GCBO)
% Hint: place code in OpeningFcn to populate axes1
function axes2_CreateFcn(hObject, eventdata, handles)
% hObject handle to axes2 (see GCBO)
% Hint: place code in OpeningFcn to populate axes2
function figure1_CreateFcn(hObject, eventdata, handles)
% hObject handle to figure1 (see GCBO)
5.Chƣơng trình code Arduino.
#include <Servo.h>
#include <EEPROM.h>
Servo myservo;
int servopin = 10; // analog pin used to connect the potentiometer
int led = 8;

PHỤ LỤC
int tam = 0;
int tam2 = 0;
int data = 0;
int pos = 0;
void setup()
{
myservo.attach(servopin);
Serial.begin(9600);
pinMode(led,OUTPUT); // Cài d?t chân D2 du?i d?ng OUTPUT
//pinMode(13,OUTPUT); // Cài d?t chân D2 du?i d?ng OUTPUT
pos = EEPROM.read(2);
myservo.write(pos); // sets the servo position according to the scaled
value
delay(1000);
if (EEPROM.read(1)== 2)
{
//digitalWrite(led,LOW);
myservo.write(0); // sets the servo position according to the scaled
value
delay(15);
}
else if (EEPROM.read(1)== 3)
{
//digitalWrite(led,LOW);
value
delay(15);
}
else if (EEPROM.read(1)== 1)
{
digitalWrite(led,HIGH);
pos = EEPROM.read(2);
myservo.write(pos); // sets the servo position according to the scaled
value
delay(500);
}
}
void loop()
{
if (Serial.available()>0)
{
data = Serial.read();

PHỤ LỤC
}
if (data==2) // vui
{
value
delay(15);
tam = 2;
EEPROM.write(1, tam);
delay(100);
EEPROM.write(2, 0);
delay(100);
}
else if(data==1)
{
digitalWrite(led,HIGH); // buon - Ðèn led sáng
tam = 1;
delay(100);
}
else if (data==3)//ngac nhien - dong cua, tat den
{
digitalWrite(led,LOW); //
tam = 3;
value
delay(15);
delay(100);
EEPROM.write(2, 180);
delay(100);
}
}

Luận văn: Nhận dạng cảm xúc khuôn mặt người, HAY, 9đ

More Related Content

What's hot (20)

Similar to Luận văn: Nhận dạng cảm xúc khuôn mặt người, HAY, 9đ (20)

More from Dịch vụ viết bài trọn gói ZALO 0917193864 (20)

Recently uploaded (20)

Luận văn: Nhận dạng cảm xúc khuôn mặt người, HAY, 9đ