2023_IQA_Hoi thao ky thuat khao thi_Tong quan.pptx
1. T ng quan k thu t
ổ ỹ ậ
Phân tích
câu h i tr c nghi m
ỏ ắ ệ
Phòng Đ m b o Ch t l ng Giáo d c và Kh o thí
ả ả ấ ượ ụ ả
Đ I H C Y D C THÀNH PH H CHÍ MINH
Ạ Ọ ƯỢ Ố Ồ
2. Rà soát câu h i tr c nghi m
ỏ ắ ệ
• Câu h i nào c n b ra kh i bài thi? Vì sao?
ỏ ầ ỏ ỏ
• M i nh nào c n ch nh s a? Vì sao?
ồ ử ầ ỉ ử
• Câu h i nào đang t t?
ỏ ố
• Làm th nào đ so sánh đi m các bài test c a SV, ho c c a BM?
ế ể ể ủ ặ ủ
• Các ch s nào cho bi t tình tr ng c a câu h i?
ỉ ố ế ạ ủ ỏ
• Báo cáo phân tích đánh giá đ thi nh th nào?
ề ư ế
3. Tài li u tham kh o
ệ ả
• Sue (1990). Principles of test theory. Laurence Erlbaum Assoc.
• De Vellis (1991).Scale development: Theory anad applications. Sage Pub.
• Haladyna (1999). Developing and validating multiple-choice test items.
Laurence Erlbaum Assoc.
4. Phân tích câu h i tr c nghi m là gì?
ỏ ắ ệ
• Phân tích th ng kê
ố
• B câu h i đã ch n làm đ thi
ộ ỏ ọ ề
• S li u sau khi thi
ố ệ
• B ng công c tính toán chuyên
ằ ụ
d ng
ụ
• Ph n m m MCQ basicstats
ầ ề
• Đ giúp gi ng viên rà soát CĐR
ể ả
• So kh p
ớ
• Đi u ch nh
ề ỉ
• Đ đ m b o ch t l ng đ thi
ể ả ả ấ ượ ề
• Hi u qu đánh giá c a câu h i
ệ ả ủ ỏ
• Đánh giá chính xác k t qu h c t p
ế ả ọ ậ
5. Phân tích theo k thu t kh o thí
ỹ ậ ả
KH O = Norm-referenced
Ả
Hi u qu làm bài c a SV
ệ ả ủ
So sánh gi a các SV
ữ
• Phân ph i t n s
ố ầ ố
• S p h ng các SV
ắ ạ
THÍ = Criterion – Referenced
Hi u qu làm bài c a SV
ệ ả ủ
So v i m t tiêu chu n thành công
ớ ộ ẩ
• M t b năng l c
ộ ộ ự
• M t nhi m v đ c tr ng
ộ ệ ụ ặ ư
6. Vì sao c n làm đi u đó?
ầ ề
• Câu h i t t có th s d ng l i
ỏ ố ể ử ụ ạ
• Lo i b câu h i trùng, d , sai
ạ ỏ ỏ ư
• Phát hi n đ c đi m h c t p c a
ệ ặ ể ọ ậ ủ
SV
• Nâng cao năng l c qu n lý đ
ự ả ề
• Xác đ nh n i dung d y c n nh n
ị ộ ạ ầ ấ
m nh ho c làm rõ
ạ ặ
7. Đánh giá năng l c b ng đi m nào?
ự ằ ể
• Đi m thô = S câu tr l i đúng
ể ố ả ờ
• Đi m hi u ch nh = Theo phân
ể ệ ỉ
ph i chu n
ố ẩ
• Đi m năng l c quan sát đ c
ể ự ượ
= Đi m năng l c th c + Sai s
ể ự ự ố
• Ki m soát h n ch sai s
ể ạ ế ố
• Bao quát ph m vi năng l c
ạ ự
• Thi t k , rà soát, hi u ch nh theo
ế ế ệ ỉ
PDCA
8. Đ tin c y c a câu h i th nào?
ộ ậ ủ ỏ ế
Tính tin c y
ậ
• B n v ng
ề ữ
• TS đi m cao tr l i đúng nhi u
ể ả ờ ề
• TS đi m th p tr l i sai nhi u
ể ấ ả ờ ề
• C i ti n
ả ế
• CH đ s l ng
ủ ố ượ
• CH rõ, đ n gi n, theo đúng format
ơ ả
• CH phù h p n i dung h c t p
ợ ộ ọ ậ
• CH đáp ng CĐR môn h c
ứ ọ
Th ng kê
ố
• Cronbach Alpha
• Kuder-Richardson
• KR20: nh giá
ị
• Ph m vi 0.00 – 1.00
ạ
• Nên từ 0.7 tr lên
ở
• G n 0.00: quan h gi a các CH y u
ầ ệ ữ ế
• G n 1.00: quan h gi a các CH m nh
ầ ệ ữ ạ
• Tính đ n chi u
ơ ề
9. Vì sao ph i phân tích câu h i?
ả ỏ
• Câu h i không t t
ỏ ố
• Gi m đ tin c y bài thi
ả ộ ậ
• S câu h i nhi u
ố ỏ ề
• Tăng kh năng có CH không t t
ả ố
• Câu h i có
ỏ quá d hay quá khó
ễ
không?
• Có khó hi u
ể hay gây hi u l m
ể ầ không?
• Câu h i có
ỏ phân bi t đ c SV
ệ ượ
có/không h c bài, h c t t/không t t?
ọ ọ ố ố
10. Đ khó c a câu h i là gì?
ộ ủ ỏ
• T l TS ch n câu tr l i đúng
ỷ ệ ọ ả ờ
cho câu h i đ c xét
ỏ ượ
D = c/n
c = s câu tr l i đúng
ố ả ờ
n = s thí sinh
ố
• Ph m vi 0.00 – 1.00
ạ
• D càng nh , càng ít SV tr l i
ỏ ả ờ
đúng
• Ch p nh n đ c
ấ ậ ượ 0.30 -0.90
• Khi nào D > 0.7
• Nh n m nh s tinh thông
ấ ạ ự
• Yêu c u làm ch đ c n i dung
ầ ủ ượ ộ
h c
ọ
11. Đ khó và m i nh
ộ ồ ử
• B n ch t c a m i nh
ả ấ ủ ồ ử
• Thông tin sai
• Phát bi u có v đúng
ể ẻ
• Đ khó phu thu c m i nh
ộ ộ ồ ử
• S l ng
ố ượ
• 3 l a ch n :: 0.66
ự ọ
• 4 l a ch n :: 0.63
ự ọ
• 5 l a ch n :: 0.60
ự ọ
• Ch t l ng = đánh đúng ch y u
ấ ượ ỗ ế
• Đi m y u t duy
ể ế ư
• L h ng ki n th c
ỗ ổ ế ứ
• Thi u sót k năng
ế ỹ
12. Câu h i có giúp phân lo i đ c thí sinh?
ỏ ạ ượ
Đ phân cách
ộ
DI = (a – b)/n
• S SV trong nhóm Cao và Th p b ng nhau
ố ấ ằ
• a = s tr l i đúng trong nhóm Cao
ố ả ờ
• b = s tr l i đúng trong nhóm Th p
ố ả ờ ấ
• n = s SV nhóm Cao = s SV nhóm
ố ố
Th p
ấ
H s t ng quan câu – bài
ệ ố ươ
• Ph m vi -1.00 – 1.00
ạ
• Chi u h ng t ng quan
ề ướ ươ
• Phân đ giá tr
ộ ị
• 0.30 tr lên :: R t t t
ở ấ ố
• 0.20 – 0.29 :: T t
ố
• 0.15 – 0.19 :: Ch p nh n đ c
ấ ậ ượ
• 0.10 – 0.14 :: C n ch nh s a
ầ ỉ ử
• 0.00 :: Toàn b TS tr l i sai/đúng
ộ ả ờ
13. Đ phân cách và m i nh
ộ ồ ử
• M i nh kém
ồ ử
• Phân lo i TS kém
ạ
• Tính tin c y c a CH gi m
ậ ủ ả
• M i nh t t
ồ ử ố
• Phân lo i TS t t
ạ ố
• Tính tin c y c a CH tăng
ậ ủ
14. Khi nào câu h i là ch p nh n đ c ?
ỏ ấ ậ ượ
• Đ khó 0.30 - 0.90
ộ
• Đ phân cách 0.25+
ộ
• R-pbis 0.20+
• KR20 0.70+
15. Đánh giá câu h i nh trên có gì b t c p?
ỏ ư ấ ậ
CHO TH Y Đ C
Ấ ƯỢ
• Hi u qu làm bài nói chung
ệ ả
• Hi u qu đánh giá c a CH nói
ệ ả ủ
chung
CH A CH RA Đ C
Ư Ỉ ƯỢ
• Tham s n đ nh c a CH
ố ổ ị ủ
• Hành vi TS ng đáp CH
ứ
• Cách th c đ t đ c l a ch n
ứ ạ ượ ự ọ
• Đoán/hi u l m/không đ ki n th c/đ ki n th c
ể ầ ủ ế ứ ủ ế ứ
• Hàm l ng ki n th c c a TS
ượ ế ứ ủ
• Toàn di n/M t ph n
ệ ộ ầ
• Phân lo i TS theo m c năng l c
ạ ứ ự
• So v i m c trung bình đ khó CH
ớ ứ ộ
16. Làm gì đ bi t thêm nh ng đi u trên
ể ế ữ ề
Rasch model
• S li u c n kh p mô hình
ố ệ ầ ớ
• Hi u ch nh s li u không kh p
ệ ỉ ố ệ ớ
• Nh m t o ra b CH đo l ng t ng đ i
ằ ạ ộ ườ ươ ố
chính xác năng l c TS
ự
IRT model
• Mô hình c n kh p v i s li u
ầ ớ ớ ố ệ
• Thay đ i mô hình không kh p s li u
ổ ớ ố ệ
• Nh m gi i thích hành vi c a TS có ng đáp th nào đ i v i
ằ ả ủ ứ ế ố ớ
CH
17. Các b c rà soát câu h i
ướ ỏ
• Tính khó
• S đo th ng kê đ khó
ố ố ộ
• Bi u đ phân ph i
ể ồ ố
• Tính phân cách
• S đo th ng kê phân cách
ố ố
• Bi u đ phân ph i
ể ồ ố
• Tính hi u qu m i nh
ệ ả ồ ử
• T l tr l i
ỷ ệ ả ờ
• T l b qua
ỷ ệ ỏ
• N i dung CH có quá cũ, quá quen
ộ
v i SV?
ớ
• Đáp án có đ m b o b o m t?
ả ả ả ậ
• N i dung h c t p liên quan có đ c
ộ ọ ậ ượ
d y đúng, đ , rõ?
ạ ủ
• C m u có đ l n?
ỡ ẫ ủ ớ
• S SV v ng thi có nh h ng đáng
ố ắ ả ưở
k đ n đ phân cách?
ể ế ộ
18. Làm gì v i câu h i kém ch t l ng?
ớ ỏ ấ ượ
• Cho phép nhi u đáp án đúng
ề
• T ng s CH gi nguyên
ổ ố ữ
• Đi m s TS có th tăng
ể ố ể
• Cho phép t t c đáp án đúng
ấ ả
• T ng s CH gi nguyên
ổ ố ữ
• Đi m TS tr l i đúng gi nguyên
ể ả ờ ữ
• Đi m TS tr l i sai tăng lên
ể ả ờ
• Xóa b kh i bài ki m tra
ỏ ỏ ể
• T ng s CH gi m
ổ ố ả
• Đi m TS tr l i đúng tăng
ể ả ờ
• Đi m TS tr l i sai gi m
ể ả ờ ả
19. Sáng ki n và nghiên c u (1)
ế ứ
• Chính sách
• Quy trình
• H ng d n
ướ ẫ
Xây d ng ngân hàng câu h i thi
ự ỏ
• 5S
• PDCA
• TRIZ
• STEM
20. Sáng ki n và nghiên c u (2)
ế ứ
• So sánh hi u năng
ệ
• Ng i,
ườ
• Máy
• Ng i + máy
ườ
• Thi t k ti n ích
ế ế ệ
• Excel-based
• R-based
• AI-based item generation
• Automated item generation
• Blockchain online test system
21. Sáng ki n và nghiên c u (3)
ế ứ
• Test combining
• MCQ + constructed response
• Tăng tính giá tr và tin c y c a đ thi
ị ậ ủ ề
• Test anxiety
• Các y u t tác đ ng
ế ố ộ
• Nâng cao hi u năng làm bài thi
ệ
22. Sáng ki n và nghiên c u
ế ứ
• Nghiên c u đo l ng
ứ ườ
• giáo d c h c
ụ ọ
• y h c
ọ
• Thi t k l i b công c kh o sát
ế ế ạ ộ ụ ả
• Giáo d c liên ngành
ụ
• Giáo d c tích h p
ụ ợ
• C ch trò ch i
ơ ế ơ
• Kh o sát đánh giá
ả
• thái đ , năng l c
ộ ự
• ch t l ng cu c s ng, ch t l ng ph c v ,
ấ ượ ộ ố ấ ượ ụ ụ
ch t l ng CTĐT
ấ ượ
#5:Thí: so sánh kết quả làm bài là fail hay pass như thế nào?
#6:speed: câu hỏi dễ nhưng ngừoi ta thiết kế sao cho ko bao giờ làm kịp 100%
Power: câu hỏi khó và ng ta thiết kế sao cho ko làm kịp 100%
Nhiệm vụ người ra đề thi: cân bằng 2 yếu tố này để loại bỏ việc bộp chộp, đoán mò, copy
Thông qua đánh giá kết quả: biết điểm Sv chưa hiểu, hiểu sai.....
#7:điểm hiệu chỉnh: để ra phân phối chuẩn, khi đó mới so sánh đánh giá năng lực được
Chúng ta mún đánh giá năng lực chứ ko phải hiệu quả làm bài (trên 1 người, hiệu quả làm bài có thể khác nhau). Mục đích bài test là đánh giá năng lực của sinh viên
Mún đánh giá năng lực đúng phải tìm cách kiểm soát sai số, bao quát năng lực....
