K fold cross validation là gì năm 2024
K-Fold Cross Validation in Machine Learning is a powerful and widely used technique for robust model evaluation. While it has its limitations, understanding its drawbacks and applications is essential for making informed decisions in the field of Machine Learning. Show
Tập dữ liệu dùng để học máy:
\=> Tập huấn luyện càng lớn(*) thì hiệu năng của hệ thống học càng tốt. \=> Tập kiểm thử càng lớn thì việc đánh giá càng chính xác. Rất khó (ít khi) có thể có được các tập dữ liệu (rất) lớn. Hiệu năng của hệ thống không chỉ phụ thuộc vào giải thuật học máy mà còn phụ thuộc:
Các phương pháp đánh giá hiệu năng học máy:
1. Hold-outToàn bộ tập dữ liệu (data) sẽ được chia thành 2 tập con datatrain và datatest không giao nhau (|datatrain| >>|datatest|).
\=> Cách đánh giá này phù hợp khi ta bộ dữ liệu (data) có kích thước lớn. 2. Stratified samplingĐược sử dụng khi các tập ví dụ có kích thước nhỏ hoặc không cân xứng (unbalanced datasets). Ví dụ: có ít, hoặc không có các ví dụ với một số lớp Mục tiêu: Phân bố lớp (Class distribution) trong tập huấn luyện và tập kiểm thử phải xấp xỉ như trong tập toàn bộ các ví dụ (data)
\=> Phương pháp này không áp dụng được cho bài toán học máy dự đoán/hồi quy (vì giá trị đầu ra của hệ thống là một giá trị số, không phải là một nhãn lớp) 3. Repeated hold-outĐây là phương pháp sẽ áp dụng phương pháp đánh giá Hold-out nhiều lần, để sinh ra các tập huấn luyện và thử nghiệm khác nhau. Trong mỗi lần lặp, một tỉ lệ nhất định của tập dữ liệu (data) được chọn ngẫu nhiên nhằm tạo nên tập huấn luyện (có thể kết hợp với phương pháp Stratified sampling). Đối với các giá trị lỗi (hoặc giá trị với các tiêu chí đánh giá khác) ghi nhận trong các bước lặp này được lấy trung bình công để xác định lỗi tổng thể. \=> Tuy nhiên phương pháp này chưa được tốt vì
4. Cross validation4.1. k-fold
Thông thường mỗi tập con (fold) được lấy mẫu phân tầng (xấp xỉ phân bố lớp) trước khi áp dụng quá trình đánh giá Cross validation \=> Phù hợp khi ta có tập dữ liệu data vừa và nhỏ. 4.2. leave-one-out
5. Bootstrap samplingPhương pháp này sử dụng việc lấy mẫu lặp lại để tạo nên tập huấn luyện.
Tập tối ưu (Validation set)Quá trình học máy (huấn luyện) sẽ được thực hiện gồm 2 giai đoạn:
Các tiêu chí để đánh giá1. Tính chính xác (Accuracy)Mức độ dự đoán (phân lớp) chính xác của hệ thống (đã được huấn luyện) đối với các ví dụ kiểm chứng (test instances) 2. Tính hiệu quả (Efficiency)Chi phí về thời gian và tài nguyên (bộ nhớ) cần thiết cho việc huấn luyện và kiểm thử hệ thống 3. Khả năng xử lý nhiễu (Robustness)Khả năng xử lý (chịu được) của hệ thống đối với các ví dụ nhiễu (lỗi) hoặc thiếu giá trị 4. Khả năng mở rộng (Scalability)Hiệu năng của hệ thống (vd: tốc độ học/phân loại) thay đổi như thế nào đối với kích thước của tập dữ liệu |