Làm thế nào tôi có thể giải thích sự khác biệt giữa xác nhận và kiểm tra độ chính xác?


Câu trả lời 1:

Đối với độ chính xác A, tôi nghĩ rằng mô hình của bạn đang hoạt động tốt. Tôi giả sử bạn đã sử dụng dữ liệu xác nhận để huấn luyện mô hình A và kiểm tra dữ liệu để đánh giá nó. Vì độ chính xác xác nhận và độ chính xác kiểm tra đều cao, có thể nói rằng mô hình được đào tạo đúng cách. Tuy nhiên, tôi có hai mối quan tâm.

  1. Nếu bạn cần một mô hình với độ chính xác cao hơn, bạn phải điều chỉnh các siêu đường kính để có kết quả tốt hơn. Học tập được giám sát không phải là tất cả về độ chính xác. Nếu đó là hai phân loại nhị phân, bạn nên đặt khu vực ROC theo đường cong để xem liệu nó có gặp khó khăn khi phân loại dương tính giả hay không. Nếu bạn có dương tính giả cao, mô hình là vô dụng.

Đối với B, tôi nghĩ rằng nó là quá mức. Quá mức có nghĩa là mô hình của bạn chỉ hoạt động tốt trên dữ liệu đào tạo và xác nhận, và không cho dữ liệu thử nghiệm hoặc dữ liệu mới chưa biết. Bạn chắc chắn muốn mô hình tổng quát hơn. Bạn phải tìm hiểu tại sao nó quá mức. Bạn cũng cần phải đánh giá khu vực ROC theo đường cong là tốt.

http: //gim.unmc.edu/dxtests/roc3 ...

Quá mức và không phù hợp với thuật toán học máy - Làm chủ máy học