Chính quy hóa (toán học)

Trong toán học, thống kê, và khoa học máy tính, đặc biệt là trong học máy và các bài toán ngược, chính quy hóa là quá trình thêm thông tin để giải quyết một bài toán giả định sai hoặc để ngăn chặn sự quá khớp (overfitting).^[1] Có thể hiểu chính quy hóa là bất kỳ thay đổi nào mà chúng ta tạo ra với một thuật toán học thuật nhằm giảm lỗi tổng quát chứ không phải là lỗi huấn luyện. Chính quy hóa ứng dụng cho các hàm mục tiêu trong các bài toàn tối ưu giả định sai. ^[2]

Hai hàm màu xanh lá và xanh dương đều xảy ra lỗi mất mát zero trên các điểm dữ liệu. Một mô hình được học có thể chọn hàm màu xanh lá, vì hàm này tổng quát hóa nhiều điểm dữ liệu hơn từ nền tảng phân phối không xác định, bằng cách thích ứng giá trị $\lambda$ , trọng lượng của thuật ngữ chính quy hóa.

Ghi chú

^ Bühlmann, Peter; Van De Geer, Sara (2011). "Statistics for High-Dimensional Data". Springer Series in Statistics. tr. 9. doi:10.1007/978-3-642-20192-9. ISBN 978-3-642-20191-2. If p > n, the ordinary least squares estimator is not unique and will heavily overfit the data. Thus, a form of complexity regularization will be necessary. {{Chú thích tạp chí}}: Chú thích magazine cần |magazine= (trợ giúp)
^ Goodfellow, Ian; Bengio, Yoshua (2016). "Chapter 5. Machine Learning Basis". Deep Learning. MIT Press. tr. 117. {{Chú thích sách}}: Đã bỏ qua tham số không rõ |và tác giả cuối= (trợ giúp)

Tham khảo

A. Neumaier, Solving ill-conditioned and singular linear systems: A tutorial on regularization, SIAM Review 40 (1998), 636–666. Available in pdf Lưu trữ ngày 4 tháng 2 năm 2012 tại Wayback Machine from author's website.

Bài viết liên quan đến toán học này vẫn còn sơ khai. Bạn có thể giúp Wikipedia mở rộng nội dung để bài được hoàn chỉnh hơn.

[1] Bühlmann, Peter; Van De Geer, Sara (2011). "Statistics for High-Dimensional Data". Springer Series in Statistics. tr. 9. doi:10.1007/978-3-642-20192-9. ISBN 978-3-642-20191-2. If p > n, the ordinary least squares estimator is not unique and will heavily overfit the data. Thus, a form of complexity regularization will be necessary. {{Chú thích tạp chí}}: Chú thích magazine cần |magazine= (trợ giúp)

[2] Goodfellow, Ian; Bengio, Yoshua (2016). "Chapter 5. Machine Learning Basis". Deep Learning. MIT Press. tr. 117. {{Chú thích sách}}: Đã bỏ qua tham số không rõ |và tác giả cuối= (trợ giúp)

[1]

[2]