Chính quy hóa (toán học)

Trong toán học, thống kê, và khoa học máy tính, đặc biệt là trong học máy và các bài toán ngược, chính quy hóa là quá trình thêm thông tin để giải quyết một bài toán giả định sai hoặc để ngăn chặn sự quá khớp (overfitting). Có thể hiểu chính quy hóa là bất kỳ thay đổi nào mà chúng ta tạo ra với một thuật toán học thuật nhằm giảm lỗi tổng quát chứ không phải là lỗi huấn luyện. Chính quy hóa ứng dụng cho các hàm mục tiêu trong các bài toàn tối ưu giả định sai.

Hai hàm màu xanh lá và xanh dương đều xảy ra lỗi mất mát zero trên các điểm dữ liệu. Một mô hình được học có thể chọn hàm màu xanh lá, vì hàm này tổng quát hóa nhiều điểm dữ liệu hơn từ nền tảng phân phối không xác định, bằng cách thích ứng giá trị $\lambda$, trọng lượng của thuật ngữ chính quy hóa.

Tham khảo

• A. Neumaier, Solving ill-conditioned and singular linear systems: A tutorial on regularization, SIAM Review 40 (1998), 636–666. Available in pdf Lưu trữ 2012-02-04 tại Wayback Machine from author's website.