Phương pháp nhân tử Lagrange

Trong ngành tối ưu hóa, phương pháp nhân tử Lagrange (đặt theo tên của nhà toán học Joseph Louis Lagrange) là một phương pháp để tìm cực tiểu hoặc cực đại địa phương của một hàm số chịu các điều kiện giới hạn.

Hình 1: Tìm x và y để có f(x, y) lớn nhất dưới điều kiện (vẽ bởi màu đỏ) g(x, y) = c.

Hình 2: Đường đồng mức tương ứng của Hình 1. Đường đỏ thể hiện giới hạn g(x, y) = c. Các đường xanh là những đường đồng mức f(x, y). Tại điểm mà đường đỏ tiếp xúc tiếp tuyến với đường đồng mức màu xanh là nghiệm phải tìm. Vì d₁ > d₂, nghiệm là giá trị cực đại địa phương của f(x, y).

Ví dụ (xem Hình 1), xét bài toán tối ưu hóa

tìm cực đại của hàm f(x, y)

chịu điều kiện giới hạn g(x, y) = 0.

Chúng ta cần f và g đều phải thỏa mãn là chúng liên tục tại đạo hàm riêng bậc nhất của chúng. Đặt một biến mới (λ) gọi là nhân tử Lagrange và nghiên cứu hàm Lagrange (hay Lagrangian) định nghĩa bằng

$\Lambda (x,y,\lambda )=f(x,y)+\lambda \cdot g(x,y),$

với số hạng λ có thể là cộng hoặc trừ. Nếu f(x₀, y₀) là giá trị cực đại của f(x, y) cho bài toán giới hạn ban đầu, thì tồn tại λ₀ sao cho (x₀, y₀, λ₀) là một điểm dừng của hàm Lagrange (điểm dừng là những điểm mà đạo hàm riêng của nó theo Λ bằng 0). Tuy vậy, không phải mọi điểm dừng đều cho tương ứng với một nghiệm của bài toán ban đầu. Do đó, phương pháp nhân tử Lagrange mang lại điều kiện cần cho mục đích tối ưu hóa trong các bài toán giới hạn. Điều kiện đủ cho giá trị cực đại và cực tiểu cũng phải thỏa mãn.

Liên kết ngoài

Exposition

• Conceptual introduction (plus a brief discussion of Lagrange multipliers in the calculus of variations as used in physics)
• Lagrange Multipliers for Quadratic Forms With Linear Constraints by Kenneth H. Carpenter

For additional text and interactive applets

• Simple explanation with an example of governments using taxes as Lagrange multipliers
• Lagrange Multipliers without Permanent Scarring Explanation with focus on the intuition by Dan Klein
• Geometric Representation of Method of Lagrange Multipliers Provides compelling insight in 2 dimensions that at a minimizing point, the direction of steepest descent must be perpendicular to the tangent of the constraint curve at that point. [Needs InternetExplorer/Firefox/Safari] Mathematica demonstration by Shashi Sathyanarayana
• Applet
• Video Lecture of Lagrange Multipliers
• MIT OpenCourseware Video Lecture on Lagrange Multipliers from Multivariable Calculus course
• Slides accompanying Bertsekas's nonlinear optimization text, with details on Lagrange multipliers (lectures 11 and 12)
• Geometric idea behind Lagrange multipliers