Mạng thần kinh

(đổi hướng từ Mạng nơ-ron)
Hình vẽ đơn giản hóa một mạng thần kinh nhân tạo Feedforward.

Một mạng thần kinh là một mạng hay mạch nơ-ron, hoặc theo khía cạnh hiện đại, là một mạng thần kinh nhân tạo, chứa các nơron nhân tạo hoặc các nút (node).[1] Vì vậy một mạng thần kinh có thể xem là một mạch nơron, chứa các nơron sinh học thực tế, hoặc một mạng thần kinh nhân tạo, dùng để giải quyết các vấn đề (bài toán) ở lĩnh vực trí tuệ nhân tạo (AI).

Các kết nối của nơron sinh học được mô hình hóa là các trọng lượng. Một trọng lượng dương (tích cực) phản ánh một kết nối kích thích (xúc động), trong các giá trị âm (tiêu cực) nghĩa là các kết nối ức chế (bị ngăn cản). Tất cả đầu vào được thay đổi bằng một giá trị trọng lượng và tính tổng. Hoạt động này được coi là một kết hợp tuyến tính. Cuối cùng, một hàm kích hoạt điều khiển biên độ của đầu ra. Ví dụ, một tập giá trị chấp nhận được ở đầu ra thường là từ 0 đến 1, đôi khi có thể là từ -1 đến 1.

Các mạng thần kinh có thể dùng cho mô hình hóa dự đoán, điều khiển đáp ứng và các ứng dụng mà có thể huấn luyện thông qua một tập dữ liệu. Việc tự học với kết quả từ kinh nghiệm có thể xảy ra bên trong các mạng, có thể rút ra kết luận từ một tập thông tin phức tạp và dường như không liên quan.[2]

Mạng neural và Trí tuệ nhân tạoSửa đổi

Bài chính: Mạng neural nhân tạo

Nền tảngSửa đổi

Các mô hình mạng neural trong trí tuệ nhân tạo thường được gọi là các mạng neural nhân tạo; chúng thực chất là các mô hình toán học đơn giản định nghĩa một hàm  . Từ mạng được sử dụng vì hàm này phân rã được thành các thành phần đơn giản hơn kết nối với nhau.

Một loại mô hình mạng neural cụ thể tương ứng với một lớp hàm như vậy. Khả năng học là điều thu hút nhiều quan tâm nhất tới mạng neural.

Cho trước một bài toán cụ thể để giải quyết, và một lớp các hàm  , việc học có nghĩa là sử dụng một tập các quan sát để tìm hàm   giải được bài toán một cách tốt nhất.

Việc đó đòi hỏi định nghĩa một hàm chi phí   sao cho, với lời giải tối ưu  ,    

Hàm chi phí   là một khái niệm quan trọng trong học máy, do nó là một phép đo khoảng cách tới lời giải tối ưu cho bài toán cần giải quyết. Các thuật toán học tìm kiếm trong không gian lời giải để được một hàm có chi phí nhỏ nhất có thể.

Các loại họcSửa đổi

Có ba kiểu học chính, mỗi kiểu mẫu tương ứng với một nhiệm vụ học trừu tượng. Đó là học có giám sát, học không có giám sáthọc tăng cường. Thông thường, loại kiến trúc mạng nào cũng có thể dùng được cho các nhiệm vụ trên.

Học có giám sátSửa đổi

Trong học có giám sát, ta được cho trước một tập ví dụ gồm các cặp   và mục tiêu là tìm một hàm f (trong lớp các hàm được phép) khớp với các ví dụ. Nói cách khác, ta muốn tìm ánh xạ mà dữ liệu đầu vào đã hàm ý, với hàm chi phí đo độ không khớp giữa ánh xạ của ta và dữ liệu.

Học không có giám sátSửa đổi

Trong học không có giám sát, ta được cho trước một số dữ liệu  , và hàm chi phí cần được cực tiểu hóa có thể là một hàm bất kỳ của dữ liệu   và đầu ra của mạng,  . Hàm chi phí được quyết định bởi phát biểu của bài toán. Phần lớn ứng dụng nằm trong vùng các bài toán ước lượng như mô hình hóa thống kê, nén, lọc (filtering), blind source seperationphân mảnh (clustering).

Học tăng cườngSửa đổi

Trong học tăng cường, dữ liệu   thường không được cho trước mà được tạo ra trong quá trình một agent tương tác với môi trường. Tại mỗi thời điểm  , agent thực hiện hành động   và môi trường tạo một quan sát   và một chi phí tức thời  , theo một quy trình động nào đó (thường là không được biết). Mục tiêu là tìm một sách lược lựa chọn hành động để cực tiểu hóa một chi phí dài hạn nào đó, nghĩa là chi phí tích lũy mong đợi. Quy trình động của môi trường và chi phí dài hạn cho mỗi sách lược thường không được biết, nhưng có thể ước lượng được. Mạng neural nhân tạo thường được dùng trong học tăng cường như là một phần của thuật toán toàn cục. Các bài toán thường được giải quyết bằng học tăng cường là các bài toán điều khiển, trò chơi, và các nhiệm vụ quyết định tuần tự (sequential decision making) khác.

Các thuật toán họcSửa đổi

Có nhiều thuật toán có thể dùng cho việc huấn luyện các mô hình mạng neural; hầu hết có thể được xem là áp dụng trực tiếp của lý thuyết tối ưu hóaước lượng thống kê

Phần lớn các thuật toán huấn luyện mạng neural sử dụng một kiểu xuống dốc (gradient descent - tiến dần tới cực tiểu địa phương) nào đó. Điều này được thực hiện bằng cách lấy đạo hàm của hàm chi phí theo các tham số của mạng và thay đổi các tham số đó theo một hướng được tính toán theo độ dốc (gradient-related direction) để tiến dần tới cực tiểu địa phương của hàm chi phí.

Các phương pháp thường dùng cho huấn luyện mạng neural là: phương pháp tiến hóa, giải thuật luyện kim (simulated annealing), expectation maximisation (cực đại hóa kỳ vọng) và các phương pháp không tham số (non-parametric methods). Xem thêm bài Học máy.

Các tính chất lý thuyếtSửa đổi

Năng lựcSửa đổi

Một số mô hình lý thuyết của mạng neural đã được phân tích để tính toán một số tính chất, chẳng hạn khả năng lưu trữ tối đa, độc lập với các thuật toán học. Nhiều kỹ thuật ban đầu được phát triển để nghiên cứu các hệ từ trường nhiễu (disordered magnetic systems (spin glasses)) đã được áp dụng thành công cho các kiến trúc mạng neural đơn giản, chẳng hạn mạng perceptron. Công trình nghiên cứu có ảnh hưởng lớn của E. Gardner và B. Derrida đã cho thấy nhiều tính chất thú vị về các perceptron với các trọng số có giá trị là số thực, trong khi nghiên cứu sau này của W. Krauth và M. Mezard đã mở rộng các nguyên lý này cho các trọng số có giá trị 0 hoặc 1.

Các loại mạng neural nhân tạoSửa đổi

Xem thêmSửa đổi

Tham khảoSửa đổi

Liên kết ngoàiSửa đổi