Như tên của nó, lan truyền ngược là một thuật toán mặt sau truyền các lỗi từ các nút đầu ra đến các nút đầu vào. Do đó, nó đơn giản được gọi là 'sự lan truyền ngược của lỗi'. Cách tiếp cận này được phát triển từ việc phân tích não người. Nhận dạng giọng nói, nhận dạng ký tự, xác minh chữ ký, nhận dạng khuôn mặt người là một số ứng dụng thú vị của mạng thần kinh. Mạng nơron trải qua quá trình học có giám sát, vector đầu vào đi qua mạng tạo ra vector đầu ra. Vectơ đầu ra này được xác minh so với đầu ra mong muốn. Nếu kết quả không khớp với vectơ đầu ra, một báo cáo lỗi sẽ được tạo. Dựa trên báo cáo lỗi, trọng số được điều chỉnh để có được sản lượng mong muốn.

Mạng thần kinh nhân tạo là gì?

An Mạng lưới thần kinh nhân tạo sử dụng quy tắc học tập có giám sát để trở nên hiệu quả và mạnh mẽ. Thông tin trong mạng nơ-ron chảy theo hai cách khác nhau. Chủ yếu, khi mô hình đang được đào tạo hoặc học hỏi và khi mô hình hoạt động bình thường - để thử nghiệm hoặc được sử dụng để thực hiện bất kỳ tác vụ nào. Thông tin ở các dạng khác nhau được đưa vào mô hình thông qua các tế bào thần kinh đầu vào, kích hoạt một số lớp tế bào thần kinh ẩn và đến các tế bào thần kinh đầu ra, được gọi là mạng chuyển tiếp.

Vì tất cả các tế bào thần kinh không kích hoạt cùng một lúc, các tế bào thần kinh nhận đầu vào từ bên trái sẽ được nhân lên với trọng lượng khi chúng di chuyển qua các lớp ẩn. Bây giờ, hãy cộng tất cả các đầu vào từ mọi nơ-ron và khi tổng vượt quá một mức ngưỡng nhất định, các nơ-ron đã im lặng sẽ kích hoạt và được kết nối.

Cách mạng Neural Nhân tạo học là nó học từ những gì nó đã làm sai và làm đúng, và điều này được gọi là phản hồi. Mạng thần kinh nhân tạo sử dụng phản hồi để tìm hiểu điều gì đúng và sai.

Backpropagation là gì?

Định nghĩa: Sự lan truyền ngược là một cơ chế thiết yếu mà mạng nơ-ron được đào tạo. Nó là một cơ chế được sử dụng để tinh chỉnh trọng số của mạng nơ-ron (hay được gọi là mô hình trong bài viết này) liên quan đến tỷ lệ lỗi được tạo ra trong lần lặp trước. Nó tương tự như một sứ giả báo cho mô hình biết mạng có mắc sai lầm hay không ngay như dự đoán.

backpropagation-neural-network

Sự lan truyền ngược trong mạng nơ-ron là về truyền tải thông tin và liên hệ thông tin này với lỗi do mô hình tạo ra khi phỏng đoán. Phương pháp này tìm cách giảm lỗi, còn được gọi là hàm mất mát.

Cách hoạt động của Backpropagation - Thuật toán đơn giản

Nhân giống ngược trong học sâu là một cách tiếp cận tiêu chuẩn để đào tạo mạng nơ-ron nhân tạo. Cách thức hoạt động là - Ban đầu khi mạng nơ ron được thiết kế, các giá trị ngẫu nhiên được gán dưới dạng trọng số. Người dùng không chắc liệu các giá trị trọng lượng được chỉ định có chính xác hoặc phù hợp với mô hình hay không. Kết quả là, mô hình xuất ra giá trị khác với đầu ra thực tế hoặc dự kiến, đó là một giá trị lỗi.

Để có được kết quả đầu ra phù hợp với sai số tối thiểu, mô hình cần được đào tạo trên một tập dữ liệu hoặc các thông số thích hợp và theo dõi tiến trình của nó mỗi khi nó dự đoán. Mạng nơron có mối quan hệ với lỗi, do đó, bất cứ khi nào các tham số thay đổi, lỗi cũng thay đổi theo. Sự lan truyền ngược sử dụng một kỹ thuật được gọi là quy tắc delta hoặc gradient descent để thay đổi các tham số trong mô hình.

Sơ đồ trên cho thấy hoạt động của lan truyền ngược và hoạt động của nó được đưa ra dưới đây.

‘X’ ở các đầu vào đạt được từ đường dẫn được kết nối trước
‘W’, trọng số thực được sử dụng để lập mô hình đầu vào. Các giá trị của W được phân bổ ngẫu nhiên
Đầu ra cho mỗi nơ-ron được tính toán thông qua truyền chuyển tiếp - lớp đầu vào, lớp ẩn và lớp đầu ra.
Sai số được tính toán ở đầu ra bằng phương trình Truyền ngược trở lại thông qua đầu ra và các lớp ẩn, trọng số được điều chỉnh để giảm sai số.

Một lần nữa truyền về phía trước để tính toán đầu ra và lỗi. Nếu sai số được giảm thiểu, quá trình này sẽ kết thúc, hoặc nếu không sẽ lan truyền ngược lại và điều chỉnh các giá trị của trọng số.

Quá trình này lặp lại cho đến khi lỗi giảm xuống mức tối thiểu và thu được đầu ra mong muốn.

Tại sao chúng ta cần Backpropagation?

Đây là một cơ chế được sử dụng để huấn luyện mạng nơ-ron liên quan đến tập dữ liệu cụ thể. Một số ưu điểm của Backpropagation Chúng tôi

Nó đơn giản, nhanh chóng và dễ dàng để lập trình
Chỉ các số của đầu vào được điều chỉnh chứ không phải bất kỳ tham số nào khác
Không cần phải có kiến thức trước về mạng
Nó linh hoạt
Một cách tiếp cận tiêu chuẩn và hoạt động hiệu quả
Nó không yêu cầu người dùng học các chức năng đặc biệt

Các loại mạng lan truyền ngược

Có hai loại mạng lan truyền ngược. Nó được phân loại như sau:

Sự lan truyền ngược tĩnh

Lai truyền ngược tĩnh là một loại mạng nhằm mục đích tạo ra ánh xạ của đầu vào tĩnh cho đầu ra tĩnh. Các loại mạng này có khả năng giải quyết các vấn đề phân loại tĩnh như nhận dạng ký tự quang học (OCR).

Lai tạo lặp lại

Sự lan truyền ngược dòng lặp lại là một loại mạng khác được sử dụng trong học tập điểm cố định. Các kích hoạt trong quá trình nhân giống ngược lặp lại được chuyển tiếp cho đến khi nó đạt được giá trị cố định. Sau đó, một lỗi được tính toán và lan truyền ngược lại. A phần mềm , NeuroSolutions có khả năng thực hiện việc nhân giống ngược tái diễn.

Sự khác biệt chính: Sự lan truyền ngược tĩnh cung cấp ánh xạ ngay lập tức, trong khi ánh xạ ngược lai lặp lại không phải là ngay lập tức.

Nhược điểm của Backpropagation

Nhược điểm của nhân giống ngược là:

Nhân giống ngược có thể nhạy cảm với dữ liệu ồn ào và bất thường
Hiệu suất của việc này phụ thuộc nhiều vào dữ liệu đầu vào
Cần quá nhiều thời gian để đào tạo
Sự cần thiết của phương pháp dựa trên ma trận để nhân giống ngược thay vì hàng loạt nhỏ

Các ứng dụng của Backpropagation

Các ứng dụng là

Mạng nơ-ron được đào tạo để phát âm từng chữ cái của một từ và một câu
Nó được sử dụng trong lĩnh vực nhận dạng giọng nói
Nó được sử dụng trong lĩnh vực nhận dạng ký tự và khuôn mặt

Câu hỏi thường gặp

1). Tại sao chúng ta cần lan truyền ngược trong mạng nơ-ron?

Đây là một cơ chế được sử dụng để đào tạo mạng nơ-ron liên quan đến tập dữ liệu cụ thể

2). Mục tiêu của thuật toán lan truyền ngược là gì?

Mục tiêu của thuật toán này là tạo ra một cơ chế huấn luyện cho mạng nơ-ron để đảm bảo rằng mạng được huấn luyện để ánh xạ các đầu vào thành các đầu ra thích hợp của chúng.

3). Tốc độ học tập trong mạng nơ-ron là gì?

Tốc độ học tập được xác định trong bối cảnh tối ưu hóa và giảm thiểu hàm mất mát của mạng nơ-ron. Nó đề cập đến tốc độ mà mạng nơ-ron có thể học dữ liệu mới bằng cách ghi đè dữ liệu cũ.

“thiết kế bộ lọc băng thông thụ động ”

4). Mạng nơron có phải là một thuật toán không?

Đúng. Mạng nơron là một loạt các thuật toán hoặc quy tắc học tập được thiết kế để xác định các mẫu.

5). Chức năng kích hoạt trong mạng nơron là gì?

Chức năng kích hoạt của mạng nơ-ron quyết định xem nơ-ron có được kích hoạt / được kích hoạt hay không dựa trên tổng tổng.

Trong bài viết này, khái niệm về Backpropagation của mạng nơ-ron được giải thích bằng ngôn ngữ đơn giản để người đọc hiểu. Trong phương pháp này, mạng nơ-ron được huấn luyện từ các lỗi sinh ra để trở nên tự túc và xử lý các tình huống phức tạp. Mạng nơron có khả năng học chính xác với một ví dụ.