Ο Geoffrey Hinton θεωρείται συχνά ο «πατέρας» της οπισθοδιάδοσης (backpropagation) στα νευρωνικά δίκτυα. Όμως... την εφηύρε πράγματι εκείνος; Όχι ακριβώς.
Αν και ο Hinton έπαιξε καθοριστικό ρόλο στη διάδοση και εφαρμογή της οπισθοδιάδοσης στις αρχές της δεκαετίας του 1980, ο ίδιος ο αλγόριθμος έχει βαθιές ρίζες που πάνε δεκαετίες, ή και αιώνες, πίσω.
🔌 Ήδη από τη δεκαετία του 1960, μηχανικοί ηλεκτρικών συστημάτων χρησιμοποιούσαν παρόμοιες τεχνικές για τη βελτιστοποίηση δικτύων ηλεκτροδότησης. Οι τεχνικές αυτές βασίζονταν στην προσαρμογή βαρών με σκοπό τη βελτίωση της συνολικής απόδοσης—αρχές δηλαδή που βρίσκονται στην καρδιά της οπισθοδιάδοσης.
📐 Αλλά αν θέλουμε να βρούμε τη πραγματική θεμελιώδη αρχή, αυτή δεν είναι άλλη από τον περίφημο κανόνα της αλυσίδας στον διαφορικό λογισμό—μια ιδέα που ανέπτυξε ο Γκότφριντ Βίλχελμ Λάιμπνιτς τον 17ο αιώνα.
💡 Ο κανόνας αυτός μας διδάσκει πώς να υπολογίζουμε την παράγωγο σύνθετων συναρτήσεων—και αποτελεί τον μαθηματικό πυρήνα πίσω από κάθε σύγχρονο αλγόριθμο οπισθοδιάδοσης.
🧠 Από τον Λάιμπνιτς στον Hinton: Η Μακρά Διαδρομή της Οπισθοδιάδοσης
Η ιστορία της οπισθοδιάδοσης δεν είναι απλά μια τεχνική ανακάλυψη της δεκαετίας του ’80. Είναι μια διαχρονική πορεία που ξεκινά από τα μαθηματικά θεμέλια του 17ου αιώνα, περνά μέσα από τη μηχανική του 20ού και κορυφώνεται στην επανάσταση της Τεχνητής Νοημοσύνης σήμερα.
Δεν υπάρχουν σχόλια:
Δημοσίευση σχολίου