Hamiltonian Monte Carlo: όταν η Στατιστική γίνεται… Φυσική

 

Το Hamiltonian Monte Carlo (HMC) είναι μια τεχνική δειγματοληψίας που παίρνει ένα πρόβλημα στατιστικής και το μετατρέπει σε πρόβλημα φυσικής. Θέλουμε να πάρουμε δείγματα από μια πολύπλοκη κατανομή πιθανότητας (π.χ. σε ένα Bayesian μοντέλο με πολλές παραμέτρους) και αντί να κάνουμε «τυφλές» τυχαίες βόλτες, φανταζόμαστε ότι κάθε πιθανό σημείο είναι μια σωματιδιακή κατάσταση με θέση και ορμή.

Ο HMC «φορά» σε κάθε σημείο μια τεχνητή ορμή και ορίζει μια ενέργεια (Hamiltonian) που συνδυάζει:

• δυναμική ενέργεια → πόσο «απίθανο» είναι το σημείο (log-πιθανότητα)

• κινητική ενέργεια → από την ορμή που του δίνουμε τυχαία

Έπειτα, χρησιμοποιεί τις εξισώσεις του Hamilton για να προσομοιώσει την κίνηση του σωματιδίου μέσα στον χώρο των παραμέτρων. Αυτή η κίνηση ακολουθεί ομαλές τροχιές που διατηρούν την ενέργεια, άρα και την «σωστή» κατανομή πιθανοτήτων. Το αποτέλεσμα είναι ότι ο αλγόριθμος κινείται μακριά και στοχευμένα μέσα στον χώρο, αντί να σέρνεται αργά όπως οι κλασικές MCMC μέθοδοι τύπου random walk.

Γι’ αυτό το Hamiltonian Monte Carlo είναι τόσο ισχυρό σε υψηλής διάστασης Bayesian μοντέλα: εκμεταλλεύεται καμπύλες, κλίσεις και «δυνάμεις» της συνάρτησης πιθανότητας για να εξερευνήσει γρήγορα την κατανομή. Είναι ένα όμορφο παράδειγμα του πώς η κλασική μηχανική δίνει εργαλεία αιχμής στη σύγχρονη στατιστική και στην machine learning.