Varijacioni pristup robustnom obučavanju višeslojnog perceptrona na bazi Bajesovske metodologije
Variational inference for robust sequential learning of multilayered perceptron neural network
Апстракт
U radu je prikazan i izveden novi sekvencijalni algoritam za obučavanje višeslojnog perceptrona u prisustvu autlajera. Autlajeri predstavljaju značajan problem, posebno ukoliko sprovodimo sekvencijalno obučavanje ili obučavanje u realnom vremenu. Linearizovani Kalmanov filtar robustan na autlajere (LKF-RA), je statistički generativni model u kome je matrica kovarijansi šuma merenja modelovana kao stohastički proces, a apriorna informacija usvojena kao inverzna Višartova raspodela. Izvođenje svih jednakosti je bazirano na prvim principima Bajesovske metodologije. Da bi se rešio korak modifikacije primenjen je varijacioni metod, u kome rešenje problema tražimo u familiji raspodela odgovarajuće funkcionalne forme. Eksperimentalni rezultati primene LKF-RA, dobijeni korišćenjem stvarnih vremenskih serija, pokazuju da je LKF-RA bolji od konvencionalnog linearizovanog Kalmanovog filtra u smislu generisanja niže greške na test skupu podataka. Prosečna vrednost poboljšanja određena u eksperimen...talnom procesu je 7%.
We derive a new sequential learning algorithm for Multilayered Perceptron (MLP) neural network robust to outliers. Presence of outliers in data results in failure of the model especially if data processing is performed on-line or in real time. Extended Kalman filter robust to outliers (EKF-OR) is probabilistic generative model in which measurement noise covariance is modeled as stochastic process over the set of symmetric positive-definite matrices in which prior is given as inverse Wishart distribution. Derivation of expressions comes straight form first principles, within Bayesian framework. Analytical intractability of Bayes' update step is solved using Variational Inference (VI). Experimental results obtained using real world stochastic data show that MLP network trained with proposed algorithm achieves low error and average improvement rate of 7% when compared directly to conventional EKF learning algorithm.
Кључне речи:
structured variational approximation / inverse Wishart distribution / heavy-tailed noise / extended Kalman filter / Bayesian learningИзвор:
FME Transactions, 2015, 43, 2, 123-130Издавач:
- Univerzitet u Beogradu - Mašinski fakultet, Beograd
Финансирање / пројекти:
- Иновативни приступ у примени интелигентних технолошких система за производњу делова од лима заснован на еколошким принципима (RS-MESTD-Technological Development (TD or TR)-35004)
Колекције
Институција/група
Mašinski fakultetTY - JOUR AU - Vuković, Najdan AU - Mitić, Marko AU - Miljković, Zoran PY - 2015 UR - https://machinery.mas.bg.ac.rs/handle/123456789/2173 AB - U radu je prikazan i izveden novi sekvencijalni algoritam za obučavanje višeslojnog perceptrona u prisustvu autlajera. Autlajeri predstavljaju značajan problem, posebno ukoliko sprovodimo sekvencijalno obučavanje ili obučavanje u realnom vremenu. Linearizovani Kalmanov filtar robustan na autlajere (LKF-RA), je statistički generativni model u kome je matrica kovarijansi šuma merenja modelovana kao stohastički proces, a apriorna informacija usvojena kao inverzna Višartova raspodela. Izvođenje svih jednakosti je bazirano na prvim principima Bajesovske metodologije. Da bi se rešio korak modifikacije primenjen je varijacioni metod, u kome rešenje problema tražimo u familiji raspodela odgovarajuće funkcionalne forme. Eksperimentalni rezultati primene LKF-RA, dobijeni korišćenjem stvarnih vremenskih serija, pokazuju da je LKF-RA bolji od konvencionalnog linearizovanog Kalmanovog filtra u smislu generisanja niže greške na test skupu podataka. Prosečna vrednost poboljšanja određena u eksperimentalnom procesu je 7%. AB - We derive a new sequential learning algorithm for Multilayered Perceptron (MLP) neural network robust to outliers. Presence of outliers in data results in failure of the model especially if data processing is performed on-line or in real time. Extended Kalman filter robust to outliers (EKF-OR) is probabilistic generative model in which measurement noise covariance is modeled as stochastic process over the set of symmetric positive-definite matrices in which prior is given as inverse Wishart distribution. Derivation of expressions comes straight form first principles, within Bayesian framework. Analytical intractability of Bayes' update step is solved using Variational Inference (VI). Experimental results obtained using real world stochastic data show that MLP network trained with proposed algorithm achieves low error and average improvement rate of 7% when compared directly to conventional EKF learning algorithm. PB - Univerzitet u Beogradu - Mašinski fakultet, Beograd T2 - FME Transactions T1 - Varijacioni pristup robustnom obučavanju višeslojnog perceptrona na bazi Bajesovske metodologije T1 - Variational inference for robust sequential learning of multilayered perceptron neural network EP - 130 IS - 2 SP - 123 VL - 43 DO - 10.5937/fmet1502123V ER -
@article{ author = "Vuković, Najdan and Mitić, Marko and Miljković, Zoran", year = "2015", abstract = "U radu je prikazan i izveden novi sekvencijalni algoritam za obučavanje višeslojnog perceptrona u prisustvu autlajera. Autlajeri predstavljaju značajan problem, posebno ukoliko sprovodimo sekvencijalno obučavanje ili obučavanje u realnom vremenu. Linearizovani Kalmanov filtar robustan na autlajere (LKF-RA), je statistički generativni model u kome je matrica kovarijansi šuma merenja modelovana kao stohastički proces, a apriorna informacija usvojena kao inverzna Višartova raspodela. Izvođenje svih jednakosti je bazirano na prvim principima Bajesovske metodologije. Da bi se rešio korak modifikacije primenjen je varijacioni metod, u kome rešenje problema tražimo u familiji raspodela odgovarajuće funkcionalne forme. Eksperimentalni rezultati primene LKF-RA, dobijeni korišćenjem stvarnih vremenskih serija, pokazuju da je LKF-RA bolji od konvencionalnog linearizovanog Kalmanovog filtra u smislu generisanja niže greške na test skupu podataka. Prosečna vrednost poboljšanja određena u eksperimentalnom procesu je 7%., We derive a new sequential learning algorithm for Multilayered Perceptron (MLP) neural network robust to outliers. Presence of outliers in data results in failure of the model especially if data processing is performed on-line or in real time. Extended Kalman filter robust to outliers (EKF-OR) is probabilistic generative model in which measurement noise covariance is modeled as stochastic process over the set of symmetric positive-definite matrices in which prior is given as inverse Wishart distribution. Derivation of expressions comes straight form first principles, within Bayesian framework. Analytical intractability of Bayes' update step is solved using Variational Inference (VI). Experimental results obtained using real world stochastic data show that MLP network trained with proposed algorithm achieves low error and average improvement rate of 7% when compared directly to conventional EKF learning algorithm.", publisher = "Univerzitet u Beogradu - Mašinski fakultet, Beograd", journal = "FME Transactions", title = "Varijacioni pristup robustnom obučavanju višeslojnog perceptrona na bazi Bajesovske metodologije, Variational inference for robust sequential learning of multilayered perceptron neural network", pages = "130-123", number = "2", volume = "43", doi = "10.5937/fmet1502123V" }
Vuković, N., Mitić, M.,& Miljković, Z.. (2015). Varijacioni pristup robustnom obučavanju višeslojnog perceptrona na bazi Bajesovske metodologije. in FME Transactions Univerzitet u Beogradu - Mašinski fakultet, Beograd., 43(2), 123-130. https://doi.org/10.5937/fmet1502123V
Vuković N, Mitić M, Miljković Z. Varijacioni pristup robustnom obučavanju višeslojnog perceptrona na bazi Bajesovske metodologije. in FME Transactions. 2015;43(2):123-130. doi:10.5937/fmet1502123V .
Vuković, Najdan, Mitić, Marko, Miljković, Zoran, "Varijacioni pristup robustnom obučavanju višeslojnog perceptrona na bazi Bajesovske metodologije" in FME Transactions, 43, no. 2 (2015):123-130, https://doi.org/10.5937/fmet1502123V . .