Reti Neurali I - A.A. 2009/10 (Primo SemestrE)
Titolare del Corso - Alessio Micheli
Modulo su Apprendimento e Modelli Bayesiani
Responsabile - Davide Bacciu
Obiettivi - Introduzione ai principi dell'apprendimento probabilistico: ipotesi maximum likelihood, MAP e Bayesiana. Rappresentazione delle relazioni di (in)dipendenza tra variabili aleatorie: reti Bayesiane e plate notation. Apprendimento dei parametri in reti Bayesiane: ML ed Expectation Maximization (EM). Apprendimento della struttura delle reti Bayesiane: approcci search-and-score e constraint-based.
Orario Ricevimento - Lun. 14.30-16 / Ven 14.30/16 (Prendere appuntamento per mail)
Libri di Riferimento
[AIMA] Russell, S. and Norvig, N. Artificial Intelligence: A Modern Approach. Prentice Hall Series in Artificial Intelligence. 2003.
Capitolo 20 "Statistical Learning Methods" - Disponibile online qui
[MML] Mitchell, T . Machine Learning, McGraw Hill.1997.
Capitolo 6 "Bayesian Learning"
Nel dettaglio delle lezioni vengono proposte alcune letture consigliate in aggiunta ai libri di riferimento.
I lucidi saranno pubblicati online a seguito della lezione.
Calendario
| Data |
Argomento |
Libro |
Approfondimenti |
|
| 1 |
19/11/2009 14-16 Aula C1 | Introduction to Bayesian
Learning |
[AIMA] Sect. 20.1 [MML] Sect. 6.1-6.3, Sect. 6.5-6.9 |
[5] Chapt- 1-3 |
| 2 |
24/11/2009 16-18 Aula C1 | Parameters Learning in Bayesian Network | [AIMA] Sect. 20.2-20.3 [MML] Sect. 6.4, Sect. 6.5, 6.10, 6.12 |
[1]
Generative Vs Discriminative [2] EM algorithm [3] Learning in Graphical Models [5] Chapt 9-11 |
| 3 |
26/11/2009 14-16 Aula C1 | Learning Bayesian Networks Structure | [MML] Sect. 6.11 |
[4]
Comparative analysis of structure learning algorithms |
Bibliografia
[1] Pernkopf, F. and Bilmes, J., Discriminative versus generative parameter and structure learning of Bayesian network classifiers. Proceedings of the 22nd international conference on Machine learning. ACM. 2005.[2] Bilmes, J.A., A gentle tutorial of the EM algorithm and its application to parameter estimation for Gaussian mixture and hidden Markov models, Technical Report, 1998.
[3] Michael I. Jordan, Graphical Models, Statistical Science, 19(1): 140-155, 2004.
[4] Ioannis Tsamardinos, Laura E. Brown, Constantin F. Aliferis: The max-min hill-climbing Bayesian network structure learning algorithm. Machine Learning 65(1): 31-78, 2006.
Un ottimo libro disponibile online che puo' essere usato sia come riferimento che e per l'approfondimento dei contenuti del modulo e'
[5] David Barber, Bayesian Reasoning and Machine Learning, Cambridge University Press, 2010 (TO APPEAR).
Per il corso sono di particolare interesse i Capitoli da 1 a 5 ed i Capitoli da 8 a 12.