Izbrana poglavja iz strojnega učenja in uporabe umetne inteligence v znanosti

• Študenti bodo spoznali osnove tehnik analize podatkov s strojnim učenjem.
• Te tehnike bodo znali uporabiti na širokem naboru podatkov, vključno z različnimi vrstami znanstvenih opazovalnih podatkov.
• Pridobili bodo pregled nad sodobnimi pristopi strojnega učenja in umetne inteligence pri uporabi v znanosti.

Za spremljanje predmeta je potrebno osnovno znanje programiranja v programskem jeziku Python

Predmet bo v sklopu predavanj predstavil osnovna načela strojnega učenja (Machine Learning; ML), ter preko seminarjev obravnaval naprednejše teme.

Med obravnavanimi temami bodo:

Uvodni del:
- perceptron, gradientni spust (gradient descent) in povratno širjenje napake (backrpopagation);
- regresijske in klasifikacijske naloge;
- osnove nadzorovanih (supervised), nenadzorovanih (unsupervised) in polnadzorovanih (semi-supervised) metod;
- priprava podatkov;
- odločitvena drevesa in naključni gozd (random forest)
- globoke nevronske mreže (Deep Neural Networks): konvolucija in konvolucijske nevronskemreže (convolutional neural networks); uporaba pri analizi slik

Napredne teme:
- statistične tehnike sodobnega ML: metoda največje verjetnosti (Maximum Likelihood), Bayesovo pravilo (Bayes's rule), metoda največje a posteriori verjetnosti (MAP), KL-divergenca, entropija; uporaba v variacijskim avtomatskem kodirniku (Variational Autoencoder) za generiranje podatkov;
- sklepanje na osnovi simulacij (Simulation-Based Inference), mehanizem pozornosti (Attention Mechanism) in transformerji (Transformers);
- generativne nasprotne mreže (Generative Adversarial Networks), difuzijski modeli (Diffusion Models), kontrastno učenje (Contrastive Learning);
- veliki jezikovni modeli (LLMs – Large Language Models) in temeljni modeli (foundation models).

• Seznanjanje s sodobnimi algoritmi umetne inteligence
• Uporaba teh algoritmov na realnih podatkovnih zbirkah
• Pripravljenost za uporabo tehnik, pridobljenih iz predmeta pri lastnih raziskovalnih oziroma praktičnih primerih

Poročilo o končnem projektu

• AutoSourceID-Classifier - Star-galaxy classification using a convolutional neural network with spatial information, F. Stoppa, S. Bhattacharyya, G. Zaharijas et al. Published in: Astron.Astrophys. 680 (2023) A109
• Mind the gap: the discrepancy between simulation and reality drives interpretations of the Galactic Center Excess, Sascha Caron , Christopher Eckner, Gabrijela Zaharijas et al. Published in: JCAP 06 (2023) 013
• AutoSourceID-Light - Fast optical source localization via U-Net and Laplacian of Gaussian, Fiorenzo Stoppa, S. Bhattacharyya, G. Zaharijas et al. Published in: Astron.Astrophys. 662 (2022) A109
• Identification of point sources in gamma rays using U-shaped convolutional neural networks and a data challenge, Boris Panes, Christopher Eckner, Gabrijela Zaharijas et al. Published in: Astron.Astrophys. 656 (2021) A62