Pokročilé techniky hlubokého učení (CZ)

Popis kurzu

Kurz je učen pro zájemce o hlubší porozumění umělým neuronovým sítím a hlavě takzvanému hlubokému učení.

Předpokládá se základní znalost principů na úrovni kurzu Úvod do strojového učení, které se v kurzu využije pro vysvětlení pokročilejších architektur a technik. Zvláštní pozornost bude věnována možnostem interpretovatelnosti modelů strojového učení.

Obsah kurzu

• Architektury neuronových sítí (feed-forward, rekurentní, konvoluční, generativní, autoenkodéry, Unet, GAN, attention layer)
• Optimalizátory a jejich evoluce (Steepest Gradient Descent, Stochastic Gradient Descent, Mini-Batch Gradient Descent, Nesterov Accelerated Gradient, Adagrad, AdaDelta, Adam, hledání učicích koeficientů)
• Chybové funkce a jejich vlastnosti (Mean squared error, Mean absolute error, Negative Log Likelihood)
• Regularizace neuronových sítí (Dropout, Early stopping, Data augmentation, Batch and layer normalization)
• Inicializace neuronových sítí (Gradient vanishing problem, Zero initialization, He initialization, Xavier initialization)
• Semi-supervised learning (Pseudo Labeling, Mean-Teacher, PI-Model)
• Odhad spolehlivosti predikcí (Logit analysis, Confidence networks)
• AutoML (automatické hledání hyperparametrů, grid search, Bayesian optimization, meta-learning, automatické hledání architektur neuronových sítí)
• Praktické příklady s knihovnou AutoKeras
• Interpretovatelnost modelů strojového učení (přímo interpretovatelné modely, Partial Dependence Plot, Permutation feature importance, Surrogate models, Activation Maximization, Grad-CAM)

Předpoklady

• Základní znalost programování v Pythonu
• Středoškolské znalosti lineární algebry, matematické analýzy a teorie pravděpodobnosti. Bude předpokládáno základní porozumění pojmům jako vektor, matice, vektorový prostor, pravděpodobnost, podmíněná pravděpodobnost, nezávislost náhodných jevů a znalost násobení matic a derivace funkcí.
• Znalosti strojového učení na úrovni kurzu Úvod do strojového učení