Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών


Πανεπιστήμιο Θεσσαλίας (Βόλος)

Disclaimer

Η παρούσα ιστοσελίδα δεν υποκαθιστά την τάξη. Θα ενημερώνεται ασύγχρονα και μη πλήρως

Περίληψη

  1. Το μάθημα θα διαπραγματευτεί:
    Βασικές έννοιες σχεδίασης και λειτουργίας νευρωνικών δικτύων (Neural Networks, NNs), και ασαφούς λογικής
  2. Εστιάζει σε νευρωνικά δίκτυα:
    Feedforward NNs: MultiLayer Perceptrons (MLPs), Convolutional NNs (CNNs)
    Radial Basis Function NNs
    Competitive NNs: Self-Organizing Map (SOM), Learning Vector Quantization (LVQ)
    Hebbian NNs: Linear Autoencoder
    Recurrent NNs: Layered Digital Dynamic Networks (LDDN) in general, Long-Short Term Memory (LSTM), Gated Recurrent Units (GRUs)
    Optimization methods for training deep neural networks: (Stochastic) Gradient Descent, Adagrad, Adadelta, Adam, Newton, Conjugate Gradient, BFGS
    Deep architectures of NNs: MLPs, CNNs, RNNs, Transformers
    Distributed learning: (Purely Distributed, Hybrid) Federated Deep Learning
    Fuzzy logic and fuzzy subset theory
  3. Επικεντρώνει:
    στην χρήση των παραπάνω σε υπολογισμούς (in function approximation, regression, classification, clustering)

Διδάσκων

Δημήτριος Κατσαρός

Προτεινόμενη βιβλιογραφία

Βιβλίο
Τίτλος Neural Network Design
Χρήσιμο υλικό 		Dive into Deep Learning
Χρήσιμο site 		Deep Learning
Τοπικό αντίγραφο εδώ 		Τεχνητά Νευρωνικά Δίκτυα
Συγγραφείς Marin Hagan et al. Aston Zhang et al. Ian Goodfellow et al. Κωνσταντίνος Διαμαντάρας
Γλώσσα Αγγλική Αγγλική Αγγλική Ελληνική

Απαιτήσεις μαθήματος:

Θα πραγματοποιύνται δια ζώσης στην Αίθ. 111

Πέμπτη 11:00-13:00 και Παρασκευή 11:00-13:00

1η Σειρά Προβλημάτων

Ανακοίνωση: 22 Νοε. 2023, Παράδοση: 22 Δεκ. 2023
Η εκφώνηση βρίσκεται εδώ.

2η Σειρά Προβλημάτων

Ανακοίνωση: 18 Ιαν. 2024, Παράδοση: 11 Φεβ. 2024
Η εκφώνηση βρίσκεται εδώ.

3η Σειρά Προβλημάτων

Ανακοίνωση: 12 Φεβ. 2024, Παράδοση: 04 Μαρ. 2024
Η εκφώνηση βρίσκεται εδώ.

Προγραμματιστική εργασία (ομάς 2 ατόμων)

Ανακοίνωση: 30 Noe. 2023, Παράδοση: 18 Φεβρουαρίου 2024.
Η εκφώνηση βρίσκεται εδώ.
Πρέπει να μελετήσετε το Backpropagation for Convolutional Neural Networks.

Βρείτε εδώ την Σύνοψη των διαλέξεων

Πρόγραμμα διαλέξεων

Εβδομάδα Ημερομηνία Αντικείμενο διάλεξης Διαφάνειες (1o μέρος) Διαφάνειες (2ο μέρος) Σύνδεσμοι στις σχετικές εργασίες
1 26-27/10/2023 α) Introduction to Neural Networks
β) Introduction to TensorFlow 		Διάλεξη 1 Διάλεξη 2 link-1
2 02-03/11/2023 α) The basic Perceptron architecture and learning algorithm
β) Activation functions 		Διάλεξη 3 Διάλεξη 4 link-2
link-3
3 09-10/11/2023 α) The ADALINE (Widrow-Hoff) neural network
β) Multi-layer Perceptron and the backpropagation algorithm 		Διάλεξη 5 Διάλεξη 6 link-4
link-5
link-6
4 16/11/2023 α) Exercices on ADALINE and Backpropagation
 Διάλεξη 7 Διάλεξη 8
5 23-24/11/2023 α) Heuristic variations on backpropagation: Momentum, Variable learning rate
β) Optimization-based backpropagation: Conjugate gradient, Levenberg-Marquardt, Adagrad, RMSProp, Adadelta, Adam, AdaHessian 		Διάλεξη 9
Διάλεξη 9 Συμπληρωματική: Dropout
Stability of SD with momentum
Διάλεξη 9 Συμπληρωματική: Critique of activation functions
 Διάλεξη 10 link-7
link-8
link-9
link-10
link-11
link-12
link-13
link-14
link-15
link-16

Optimizers for deep models

link-17
link-18
link-19
link-20
link-21
link-22
link-Benchmarking_DL_optimizers
6 30/11-01/12/2023 α) Convolutional neural networks Ι
β) Convolutional neural networks ΙI 		Διάλεξη 11 Διάλεξη 12 link-23
link-24
link-25
7 07-08/12/2023 α) Backpropagation for CNNs
β) Exercises on CNNs 		Διάλεξη 13
8 14-15/12/2023 α) Radial-Basis Function Neural Networks
β) Training RBF networks with Linear Least Squares (LLS)
γ) Hamming network and Competitive Learning 		Διάλεξη 14
Διάλεξη 15 		Διάλεξη 16
Διάλεξη 17 		link-26
link-27
link-28
link-29
link-30
link-31
9 21-22/12/2023 α) Self-Organizing Feature Map and Learning Vector Quantization
β) Exercises on Kohonen's rule and on SDBP with momentum 		Διάλεξη 18 Διάλεξη 19 link-32
10 11-12/01/2024 α) Supervised Hebbian learning
β) Exercises 		Διάλεξη 20 link-33
11 18-19/01/2024 α) (Dynamic) Recurrent networks: BackProp for two- and three-layer RNNs
β1) Dynamic networks: Real Time Recurrent Learning (RTRL)
β2) Dynamic networks: Backpropagation Through Time (BPTT)
γ) Modern RNNs: LSTM, GRU 		Διάλεξη 21 Διάλεξη 22
Διάλεξη 23
Intro to LLMs
GPT-4 Technical Report (no info: arch, training, dataset)
Course to get into LLMs
 link-34
link-35
link-36
link-37
link-38
link-39
link-40
12 25-26/01/2024 α) Transformers
β) Federated learning 		Διάλεξη 24 Διάλεξη 25 link-41
link-42
link-43
13 01-02/02/2024 Fuzzy Subset Theory and Fuzzy Logic Διάλεξη 26 Intro to Fuzzy logic

dkatsar AT e-ce DOT uth DOT gr
Τελευταία ενημέρωση: Πέμ. 22 Φεβρουαρίου 2024