Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών


Πανεπιστήμιο Θεσσαλίας (Βόλος)

Disclaimer

Η παρούσα ιστοσελίδα δεν υποκαθιστά την τάξη. Θα ενημερώνεται ασύγχρονα και μη πλήρως

Περίληψη

  1. Το μάθημα θα διαπραγματευτεί:
    Βασικές έννοιες σχεδίασης και λειτουργίας νευρωνικών δικτύων (Neural Networks, NNs), και ασαφούς λογικής
  2. Εστιάζει σε νευρωνικά δίκτυα:
    Feedforward NNs: MultiLayer Perceptrons (MLPs), Convolutional NNs (CNNs)
    Radial Basis Function NNs
    Competitive NNs: Self-Organizing Map (SOM), Learning Vector Quantization (LVQ)
    Hebbian NNs: Linear Autoencoder
    Recurrent NNs: Layered Digital Dynamic Networks (LDDN) in general, Long-Short Term Memory (LSTM), Gated Recurrent Units (GRUs)
    Optimization methods for training deep neural networks: (Stochastic) Gradient Descent, Adagrad, Adadelta, Adam, Newton, Conjugate Gradient, BFGS
    Deep architectures of NNs: MLPs, CNNs, RNNs
    Fuzzy logic and fuzzy subset theory
  3. Επικεντρώνει:
    στην χρήση των παραπάνω σε υπολογισμούς (in function approximation, regression, classification)

Διδάσκων

Δημήτριος Κατσαρός

Προτεινόμενη βιβλιογραφία

Βιβλίο
Τίτλος Τεχνητά Νευρωνικά Δίκτυα Neural Networks and Learning Machines
Τοπικό αντίγραφο εδώ 		Neural Networks and Deep Learning Neural Network Design
Χρήσιμο υλικό 		Deep Learning
Τοπικό αντίγραφο εδώ
Συγγραφείς Κωνσταντίνος Διαμαντάρας Simon Haykin Charu C. Aggarwal Marin Hagan et al. Ian Goodfellow και Yoshua Bengio και Aaron Courville
Γλώσσα Ελληνική Αγγλική Αγγλική Αγγλική Αγγλική

Απαιτήσεις μαθήματος:

Θα πραγματοποιύνται δια ζώσης στο Αμφ.2(101)

Τρίτη 15:00-17:00 και Παρασκευή 15:00-17:00

1η Σειρά Προβλημάτων

Ανακοίνωση: 05 Νοε. 2021, Παράδοση: 05 Δεκ. 2021
Η εκφώνηση βρίσκεται εδώ.

2η Σειρά Προβλημάτων

Ανακοίνωση: 06 Δεκ. 2021, Παράδοση: 09 Ιαν. 2022
Η εκφώνηση βρίσκεται εδώ.

3η Σειρά Προβλημάτων

Ανακοίνωση: 17 Ιαν. 2022, Παράδοση: 20 Φεβ. 2022
Η εκφώνηση βρίσκεται εδώ.

Προγραμματιστική εργασία (ομάς 2 ατόμων)

Ανακοίνωση: 14 Δεκ. 2021, Παράδοση: 20 Φεβρουαρίου 2022.
Η εκφώνηση βρίσκεται εδώ.

Δείτε εδώ τους τελικούς βαθμούς Φεβρουαρίου'22.

Πρέπει να μελετήσετε το Backpropagation for Convolutional Neural Networks.

Βρείτε εδώ την Σύνοψη των διαλέξεων

Πρόγραμμα διαλέξεων

Εβδομάδα Ημερομηνία Αντικείμενο διάλεξης Διαφάνειες (1o μέρος) Διαφάνειες (2ο μέρος) Σύνδεσμοι στις σχετικές εργασίες
1 19-22/10/2021 α) Introduction to Neural Networks
β) Introduction to TensorFlow 		Διάλεξη 1 Διάλεξη 2 link-1
2 19-22/10/2021 α) The basic Perceptron architecture and learning algorithm
β) Activation functions 		Διάλεξη 3 Διάλεξη 4 link-2
link-3
3 26-29/10/2021 α) The ADALINE (Widrow-Hoff) neural network
β) Multi-layer Perceptron and the backpropagation algorithm 		Διάλεξη 5 Διάλεξη 6 link-4
link-5
link-6
4 02-05/11/2021 α) Exercices on ADALINE and Backpropagation
 Διάλεξη 7 Διάλεξη 8
5 09-12/11/2021 α) Heuristic variations on backpropagation: Momentum, Variable learning rate
β) Optimization-based backpropagation: Conjugate gradient, Levenberg-Marquardt, Adagrad, RMSProp, Adadelta, Adam, AdaHessian 		Διάλεξη 9
Διάλεξη 9 Συμπληρωματική: Dropout
Stability of SD with momentum 		Διάλεξη 10 link-7
link-8
link-9
link-10
link-11
link-12
link-13
link-14
link-15
link-16

Optimizers for deep models

link-17
link-18
link-19
link-20
link-21
link-22
6 16-19/11/2021 α) Convolutional neural networks Ι
β) Convolutional neural networks ΙI 		Διάλεξη 11 Διάλεξη 12 link-23
link-24
link-25
7 30/11-03/12/2021 α) Backpropagation for CNNs
β) Exercises on CNNs 		Διάλεξη 13
8 07-10/12/2021 Radial-Basis Function Neural Networks Διάλεξη 14 Διάλεξη 15 link-26
link-27
link-28
link-29
link-30
9 14-17/12/2021 α) Training RBF networks with Linear Least Squares (LLS)
β) Hamming network and Competitive Learning 		Διάλεξη 16 Διάλεξη 17 link-31
10 21/12/2021 α) Self-Organizing Feature Map and Learning Vector Quantization
β) Exercises on Kohonen's rule and on SDBP with momentum 		Διάλεξη 18 Διάλεξη 19 link-32
11 11-14/01/2022 α) Supervised Hebbian learning
β) Exercises 		Διάλεξη 20 link-33
12 18-21/01/2022 α) (Dynamic) Recurrent networks: BackProp for two- and three-layer RNNs
β1) Dynamic networks: Real Time Recurrent Learning (RTRL)
β2) Dynamic networks: Backpropagation Through Time (BPTT)
γ) Modern RNNs: LSTM, GRU 		Διάλεξη 21 Διάλεξη 22
Διάλεξη 23 		link-34
link-35
link-36
link-37
link-38
link-39
link-40
13 ??/01/2022 (Αναπλήρωση) Fuzzy Subset Theory and Fuzzy Logic Διάλεξη 24 Intro to Fuzzy logic

dkatsar AT e-ce DOT uth DOT gr
Τελευταία ενημέρωση: Τρι., 14 Δεκεμβρίου 2021