Дисципліна: Теорія інформації та кодування

Кількість годин (кредитів ЄКТС): 120 (4)

Мета навчальної дисципліни: ознайомлення студентів із методами представлення інформації (кодуванням), методами ефективного кодування, методами компактного представлення даних та методами компресії даних.

Результати навчання за навчальною дисципліною:

знати:

-       основи теорії інформації та сучасні напрямки ії розвитку;

-       основи теорії сигналів, спектрального аналізу та цифрової обробки сигналів;

-       принципи кодування інформації в аналого-цифрових та цифро-аналогових перетворювачах;

-       основи теорії ефективного та надлишкового кодування інформації та їх застосування в інформаційній техніці;

-       методи побудови кодів для підвищення достовірності, стискання та захисту інформації від помилок у процесі зберігання, обробки та передачі.

вміти:

-       самостійно використовувати сучасні методи теорії інформації та кодування в інформаційних системах;

-       самостійно проводити дослідження аналого-цифрових перетворювачів;

-       самостійно досліджувати моделі системи передачі даних із використанням циклічного коду;

-       самостійно проводити дослідження роботи модуляторів-демодуляторів.

-       застосовувати на практиці алгоритми та методи стискання та захисту інформації від помилок у процесі зберігання, обробки та передачі.

Зміст дисципліни (тематика):

1. Загальні питання теорії інформації: визначення і класифікація інформації, основні властивості і характеристики інформації, структура інформаційного каналу, призначення та характеристики окремих блоків інформаційного каналу.
2. Інформаційні характеристики дискретних повідомлень та каналів зв’язку: ентропія та її властивості, умовна ентропія,. взаємна інформація, швидкість передачі дискретних повідомлень та інформації, пропускна здатність дискретного каналу зв’язку.
3. Узгодження джерел дискретних повідомлень із дискретним каналом зв’язку: теорема Шенона для дискретного каналу зв’язку без шуму, надмірність повідомлень, методи боротьби з надмірністю, основи побудови оптимальних кодів, методики побудови та оцінки якості нерівномірних кодів Шенона-Фано та Хафмена, арифметичне кодування.
4. Сигнали та їх основні характеристики: дискретизація безперервних сигналів, теорема Котельникова, кількісна оцінка інформації безперервних повідомлень, диференційна ентропія, e-ентропія і e-продуктивність джерела безперервної інформації.
5. Характеристики безперервного каналу зв’язку: пропускна здатність безперервного каналу зв’язку, теорема Шенона для безперервного каналу зв’язку, узгодження безперервних каналів зв’язку, поняття «об’єм сигналу» та «ємність каналу зв’язку».
6. Основи теорії завадостійкого кодування: узгодження джерел дискретних повідомлень із дискретним каналом зв’язку з шумом, мінімальна кодова дистанція (d_min) та характеристики коду, класифікація завадостійких кодів, прості завадостійкі коди, методика побудови та декодування коду Хемінга, побудова та декодування циклічних кодів з d_min=3 та d_min=4, принципи лінійного кодування.
7. Поняття про корегуючі коди та їх характеристики. Поняття про кодову відстань, основні характеристики. Класифікація корегуючих кодів та ймовірність похибок.

Види робіт: лекційні заняття, практичні заняття, модульні контрольні роботи, самостійна робота студентів.