Теорија на информации

Предмет: Теорија на информации

Код: ФЕИТ10030

Број на ЕКТС кредити: 6 ЕКТС

Неделен фонд на часови: 3+0+0+3

Наставник: Проф. Венцеслав Кафеџиски

Содржина на предметната програма: Ентропија, релативна ентропија и взаемна информација. Особина на асимптотска еквипартиција. Ентрописка брзина на случајни процеси. Компресија на податоци без загуби. Хафманово кодирање, Шенон-Фано-Елиас кодирање. Универзално кодирање на извор на информации. Аритметичко кодирање. Лемпел-Зив кодирање. Капацитет на дискретен канал без меморија. Капацитет на Гаусов канал без меморија. Капацитет на векторски Гаусови канали. Компресија на податоци со загуба. Теорија на рата-дисторзија. Квантизација. Рата-дисторзија на Гаусов извор на информација. Рата дисторзија на векторски Гаусов извор на информација. Мрежна теорија на информации. Основни проблеми на мрежната теорија на информации и методи на нивно решавање. Капацитет на канал со повеќекратен пристап и капацитет на броадкаст канал. Капацитет на канал со реле. Дистрибуирано кодирање на повеќе извори на информации. Теорија на информации и статистика.

Литература:

1.       T. M. Cover, J. A. Thomas, “Elements of Information Theory,” Wiley, 2006.