Глава 7: Взлом нейронного кода

Шеннон определил информацию в терминах битов, которые вычисляются как логарифм обратной вероятности символа. Это также можно записать как отрицательное значение логарифма вероятности:

Общая информация в коде, известная как энтропия (H), является функцией информации в каждом из его символов. В частности, энтропия - это сумма информации, содержащейся в каждом символе (xi) кода X, взвешенная по его вероятности, P(xi ).