Клод Шеннон

Шеннон определил основную единицу количества информации, названную потом битом, как сообщение, представляющее один из двух вариантов: например, орел решка, или да нет. Бит можно представить как или 0, или как присутствие или отсутствие тока в цепи. На этом математическом фундаменте Шеннон затем показал, что любой канал связи имеет свою максимальную пропускную способность для надежной передачи информации. В действительности он доказал, что, хотя можно приблизиться к этому максимуму за счет искусного кодирования, достичь его невозможно.

Этот максимум получил известность как предел Шеннона, Каким образом можно приблизиться к пределу Шеннона? Первый шаг заключается в том, чтобы воспользоваться избыточностью кода. Подобно тому как влюбленный мог бы лаконично написать в своей любовной записке я лбл в, путем эффективного кодирования можно сжать информацию, представив ее в наиболее компактной форме. С помощью специальных методов кодирования, позволяющих проводить коррекцию ошибок, можно гарантировать, что сообщение не будет искажено шумом.