Сжатие h 264 что это

Сжатие h 264 что это

H.264, MPEG-4 Part 10 или AVC (Advanced Video Coding) — лицензируемый стандарт сжатия видео, предназначенный для достижения высокой степени сжатия видеопотока при сохранении высокого качества. Применяется для более рационального использования устройств хранения и передачи данных. Кодер H.264 без ущерба для качества изображения может снижать размер файла цифрового видео более чем на 80% по сравнению с форматом Motion JPEG и на 50% — по сравнению со стандартом MPEG-4 Part 2. Что означает гораздо меньшие требования к полосе пропускания для передачи и объему памяти для хранения видеофайла. Или же, с другой стороны, возможность получения гораздо лучшего качества видеоизображения при той же скорости передачи данных. На сегодняшний день формат H.264 является одним из самых прогрессивных и отвечающих современным требованиям алгоритмов компрессии.

Стандарт H.264 предназначен для технических решений в следующих областях:

  • Трансляции по сети, через спутник, через DSL соединения и т.д.
  • Интерактивный или постоянные хранения данных на оптических и магнитных носителях (DVD, HDD)
  • Потоковое мультимедиа по сети и т.д.

Благодаря своим преимуществам перед MPEG-4 и M-JPEG, H.264 может стать форматом номер один в системах видеонаблюдения. Сжатие видеоизображения заключается в удалении избыточных видеоданных или сокращении их объема, благодаря чему файлы с оцифрованным видео удается эффективно передавать по сети и хранить. При сжатии к исходному видеоизображению применяется определенный алгоритм. Применение обратного алгоритма позволяет практически без потерь восстановить оригинальное видеоизображение. В стандарте H.264 технология сжатия видеоизображения вышла на новый уровень: появилась более совершенная схема внутреннего предсказания, используемая для кодирования I-кадров. Благодаря этой схеме количество битов, необходимых для хранения I-кадра, значительно снижается, а качество изображения остается неизменным. Получить такой результат удается за счет использования моноблоков меньшего размера. Поиск совпадающих пикселов теперь осуществляется среди ранее закодированных пикселов, расположенных по краям нового макроблока. Значения этих пикселов используются повторно. В результате объем, который занимает изображение, значительно уменьшается.

В H.264, кроме того, усовершенствован механизм поблочной компенсации движения, который используется для кодирования P- и B-кадров. Кодировщик H.264 может по своему выбору осуществлять поиск совпадающих блоков (с точностью до субпиксела) в произвольном количестве областей одного или нескольких опорных кадров. Размер и форма блока также могут меняться, если при этом совпадение получается более точным. Для построения областей кадра, в которых нет совпадающих блоков, используются моноблоки с внутренним кодированием. Столь гибкий подход к компенсации движения оправдывает себя, например, при наблюдении за людными местами, когда требуется обеспечить также и качество изображения. Для компенсации движения выделяется большая часть ресурсов, отведенных видеокодеру. Поэтому от того, каким образом и насколько полно реализован этот алгоритм, зависит эффективность сжатия видеоизображения кодировщиком H.264.

При использовании H.264 удается также уменьшить количество артефактов блочности, характерных для Motion JPEG и других стандартов MPEG. Для этой цели в цикле кодирования используется внутренний фильтр деблокинга. В результате применения адаптивных алгоритмов удается сгладить края блоков и получить на выходе видеоизображение почти идеального качества.

В системах видеонаблюдения H.264, скорее всего, будет использоваться, в первую очередь, для решения задач, требующих больших скоростей передачи данных и высокого разрешения, например, в системах наблюдения за автомагистралями, в аэропортах и казино, где 30 к/с является нормой. В таких системах применение новой технологии позволит снизить требования к ширине каналов и объемам дискового пространства и приведет к значительной экономии.

H.264 — стандарт сжатия видео. И он вездесущ, его используют для сжатия видео в интернете, на Blu-ray, телефонах, камерах наблюдения, дронах, везде. Все сейчас используют H.264.

Нельзя не отметить технологичность H.264. Он появился в результате 30-ти с лишним лет работы с одной единственной целью: уменьшение необходимой пропускной способности канала для передачи качественного видео.

С технической точки зрения это очень интересно. В статье будут поверхностно описаны подробности работы некоторых механизмов сжатия, я постараюсь не наскучить с деталями. К тому же, стоит отметить, что большинство изложенных ниже технологий справедливы для сжатия видео в целом, а не только для H.264.

Видео в несжатом виде это последовательность двумерных массивов, содержащих информацию о пикселях каждого кадра. Таким образом это трёхмерный (2 пространственных измерения и 1 временной) массив байтов. Каждый пиксель кодируется тремя байтами — один для каждого из трёх основных цветов (красный, зелёный и синий).

1080p @ 60 Hz = 1920x1080x60x3 =>

Этим практически невозможно было бы пользоваться. Blu-ray диск на 50Гб мог бы вмещать всего около 2 мин. видео. С копированием так же будет не легко. Даже у SSD возникнут проблемы с записью из памяти на диск.

Поэтому да, сжатие необходимо.

Обязательно отвечу на этот вопрос. Но сперва я покажу кое-что. Взгляните на главную страницу Apple:

Я сохранил изображение и приведу в пример 2 файла:

Эмм… что? Размеры файлов кажется перепутали.

Нет, с размерами всё в порядке. Видео H.264 с 300 кадрами весит 175 Кб. Один единственный кадр из видео в PNG — 1015 Кб.

Кажется, мы храним в 300 раз больше данных в видео, но получаем файл весом в 5 раз меньше. Получается H.264 эффективнее PNG в 1500 раз.

Как такое возможно, в чём заключается приём?

А приёмов очень много! H.264 использует все приёмы о которых вы догадываетесь (и уйму о которых нет). Давайте пройдёмся по основным.

Представьте, что вы готовите машину к гонкам и вам нужно её ускорить. Что вы сделаете в первую очередь? Вы избавитесь от лишнего веса. Допустим, машина весит одну тонну. Вы начинаете выбрасывать ненужные детали… Заднее кресло? Пфф… выбрасываем. Сабвуфер? Обойдёмся и без музыки. Кондиционер? Не нужен. Коробка передач? В мусо… стойте, она еще пригодится.

Таким образом вы избавитесь от всего, кроме необходимого.

Этот метод отбрасывания ненужных участков называется сжатием данных с потерями. H.264 кодирует с потерями, отбрасывая менее значимые части и сохраняя при этом важные.

PNG кодирует без потерь. Это означает, что вся информация сохраняется, пиксель в пиксель, и поэтому оригинал изображения можно воссоздать из файла, закодированного в PNG.

Важные части? Как алгоритм может определять их важность в кадре?

Существует несколько очевидных способов урезания изображения. Возможно, верхняя правая четверть картинки бесполезна, тогда можно удалить этот угол и мы уместимся в ¾ исходного веса. Теперь машина весит 750 кг. Либо можно вырезать кромку определенной ширины по всему периметру, важная информацию всегда ведь по середине. Да, возможно, но H.264 всего этого не делает.

Что же на самом деле делает H.264?

H.264, как и все алгоритмы сжатия с потерями, уменьшает детализацию. Ниже, сравнение изображений до и после избавления от деталей.

Видите как на сжатом изображении исчезли отверстия в решётке динамика у MacBook Pro? Если не приближать, то можно и не заметить. Изображение справа весит всего 7% от исходного и это при том, что сжатия в традиционном смысле не было. Представьте машину весом всего лишь 70 кг!

7%, ого! Как возможно так избавиться от детализации?

Для начала немного математики.

Мы подходим к самому интересному! Если вы посещали теорию информатики, то возможно вспомните про понятие информационной энтропии. Информационная энтропия это количество единиц для представления некоторых данных. Заметьте, что это вовсе не размер самих данных. Это минимальное количество единиц, которое нужно использовать, чтобы представить все элементы данных.

Например, если в виде данных взять один бросок монеты, то энтропия получится 1 единица. Если же бросков монетки 2, то понадобятся 2 единицы.

Предположим, что монета весьма странная — её подбросили 10 раз и каждый раз выпадал орёл. Как бы вы кому нибудь рассказали об этом? Вряд ли как-то вроде ОООООООООО, вы бы сказали «10 бросков, все орлы» — бум! Вы только что сжали информацию! Легко. Я вас спас от многочасовой утомительной лекции. Это, конечно же, огромное упрощение, но вы преобразовали данные в некое короткое представление с той же информативностью. То есть уменьшили избыточность. Информационная энтропия данных не пострадала — вы только преобразовали представление. Такой способ называется энтропийным кодированием, который подходит для кодирования любого вида данных.

Читайте также:  Как поставить черную тему на ios 12

Теперь, когда мы разобрались с информационной энтропией, перейдем к преобразованию самих данных. Можно представить данные в фундаментальных системах. Например, если использовать двоичный код, будут 0 и 1. Если же использовать шестнадцатеричную систему, то алфавит будет состоять из 16 символов. Между вышеупомянутыми системами существует взаимно однозначная связь, поэтому можно легко преобразовывать одно в другое. Пока всё понятно? Идём дальше.

А представьте, что можно представить данные, которые изменяются в пространстве или времени, в совершенно иной системе координат. Например, яркость изображения, а вместо системы координат с x и y, возьмём частотную систему. Таким образом, на осях будут частоты freqX и freqY, такое представление называется частотным пространством[Frequency domain representation]. И существует теорема, что любые данные можно без потерь представить в такой системе при достаточно высоких freqX и freqY.

Хорошо, но что такое freqX и freqY?

freqX и freqY всего лишь другой базис в системе координат. Так же как можно перейти из двоичной системы в шестнадцатеричную, можно перейти из X-Y в freqX и freqY. Ниже изображён переход из одной системы в другую.

Мелкая решётка MacBook Pro содержит высокочастотную информацию и находится в области с высокими частотами. Таким образом мелкие детали имеют высокую частоту, а плавные изменения, такие как цвет и яркость низкую. Всё, что между, остаётся между.

В таком представлении, низкочастотные детали находятся ближе к центру изображения, а высокочастотные в углах.

Пока всё понятно, но зачем это нужно?

Потому что теперь, можно взять изображение, представленное в частотных интервалах, и обрезать углы, иными словами применить маску, понизив тем самым детальность. А если преобразовать изображение обратно в привычное, можно будет заметить, что оно осталось похожим на исходное, но с меньшей детализацией. В результате такой манипуляции, мы сэкономим место. Путём выбора нужной маски, можно контролировать детализацию изображения.

Ниже знакомый нам ноутбук, но теперь уже с, применёнными к ней, круговыми масками.

В процентах указана информационная энтропия относительно исходного изображения. Если не приближать, то разница не заметна и при 2%! — машина теперь весит 20 кг!

Именно таким образом нужно избавляться от веса. Такой процесс сжатия с потерями называется Квантованием.

Это впечатляет, какие еще приёмы существуют?

Человеческий глаз не особо хорошо различает близкие оттенки цвета. Можно легко распознавать наименьшие различия в яркости, но не цвета. Поэтому должен существовать способ избавления от лишней информации о цвете и сэкономить ещё больше места.

В телевизорах, цвета RGB преобразуются в YCbCr, где Y это компонента яркости (по сути яркость черно-белого изображения), а Cb и Cr компоненты цвета. RGB и YCbCr эквиваленты в плане информационной энтропии.

Зачем же тогда усложнять? RGB разве не достаточно?

Во времена чёрно-белых телевизоров, была только компонента Y. А с началом появления цветных телевизоров у инженеров встала задача о передаче цветного RGB изображения вместе с чёрно-белым. Поэтому вместо двух каналов для передачи, было решено кодировать цвет в компоненты Cb и Cr и передавать их вместе с Y, а цветные телевизоры уже сами будут преобразовывать компоненты цвета и яркости в привычный им RGB.

Но вот в чём хитрость: компонента яркости кодируется в полном разрешении, а компоненты цвета лишь в четверть. И этим можно пренебречь, т.к. глаз/мозг плохо различает оттенки. Таким образом можно уменьшить размер изображения в половину и с минимальными отличиями. В 2 раза! Машина будет весить 10 кг!

Данная технология кодирования изображения со снижением цветового разрешения называется цветовой субдискретизацией. Она используется повсеместно уже давно и относится не только к H.264.

Это самые значительные технологии в уменьшении размера при сжатии с потерями. Нам удалось избавиться от большинства детализации и сократить информацию о цвете в 2 раза.

Да. Обрезание картинки это лишь первый шаг. До этого момента мы разбирали отдельно взятый кадр. Пришло время взглянуть на сжатии во времени, где нам предстоит работать с группой кадров.

H.264 стандарт, который позволяет компенсировать движения.

Представьте, что вы смотрите теннисный матч. Камера зафиксирована и снимает с определенного угла и единственное что движется это мячик. Как бы вы закодировали это? Вы бы сделали что и обычно, да? Трёхмерный массив пикселей, две координаты в пространстве и один кадр за раз, так?

Но зачем? Большая часть изображения одинакова. Поле, сетка, зрители не меняются, единственное что движется это мячик. Что если определить единственное изображение фона и одно изображение мячика, движущегося по нему. Не сэкономило бы это значительно места? Вы видите к чему я клоню, не так ли? Компенсация движения?

И это именно то, что H.264 делает. H.264 разбивает изображение на макроблоки, обычно 16х16, которые используются для расчёта движения. Один кадр остаётся статичным, обычно его называют I-кадр [Intra frame], и содержит всё. Последующие кадры могут быть либо P-кадры [predicted], либо B-кадры [bi-directionally predicted]. В P-кадрах вектор движения кодируется для каждого макроблока на основе предыдущих кадров, таким образом декодер должен использовать предыдущие кадры, взяв последний из I-кадров видео и постепенно добавляя изменения последующих кадров пока не дойдёт до текущего.

Ещё интереснее обстоят дела с B-кадрами, в которых расчёт производится в обоих направлениях, на основании кадров идущих до и после них. Теперь вы понимаете почему видео в начале статьи весит так мало, это всего лишь 3 I-кадра, в которых мечутся макроблоки.

При такой технологии кодируется только различия векторов движения, тем самым обеспечивая высокую степень сжатия любого видео с перемещениями.

Мы рассмотрели статическое и временное сжатия. С помощью квантования мы во много раз уменьшили размер данных, затем с помощью цветовой субдискретизации ещё вдвое сократили полученное, а теперь еще компенсацией движения добились хранения лишь 3х кадров из 300, которые были первоначально в рассматриваемом видео.

Выглядит впечатляюще. Теперь что?

Теперь мы подведём черту, используя традиционное энтропийное кодирование без потерь. Почему нет?

После этапов сжатия с потерями, I-кадры содержат избыточные данные. В векторах движения каждого из макроблоков в P-кадрах и B-кадрах много одинаковой информации, так как зачастую они двигаются идентично, как это можно наблюдать в начальном видео.

От такой избыточности можно избавиться энтропийным кодированием. И можно не переживать за сами данные, так как это стандартная технология сжатия без потерь, а значит всё можно восстановить.

Вот теперь всё! В основе H.264 лежат вышеупомянутые технологии. В этом и заключаются приёмы стандарта.

Отлично! Но меня разбирает любопытство узнать, сколько же весит теперь наша машина.

Исходное видео было снято в нестандартном разрешении 1232×1154. Если посчитать, то получится:

5 сек. @ 60 fps = 1232x1154x60x3x5 => 1.2 Гб
Сжатое видео => 175 Кб

Если соотнести результат с оговорённой массой машины в одну тонну, то получится вес равный 0.14 кг. 140 граммов!

Конечно же я в очень упрощённом виде изложил результат десятилетних исследований в этой сфере. Если захотите узнать больше, то страница в википедии вполне познавательна.

Как ожидается, новейший стандарт сжатия видеоизображения H.264 (известный также под названием MPEG-4 Part 10/AVC, последние буквы которого означают "передовое кодирование видеосигналов") станет в ближайшие годы самым востребованным видеостандартом.

H.264 – это открытый лицензированный стандарт с поддержкой самых эффективных на сегодняшний день технологий сжатия видеоизображения. Кодер H.264 без ущерба для качества изображения может снижать размер файла цифрового видео более чем на 80% по сравнению с форматом Motion JPEG и на 50% — по сравнению со стандартом MPEG-4 Part 2. Что означает гораздо меньшие требования к полосе пропускания для передачи и объему памяти для хранения видеофайла. Или же, с другой стороны, возможность получения гораздо лучшего качества видеоизображения при той же скорости передачи данных.

Читайте также:  Не меняют фамилию в контакте что делать

Прошедший коллективное утверждение со стороны организаций по стандартизации в области телекоммуникационных и информационных технологий, H.264, как ожидается, получит более широкое распространение по сравнению с предшествующими стандартами.

H.264 уже появился в таких новых электронных устройствах, как мобильные телефоны и цифровые видеоплееры, и сразу завоевал признание со стороны конечных пользователей. Провайдеры различных услуг, такие как онлайн-хранилища видеоматериалов и телекоммуникационные компании также начали использование H.264.

В отрасли охранного видеонаблюдения H.264, по всей вероятности, быстрее всего найдет свое применение в таких областях, которые требуют использования высокой частоты кадров и высокого разрешения, например, для охранного наблюдения за автомагистралями, аэропортами и казино, где нормой является использование частоты 30/25 (NTSC/PAL) кадров в секунду. Наибольшая экономия будет достигнута за счет снижения требований к ширине полосы пропускания и объему свободного пространства для хранения данных.

Кроме того, ожидается, что H.264 ускорит переход на мегапиксельные камеры, поскольку высокоэффективная технология сжатия может снизить огромные размеры файлов и скорость их передачи без ущерба для качества изображения. Есть, впрочем, и сопутствующие требования. Хотя H.264 предлагает экономию расходов на ширину пропускного канала сети и объемы свободного пространства для хранения данных, этот стандарт требует наличия сетевых камер и станций наблюдения с более высокими техническими характеристиками.

Разработка стандарта H.264

H.264 является результатом совместного проекта группы экспертов по кодированию видео ITU-T и группы экспертов по вопросам кинотехники ISO/IEC (MPEG). ITU-T проводит координацию телекоммуникационных стандартов от имени Международного телекоммуникационного союза. ISO расшифровывается как Международная организация по стандартизации, а IEC – Международная электротехническая комиссия, которая осуществляет надзор за всеми электротехническими, электронными и сопутствующими им технологиями. Название H.264 используется со стороны ITU-T, в то время как ISO/IEC дали стандарту название MPEG-4 Part 10/AVC, поскольку он представляет собой новый элемент в их пакете MPEG-4. В пакет MPEG-4, к примеру, входит и MPEG-4 Part 2 – стандарт, применяемый в видеокодерах и сетевых камерах на базе IP-систем.

H.264, разработанный для исправления некоторых недостатков в предыдущих стандартах сжатия видеоизображений, достигает своих целей благодаря:

  • Улучшениям, позволяющим снизить скорость передачи данных в среднем на 50%, и предлагающими такое качество неподвижного видеоизображения, которое сравнимо с любым другим видеостандартом;
  • устойчивости к ошибкам, которая позволяет воспроизводить изображение несмотря на ошибки при передаче данных по различным сетям;
  • низкому уровню задержки и получению лучшего качества при более высоком уровне задержки;
  • простой структуре синтаксиса, которая упрощает внедрение стандарта;
  • декодированию на основе точного совпадения, при котором определяется точное количество числовых расчетов, производимых кодером и декодером, что позволяет избежать появления накапливающихся ошибок.

H.264 также обладает гибкостью, которая позволяет применять его для решения различных задач с самыми разными требованиями к скорости передачи данных. К примеру, в области развлекательного видео (телетрансляции, DVD, спутниковое и кабельное телевидение) H.264 способен обеспечить скорость от 1 до 10 мегабит в секунду с высоким уровнем задержки, в то время как для телекоммуникационных услуг H.264 может предложить скорость передачи данных менее 1 мегабита в секунду с низким уровнем задержки.

Как происходит сжатие видеоизображения:

Сжатие видеоизображения – это сокращение и удаление избыточных видеоданных с целью оптимизации хранения и передачи файлов цифрового видео.

В ходе этого процесса исходный видеосигнал обрабатывается с помощью алгоритма для создания сжатого файла, готового к передаче и хранению. Для воспроизведения сжатого файла применяется инверсный алгоритм, который фактически дает то же самое видеоизображение, что и оригинальный источник видеосигнала. Время, требуемое для сжатия, отправки, распаковки и отображения файла, называется задержкой. При одинаковой вычислительной мощности – чем более сложен алгоритм сжатия, тем выше задержка.

Совместная работа пары алгоритмов называется видеокодеком (кодер/декодер). Видеокодеки, применяющие разные стандарты, как правило, несовместимы друг с другом, поэтому видеоданные, сжатые с использованием одного стандарта, нельзя распаковать с применением другого стандарта. К примеру, декодер MPEG-4 Part 2 не будет работать с кодером H.264. Причиной тому является тот факт, что один алгоритм не может корректно декодировать результат, полученный с помощью работы другого алгоритма, однако есть возможность оснастить множеством разных алгоритмов программное или аппаратное обеспечение, чтобы оно могло производить сжатие разных форматов.

В различных стандартах сжатия видеоизображения применяются различные методы сокращения размера данных, и, таким образом, результаты отличаются по скорости передачи данных, качеству и уровню задержки.

Результаты сжатия могут различаться и у кодеров, использующих один и тот же стандарт, поскольку разработчик кодера волен выбирать, какие именно наборы средств, определенных стандартом, в нем задействовать. До тех пор пока результат на выходе кодера соответствует формату и декодеру стандарта, возможны различные методы его реализации. Это выгодно, поскольку различные методы реализации имеют разные цели и разный бюджет. Профессиональные программные кодеры для работы с оптическими носителями не в режиме реального времени должны иметь возможность обеспечивать лучшее кодированное видеоизображение по сравнению с аппаратными кодерами для проведения видеоконференций в режиме реального времени, встроенными в портативные устройства. Таким образом, определенный стандарт не может гарантировать определенную скорость передачи данных или ее качество. Более того, функционирование одного стандарта нельзя корректно сравнивать с другими стандартами или даже с различными методами реализации этого же стандарта без предварительного определения конкретного метода реализации.

Декодер же, в отличие от кодера, должен реализовывать в себе все необходимые элементы стандарта с тем, чтобы декодировать соответствующий поток битов. Поэтому стандарт четко указывает, как именно алгоритм распаковки должен восстанавливать каждый бит сжатого видеоизображения.

Приведенный ниже график сравнивает скорость передачи данных при одинаковом уровне качества изображения следующих видеостандартов: Motion JPEG, MPEG-4 Part 2 (без компенсации движения), MPEG-4 Part 2 (с компенсацией движения) и H.264 (базовый профиль).

Рис.1. Для выбранной последовательности видеокадров кодер H.264 генерирует до 50% меньше бит в секунду по сравнению с кодером MPEG-4 с компенсацией движения. Кодер H.264, по меньшей мере, в три раза эффективнее, чем кодер MPEG-4 без компенсации движения, и по меньшей мере в шесть раз эффективнее, чем Motion JPEG.

Профили и уровни H.264

Объединенная группа, участвующая в определении стандарта H.264, сосредоточила свое основное внимание на создании простого и ясного решения, сводящего к минимуму количество опций и параметров. Важнейшим аспектом данного стандарта, как и в случае с другими видеостандартами, является предоставление различных возможностей в рамках профилей (наборов алгоритмических параметров) и уровней (классов функционирования) для оптимальной поддержки популярных продуктов и распространенных форматов.

В H.264 заложено семь профилей, каждый из которых рассчитан на конкретную область применения. Каждый профиль определяет, какой именно набор параметров может использовать кодер, и ограничивает сложность реализации декодера.

Сетевые камеры и видеокодеры, скорее всего, будут использовать так называемый базовый профиль, рассчитанный преимущественно на применение в областях с ограниченными вычислительными мощностями. Базовый профиль наиболее подходит для применения в современных кодерах режима реального времени, встроенных в сетевое видеооборудование. Этот профиль также обеспечивает низкий уровень задержки, что является важным требованием для охранного видеонаблюдения, и также имеет особую важность для управления в режиме реального времени функциями панорамирования, наклона и масштабирования сетевых PTZ-камер.

H.264 имеет 11 уровней или степеней ограничения требований к функциональности, пропускному каналу и памяти. Каждый уровень определяет скорость передачи данных и скорость кодирования в макроблоках в секунду для разрешений в диапазоне от QCIF до HDTV и выше. Чем выше разрешение, тем выше требуемый уровень.

Использование кадров

В зависимости от профиля H.264, кодером могу использоваться различные типы кадров, а именно I-кадры, P-кадры и B-кадры.

I-кадр (или вводный кадр) – это изолированный кадр, который может декодироваться независимым образом без привязки к любым другим изображениям. Первое изображение в видеопоследовательности всегда является I-кадром. I-кадры необходимы в качестве начальных точек для новых просмотров или точек повторной синхронизации в случае нарушения переданного потока битов. I-кадры можно использовать для реализации функций перемотки вперед, назад и иных функций произвольного доступа. Кодер автоматически вставляет I-кадры через равные промежутки времени или по требованию в случае, когда ожидается присоединение новых клиентов к просмотру потока. Недостатком I-кадров является чрезмерное количество составляющих их бит, но, с другой стороны, они и не создают большого количества искажений.

Читайте также:  Планшет prestigio не видит сим карту

P-кадр, который расшифровывается как промежуточный кадр предсказуемого характера, содержит ссылки для своего кодирования на части предшествующих I-кадров и/или P-кадров. P-кадры, как правило, требуют меньшее количество бит, чем I-кадры, но имеют недостаток в том плане, что они очень уязвимы по отношению к ошибкам передачи из-за своей сложной зависимости от предшествующих ссылочных P- и I-кадров.

B-кадр (или промежуточный кадр двунаправленного предсказания) – это кадр, содержащий в себе ссылки и на предыдущий, и на последующий ссылочные кадры.

Рис. 2. Типовая последовательность I-, B- и P-кадров. P-кадр может ссылаться только на предшествующий I- или P-кадр, в то время как B-кадр может ссылаться как на предшествующий, и на последующий I- или P-кадры.

Когда видеодекодер восстанавливает видеоизображение посредством покадрового декодирования потока бит, процесс декодирования всегда должен начинаться с I-кадра. При использовании P-кадров и B-кадров они должны декодироваться вместе с ссылочными кадрами.

В базовом профиле H.264 используются только I- и P-кадры. Этот профиль идеально подходит для сетевых камер и видеокодеров из-за своего низкого уровня задержки, достигаемого за счет отсутствия B-кадров.

Основные методы сокращения данных

Для сокращения количества видеоданных, как в рамках кадра с изображением, так и в рамках последовательности видеокадров, можно использовать самые разнообразные методы.
В рамках кадра изображения сокращение данных можно произвести простым удалением избыточной информации, что окажет свое влияние на разрешение изображения.

В рамках последовательности кадров сокращение видеоданных можно произвести с помощью таких методов, как кодирование по отличиям, которое используется в большинстве стандартов сжатия видеоизображения, в том числе и H.264. При кодировании по отличиям кадр сравнивается с ссылочным кадром (т.е. предыдущим I- или P-кадром) и кодируются только изменившиеся по отношению к ссылочному кадру пиксели. Таким образом сокращается количество пиксельных значений для кодирования и отправки.

Рис.3. В формате Motion JPEG три изображения в показанной выше последовательности кодируются и отправляются как отдельные уникальные изображения (I-кадры) без какой-либо зависимости друг от друга.


Рис.4. При кодировании по отличиям (применяемом в большинстве стандартов сжатия видеоизображения, в том числе и в H.264) полностью кодируется только первое изображение (I-кадр). В двух последующих изображениях (P-кадрах) ставятся ссылки на первое изображение в отношении статичных элементов (в данном случае в отношении дома) и кодируются только движущиеся элементы (в данном случае бегущий человек) с использованием вектора движения, что, таким образом, снижает объем информации для отправки и хранения.

Объем кодирования можно дополнительно снизить, если обнаружение и кодирование по отличиям базируется на блоках пикселей (макроблоках), а не на отдельных пикселях — следовательно, сравниваются более крупные участки и кодируются только блоки со значительными отличиями. Снижаются также и затраты, сопутствующие указанию меняющегося места действия.

Впрочем, кодирование по отличиям существенно не снизит объем данных, если видеоряд содержит много движущихся объектов. И здесь можно использовать такие технологии, как поблочная компенсация движения. Поблочная компенсация движения учитывает то, что многое из того, что создает новый кадр в видеопоследовательности, можно найти на предыдущих кадрах, но, возможно, в другом месте действия. Данная техника разделяет кадр на ряды макроблоков. Новый кадр (например, P-кадр) можно составить или "предсказать" поблочно посредством поиска совпадающего блока в ссылочном кадре. При обнаружении совпадения кодер просто кодирует положение найденного совпадающего блока в ссылочном кадре. Кодирование так называемого вектора движения требует меньше бит, чем кодирование фактического содержания всего блока.

Эффективность H.264 выводит технологию сжатия видеоизображения на новый уровень.

Стандарт H.264 вводит новую передовую схему внутреннего предсказания при кодировании I-кадров. Данная схема может значительно сократить размер (в битах) I-кадра при сохранении высокого качества при помощи успешного предсказания маленьких блоков пикселей в рамках макроблока внутри кадра. Это происходит посредством попытки найти совпадающие пиксели среди ранее закодированных пикселей, которые ограничивают новый пиксельный блок 4×4 для внутреннего кодирования. Путем повторного использования уже закодированных пиксельных значений можно значительно сократить размер данных в битах. Новое внутреннее предсказание – это ключевой элемент технологии H.264, уже доказавший свою высокую эффективность. Для сравнения: даже если в потоке H.264 использовать только I-кадры, размер получившегося файла будет гораздо меньшим, чем для потока Motion JPEG, в котором используются только I-кадры.

Рис.6. Иллюстрации того, как можно использовать некоторые режимы внутреннего предсказания при кодировании пикселей 4×4 в рамках одного из 16 блоков, образующих макроблок. Каждый из 16 блоков внутри макроблока может кодироваться с помощью разных режимов.

Рис.7. Помещенные выше изображения иллюстрируют эффективность схемы внутреннего предсказания H.264, при которой внутренне предсказанное изображение отправляется "бесплатно". Для создания изображения на выходе необходимо закодировать только содержимое остаточного изображения и режимы внутреннего предсказания.

В H.264 также улучшена поблочная компенсация движения, применяемая при кодировании P- и B-кадров. Кодер H.264 может выбирать для поиска совпадающих блоков (вплоть до субпиксельной точности) некоторых или многих участков внутри одного или внутри нескольких ссылочных кадров. Для улучшения поиска совпадений можно также настраивать размер и форму блоков. На участках, где внутри ссылочного кадра нельзя найти никаких совпадающих блоков, используются внутренне закодированные макроблоки. Высокая степень гибкости поблочной компенсации движения в H.264 эффективна в местах видеонаблюдения за большим количеством людей, где следует сохранять требуемое для этой области применения качество изображения. Компенсация движения является наиболее востребованным аспектом видеокодера, а различные способы и уровни, при которых возможна ее реализация посредством кодера H.264, помогают повысить эффективность сжатия видеоизображения.

Со стандартом H.264 типичные блочные объекты, заметные на видеоизображениях с высокой степенью сжатия по стандартам Motion JPEG и MPEG (в отличие от H.264), можно уменьшить благодаря встроенному деблокирующему фильтру. Этот фильтр автоматически сглаживает края блоков, создавая почти идеальное развернутое видеоизображение.

Рис.8. Блочные объекты на изображении с высокой степенью сжатия слева уменьшились при применении деблокирующего фильтра, как это видно на изображении справа.

Заключение

H.264 представляет собой огромный шаг вперед в технологии сжатия видеоизображения. Этот стандарт предлагает различные технологии, позволяющие добиться лучшей эффективности сжатия благодаря применению более точных схем внутреннего предсказания, а также большей устойчивости к ошибкам. Он открывает новые возможности для создания передовых видеокодеров, способных значительно повысить качества изображения, увеличить частоту кадров и разрешение при сохранении той же скорости передачи данных (по сравнению с предшествующими стандартами) или же, напротив, обеспечить видеоизображение того же качества при меньшей скорости передачи данных.

H.264 представляет собой первый образец совместной работы Международного телекоммуникационного союза, Международной организации по стандартизации и Международной электротехнической комиссии по типовым международным стандартам сжатия видеоизображения. Из-за своей гибкости H.264 нашел применение в таких разнообразных областях, как DVD высокой четкости (например, Blu-ray), видеотрансляция, в том числе трансляция телевидения высокой четкости, онлайн-хранилища видеоматериалов (например, YouTube), мобильная телефонная связь третьего поколения, в таких программах, как QuickTime, Flash и в операционной системе MacOS X на компьютерах Apple, а также в игровых видеоприставках, например, PlayStation 3. Благодаря поддержке во многих отраслях промышленности и разработки программных приложений, рассчитанных на удовлетворение потребительских и профессиональных потребностей, H.264, как ожидается, заменит другие, используемые на сегодняшний день, стандарты и методы сжатия.

С более широким распространением формата H.264 в сетевых камерах, видеокодерах и программном обеспечении для управления видеонаблюдением, разработчикам и интеграторам систем требуется уверенность в том, что выбранные ими продукты и поставщики поддерживают этот новый открытый стандарт. На данный момент сетевое видеооборудование, поддерживающее как H.264, так и Motion JPEG – это идеальный выбор, обеспечивающий наивысшую степень универсальности и интеграции.

Ссылка на основную публикацию
Самый лучший телефон по всем характеристикам
2018 год удивил пользователей широким выбором: здесь и Samsung Galaxy S9, и iPhone Xs, и более приемлемый Huawei Mate 20....
Регистр сведений соответствие объектов информационных баз
Логично ожидать, что при синхронизации данных, как начальной, так и основанной на регулярной основе, одинаковые данные в приложениях будут сопоставлены...
Регистрация gmail com без номера телефона
Google – передовой поисковый сервис, давно изменивший способ взаимодействия с интернетом. Именно здесь впервые ввели поиск по картинкам, предусмотрели голосовое...
Самый лучший смартфон xiaomi 2018
Собрали всё лучшее. Была идея выпустить гид по всему модельному ряду, но это обречённая затея, потому что у Xiaomi куча...
Adblock detector