В создании единиц аудиовизуального контента целевым объектом может быть одиночный объект (например, титровая надпись) или группа (например, сборка стен и пола или стол с вазой на поверхности стола).
Основная проблема в таком трекинге экспоненциально связана со скоростью. Чем выше скорость самого объекта или чем быстрее меняется его ориентация на плоскости и в пространстве (например, сама камера двигается или вращается), тем сложнее «тречить» объект.
А если к этому добавляется и увеличение частоты кадров, то дополнительно увеличивается и сложность (трудоёмкость), и объём привлекаемых аппаратно-программных ресурсов (в первую очередь объём памяти для хранения данных и сборного материала).
Но в любом случае системы трекинга обычно используют модели (оценочные алгоритмы) движения, которые описывают, как может изменяться изображение целевого объекта при всевозможных различных его движениях.
Примерами простых моделей движения являются:
• трекинг плоских объектов, модель движения – 2D-преобразование (аффинное преобразование, которое ещё называют дурацким для наших времён термином гомография) изображения объекта (например, исходного кадра);
• целевой трекинг жёсткого 3D-объекта, тогда модель движения определяет вид в зависимости от его положения в пространстве и ориентации;
• трекинг с целью сжатия видео, здесь ключевые кадры (key frames) разделяются на макроблоки (macroblocks); модель движения в этом случае представляет собой разрыв ключевых кадров, когда каждый макроблок преобразуется при помощи вектора движения, полученного из параметров движения;
• трекинг под сетку, это когда изображение объекта покрыто сеткой (mesh) или маркерами (markers), движение объекта задаётся положением вершин этой сетки или вершин каждого из маркеров (или, если системе достаточно, основных).
В саму технологию давайте глубинно погружаться не будем. Такие понятия, как «представление целевого объекта», «локализация целевого объекта», «восходящий процесс» (bottom-up process), «блоуб-трекинг» (blob tracking) и т. д., известны соответствующим специалистам из данной области применений. Знание особенностей, плюсов и минусов вычислительной сложности различных алгоритмов видеотрекинга – это их вотчина.
Да и эту задачу/работу у них постепенно теперь отбирает искусственный интеллект. Это видно по массовому появлению на рынке программ и плагинов для динамического хромакея и ротоскопинга, в которых процессы трекинга максимально автоматизированы.