Pull to refresh
0

Захват видео в OpenGL приложениях с помощью Intel INDE Media Pack

Reading time 5 min
Views 6.1K
imageИз прошлых статей вы уже знаете, что такое Intel INDE и его компонент Intel INDE Media Pack, предоставляющий разнообразные возможности работы с видео. В этот раз я хочу поподробнее остановиться на такой возможности Intel INDE Media Pack, как захват видео в приложениях, использующих OpenGL.

Начну я не с примеров и рассказа о том, как это все работает, а с ответов на вопросы, которые чаще всего задают разработчики, когда речь заходит о захвате видео в Media Pack:«Зачем мне вообще делать возможность захвата видео в своем приложении?» и «Зачем использовать Media Pack, если в Android 4.4 появилась возможность захвата видео через ADB?»

Зачем это разработчику и пользователям

1. Это модель использования, которая может лечь в основу приложения, такого, как например Toy Story: Story Theater. Пользователь производит действия с объектами на экране, приложение захватывает видео, пишет его в файл, далее дает возможность его просмотреть, сохранить, поделиться в социальных сетях.

2. Новая возможность для пользователя – записать и сохранить удачный игровой момент, способ прохождения уровня, которым он также сможет поделиться в социальных сетях. Для разработчика это будет один из способов популяризации приложения.

Захват видео через ADB

Основное отличие от данного способа — это отсутствие необходимости подключать мобильное устройство к хосту, захват происходит прямо на устройстве, при этом не требуется «рутовать» устройство, используются стандартные механизмы. На выходе получается MP4 видео, готовое к просмотру или загрузке в сеть.

Второе отличие – есть возможность захватывать не только видео, но и аудио со встроенного микрофона, что делает возможным захват звука из приложения, плюс возможность комментирования того, что происходит на экране.

Захват видео в OpenGL приложениях с помощью Media Pack

Первым делом необходимо скачать и установить INDE Media Pack, о том как это делается я подробно рассказал в этой статье.

Внутри находятся две библиотеки, которые необходимо включить в свое приложение — android-<номер версии>.jar и domain-<номер версии>.jar

image

Всю работу по захвату видео делает класс GLCapture. Принцип его работы прост: он имеет собственную поверхность (Surface), содержимое которой он кодирует в кадры и пишет в видео. Приложение сначала отрисовывает текущий кадр на экран, затем переключает контекст на поверхность GLCapture и рисует сцену еще раз, при восстановлении контекста текущее содержимое поверхности кодируется и пишется в результирующее видео.

Перед началом использования GLCapture его необходимо подготовить, а именно:

  • Задать параметры видео
  • Аудио (если есть необходимость писать звук)
  • Указать, куда будет сохраняться видео (путь к файлу)
  • Сконфигурировать поверхность


// Объявление 
GLCapture  capturer; 
…
// Создание экземпляра
capturer = new GLCapture(new AndroidMediaObjectFactory());


Настройка параметров видео

// Создаем и инициализируем видео формат
// Формат видео
String videoMimeType = “video/avc”;

// Ширина кадра
int videoFrameWidth = 640;

// Высота кадра
int videoFrameHeight = 480;

// Битрейт в килобайтах
int videoBitRate = 5000;

// Частота кадров в секунду
int videoFrameRate = 30;

// Частота ключевых кадров
int videoIFrameInterval = 1;

VideoFormatAndroid videoFormat = new VideoFormatAndroid(videoMimeType, videoFrameWidth, videoFrameHeight);

videoFormat.setVideoBitRateInKBytes(videoBitRate);
videoFormat.setVideoFrameRate(videoFrameRate);
videoFormat.setVideoIFrameInterval(videoIFrameInterval);

// Задаем видео формат
сapturer.setTargetVideoFormat(videoFormat);


Настройка параметров аудио

Если нет необходимости писать звук, этот шаг можно пропустить

// Создаем и инициализируем аудио формат
// Формат Audio
String audioMimeType = “audio/mp4a-latm”;

// Частота аудио сэмплов
int audioSampleRate = 44100;

// Количество уадио каналов
int audioChannelCount = 1;

AudioFormatAndroid audioFormat = new AudioFormatAndroid(audioMimeType , audioSampleRate, audioChannelCount);

// Задаем аудио формат
сapturer.setTargetAudioFormat(audioFormat);


Путь к результирующему видео

String dstPath = “…”;
capture.setTargetFile(dstPath);


Инициализация поверхности

Перед первым использованием необходимо инициализировать поверхность, делается это путем вызова

capture.setSurfaceSize(videoFrameWidth, videoFrameHeight)


Одно условие – вызов должен быть осуществлен из функции с активным OpenGL контекстом, т.е. где-то в

onSurfaceChanged(GL10 gl, int width, int height) 

или

onDrawFrame(GL10 gl)


После того, как параметры заданы, поверхность сконфигурирована, можем начинать сохранять кадры в видео.

В простейшем случае можно дважды отрисовать сцену – сначала на экран, затем на поверхность.

Способ первый: двойная отрисовка


// Рисуем сцену на экран
render();

// Переключаем контекст
capturer.beginCaptureFrame();

// Рисуем сцену на поверхность GLCapture
render();

// Восстанавливаем контекст
capturer.endCaptureFrame();


В некоторых случаях такой подход может сказаться на производительности, например в случае сцен с большим количеством объектов, текстур, пост обработкой кадра. Чтобы избежать двойной отрисовки, можно использовать кадровый буфер (frame buffer).

Способ второй: кадровый буфер

В этом случае алгоритм выглядит следующим образом:

  • Создаем кадровый буфер и привязанную к нему текстуру
  • Рисуем сцену на текстуру
  • Рисуем полноэкранную текстуру на экран
  • Переключаем контекст и рисуем текстуру на поверхность GLCapture


Дабы сэкономить время разработчикам на реализацию этого метода, мы включили в библиотеку все необходимые компоненты для работы с кадровым буфером.

// Класс-обертка
FrameBuffer frameBuffer;
// Вспомогательный класс для рисования полноэкранной текстуры
FullFrameTexture texture;


// Где-то в функции с активным OpenGL контекстом, например 

public void onSurfaceChanged(GL10 gl, int width, int height) {

    frameBuffer = new FrameBuffer(EglUtil.getInstance());
    frameBuffer.setResolution(new Resolution(width, height));

    texture = new FullFrameTexture();
}


Как видите — минимум кода для создания и инициализации. При желание нашу реализацию можно заменить на собственную, никаких ограничений.

// В функции рисования

public void onDrawFrame(GL10 gl) {

    // Будем рисовать на текстуру
    frameBuffer.bind();

    // Рисуем сцену
    renderScene();

    // Восстанавливаем контекст
    frameBuffer.unbind();

    // Рисуем текстуру на экран
    texture.draw(frameBuffer.getTextureId());

    // Переключаем контекст
    capture.beginCaptureFrame();

    // Рисуем текстуру на поверхность 
    texture.draw(frameBuffer.getTextureId());

    // Восстанавливаем контекст
    capture.endCaptureFrame();
}


С целью упростить пример я исключил часть кода, который вычисляет и устанавливает область просмотра (view port), что является необходимым условием для корректного отображения захвата видео в случаях, когда размер экрана и разрешение результирующего видео не совпадают.

Полную версию примера вы сможете найти в приложении samples, поставляемом в составе Intel INDE Media Pack, класс GameRenderer.

image

Данный пример демонстрирует возможность захвата как с помощью двойной отрисовки, так и с использованием кадрового буфера, а также позволяет оценить производительность каждого способа, отображая количество кадров в секунду.

11-12 Апреля в Москве в Digital October состоится ежегодная конференция Droidcon, на которой компания Intel на своем стенде представит образцы мобильных устройств на базе IA. Помимо этого, мы представим доклад (в пятницу 11-го) и workshop (в субботу 12-го) на тему Intel INDE. Если вы планируете посетить данное мероприятие — не забудьте заглянуть к нам, будет интересно!
Tags:
Hubs:
+16
Comments 11
Comments Comments 11

Articles

Information

Website
www.intel.ru
Registered
Founded
Employees
5,001–10,000 employees
Location
США
Representative
Анастасия Казантаева