En el campo de la creación de video a tiempo real se usan distintos protocolos y técnicas para el control y la sincronización de los distintos elementos que pueden componer un espectáculo. Estos protocolos permiten la sincronización de distintos eventos audiovisuales como audio, video, luces, elementos escénicos o pirotecnia. Los protocolos más usados son: DMX, MIDI, OSC y timecode.
Fuente: Omar Álvarez. Introducción protocolos de control.
DMX 512
Protocolo estándar y universal utilizado en el mundo del espectáculo para el control de elementos lumínicos y escénicos. A través del protocolo DMX, incorporado en muchas herramientas de software de video a tiempo real, podemos controlar las luces, o bien el disparo de los videos puede ser controlado desde una controladora DMX física en sincronía con las luces del espectáculo.
Fuente: Omar Álvarez. DMX (Digital Multiplex).
Protocolo MIDI
Nos permite controlar desde una consola física distintos parámetros de un software de video a tiempo real, sincronizar el disparo de audio y video desde distintos ordenadores o secuenciar el disparo de cualquier tipo de evento audiovisual.
A través del protocolo MIDI podemos enviar un mensaje de control desde el ordenador que reproduce el sonido para activar en uno o más ordenadores el disparo de los contenidos visuales.
Para el envío y la recepción de comandos MIDI entre distintos equipos podemos requerir un hardware específico como controladores MIDI, interfaces MIDI y cableado MIDI. También podemos hacer uso de herramientas MIDI por IP y enviar comandos MIDI entre ordenadores a través de una red ethernet.
Fuente: Omar Álvarez. MIDI (Musical Instrument Digital Interface).
Fuente: Omar Álvarez. Configuración MIDI sistema operativo MacOX (2023).
Fuente: Pretzelpaws. Midi ports and cable (2005). https://commons.wikimedia.org/wiki/File:Midi_ports_and_cable.jpg
Para más información:
https://es.wikipedia.org/wiki/MIDI
Open Sound Control (OSC)
Se utiliza para el control y la sincronía por red entre instrumentos musicales digitales. Puede ser usado de manera similar al protocolo MIDI. El uso del protocolo OSC permite el envío de comandos entre ordenadores conectados a la misma red, a partir de una dirección IP y un puerto de entrada y salida.
El protocolo OSC permite mayor nivel de precisión que el protocolo MIDI y es ideal para la creación de gráficos generativos o para sincronizar efectos sonoros y visuales.
Fuente: Omar Álvarez. OSC (Open Sound Control).
Timecode
A través del timecode, protocolo de sincronización de equipos a partir de una señal de sonido que tiene impreso un código de tiempo con base en horas, minutos, segundos y frames, podemos sincronizar distintos eventos o esclavizar distintas máquinas que responden al recibir la señal de timecode. Es una señal de sonido, que el público no escucha, y que permite el control de distintos elementos a partir de esta señal.
En procesos de creación de gráficos generativos audiorreactivos o en la creación sonora a tiempo real a partir del análisis de patrones, formas, tamaños y colores de elementos visuales, además de los protocolos MIDI y OSC podemos añadir herramientas de análisis de audio a tiempo real. Esta técnica de análisis espectral del sonido a tiempo real permite parametrizar las propiedades de gráficos generados a tiempo real a partir del análisis de esta señal de audio. Podemos extraer cualidades del sonido como el volumen o la tonalidad para recrear una sensación similar en el apartado visual de nuestra creación.
Fuente: Omar Álvarez. Timecode.
A través del análisis de audio a tiempo real podemos generar contenidos visuales a partir de parámetros del sonido o viceversa. Podemos generar un sistema de partículas en el que el tamaño, la posición o el color de dichas partículas varía en función de las características del sonido.
Fuente: Omar Álvarez. Videotutorial Sincronía AV.
Fuente: Omar Álvarez. Videotutorial Gráficos sintéticos audiorreactivos.