En el camp de la creació de vídeo a temps real es fan servir diferents protocols i tècniques per al control i la sincronització dels diferents elements que poden compondre un espectacle. Aquests protocols permeten la sincronització de diferents esdeveniments audiovisuals com àudio, vídeo, llums, elements escènics o pirotècnia. Els protocols més usats són: DMX, MIDI, OSC i timecode.
Font: Omar Álvarez. Introducció protocols de control.
DMX 512
Protocol estàndard i universal utilitzat en el món de l’espectacle per al control d’elements lumínics i escènics. A través del protocol DMX, incorporat en moltes eines de software de vídeo a temps real, podem controlar els llums, o bé el disparament dels vídeos pot ser controlat des d’una controladora DMX física en sincronia amb els llums de l’espectacle.
Font: Omar Álvarez. DMX (Digital Multiplex).
Protocol MIDI (Musical Instrument Digital Interface)
Ens permet controlar des d’una consola física diferents paràmetres d’un software de vídeo a temps real, sincronitzar el disparament d’àudio i vídeo des de diferents ordinadors o seqüenciar el disparament de qualsevol classe d’esdeveniment audiovisual.
A través del protocol MIDI podem enviar un missatge de control des de l’ordinador que reprodueix el so per activar en un o més ordinadors el disparament dels continguts visuals.
Per a l’enviament i la recepció de comandaments MIDI entre diferents equips podem requerir un hardware específic com controladors MIDI, interfícies MIDI i cablatge MIDI. També podem fer ús d’eines MIDI per IP i enviar comandaments MIDI entre ordinadors a través d’una xarxa Ethernet.
Font: Omar Álvarez. MIDI (Musical Instrument Digital Interface).
Font: Omar Álvarez. Configuració MIDI sistema operatiu MacOX (2023).
Font: Pretzelpaws. Midi ports and cable (2005). https://commons.wikimedia.org/wiki/File:Midi_ports_and_cable.jpg
Per a més informació:
https://ca.wikipedia.org/wiki/MIDI
Open Sound Control (OSC)
S’utilitza per al control i la sincronia per xarxa entre instruments musicals digitals. Pot ser usat de manera similar al protocol MIDI. L’ús del protocol OSC permet l’enviament de comandaments entre ordinadors connectats a la mateixa xarxa, a partir d’una adreça IP i un port d’entrada i sortida.
El protocol OSC permet més nivell de precisió que el protocol MIDI i és ideal per a la creació de gràfics generatius o per sincronitzar efectes sonors i visuals.
Font: Omar Álvarez. OSC (Open Sound Control).
Timecode
A través del timecode, protocol de sincronització d’equips a partir d’un senyal de so que té imprès un codi de temps amb base en hores, minuts, segons i frames, podem sincronitzar diferents esdeveniments o esclavitzar diferents màquines que responen en rebre el senyal de timecode. És un senyal de so, que el públic no sent, i que permet el control de diferents elements a partir d’aquest senyal.
En processos de creació de gràfics generatius audioreactius o en la creació sonora a temps real a partir de l’anàlisi de patrons, formes, mides i colors d’elements visuals, a més dels protocols MIDI i OSC podem afegir eines d’anàlisi d’àudio a temps real. Aquesta tècnica d’anàlisi espectral del so a temps real permet parametritzar les propietats de gràfics generats a temps real a partir de l’anàlisi d’aquest senyal d’àudio. Podem extreure qualitats del so com el volum o la tonalitat per recrear una sensació similar en l’apartat visual de la nostra creació.
Font: Omar Álvarez. Timecode.
A través de l’anàlisi d’àudio a temps real podem generar continguts visuals a partir de paràmetres del so o viceversa. Podem generar un sistema de partícules en què la mida, la posició o el color d’aquestes partícules varia en funció de les característiques del so.
Font: Omar Álvarez. Videotutorial Sincronia AV.
Font: Omar Álvarez. Videotutorial Gràfics sintètics audioreactius.