Technisch gezien is er iemand verantwoordelijk voor wat er op de schermen achter het podium verschijnt. Die persoon zit in de lichtcabine achter in de Ziggo Dome. Maar die persoon doet absoluut niet hetzelfde als een regisseur tien jaar geleden. Hij heeft geen knoppen waarmee hij van het ene frame naar het volgende kan schakelen in een vooraf opgenomen film. Hij houdt een systeem in de gaten dat muziek afspeelt en bepaalt wat er op het scherm verschijnt.
Al deze technologieën werken samen in een keten die tegelijkertijd actief is. De live mix van het concert wordt opgenomen door microfoonsensoren en audioanalyse. Dit omvat niet alleen volume, maar ook melodie, harmonie, timbre en zelfs de exacte kleur van een gitaarsolo of synthesizerlijn. Deze informatie wordt naar een generatief AI-model gestuurd dat gebaseerd is op technologie zoals Stable Diffusion. Het model is ontworpen om muzikale elementen om te zetten in visuele elementen, zoals kleur, structuur, beweging en intensiteit. Alles oogt warmer en voller naarmate de muziek warmer en voller wordt. Wanneer een nummer eindigt met een brug van stilte, vervaagt het beeld.
Het duurt milliseconden voordat de software reageert. In dit vertaalproces spelen softwareplatforms zoals Synesthesia en TouchDesigner een cruciale rol. Ze ontvangen de muziekdata en sturen deze naar een mediaserver, meestal een Disguise-systeem. De mediaserver combineert vervolgens de muziek met de live camerabeelden en tijdscodes voor de show. Een ander platform dat zijn weg heeft gevonden naar grote evenementenproducties is Notch, dat effecten en transformaties direct in realtime creëert, zonder rendertijd. Voordat een regisseur een beslissing kan nemen, verschijnt het resultaat al op de LED-schermen achter en boven het podium.
Motion tracking maakt het nog interessanter. Digitale lichtstralen en schaduwen bewegen mee met de artiest terwijl die over het podium loopt. In sommige shows worden digitale modellen gemaakt die op de dansers lijken. Dit zijn augmented reality-versies die naast of bovenop de echte persoon worden geplaatst. Dit is mogelijk met Unreal Engine, het platform dat doorgaans wordt gebruikt voor games, omdat het complexe driedimensionale landschappen in realtime rendert in plaats van uren van tevoren.
Met dit systeem verandert de rol van de creatief directeur, maar die verdwijnt niet. Vóór de show stelt die persoon via een webpaneel de artistieke voorwaarden in. Denk aan de sfeer, de kleuren en de stijl. Een prompt zoals “neonverlichte stadsgezichten met zwevende geometrische vormen” is een manier om het AI-systeem aan te sturen zonder het elke noot van de muziek te hoeven leren. Tijdens de show kijkt de regisseur mee, schakelt hij tussen vooraf gemaakte visuals en de live gegenereerde graphics, en grijpt in als de AI iets maakt dat niet de bedoeling was. Het werkt snel. De menselijke factor is aanwezig en prachtig.
Het idee dat een algoritme de muziek hoort en erop reageert zonder dat iemand dat moment van tevoren plant, is enigszins verontrustend. En het verandert de uitstraling van het concert. Dat gezegd hebbende, het is ook logisch. De energie in de zaal, de tempowisselingen en de momenten die niet volgens plan verlopen, maken een concert levendig. Visuals die al gemaakt zijn, reageren niet op wat er gebeurt. Een systeem dat AI gebruikt om te luisteren, doet dat wel. Niemand weet of de mensen in de Ziggo Dome zich ervan bewust zijn dat de schermen achter het podium niet geprogrammeerd, maar gemaakt zijn. Dat is vrijwel elke avond het geval. Maakt het iets uit? Dat is de vraag.
