AmbiCreator – produire de l’audio pour les contenus VR et 360° avec l’OC818
par Christoph Frank
Il s’agit de mon deuxième article de blog pour Austrian Audio, mais cette fois-ci, il ne s’agira pas de développement de matériel, mais plutôt de logiciel.
Au salon AES de cette année, nous présenterons notre nouveau plugin, appelé AmbiCreator, qui peut être utilisé avec une paire de microphones OC818 pour créer de l’audio pour les vidéos VR et 360°.
Nous voulions le présenter au salon avec nos casques, mais comme ce sont des moments spéciaux pour nous tous, voici le « release show » sous la forme d’un article de blog.
Alors, lumières éteintes, spots allumés…
Qu’est-ce que l’ambisonie ?
Lorsque l’on parle d’audio pour la RV et les vidéos à 360°, il faut parler d’ambisonie.
Il y a une tonne d’informations sur l’ambisonie sur Internet – et alors que les articles scientifiques, comme par exemple dans les archives de l’AES, montrent le grand développement dans ce domaine, la plupart de ce que vous trouvez en ligne est juste un copier-coller du même graphique montrant les tracés des ballons des différents ordres de l’ambisonie : Je parie que ce graphique apparaît comme la première image si vous tapez ambisonics sur Google.
Cependant, comme j’ai l’impression que cela n’aide pas la plupart des gens de l’industrie audio, permettez-moi d’essayer de l’expliquer en termes audio plus pratiques.
Mes chers amis Franz Zotter et Mathias Frank de l’Institute of Electronic Music, IEM Graz, ont également écrit un excellent livre dont je vous recommande tout particulièrement le premier chapitre – lisez-le, c’est gratuit !
Comme vous le savez probablement déjà, toutes les directivités que nous utilisons habituellement (huit, cardioïde, omni et tout ce qui se trouve entre les deux) peuvent être obtenues par la combinaison d’un huit et d’un omni.
On parle aussi d’un mélange de la composante pression (omni) et de la composante gradient de pression (figure de huit).
C’est également ce que vous faites lorsque vous concevez une capsule de microphone – vous essayez d’obtenir la combinaison appropriée d’une capsule « scellée » (omni) et d’une capsule « en huit » ouverte (où le son peut également se propager à l’arrière de la membrane) en trouvant la bonne résistance acoustique pour les équilibrer.
Les caractéristiques directionnelles, par exemple un motif cadioïde, que nous pouvons obtenir grâce à cette combinaison ne peuvent être orientées que dans une seule direction – une variation n’est donc possible que le long d’un seul axe.
David Josephson explique ici comment procéder pour ses microphones de la série C700.
Il explique également comment une cardioïde peut « regarder » autour d’un angle complet de 360° sur le plan horizontal lorsque deux motifs en forme de huit, inclinés de 90° l’un par rapport à l’autre, sont combinés avec une caractéristique omni.
Le microphone et plugin Double-M/S de Shoeps utilise également cette approche, bien qu’ici le second chiffre de huit et l’omni soient déjà remplacés par deux cardioïdes – soit trois microphones au total.
Si nous ajoutons maintenant un troisième motif en forme de huit à l’équation, nous pouvons calculer une cardioïde qui peut « regarder » sous tous les angles, à la fois sur les plans horizontal et vertical, ou toute combinaison.
Alarme Spoiler : Vous pouvez voir ci-dessous comment une super-cardioïde calculée via notre nouveau plugin AmbiCreator « ressemble » à un cercle complet dans le plan vertical.
Et maintenant, nous en arrivons au point où, bon sang, même moi, j’ai besoin de réafficher le fameux graphique ambisonique (avec la permission de Mathis Frank – non, nous ne sommes pas apparentés, il est bien plus intelligent que moi…).
Figure d’Ambisonics, Franz Zotter et Matthias Frank, Springer Verlag (2019)
La première ligne montre la caractéristique omni, qui est appelée ambisonie d’ordre zéro.
La deuxième ligne représente l’ambisonie d’ordre1 avec les trois motifs en forme de huit, tous situés le long d’un axe différent. Avec l’omni, nous pouvons générer tous les motifs auxquels nous sommes habitués, comme le super-, l’hyper- et le large-cardiod, qui sont des motifs depremier ordre.
Les deux autres rangées représentées sont des ambisoniques de2e et3e ordre qui permettent d’obtenir des caractéristiques plus étroites que la cardioïde afin d’obtenir une meilleure localisation, nous y reviendrons plus tard. Pour cela, vous avez besoin de réseaux de microphones spéciaux où des sociétés comme Zylia interviennent, cliquez ici.
L’ambisonie est-elle la même chose que l’audio binaural / 8D ?
Ces derniers temps, on assiste à un véritable engouement pour le terme « 8D », qui signifie « 8 dimensions » et qui a un certain effet « waouh » lorsque vous l’écoutez au casque. Et c’est bien là le problème : cela fonctionne avec un casque et uniquement avec un casque ; il en va de même pour l’audio binaural.
Les deux sont essentiellement des fichiers stéréo où l’audio a été soit enregistré soit rendu avec des HRTF pour obtenir une localisation extrêmement réaliste et une expérience immersive (zut, maintenant j’ai aussi dit le mot en i…).
Ces HRTF sont en fait différents pour chaque individu, donc le fonctionnement dépend si votre oreille correspond à la tête artificielle qui a été utilisée pour l’enregistrement ou les HRTF qui ont été utilisés pour traiter la musique 8D pour donner l’impression qu’un certain son vient d’une direction spécifique.
Mais ils s’adaptent généralement assez bien pour donner un résultat impressionnant.
Cependant, pour en revenir à la question initiale – NON, cela n’a rien à voir avec l’ambisonie !
Un flux audio ambisonique depremier ordre, qui est également la définition audio 3D disponible sur YouTube, est en fait un fichier à 4 canaux contenant les signaux du trio en huit et du motif omni.
Imaginez que vous utilisiez réellement ces 4 microphones pour enregistrer au milieu d’un essemble, le fichier audio ambisonique serait simplement constitué de ces 4 pistes brutes – c’est ce que l’on appelle le format B.
Ce fichier en lui-même est relativement inutile – vous aurez besoin d’un certain décodeur pour obtenir du matériel pour nos configurations de lecture habituelles, qui sont :
Stéréo : un simple signal stéréophonique X/Y peut être calculé à partir d’un flux de format B...
Surround : Les signaux pour 5.1, 7.1 ou toute autre configuration horizontale de haut-parleurs peuvent être calculés à partir de ce flux.
Ces deux-là n’utiliseraient que les deux figures de huit dans le plan horizontal
Si l’on utilise également la forme verticale en huit, les formats audio les plus récents peuvent être la sortie d’un décodeur de format B, comme par exemple
Surround incluant les canaux de hauteur : des configurations de haut-parleurs comme 11.2 (qui est 7.1 avec un second subwoofer et 4 canaux de hauteur au-dessus de l’auditeur) peuvent être calculées
Binaural: avec un certain ensemble de HRTF, un signal stéréo binaural pour la lecture au casque peut être calculé.
Attendez – ne viens-je pas de dire que le binaural n’a rien à voir avec l’ambisonique ?
Oui, car le binaural n’est qu’un des nombreux « formats de sortie » que l’on peut obtenir à partir d’un flux ambisonique. Pour cela, on calcule un ensemble de motifs directionnels (principalement des super- ou hyper-cardioïdes) orientés vers un certain ensemble d’angles – puis ces signaux sont traités avec la HRTF correspondante pour cette direction et résumés en un fichier stéréo.
Des encodeurs binauraux plus sophistiqués utilisent des astuces pour améliorer la localisation (comme celui développé par l’IEM que je recommande) – cependant, la localisation ne peut jamais être aussi bonne qu’un véritable recodage binaural car les motifs de1er ordre sont plutôt larges.
D’autre part, si vous écoutez un véritable enregistrement binaural (comme le fameux salon de coiffure virtuel ) et que vous tournez la tête, rien ne changera car il s’agit d’un enregistrement statique.
Mais si vous codifiez un flux ambisonique en binaural, les sources sonores se déplaceront avec la rotation car elles peuvent être recalculées en temps réel si vous disposez d’une sorte de système de suivi de la position de la tête. Ce qui est bien, c’est que nous avons tous un tel appareil dans notre poche !
Un téléphone portable est équipé de plusieurs capteurs gyroscopiques et d’une boussole et peut effectuer ce traitement à votre place.
Un véritable recodage binaural ne peut donc pas être utilisé pour les vidéos VR ou à 360°, car le son ne peut pas se déplacer en même temps que le spectateur regarde autour de lui.
Format A ou format B
Si vous avez déjà cherché des microphones ambisoniques, vous avez probablement lu des informations sur le format A plutôt que sur le format B.
En effet, un réseau de microphones composé de trois capsules en forme de huit et d’une capsule omnidirectionnelle est assez difficile à réaliser. L’alternative est donc un microphone composé de 4 capsules cardioïdes, qui remplacent tous les motifs nécessaires.
Outre ces microphones spéciaux de format A (à partir d’environ 1000€), vous aurez besoin d’un plugin qui calcule le flux de format B à partir du signal de format A et voilà – vous avez votre signal ambisonique communément accepté par la plupart des DAW et des plates-formes telles que Youtube.
Ne s’agit-il pas d’un spectacle de libération plutôt que d’un monologue scientifique ?
Ok – maintenant que je vous ai dit tout ce que je savais sur l’ambisonie (n’oubliez pas de lire ce livre pour VRAIMENT connaître l’ambisonie), nous passons à la partie la plus amusante – le recodage de l’ambisonie avec nos microphones OC818.
Comme vous le savez, tous nos microphones OC818 sont calibrés pour avoir exactement la même sensibilité, ce qui les rend idéaux pour les enregistrements stéréo. Avec notre plugin PolarDesigner, vous pouvez même expérimenter différentes directivités en post-production pour trouver la meilleure configuration stéréo pour votre enregistrement.
Avec notre nouveau plugin AmbiCreator, nous allons encore plus loin en obtenant un signal ambisonique au format B à partir de deux microphones OC818, par exemple pour un Live-Set.
Comme nos microphones OC818 ont une double sortie, nous pouvons calculer n’importe quel motif depremier ordre (vous savez maintenant à quoi servait le bavardage scientifique) à partir de ces deux sorties.
Si vous avez vraiment lu jusqu’ici, vous savez déjà que nous avons besoin de trois motifs en forme de huit et du signal omni pour ce faire.
L’omnibus et le huit à l’horizontale sont faciles à comprendre et ne nécessitent aucune explication, n’est-ce pas ? Mais qu’en est-il de la figure de huit dans le sens vertical ?
Nous utilisons ici une « astuce » qui se rapporte à la technique très courante de formation de faisceaux en bout de ligne utilisée dans les télécommunications et l’automobile.
Thomas, notre programmeur de plugins, et moi-même avons écrit un eBrief pour le salon AES que vous pouvez lire ici, si vous voulez connaître les détails. Il vous expliquera essentiellement comment cela est réalisé et montrera que l’axe vertical ne fonctionne « que » jusqu’à 2 kHz environ – cependant, comme la plupart des contenus musicaux et vocaux se situent dans cette plage, cela fonctionne en fait très bien pour toutes les situations de recodage !
Pour démontrer l’effet, nous avons effectué quelques enregistrements tests avec certains des meilleurs musiciens de Vienne et un batteur (désolé Walter pour cette blague !) dans le club de jazz Porgy&Bess.
Ce bel emplacement nous a permis de placer les musiciens à la verticale (par exemple, le grand Ulrich Drechsler a été placé sur le balcon, loin derrière l’appareil d’enregistrement) – en outre, ils étaient également « ouverts » en ces temps difficiles puisqu’ils organisent leur grande série de performances live en streaming « the show must go (on)line ». Ne manquez pas d’y jeter un coup d’œil et de leur laisser un tuyau tous les jeudis et samedis !
Les deux microphones OC818 ont été placés l’un au-dessus de l’autre à proximité de la caméra 360° – aucun microphone supplémentaire n’a été utilisé, les instruments ont été équilibrés en déplaçant les musiciens d’avant en arrière (les techniques de la vieille école rencontrent les technologies du21ème siècle si vous voulez). En dehors du traitement par plugin, aucun égaliseur ou effet supplémentaire n’a été utilisé.
Si vous disposez d’une paire de lunettes VR (même Google Cardboard) et d’une paire d’écouteurs, voici nos deux premiers enregistrements :
Comme nous l’avons déjà dit, l’efficacité de la localisation dépend de vos oreilles (par rapport au jeu de HRTF utilisé par Youtube) et même de votre casque.
Si tout va bien, vous devriez par exemple être en mesure de localiser tous les musiciens qui se présentent dans le deuxième exemple :
C’est ce que je veux – que dois-je faire ?
Donc, si vous voulez expérimenter l’ambisonie ou si vous êtes confronté à ce problème par un client, mais que vous ne voulez pas acheter un microphone de format A coûteux et spécialisé, voici ce qu’il vous faut faire.
- Tout d’abord, déballez votre OC818 live set (vous n’en avez pas encore ? Achetez-en un !).
- Configurez-le comme indiqué dans le graphique ci-dessous et enregistrez les deux micros en mode double sortie sur une piste à 4 canaux :
Channel1 : Avant = XLR principal du micro inférieur
Canal2 : Arrière = mini-XLR du micro inférieur
Canal3 : Gauche = mini-XLR du micro supérieur
Canal 4 : Droite = XLR principal du micro supérieur
Téléchargez le AmbiCreator Plugin – comme toujours, notre plugin est gratuit et vous pouvez même trouver le code source ici.
Dans la fenêtre du plugin, il n’y a pas grand chose à faire – si vous voyez un signal sur les quatre indicateurs de niveau d’entrée et de sortie, vous devriez déjà avoir votre flux de format B prêt et vous pouvez le décoder avec les outils de votre DAW ou, par exemple, la suite de plugins IEM.
Outre le gain de sortie total, vous pouvez également régler la quantité de z-, c’est-à-dire l’information verticale – dans le meilleur des cas, laissez-la à 0 dB. L’orientation horizontale permet de « tourner virtuellement votre tête d’écoute » si vous ne disposez pas d’un système de suivi de la tête dans votre DAW.
C’est donc la fin de notre « release show » – j’imagine les applaudissements et j’espère que vous aimez notre travail ! Soyez sûrs que ce ne sera pas notre dernière excursion dans le monde de l’ambisonie, car c’est déjà et ce sera un domaine encore plus vaste pour nous, ingénieurs du son !
Amusez-vous bien,
Christoph
Dernier mot : Certains téléspectateurs ont pu voir les pieds de micro visibles près du piano, mais j’ai dit qu’aucun micro supplémentaire n’avait été utilisé – eh bien, disons que nous avons utilisé cette possibilité pour enregistrer ce beau piano Fazioli afin de tester l’un de nos prochains produits…
