Quantification optimisée de l'espace latent en codage audio neuronal

Thomas Muller (1, 2, 3, 4, 5) , Stéphane Ragot (1) , Quentin Lemesle (1) , Pierrick Philippe (1) , Pascal Scalart (2, 4, 3, 5)

1 Orange Innovation
2 IRISA - Institut de Recherche en Informatique et Systèmes Aléatoires
3 UR - Université de Rennes
4 ENSSAT - École Nationale Supérieure des Sciences Appliquées et de Technologie
5 GRANIT - Algorithmes et architectures adaptatifs pour les systèmes sans-fils efficaces en énergie

This article focuses on audio coding based on artificial neural networks. We propose to analyze and transform the latent space based on an eigenvalue decomposition, in order to modify or even replace the residual vector quantization (RVQ) used in recent codecs such as SoundStream and EnCodec. In particular, the proposed approach brings about 37% of reduction in storage and computational complexity for EnCodec, with no quality degradation.

Cet article se concentre sur le codage audio par réseaux de neurones artificiels. Nous proposons d'appliquer une analyse et une transformation de l'espace latent par décomposition en valeurs propres, afin de modifier voire remplacer la quantification vectorielle résiduelle (RVQ) actuellement utilisée par des codecs récents tels que SoundStream ou EnCodec. L'approche proposée permet en particulier une réduction du stockage et de la complexité d'environ 37% pour EnCodec sans dégrader la qualité audio.

Mots clés: codage audio; quantification; espace latent; réseaux de neurones

Domaines: Traitement du signal et de l'image [eess.SP]; Intelligence artificielle [cs.AI]; Théorie de l'information et codage [math.IT]

Thomas Muller, Stéphane Ragot, Quentin Lemesle, Pierrick Philippe, Pascal Scalart. Quantification optimisée de l'espace latent en codage audio neuronal. XXIXème Colloque Francophone de Traitement du Signal et des Images GRETSI 2023, GRETSI, Aug 2023, Grenoble, France. pp.693-696. ⟨hal-04286552⟩