Представлена LETHE: архитектура на принципах GAN для генеративного звука

В препринте на arXiv представлена система LETHE (Latent-parameter Evolution with Temporal Hierarchical quasi-Equilibrium), реализованная в среде SuperCollider. Она использует концепции генеративно-состязательных сетей (GAN), однако функционирует в замкнутом контуре без использования внешних датасетов или внешнего контроля после инициализации.

Обработка аудиосигнала осуществляется с помощью матрицы микширования 3x3, построенной вокруг двух линий задержки. Девять коэффициентов матрицы и два параметра времени задержки изменяются благодаря взаимодействию линейного дискриминатора по пяти признакам и оптимизатора случайных возмущений (аналог REINFORCE). Дискриминатор сопоставляет текущую динамику энергии с архивом начального состояния и управляет обновлением параметров.

Система поддерживает независимое микширование фиксированных, круговых и живых источников звука. Эксперименты с абляционным контролем подтвердили необходимость работы активного генератора для параметрической эволюции системы.