"NO[I]SE"
Por Sebastián Puerto Estévez
Teoría y Análisis de los Medios Interactivos
Grado en Diseño y Tecnologías Creativas
¿Qué sucede cuando los sonidos interactúan y se acumulan en lugar de destacarse individualmente? Este proyecto examina cómo la intensidad sonora, más que el volumen, puede alterar la percepción visual y emocional. Usando señales MIDI, las notas deforman una calavera, un símbolo resonante, como metáfora del ruido colectivo que afecta nuestra mente y ambiente.
Introducción
Mi mayor motivación fue darle un énfasis al sonido durante el proyecto, de tal manera que funcione como un aprendizaje sobre el significado de la intensidad, que se define en la música y se enriquece con el nuevo significado que le agrega este proyecto. Académicamente, logré utilizar herramientas de producción musical en un entorno mucho más técnico, donde desarrollé nuevos conocimientos en el mundo del audio reactivo.
El concepto inicial estaba enfocado en modelos distorsionados en partículas, cuya forma pierde sentido y se separa de su forma original. Con el objetivo de generar una sensación en el espectador, busqué que el modelo reaccionara a las acciones de presionar o mantener un botón. El enfoque principal era evocar una emoción o sensación a partir de la interacción con el sonido y las formas abstractas creadas por las acciones del espectador.
El proceso comenzó con la implementación de un control de consola de videojuegos, reemplazando el uso de un teclado MIDI convencional, lo que representó un desafío técnico. Una vez que logré que el control detectara las señales MIDI, lo integré en el programa TouchDesigner, permitiendo usarlo como un trigger para los efectos visuales. Tras establecer el input, pasé a desarrollar el modelo 3D que mostraría los efectos. Opté por utilizar un modelo 3D de calavera disponible en una librería de libre uso para optimizar el tiempo, y para dar un toque más personal, manipulé su aspecto con efectos de ruido. Posteriormente, utilicé esos parámetros de ruido para incrementar la distorsión y deformación a medida que más botones eran presionados.
Durante el desarrollo del proyecto, utilicé el plugin Surge XT para la reproducción de sonidos, aprovechando su amplia biblioteca que incluye una variedad de sintetizadores. Surge XT permitió asignar las teclas MIDI a diferentes instrumentos, adaptándolos a las notas C3 (Do3) a G3 (Sol3). Plugins como Surge XT son ideales para proyectos interactivos como este, ya que ofrecen sintetizadores con distorsión y texturas únicas, enriqueciendo la experiencia audiovisual.
En TouchDesigner, las señales MIDI se asignan a tres parámetros distintos que manipulan la calavera, la escultura principal de la obra. Estas interacciones entre el sonido y la visualización se amplifican con la combinación de las notas MIDI, mostrando cómo la intensidad sonora no depende solo del volumen, sino de la superposición de múltiples elementos, tanto en el sonido como en la imagen.
Referente_01_TEAMLAB
Obras como «Borderless» o «The World of Irreversible Change» me han inspirado hacia el campo de arte digital. En este caso, la segunda obra opta por un enfoque reactivo con el espectador, posteriormente inspirando el proyecto personal.
Referente_02_RYOJI_IKEDA
En cuanto a la identidad visual del proyecto, la paleta monocromática de Ikeda contrasta perfectamente con el ruido visual deseado. De hecho, permite que la abstracción de las figuras tome protagonismo sobre el color
Referente_03_RAFAEL_LOZANO-HEMMER
Uno de los grandes referentes es la obra Encode / Decode, que ha sido una gran fuente de inspiración, ya que en ella las formas de las letras pierden su sentido original al solaparse entre sí, creando un nuevo lenguaje visual.
FICHA TECNICA
Título: NO[I]SE
Autor: Sebastián Puerto Estévez
Técnica: Digital
Año: 2025
BOCETOS
Análisis
El desarrollo técnico del proyecto se organizó en varias fases para garantizar una implementación clara y efectiva de los conceptos. El primer paso consistió en establecer el controlador MIDI utilizando un mando de PlayStation 4, lo que permitió mapear las señales MIDI a través de las notas de un teclado virtual. Este controlador se utilizó para manejar tres parámetros principales en la obra: distorsión, deformación y reinicio de la escultura, que es la calavera, el objeto central de la instalación.
La metodología de desarrollo se centró en la manipulación gradual de un modelo 3D mediante la interacción del usuario. Se trabajó en un proceso de distorsión de la forma utilizando elipses y cuadrados como base de soporte para la calavera, los cuales se modificaban conforme se ajustaban los parámetros. A nivel de iluminación, se optó por un enfoque dramático, iluminando un solo lado de la calavera y dejando el otro completamente oscuro para generar contrastes visuales marcados. Este juego de luces refuerza la atmósfera en la que la distorsión de la forma se hace más palpable, destacando la deformación visual del modelo.
Una vez establecida la base visual, se incorporó el efecto de ruido que distorsiona todo el modelo en tiempo real. Este ruido era controlado por los valores de las teclas MIDI, lo que permitía ajustar su intensidad según la interacción del usuario. A diferencia de un proceso de distorsión automática e incontrolada, se agregó un controlador que impedía que el efecto de ruido se expandiera indefinidamente, logrando que la distorsión fuera proporcional a la cantidad de botones presionados o mantenidos. Este sistema crea una relación directa entre las acciones del espectador y la evolución de la forma, dándole un carácter reactivo e interactivo.
Previo a la integración del modelo 3D, se implementó el plugin de Surge XT para establecer una base sonora, asegurando que los sonidos se reprodujeran correctamente a través del sistema de salida. La integración de los valores MIDI con los parámetros del modelo permitió una conexión clara entre las notas presionadas y las modificaciones del ruido en la escultura, creando un sistema dinámico donde cada acción del espectador impacta tanto en el sonido como en la visualización.
Este enfoque metodológico ha logrado un equilibrio entre la interacción de los usuarios/as, la manipulación de forma en 3D y el diseño sonoro, generando una obra reactiva que explora las complejidades de la relación entre lo visual y lo sonoro.
Conclusiones
La obra ha logrado cumplir con el objetivo de explorar la relación entre el sonido y la visualización, llevando al espectador a experimentar el ruido como un fenómeno colectivo. El uso del control de PlayStation como herramienta interactiva ha permitido generar una experiencia sensorial directa, donde la intensidad de las notas MIDI influye tanto en lo visual como en lo sonoro. La calavera, en su estado abstracto y poético, refleja la transformación continua, invitando a reflexionar sobre cómo el ruido altera nuestra percepción del entorno. A través de este proyecto, se ha demostrado cómo la combinación de estímulos puede generar una experiencia inmersiva y emocional, fusionando la tecnología con el arte para transmitir un mensaje profundo sobre la influencia del ruido en nuestras vidas.