分类:生成艺术挑战赛

生成艺术竞赛作品 | Bubble

作者: Trousers pocket

作品介绍: 声音只是用来听的吗?非也,我们也可以看见声音。

在本次OF COURSE主办的生成艺术竞赛中,来自中山大学的徐楚燕同学基于Processing和音频分析库Minim提供的傅立叶变换API,对输入音频的不同频段进行分析,创作了音频可视化作品《Bubble》,使得画面能随着音乐变化,且画面全由代码生成。

画面由代表气泡的粒子和圆环代表的涟漪构成,它们会随音乐的进行而运动;背景颜色也会随音乐的变化而变化。音乐平缓时,气泡的运动较小,涟漪出现得少,背景颜色变化慢;反之则气泡运动大,涟漪密集出现,背景颜色快速变化。

作品设想: 作为一个画面构成较简单的作品,主要的实现重点在于如何处理音频输入,使得听感和画面能给人同步感,即人对音乐的感觉和画面呈现出的感觉应当是相近的。

处理音频输入时首先对其做FFT,然后利用Minim提供的分析API,识别出“典型频段”,即当音乐变化时变化最剧烈的频段。对这些频段进行监控,利用二阶差分的原理处理等间隔采样得出一个“响应”,这就是Bubble“听”音乐的方法。

画面上,气泡用了简单的粒子系统,当相应的频段“响应”时,对应的粒子集合将会受到力的加速。所以音乐越剧烈,粒子被加速的幅度就越大。背景颜色的变化也是同样的原理,音乐变化越快,“响应”越强,颜色的变化就越剧烈。

本作品在构想上并无太多深入的要素,希望观众能体验到用眼睛“听”音乐的感觉,从不一样的角度去感受音乐。

交互方式: 可以将这个小程序嵌入到手机媒体播放应用中,或是多媒体展放系统中,让观众看到声音。 创作思路分解.作者说: “这个作品实际上是一个探索和试错的初步结果,第一阶段是在摸索如何从音频分析接口提供的返回值中提炼出和音乐变化相联系的特征。由于我没有音频分析的相关知识,一开始只能通过感性认识,借助Minim提供的范例程序,观察频谱的变化和音乐变化的联系。通过一系列实验,最后决定用二阶差分的方法对频率带(frequency band) 幅度的采样进行处理,得出一个数值作为标志,这个数值的绝对值越大,说明音乐的变化在该频率带上造成的影响越大,或者可以理解为该频率带对当前音乐的变化是敏感的。数学公式可表达如下:

第二阶段则是摸索如何将该特征反映在视觉元素的变化上。这一阶段依然是基于对Minim示例程序的学习,它给出的解决方案是将音乐的变化反应在圆的半径的变化上,圆始终处于不断收缩的过程中,每一次鼓点响起,则圆恢复到最大半径。我后来联想到涟漪的动态模式,即由小变大的半径。因此,这期间程序又经历了一系列参数的调整,但还是没有达到我预期的理想效果。

当引入简单的粒子系统时,粒子在速度上的积累较好地反映了音乐变化的效果,且整体给人感觉更加轻盈活跃;调整了一些速度、重力,以及虚实和密度,降低画面的重量感,并加以简单的背景控制使得背景的色彩变化也随音乐进行而变化(背景色的变化限制在一套预设的配色方案内),最后用先前的涟漪作为辅助元素,便构成了现在的成品。”