Librosa（Python）到Meyda（Node.js）的转换

1 人关注

我正在将一个Python程序转换为Node.js，该程序遵循以下步骤。

麦克风用回调进行监听

回调做Librosa "log_mel_S "提取

"log_mel_S "由人工智能模型进行推理

声音被贴上标签

我已经设法将所有的步骤和它们的关系从Python翻译成Node.js，除了Librosa的提取。这将是一个关于所需的音频形状和类型的例子。

audio_sample = numpy.zeros(shape=(1024, 100), dtype=numpy.float32)
而这是我需要帮助翻译的Librosa作品。
S = numpy.abs(librosa.stft(y=audio_sample, n_fft=1024, hop_length=500)) ** 2
mel_S = numpy.dot(librosa.filters.mel(sr=44100, n_fft=1024, n_mels=64), S).T
log_mel_S = librosa.power_to_db(mel_S, ref=1.0, amin=1e-10, top_db=None)
我发现了这个包Meyda，它看起来可以作为一个很好的替代品，但我不确定我应该如何处理这个问题，我不清楚从Librosa中提取的是什么，所以我无法识别像Amplitude Spectrum ，Power Spectrum ，等术语。
请帮助我理解和翻译这一行动。


         
          python


         
          node.js


         
          audio


         
          signal-processing


         
          librosa


        
         
          
          
           belferink1996
          
         
         
          发布于
          
          2021-08-16


          
           已采纳


          
           
            
             TL;DR
            
            
             Amplitude Spectrum
            
            基本上是信号的FFT，而
            
             Power Spectrum
            
            是
            
             Amplitude Spectrum
            
            的平方值，有时也被称为能量。
下面是Meyda网站上的一个例子，它是计算
            
             Amplitude Spectrum
            
            
             https://github.com/catalli/audiotrainer-server/blob/df41322906c88cd6f899e8f9b9661ebb949f72e1/index.js#L17
            
           
           
            现在，让我们逐行查看你的代码样本，弄清楚它在做什么以及如何在javascript中实现它。
           
           
            
             S = numpy.abs(librosa.stft(y=audio_sample, n_fft=1024, hop_length=500)) ** 2
            
           
           
            这是在计算音频样本y的1024个bins fft的平方值，这基本上是一个
            
             Power Spectrum
            
            或一个
            
             Amplitude Spectrum
            
            的平方值。请注意，复数的
            
             abs
            
            是一个矢量的长度。
            
             sqrt(real_part^2 + img_part^2)
            
           
           
            
             mel_S = numpy.dot(librosa.filters.mel(sr=44100, n_fft=1024, n_mels=64), S).T
            
           
           
            这是一个mfcc计算，基本上是一个预定义的滤波器组和fft平方的乘积。
           
           
            
             log_mel_S = librosa.power_to_db(mel_S, ref=1.0, amin=1e-10, top_db=None)

推荐文章

儒雅的钢笔 · python 字符串写入json - CSDN文库

6 小时前

深沉的电脑桌 · Python 写入文件 - 野哥李 - 博客园

6 小时前

八块腹肌的卡布奇诺 · python绘制地图数据可视化folium函数数学建模_pycharm地图可视化-CSDN博客

19 分钟前

旅行中的小刀 · pycharm根据关键词出现的次数绘制饼状图 - CSDN文库

19 分钟前

星星上的铅笔 · Python编程：根据经纬度生成并调用地图_小伟的技术博客_51CTO博客

18 分钟前

失望的钢笔 · useReducer接收异步请求的数据_usereducer异步-CSDN博客

4 月前

独立的脆皮肠 · 从Python pandas.DataFrame数据表中提取或删除包含指定字符串的行_python dataframe剔除包含字符串的值-CSDN博客

5 月前

热情的橡皮擦 · 将多个存储过程导出到文本文件-腾讯云开发者社区-腾讯云

11 月前

光明磊落的烤面包 · 贾跃亭辞任乐视网总经理，乐视网将走向何方？-经济观察网

1 年前

卖萌的滑板 · java - Instant 和 LocalDateTime 有什么区别？ - SegmentFault 思否

1 年前