[Инструменты глубокого обучения] · Общие операции со звуком на Python

искусственный интеллект Python

Автор: Гуй.

Время: 2017-05-03 12:18:46

Ссылка на сайт:Блог Woohoo.cn на.com/Xingshan Temple/… 

предисловие

В этой статье в основном описаны общие операции со звуком в Python, на примере файла формата .wav. На самом деле готовых аудиоинструментариев в интернете много, если просто позвонить, то инструментарий удобнее.

Для получения дополнительных сведений об операциях в pyton см.:научные вычисления с помощью python

1. Пакетное чтение имен файлов .wav:

123456 import os filepath ``= "./data/" #添加路径``filename``= os.listdir(filepath) ``#得到文件夹下的所有文件名称 ``for file in filename:``    ``print``(filepath``+``file``)

Здесь используется строковый путь:

1.通常意义字符串(str)
2.原始字符串，以大写R 或 小写r开始，r''，不对特殊字符进行转义
3.Unicode字符串，u'' basestring子类

как:

123 path ``= './file/n'``path ``= r``'.\file\n'``path ``= '.\\file\\n'

Все три эквивалентны, правое тире \ является escape-символом, а r добавляется перед кавычками, чтобы указать исходную строку без экранирования (r: необработанная строка).

Распространенные способы получить помощь:

>>> help(str)
>>> dir(str)
>>> help(str.replace)

2. Прочитайте файл .wav

Использование wave.open:

1 wave.``open``(``file``,mode)

режим может быть:

'rb', прочитать файл;

'wb', записать в файл;

Одновременные операции чтения/записи не поддерживаются.

Использование Wave_read.getparams:

123 f ``= wave.``open``(``file``,``'rb'``)``params ``= f.getparams()``nchannels, sampwidth, framerate, nframes ``= params[:``4``]

Последняя строка — это часто используемые аудио параметры:

nchannels: количество каналов

sampwidth: биты квантования (байт)

частота кадров: частота дискретизации

nframes: количество точек выборки

  • один канал

Соответствующий код:

1234567891011121314151617181920 import wave``import matplotlib.pyplot as plt``import numpy as np``import os filepath ``= "./data/" #添加路径``filename``= os.listdir(filepath) ``#得到文件夹下的所有文件名称 ``f ``= wave.``open``(filepath``+``filename[``1``],``'rb'``)``params ``= f.getparams()``nchannels, sampwidth, framerate, nframes ``= params[:``4``]``strData ``= f.readframes(nframes)``#读取音频，字符串格式``waveData ``= np.fromstring(strData,dtype``=``np.int16)``#将字符串转化为int``waveData ``= waveData``*``1.0``/``(``max``(``abs``(waveData)))``#wave幅值归一化``# plot the wave``time ``= np.arange(``0``,nframes)``*``(``1.0 / framerate)``plt.plot(time,waveData)``plt.xlabel(``"Time(s)"``)``plt.ylabel(``"Amplitude"``)``plt.title(``"Single channel wavedata"``)``plt.grid(``'on'``)``#标尺，on：有，off:无。

График результатов:

  • многоканальный

Количество каналов здесь 3, в основном через np.reshape, остальные точно такие же, как и при одноканальной обработке, соответствующие коду:

1234567891011121314151617181920212223242526272829303132333435363738394041424344 # -*- coding: utf-8 -*-``"""``Created on Wed May  3 12:15:34 2017 @author: Nobleding``""" import wave``import matplotlib.pyplot as plt``import numpy as np``import os filepath ``= "./data/" #添加路径``filename``= os.listdir(filepath) ``#得到文件夹下的所有文件名称 ``f ``= wave.``open``(filepath``+``filename[``0``],``'rb'``)``params ``= f.getparams()``nchannels, sampwidth, framerate, nframes ``= params[:``4``]``strData ``= f.readframes(nframes)``#读取音频，字符串格式``waveData ``= np.fromstring(strData,dtype``=``np.int16)``#将字符串转化为int``waveData ``= waveData``*``1.0``/``(``max``(``abs``(waveData)))``#wave幅值归一化``waveData ``= np.reshape(waveData,[nframes,nchannels])``f.close()``# plot the wave``time ``= np.arange(``0``,nframes)``*``(``1.0 / framerate)``plt.figure()``plt.subplot(``5``,``1``,``1``)``plt.plot(time,waveData[:,``0``])``plt.xlabel(``"Time(s)"``)``plt.ylabel(``"Amplitude"``)``plt.title(``"Ch-1 wavedata"``)``plt.grid(``'on'``)``#标尺，on：有，off:无。``plt.subplot(``5``,``1``,``3``)``plt.plot(time,waveData[:,``1``])``plt.xlabel(``"Time(s)"``)``plt.ylabel(``"Amplitude"``)``plt.title(``"Ch-2 wavedata"``)``plt.grid(``'on'``)``#标尺，on：有，off:无。``plt.subplot(``5``,``1``,``5``)``plt.plot(time,waveData[:,``2``])``plt.xlabel(``"Time(s)"``)``plt.ylabel(``"Amplitude"``)``plt.title(``"Ch-3 wavedata"``)``plt.grid(``'on'``)``#标尺，on：有，off:无。``plt.show()

Рендеринг:

Одноканальный — это частный случай многоканального, поэтому метод многоканального чтения применим к любому канальному wav-файлу. Следует отметить, что waveData отличается от предыдущей структуры данных после изменения формы. То есть waveData[0] эквивалентно waveData до ресейпа, но на анализ отрисовки не влияет, нужно только учитывать это при анализе спектра.

3. wav запись

Здесь задействованы три основные команды:

  • настройки параметров:
123456789 nchannels ``= 1 #单通道为例``sampwidth ``= 2``fs ``= 8000``data_size ``= len``(outData)``framerate ``= int``(fs)``nframes ``= data_size``comptype ``= "NONE"``compname ``= "not compressed"``outwave.setparams((nchannels, sampwidth, framerate, nframes, comptype, compname))
  • Путь хранения и имя записываемого wav-файла:
12 outfile ``= filepath``+``'out1.wav'``outwave ``= wave.``open``(outfile, ``'wb'``)``#定义存储路径以及文件名
  • Запись данных:
12 for v ``in outData:``        ``outwave.writeframes(struct.pack(``'h'``, ``int``(v ``* 64000 / 2``)))``#outData:16位，-32767~32767，注意不要溢出

Одноканальная запись данных:

12345678910111213141516171819202122232425262728293031323334 import wave``#import matplotlib.pyplot as plt``import numpy as np``import os``import struct #wav文件读取``filepath ``= "./data/" #添加路径``filename``= os.listdir(filepath) ``#得到文件夹下的所有文件名称 ``f ``= wave.``open``(filepath``+``filename[``1``],``'rb'``)``params ``= f.getparams()``nchannels, sampwidth, framerate, nframes ``= params[:``4``]``strData ``= f.readframes(nframes)``#读取音频，字符串格式``waveData ``= np.fromstring(strData,dtype``=``np.int16)``#将字符串转化为int``waveData ``= waveData``*``1.0``/``(``max``(``abs``(waveData)))``#wave幅值归一化``f.close()``#wav文件写入``outData ``= waveData``#待写入wav的数据，这里仍然取waveData数据``outfile ``= filepath``+``'out1.wav'``outwave ``= wave.``open``(outfile, ``'wb'``)``#定义存储路径以及文件名``nchannels ``= 1``sampwidth ``= 2``fs ``= 8000``data_size ``= len``(outData)``framerate ``= int``(fs)``nframes ``= data_size``comptype ``= "NONE"``compname ``= "not compressed"``outwave.setparams((nchannels, sampwidth, framerate, nframes,``    ``comptype, compname)) for v ``in outData:``        ``outwave.writeframes(struct.pack(``'h'``, ``int``(v ``* 64000 / 2``)))``#outData:16位，-32767~32767，注意不要溢出``outwave.close()

Многоканальная запись данных:

Многоканальная запись аналогична многоканальному чтению: многоканальное чтение — преобразование одномерных данных в двумерные, а многоканальная запись — преобразование двумерных данных в одномерные, что на самом деле обратный процесс:

123456789101112131415161718192021222324252627282930313233343536 import wave``#import matplotlib.pyplot as plt``import numpy as np``import os``import struct #wav文件读取``filepath ``= "./data/" #添加路径``filename``= os.listdir(filepath) ``#得到文件夹下的所有文件名称 ``f ``= wave.``open``(filepath``+``filename[``0``],``'rb'``)``params ``= f.getparams()``nchannels, sampwidth, framerate, nframes ``= params[:``4``]``strData ``= f.readframes(nframes)``#读取音频，字符串格式``waveData ``= np.fromstring(strData,dtype``=``np.int16)``#将字符串转化为int``waveData ``= waveData``*``1.0``/``(``max``(``abs``(waveData)))``#wave幅值归一化``waveData ``= np.reshape(waveData,[nframes,nchannels])``f.close()``#wav文件写入``outData ``= waveData``#待写入wav的数据，这里仍然取waveData数据``outData ``= np.reshape(outData,[nframes``*``nchannels,``1``])``outfile ``= filepath``+``'out2.wav'``outwave ``= wave.``open``(outfile, ``'wb'``)``#定义存储路径以及文件名``nchannels ``= 3``sampwidth ``= 2``fs ``= 8000``data_size ``= len``(outData)``framerate ``= int``(fs)``nframes ``= data_size``comptype ``= "NONE"``compname ``= "not compressed"``outwave.setparams((nchannels, sampwidth, framerate, nframes,``    ``comptype, compname)) for v ``in outData:``        ``outwave.writeframes(struct.pack(``'h'``, ``int``(v ``* 64000 / 2``)))``#outData:16位，-32767~32767，注意不要溢出``outwave.close()

используется здесьstruct.pack(.) бинарное преобразование:

Например:

4. Воспроизведение аудио

Для воспроизведения файлов wav требуется pyaudio, установочный пакеткликните сюда. Кладу в папку \Scripts, cmd и переключаюсь в соответствующий каталог

1 pip install PyAudio``-``0.2``.``9``-``cp35``-``none``-``win_amd64.whl

Установка Pyaudio завершена.

  • Основное использование Pyaudio:

В основном перечислите параметры метода open() объекта pyaudio:

    • скорость: частота дискретизации
    • каналы: количество каналов
    • формат: формат квантования значения выборки, значение может быть paFloat32, paInt32, paInt24, paInt16, paInt8 и т. д. В следующем примере get_from_width() используется для преобразования sampwidth 2 в paInt16.
    • input: флаг входного потока, Ture означает запуск входного потока
    • вывод: флаг выходного потока

Дайте соответствующий код:

123456789101112131415161718192021222324252627282930313233 import wave``import pyaudio ``import os #wav文件读取``filepath ``= "./data/" #添加路径``filename``= os.listdir(filepath) ``#得到文件夹下的所有文件名称 ``f ``= wave.``open``(filepath``+``filename[``0``],``'rb'``)``params ``= f.getparams()``nchannels, sampwidth, framerate, nframes ``= params[:``4``]``#instantiate PyAudio ``p ``= pyaudio.PyAudio() ``#define stream chunk  ``chunk ``= 1024 #打开声音输出流``stream ``= p.``open``(``format = p.get_format_from_width(sampwidth),``                ``channels ``= nchannels,``                ``rate ``= framerate, ``                ``output ``= True``)  #写声音输出流到声卡进行播放``data ``= f.readframes(chunk) ``i``=``1``while True``:``    ``data ``= f.readframes(chunk)``    ``if data ``=``= b'': ``break``    ``stream.write(data)   ``f.close()``#stop stream ``stream.stop_stream() ``stream.close() ``#close PyAudio ``p.terminate() 

Поскольку это python3.5, оператор суждения, если данные ==b'': разрывbне может отсутствовать.

5. Окно сигнала

Как правило, сигнал усекается, и для кадрирования требуется окно, потому что усечение имеет утечку энергии в частотной области, а оконная функция может уменьшить влияние усечения.

Функция окна находится в наборе инструментов обработки сигналов scipy.signal, например окно молотка:

12 import scipy.signal as signal``pl.plot(signal.hanning(``512``))

Используя приведенную выше функцию, нарисуйте окно Ханнинга:

1234 import pylab as pl``import scipy.signal as signal``pl.figure(figsize``=``(``6``,``2``))``pl.plot(signal.hanning(``512``))

6. Обрамление сигнала

Теоретическая основа формирования сигнала, где x — речевой сигнал, а w — оконная функция:

Работа с окнами и усечение аналогичны сэмплированию.Чтобы гарантировать, что соседние кадры не слишком отличаются, обычно между кадрами происходит сдвиг кадра, что на самом деле является эффектом интерполяции и сглаживания.

Дана принципиальная схема:

Здесь в основном используется набор инструментов numpy, и соответствующие инструкции:

  • np.repeat: в основном прямое повторение
  • np.tile: в основном периодическое повторение

Сравнивать:

Векторный случай:

Матричный случай:

Для данных:

повторить операцию:

работа с плиткой:

Соответствующий результат:

Реализация кода, соответствующая кадрированию:

Вот пример без окна:

1234567891011121314151617181920212223242526272829303132333435363738394041424344 import numpy as np``import wave``import os``#import math def enframe(signal, nw, inc):``    ``'''将音频信号转化为帧。``    ``参数含义：``    ``signal:原始音频型号``    ``nw:每一帧的长度(这里指采样点的长度，即采样频率乘以时间间隔)``    ``inc:相邻帧的间隔（同上定义）``    ``'''``    ``signal_length``=``len``(signal) ``#信号总长度``    ``if signal_length<``=``nw: ``#若信号长度小于一个帧的长度，则帧数定义为1``        ``nf``=``1``    ``else``: ``#否则，计算帧的总长度``        ``nf``=``int``(np.ceil((``1.0``*``signal_length``-``nw``+``inc)``/``inc))``    ``pad_length``=``int``((nf``-``1``)``*``inc``+``nw) ``#所有帧加起来总的铺平后的长度``    ``zeros``=``np.zeros((pad_length``-``signal_length,)) ``#不够的长度使用0填补，类似于FFT中的扩充数组操作``    ``pad_signal``=``np.concatenate((signal,zeros)) ``#填补后的信号记为pad_signal``    ``indices``=``np.tile(np.arange(``0``,nw),(nf,``1``))``+``np.tile(np.arange(``0``,nf``*``inc,inc),(nw,``1``)).T  ``#相当于对所有帧的时间点进行抽取，得到nf*nw长度的矩阵``    ``indices``=``np.array(indices,dtype``=``np.int32) ``#将indices转化为矩阵``    ``frames``=``pad_signal[indices] ``#得到帧信号``#    win=np.tile(winfunc(nw),(nf,1))  #window窗函数，这里默认取1``#    return frames*win   #返回帧信号矩阵``    ``return frames``def wavread(filename):``    ``f ``= wave.``open``(filename,``'rb'``)``    ``params ``= f.getparams()``    ``nchannels, sampwidth, framerate, nframes ``= params[:``4``]``    ``strData ``= f.readframes(nframes)``#读取音频，字符串格式``    ``waveData ``= np.fromstring(strData,dtype``=``np.int16)``#将字符串转化为int``    ``f.close()``    ``waveData ``= waveData``*``1.0``/``(``max``(``abs``(waveData)))``#wave幅值归一化``    ``waveData ``= np.reshape(waveData,[nframes,nchannels]).T``    ``return waveData filepath ``= "./data/" #添加路径``dirname``= os.listdir(filepath) ``#得到文件夹下的所有文件名称 ``filename ``= filepath``+``dirname[``0``]``data ``= wavread(filename)``nw ``= 512``inc ``= 128``Frame ``= enframe(data[``0``], nw, inc) 

Если вам нужно добавить окно, просто измените функцию на:

1234567891011121314151617181920 def enframe(signal, nw, inc, winfunc):``    ``'''将音频信号转化为帧。``    ``参数含义：``    ``signal:原始音频型号``    ``nw:每一帧的长度(这里指采样点的长度，即采样频率乘以时间间隔)``    ``inc:相邻帧的间隔（同上定义）``    ``'''``    ``signal_length``=``len``(signal) ``#信号总长度``    ``if signal_length<``=``nw: ``#若信号长度小于一个帧的长度，则帧数定义为1``        ``nf``=``1``    ``else``: ``#否则，计算帧的总长度``        ``nf``=``int``(np.ceil((``1.0``*``signal_length``-``nw``+``inc)``/``inc))``    ``pad_length``=``int``((nf``-``1``)``*``inc``+``nw) ``#所有帧加起来总的铺平后的长度``    ``zeros``=``np.zeros((pad_length``-``signal_length,)) ``#不够的长度使用0填补，类似于FFT中的扩充数组操作``    ``pad_signal``=``np.concatenate((signal,zeros)) ``#填补后的信号记为pad_signal``    ``indices``=``np.tile(np.arange(``0``,nw),(nf,``1``))``+``np.tile(np.arange(``0``,nf``*``inc,inc),(nw,``1``)).T  ``#相当于对所有帧的时间点进行抽取，得到nf*nw长度的矩阵``    ``indices``=``np.array(indices,dtype``=``np.int32) ``#将indices转化为矩阵``    ``frames``=``pad_signal[indices] ``#得到帧信号``    ``win``=``np.tile(winfunc,(nf,``1``))  ``#window窗函数，这里默认取1``    ``return frames``*``win   ``#返回帧信号矩阵

Среди них оконная функция, на примере окна молотка:

12 winfunc ``= signal.hamming(nw)``Frame ``= enframe(data[``0``], nw, inc, winfunc)

Вы можете назвать это.

7. Спектрограмма

Фактически, кадрированный сигнал получен, преобразование частотной области принимает значение амплитуды, и можно получить спектрограмму.Если это просто наблюдение, в matplotlib.pyplot есть команда спектрограммы:

1234567891011121314151617181920 import wave``import matplotlib.pyplot as plt``import numpy as np``import os filepath ``= "./data/" #添加路径``filename``= os.listdir(filepath) ``#得到文件夹下的所有文件名称 ``f ``= wave.``open``(filepath``+``filename[``0``],``'rb'``)``params ``= f.getparams()``nchannels, sampwidth, framerate, nframes ``= params[:``4``]``strData ``= f.readframes(nframes)``#读取音频，字符串格式``waveData ``= np.fromstring(strData,dtype``=``np.int16)``#将字符串转化为int``waveData ``= waveData``*``1.0``/``(``max``(``abs``(waveData)))``#wave幅值归一化``waveData ``= np.reshape(waveData,[nframes,nchannels]).T``f.close()``# plot the wave``plt.specgram(waveData[``0``],Fs ``= framerate, scale_by_freq ``= True``, sides ``= 'default'``)``plt.ylabel(``'Frequency(Hz)'``)``plt.xlabel(``'Time(s)'``)``plt.show()

Категории