Я пишу приложение, которое должно определять частоту аудиопотока. Я прочитал около миллиона статей и у меня проблемы с пересечением финишной черты. Мои аудиоданные поступают ко мне в этой функции через AVFoundation Framework от Apple.

Я использую Swift 4.2 и пробовал поиграть с функциями БПФ, но в настоящий момент они немного не по мне.

Любые мысли?

// get's the data as a call back for the AVFoundation framework.
public func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
    // prints the whole sample buffer and tells us alot of information about what's inside
    print(sampleBuffer);

    // create a buffer, ready out the data, and use the CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer method to put
    // it into a buffer
    var buffer: CMBlockBuffer? = nil
    var audioBufferList = AudioBufferList(mNumberBuffers: 1,
                                          mBuffers: AudioBuffer(mNumberChannels: 1, mDataByteSize: 0, mData: nil))
    CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer(sampleBuffer, bufferListSizeNeededOut: nil, bufferListOut: &audioBufferList, bufferListSize: MemoryLayout<AudioBufferList>.size, blockBufferAllocator: nil, blockBufferMemoryAllocator: nil, flags: UInt32(kCMSampleBufferFlag_AudioBufferList_Assure16ByteAlignment), blockBufferOut: &buffer);

    let abl = UnsafeMutableAudioBufferListPointer(&audioBufferList)
    var sum:Int64 = 0
    var count:Int = 0
    var bufs:Int = 0

    var max:Int64 = 0;
    var min:Int64 = 0

    // loop through the samples and check for min's and maxes.
    for buff in abl {
        let samples = UnsafeMutableBufferPointer<Int16>(start: UnsafeMutablePointer(OpaquePointer(buff.mData)),
                                                        count: Int(buff.mDataByteSize)/MemoryLayout<Int16>.size)
        for sample in samples {
            let s = Int64(sample)
            sum = (sum + s*s)
            count += 1

            if(s > max) {
                max = s;
            }

            if(s < min) {
                min = s;
            }

            print(sample)
        }
        bufs += 1
    }

    // debug
    print("min - \(min), max = \(max)");

    // update the interface
    DispatchQueue.main.async {
        self.frequencyDataOutLabel.text = "min - \(min), max = \(max)";
    }

    // stop the capture session
    self.captureSession.stopRunning();
}
2
Gregg Harrington 26 Ноя 2018 в 02:38

1 ответ

Лучший ответ

После долгих исследований я обнаружил, что ответ - использовать метод БПФ (быстрое преобразование Фурье). Он принимает необработанные входные данные из приведенного выше кода iPhone и преобразует его в массив значений, представляющих величину каждой частоты в полосах.

Здесь много реквизита для открытого кода https://github.com/jscalo/tempi-fft который создал визуализатор, который фиксирует данные и отображает их. Оттуда нужно было манипулировать им для удовлетворения потребностей. В моем случае я искал частоты, намного превышающие человеческий слух (диапазон 20 кГц). Просканировав последнюю половину массива в коде tempi-fft, я смог определить, присутствуют ли частоты, которые я искал, и достаточно ли они громкие.

0
Gregg Harrington 10 Дек 2018 в 00:36