AVPlayer에서 averagePowerForChannel 받기

Question

averagePowerForChannel을 AVPlayer에 어떻게하면 내 음악 앱에서 오디오 시각화를 만들 수 있습니까? 이미 시각화 부분을 완료했지만 엔진 (실시간 볼륨 채널)에 붙어 있습니다.

나는 .meteringEnabled 속성을 사용하여 쉽게 수행 할 수 있지만 어떤 알려진 이유 때문에 AVPlayer은 내 앱에 필수 항목임을 알고 있습니다. 실제로 AVAudioPlayer을 사용하려고 생각하고 있습니다. AVPlayer과 함께 원하는 결과를 얻지 만, 어색한 해결 방법이있는 것 같습니다. 어떻게 성능과 안정성에 영향을 미칠 수 있습니까? 미리 감사하십시오

Answer 1

오디오 샘플을 시각화하고 오디오 데이터에 Core Audio 오디오 유닛 효과 (대역 통과 필터)를 적용하려면 AV Foundation과 함께 오디오 프로세서 클래스가 필요합니다. 당신은 찾을 수 본질적으로 sample by Apple here

당신은 아래와 같은 AVPlayer를에 당신이 관찰자를 추가해야합니다 : 여기

override func observeValueForKeyPath(keyPath: String?, ofObject object: AnyObject?, change: [String : AnyObject]?, context: UnsafeMutablePointer<Void>) { 
    if (object === videoPlayer.currentItem && keyPath == "tracks"){ 
     if let playerItem: AVPlayerItem = videoPlayer.currentItem { 
      if let tracks = playerItem.asset.tracks as? [AVAssetTrack] { 
       tapProcessor = MYAudioTapProcessor(AVPlayerItem: playerItem) 
       playerItem.audioMix = tapProcessor.audioMix 
       tapProcessor.delegate = self 
      } 
     } 
    } 
} 

가있다 :

// Notifications 
let playerItem: AVPlayerItem! = videoPlayer.currentItem 
playerItem.addObserver(self, forKeyPath: "tracks", options: NSKeyValueObservingOptions.New, context: nil); 

NSNotificationCenter.defaultCenter().addObserverForName(AVPlayerItemDidPlayToEndTimeNotification, object: videoPlayer.currentItem, queue: NSOperationQueue.mainQueue(), usingBlock: { (notif: NSNotification) -> Void in 
    self.videoPlayer.seekToTime(kCMTimeZero) 
    self.videoPlayer.play() 
    print("replay") 
}) 

그런 다음 아래의 오버라이드 (override) 방법으로 통지를 처리 sample project on GitHub

Answer 2

약 2 년간 AVPlayer 시각화 문제가 있습니다. 제 경우에는 HLS 라이브 스트리밍이 포함됩니다.이 경우, 제 지식에 따라 실행되지 않을 것입니다.

EDIT 이렇게하면 averagePowerForChannel: 방법에 액세스 할 수 없지만 원시 데이터에 액세스 할 수 있으며 예를 들어 FFT로 원하는 정보를 얻을 수 있습니다.

로컬 재생으로 작업하게되었습니다. 당신은 기본적으로 플레이어 플레이어 아이템이 궤도를 올리고 작동 할 때까지 기다립니다. 이 때 MTAudioProcessingTap을 오디오 믹스에 패치해야합니다.

처리 탭은 필요에 따라 원시 오디오 데이터를 계산할 수 있도록 지정한 콜백을 실행합니다. 여기

는 (비록 ObjC에 부풀어 오르고 죄송합니다) 빠른 예입니다

#import <AVFoundation/AVFoundation.h> 
#import <MediaToolbox/MediaToolbox.h> 

void init(MTAudioProcessingTapRef tap, void *clientInfo, void **tapStorageOut) {}; 
void finalize(MTAudioProcessingTapRef tap) {}; 
void prepare(MTAudioProcessingTapRef tap, CMItemCount maxFrames, const AudioStreamBasicDescription *processingFormat) {}; 
void unprepare(MTAudioProcessingTapRef tap) {}; 
void process(MTAudioProcessingTapRef tap, CMItemCount numberFrames, MTAudioProcessingTapFlags flags, AudioBufferList *bufferListInOut, CMItemCount *numberFramesOut, MTAudioProcessingTapFlags *flagsOut) {}; 

- (void)play { 
    // player and item setup ... 

    [[[self player] currentItem] addObserver:self forKeyPath:@"tracks" options:kNilOptions context:NULL]; 
} 

////////////////////////////////////////////////////// 

- (void)observeValueForKeyPath:(NSString *)keyPath ofObject:(id)object change:(NSDictionary *)changecontext:(void *)context 
    if ([keyPath isEqualToString:@"tracks"] && [[object tracks] count] > 0) { 
     for (AVPlayerItemTrack *itemTrack in [object tracks]) { 
      AVAssetTrack *track = [itemTrack assetTrack]; 

      if ([[track mediaType] isEqualToString:AVMediaTypeAudio]) { 
       [self addAudioProcessingTap:track]; 
       break; 
      } 
     } 
} 

- (void)addAudioProcessingTap:(AVAssetTrack *)track { 
    MTAudioProcessingTapRef tap; 
    MTAudioProcessingTapCallbacks callbacks; 
    callbacks.version = kMTAudioProcessingTapCallbacksVersion_0; 
    callbacks.clientInfo = (__bridge void *)(self); 
    callbacks.init = init; 
    callbacks.prepare = prepare; 
    callbacks.process = process; 
    callbacks.unprepare = unprepare; 
    callbacks.finalize = finalise; 

    OSStatus err = MTAudioProcessingTapCreate(kCFAllocatorDefault, &callbacks, kMTAudioProcessingTapCreationFlag_PostEffects, &tap); 

    if (err) { 
     NSLog(@"error: %@", [NSError errorWithDomain:NSOSStatusErrorDomain code:err userInfo:nil]); 
     return; 
    } 

    AVMutableAudioMix *audioMix = [AVMutableAudioMix audioMix]; 

    AVMutableAudioMixInputParameters *inputParams = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:audioTrack]; 
    [inputParams setAudioTapProcessor:tap]; 
    [audioMix setInputParameters:@[inputParams]]; 

    [[[self player] currentItem] setAudioMix:audioMix]; 
} 

이 논의는 2 년 전부터 my question에 걸쳐 진행되므로으로 확인해야합니다 있습니다 잘.