Twilio 프로그래밍 가능한 비디오 - 웹 오디오 API와 통합

Question

Twilio Programmable Video Room에서 원격 참여자의 오디오 스트림을 조작하기 위해 Web Audio API를 사용하려고합니다.

당신은 웹 오디오 API와 함께 사용하지만

track.mediaStreamTrack

를 호출하여 하찮게 onTrackAdded 처리기의 각 트랙에 해당하는 MediaStreamTrack에 액세스 할 수 있습니다 - 당신은 그래서 MediaStream에 대한 참조가 있어야합니다 audioContext.createMediaStreamSourceNode(stream)으로 전화 할 수 있습니다. 나의 이해는 MediaStream 객체가 많은 MediaStreamTrack을 포함 할 수 있다는 것이다. (Twilio 추상화의 참여자 객체에 더 가깝게 만듭니다).

은 내가 twilio 클라이언트가 제공하는 구성 실내의 개인 속성을 사용하여이 주위에 방법을 찾았지만, 아주 못생긴 :

내가 얻을 수있는 방법이 내 질문에, 추측

function trackAdded(track, room) { 
// Check if it is an audio node 
if (track.kind.toLowerCase() === 'audio') { 
    // Find the relevant pc to get the stream from 
    var remotePC; 
    room.room._signaling._peerConnectionManager._peerConnections.forEach(function(pc) { 
     var remoteStream = pc.getRemoteStreams()[0] 
     if (remoteStream.getAudioTracks()[0] === track.mediaStreamTrack) { 
      // This is the pc we are interested in 
      console.log('found PC to connect to audio API'); 
      remotePC = pc; 
     } 
    }) 
    var origin = context.createMediaStreamSource(remotePC.getRemoteStreams()[0]); 
    origin.connect(<Chain of filter Nodes>) 
} 

JS에서 MediaStreamTrack의 MediaStream 컨테이너에 대한 참조입니까?

또는

는 특정 참가자에 해당하는의 MediaStream에 대한 참조를 얻을 수있는 더 Twilio 관용적 방법이 있나요?

Answer 1

여기에 Twilio 개발자 전도사가 있습니다.

방에서 trackAdded 이벤트를 듣기보다는 trackAdded for each participant을들을 수 있습니다. 그렇게하면 트랙과 참가자를 더 쉽게 연결할 수 있습니다. 너는 participantConnected event on a room을 경청해서 방에 들어갈 때 각 참가자를 붙잡을 수있다.

trackAdded 이벤트가 발생하면 Track object and get the underlying MediaStreamTrack by using the mediaStreamTrack property을 사용할 수 있습니다.