Twillio 프로그래밍 가능한 비디오

Question

Twilio의 Programmable Video API를 사용하면 자동으로 말하는 사람에게 초점을 맞추는 방식에서 Google 행 아웃 기능과 유사한 것을 만들 수 있습니까?

이 문서에 대한 예제 나 메모가 보이지 않으며 이에 대한 github은 그다지 자주 보지 않습니다.

도움을 주시면 감사하겠습니다. 감사합니다.

Answer 1

여기에 Twilio 개발자 전도사가 있습니다.

그런 종류의 것을 만들 수 있지만 현재 비디오 SDK 자체의 범위를 벗어났습니다.

나는 전에 이것을 해보지 않았지만 채팅에서 각 참가자의 오디오를 분석하여 조사를 시작하겠습니다. 기존 <video> 또는 <audio> 요소에서 오디오 소스를 실제로 만들 수 있습니다. Twilio 비디오의 경우, 각 트랙은 별도의 요소로 만든, 그래서 당신은 <audio> 요소를 찾기 위해 그들을 사용하고자한다 :

당신은 웹 오디오 API를 사용하려면

var audioElements = document.querySelectorAll('audio'); 
audioElements.forEach(audio => { 
    var audioCtx = new AudioContext(); 
    var source = audioCtx.createMediaElementSource(audio); 
    // create audio analyser, analyse volume in audio 
}) 

는 모든 원격 트랙을 분석하기 위해 현재 시간의 지속적인 기간 동안 가장 소음을 만들고 그 하나를 전환 운동. This blog post may help with the analysis. 선택을 돕는 어떤 것도 보지 못했지만 잘하면 거기에서 해결할 수 있습니다.

이것이 도움이되는지 알려주세요.