동영상의 픽셀 값을 읽는 방법은 무엇입니까?

Question

최근에 BMP 이미지의 이미지 처리를위한 C 프로그램을 작성하여 픽셀 값을 읽고 처리해야만 BMP 헤더 내용을 따르는 것이 매우 간단 해졌고 BMP 이미지의 대부분의 정보를 얻을 수있었습니다.

이제 비디오는 (프레임 단위로) 비디오를 처리하는 것이지만 어떻게해야합니까? 비디오 클립에서 이미지 프레임 연속 스트림의 헤더를 어떻게 읽을 수 있습니까? 아니면, 예를 들어, mpeg 형식도 범용 헤더를 갖게 될 것입니다. 전체 비디오에 대한 정보를 얻을 수있는 읽을 때마다 헤더 다음에 모든 데이터는 픽셀입니다.

내가 전달할 수 있기를 바랍니다.

비디오 처리 경험이있는 사람이 있습니까?

모든 책 또는 자습서 링크는 매우 유용합니다.

Answer 1

MPEG과 같은 비디오 스트림은 (분명히) 지속 시간 및 해당 프레임 속도에 종속 된 여러 프레임으로 구성됩니다. 픽셀을 읽으려면 이전 프레임에서 스트림으로 종속되지 않는 인트라 프레임부터 시작해야합니다. 연속적인 프레임은 이전 프레임에서 시간적으로 종속 된 프레임이므로 해당 픽셀을 얻으려면 Intra에서 원하는 프레임으로 스트림을 디코딩해야합니다.
기본적으로 인트라 프레임은 주기적으로 삽입되어 스트림과 동기화 할 수있는 방법을 디코더에 제공합니다. 이는 오류가 발생할 수있는 상황에서 매우 유용합니다.
당신이하고 싶은 일은 쉬운 일이 아닙니다. MPEG 디코더를 사용해야하고 필터 나 기타와 같은 사후 처리를 원한다면 프레임을 재생하기 전에 프레임을 수정해야합니다.
비디오 코딩을 배우고 표준 MPEG에서부터 많은 자료를 찾을 수 있습니다.

Answer 2

나는 FFMpeg을 조사하는 것이 좋습니다. 그것은 영화에서 프레임을 잡아 JPG와 같은 이미지로 덤프 할 수있는 명령 줄 유틸리티를 가지고 있습니다. 그런 다음 기존 판독기를 수정하여 JPG 파일을 처리 할 수 ​​있습니다 (JPG를 원시 픽셀 버퍼로 디코딩하기 위해 libjpeg와 같은 것을 사용하십시오).

또는 FFMpeg API (C, Python, 기타)를 사용하고 프로그래밍 방식으로 프레임 캡처를 수행하고 비디오를 이동할 때 픽셀을 볼 수 있습니다. 비디오 포맷은 복잡하기 때문에 모든 다른 코덱에 대한 이해를 시작하지 않으려면 라이브러리를 가져 와서 원시 픽셀 버퍼로 디코딩해야합니다.

Answer 3

MPEG 1/2/4 비디오는 압축되어 있기 때문에 비트 맵보다 처리하기가 훨씬 어렵습니다. 비트 맵 데이터를 사용하면 실제 색상 값이 파일에 직접 저장됩니다. MPEG 또는 JPEG의 경우 색상 정보는 파일에 기록되기 전에 숫자 변환을 거칩니다. 이러한

• 는 RGB 등 -> YUV 420P (서브 샘플링 된 크로 미 넌스)는
• 이산 코사인 변환
• 가중 양자화
• 지그재그 (
• 차동 부호화
• 가변 길이 부호화 주문 허프만 형)

이 모든 것은 s 파일에서 픽셀 데이터를 파싱하는 방법을 구현합니다.표준의 모든 세부 사항을 연구하고 자신의 디코더를 작성하거나 ffmpeg와 같은 비디오 디코딩 라이브러리를 사용하여 작업을 수행해야합니다. ffmpeg는 비디오를 정지 이미지 (see answers this recent question)로 변환 할 수 있습니다. 또한 ffmpeg 라이브러리 (libavformat 및 libavcodec)에 직접 인터페이스 할 수 있습니다. 좋은 자습서는 this question에 대한 답변을 참조하십시오.