고양이공방

web cam 2대를 이용해서 stereo camera를 만들어 보았다. 실시간으로 depth 값을 얻어오려 했으나 실패하였으나 Depth 값을 얻어 오는 것 까지는 성공하였다. 처음에는 다른 기종의 web cam로 시도했으나 화각에 차이에 따른 문제가 때문인지 rectification 과정이 제대로 되지 않아 실패하였다. 결국 같은 기종의 web cam [개당 만원]을 구입해 값을 출력해보니 상당히 괜찮은 결과물이 나왔다. 심지어 같은 기종의 web cam을 이용하니 스테레오 보정을 하지 않아도 어느 정도 결과물이 나온다. [그래 봤자 아래의 결과물이다. 쓸만한 건 아니다.] 아래의 동영상은 OpenCV의 steroBM 과 stereoSGBM을 이용한 영상이다. [BM] [SGBM] 위의 영상들은 software로 Rectification 을 전혀 하지 않고 찍은 영상이다. 추후 더 좋은 카메라를 구하게 되면 다시 영상을 업로드 하겠다. 추후 결과 해보니 보정을 하지 않는 편이 결과물이 더 좋더군요. 아무래도 너무 저가의 카메라를 이용하여서 그런듯 합니다. 언젠가 더 좋은 카메라를 쓸 수 있기를 ㅠ_ㅠ

Stereo Rectification 우선, stereo camera를 만들기 위해서는 당연히 2대의 카메라가 필요한데 같은 카메라 2대를 쓰는 것이 당연히 좋다. stereo camera를 구성하는 순서는 1. camera calibration 2. stereo calibration 3. stereo rectification 이와 같은 3가지 과정이 필요하다. 자세한 내용은 건너뛰고, 여기서 언급하려고 하는 과정은 3. stereo rectification이다. 두 장의 다른 이미지의 행을 맞추는 작업이다. 이 과정은 camera calibration, stereo calibration 두 과정이 선행되어 있어야 한다. 즉, 정확한 스테레오를 구현 하기 위해서는 카메라 내부행렬 및 두 카메라 사이의 관계를 알고 있어야 한다. 위의 사진은 OpenCV의 예제 파일이다. 좌측 상단의 사진은 좌측 카메라의 사진이고, 우측 상단의 사진은 우측 카메라의 사진이다. 사진을 자세히 보면 두 사진의 열이 같은 모습을 볼 수 있다. 또한, 좌측 하단의 사진은 우측 상단의 사진과 같은 사진인데 좌측 사진과 우측 사진이 다른 사진임을 보이기 위해 수직으로 선을 그었다. 수직으로 그어진 선을 보면 두 사진 간에 시차가 발생하는 것을 알 수 있다. 잘 정렬된 사진을 이용하여 Depth Map을 그린 사진이다. 위의 결과는 상당히 Rectify가 잘 된 경우이고, 일반적인 경우는 이 보다 못한 결과 값이 나온다. 나는 만원짜리 카메라를 사용하여 그런지 매우 좋지 못한 결과 값이 나왔다. 하지만, 위의 사진을 보면 알고리즘은 문제 없음을 알 수 있다.