Stereo Rectification

작성자: -
Stereo Rectification

우선, stereo camera를 만들기 위해서는 당연히 2대의 카메라가 필요한데
같은 카메라 2대를 쓰는 것이 당연히 좋다.

stereo camera를 구성하는 순서는

1. camera calibration
2. stereo calibration
3. stereo rectification

이와 같은 3가지 과정이 필요하다.
자세한 내용은 건너뛰고, 여기서 언급하려고 하는 과정은 3. stereo rectification이다.

두 장의 다른 이미지의 행을 맞추는 작업이다.
이 과정은 camera calibration, stereo calibration 두 과정이 선행되어 있어야 한다.

즉, 정확한 스테레오를 구현 하기 위해서는 카메라 내부행렬 및 두 카메라 사이의 관계를 알고 있어야 한다.



위의 사진은 OpenCV의 예제 파일이다.

좌측 상단의 사진은 좌측 카메라의 사진이고, 우측 상단의 사진은 우측 카메라의 사진이다.
사진을 자세히 보면 두 사진의 열이 같은 모습을 볼 수 있다.


또한, 좌측 하단의 사진은 우측 상단의 사진과 같은 사진인데 좌측 사진과 우측 사진이 다른 사진임을 보이기 위해 수직으로 선을 그었다.

수직으로 그어진 선을 보면 두 사진 간에 시차가 발생하는 것을 알 수 있다.



잘 정렬된 사진을 이용하여 Depth Map을 그린 사진이다.
위의 결과는 상당히 Rectify가 잘 된 경우이고, 일반적인 경우는 이 보다 못한 결과 값이 나온다.

나는 만원짜리 카메라를 사용하여 그런지 매우 좋지 못한 결과 값이 나왔다.
하지만, 위의 사진을 보면 알고리즘은 문제 없음을 알 수 있다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

Linux에서 Atmega128(JMOD-128-1) 사용기

작성자: -
리눅스에서 JMOD-128-1 제품 [ atmega128 ]을 사용하려니 문제가 있었다. 우선 JMOD-128 -1 은 ISP다운로더가 내장 되어서 사용하려는 모델이다. 평소 USB2Serial을 사용해서 굽던 것이 불편했던 것이 사실이다. 하지만 ㅠ_ㅠ 1. 문제 어찌 되었던 JMOD-128-1 모듈은 http://cafe.naver.com/lazydigital 위와 같은 이유로 avrdude를 이용할 수 없다. 따라서 avrdude를 128byte 단위로 이미지를 보내도록 바꾸도록 하자. * window avr-studio에서는 이미지를 128byte 씩 보내 굽는다. 하지만 avrdude는 256byte씩 굽는데 jmod-128-1에서는이미지를 받을 버퍼가 128byte 밖에 없는것. *붉은 줄의 문제점은 위 링크의 블로그에서 찾고 회사에 문의를 하여 알게되었습니다. 2. 수정 http://www.nongnu.org/avrdude/ 여기서 avrdude를 받고 stk500v2.c 파일을 수정하도록 하자. static int stk500v2_paged_write(PROGRAMMER * pgm, AVRPART * p, AVRMEM * m,                                 unsigned int page_size,                              ...
자세한 내용 보기

System의 안정도 판별

작성자: -
이미지
시스템을 표현하는 방법 중 주로 사용되는 방법으로 transfer function과 state space 표현법이 있다. 오늘은 이 두 가지 방법에 대해 이야기 하려한다. 그 전에 system의 범위를 LTI system(Linear Time Invariant system) 으로 줄이겠다. 그 이유는 Transfer function은 LTI system에서 밖에 정의되지 않으며, State Space 방정식은 dynamic 혹은 Time variant system을 표현 할 수 있으나 LTI system이 아닌 system에서는 아래의 방법으로는 안정도를 판별할 수 없다. dynamic system과 같은 복잡한 system은 일단은포기하자. 1. Transfer Function Transfer function을 알고있다면 system의 안정도를 알기는 매우 쉽다. pole(극점)의 실수부가 음의 부호를 가지면 된다. 대학교 학부과정에서 배우는 내용이므로 빠르게 생략하고 싶지만 조금 주의 해야할 점을 기술해야겠다. Transfer function이 proper해야 한다는 점을 잊지 말자. proper이란 말은 한마디로 분모의 차수가 분자의 차수보다 크거나 같다는 이야기이다. 2. State Space State Space로 표현한 시스템 또한 안정도를 판별하기는 쉽다. coefficient matrix A의 eigen value(고유치)의 실수부가 음의 부호를 가지면 된다. 3. 비교 위의 두 시스템의 표현법에서 안정도를 판별하는 작업은 비슷한 점이 있다. pole과 eigen value가 negative sign을 가지면 된다. 이와 같은 특징을 가지게 되는 점은 아래의 유도를 통해 쉽게 알 수 있다. 아래와 같은 state space equation을 transfer function으로 표현 해보자   위의 방정식을 라플라스 변환하면 여기서 tra...
자세한 내용 보기

[OPENCV] pose estimation using solvePnP

작성자: -
이미지
solvePnP opencv함수로 chessboard의 좌표계를 구성하여 chessboard 좌표계까지의 변환 행렬을 얻을 수 있다. 물론, 카메라 calibration 및 그 외의 전과정은 미리 다 해둔 것으로 가정. * 정확하게는 chessboard와 카메라 사이의 translation vector와 rotation vector가 반환된다. homography matrix를 얻고싶다면 위의 값을 잘 이용해보자. 아래의 동영상을 보면 쉽게 이해 될 것이다. 이와 같은 pose estimation은 써먹을 곳이 많다. 예로들면, 움직이는 물체를 추적하고 이동거리를 알고 싶을 때 pixel단위가 아닌 mm단위로 이동거리를 알아낼 수 있다. 이와 마찬가지로 지면과 카메라 간의 변환 행렬을 구하여 실제 거리를 재는등의 목적으로 사용할 수 있을 것 같다.   장점 1. 오차가 상당히 없는 듯하다. 2. 데이터를 실험적으로 뽑아 낸 것은 아니지만 나의 감각에 의하면 오차가 커봐야 1cm터 내외 일 듯 하다. *위의 영상에서는 chessboard 좌표계의 원점에서 부터 x,y,z 축으로 5cm의 선을 그리도록 하였다. 단점 1. findChessboard 과정에서 corner를 못 찾게 되면 상당한 시간이 지연된다. 2. 최소 3x3 chessboard가 필요하다. 핵심 코드 struct CamParameter { cv :: Mat cameraMatrix; cv :: Mat distCoeffs; }; void solvePnP (Mat & img, CamParameter camParam) { vector < Point3f > objectPoint; vector < Point2f > imagePoint = findChessboard(img); if (imagePoint.size() != CHESS_COLS ...
자세한 내용 보기