기본적으로 키넥트를 쓰는 이유중 한가지가 바로 Point cloud 때문이지 않을까 생각됩니다.
이는 여러 분야에서 아주 범용적으로 쓰이는 유용한 데이터 라고도 할 수 있겠네요.
Kinect를 활용하여 Point cloud를 만들기 위해서는 두가지의 다른 영상정보 (RGB, Depth (or Z)) 를 정합을 해야 합니다.
이는 Kinect v1.0때도 마찬가지였지만, v2.0에서도 방법이 있지 않을까 해서 해당 방법을 알아보았습니다.
역시 클래스와 함수로 잘 정리 되어있었네요.
아래 링크를 들어가보시면 아시겠지만, 이번 SDK 에서 확실하게 강화시켜 놓았습니다.
CoordinateMapper Class가 따로 있고, 밑에는 해당 methods 들이 나열 되어있는것을 확인 하실수 있어요.
▶ http://msdn.microsoft.com/en-us/library/windowspreview.kinect.coordinatemapper.aspx
더욱 더 인상 적인점은, 키넥트 1.0 에서는 없었던 RGB camera to IR camera mapping 기능이 들어있습니다.
(저는 이 방법이 필요해서 직접 구현을 했다만.. 이제는 편해졌네요 ㅎㅎ)
아래는 저의 소스 및 결과물 입니다.
RGB 영상 좌표를 Depth 영상 좌표로 변환, 매핑하는 방법인데요,간단히 설명 드리면..
1. RGB 영상의 좌표정보(혹은 RGB coordinate's array)을 Depth 영상 좌표에 맞게 변환 (MapColorFrameToDepthSpace 함수 사용)
2. 변환된 RGB 영상 좌표정보를 활용하여 2가지 영상을 제작
a. Depth 영상 해상도 (512 X 424) 로 변환
b. RGB 영상 해상도 (1920 X 1080) 로 변환
RGB to Depth resolution 결과물 (a) 영상에서는 노이즈를 보실수 있습니다.
이는 제가 겪었던 문제와 동일한데, 정수형의 픽셀배열이 사영변환 (projective transformation)을 통해서 재배치 될때 좌표가 실수형으로 바뀝니다.
그리고 영상을 출력시 다시 정수형 좌표계(pixel coordinate)로 표현이 되는데, 이때 소숫점 자리는 무시가 됩니다.
따라서, 결과적으로 픽셀 사이에 빈 공간이 생기게 되고, 이것이 저런 노이즈로 나타나게 됩니다.
아무튼 아래 소스코드들을 참고하셔서 활용하시면 될듯 하네요. (맘에 드신다면요.. ㅎㅎ)
RGB 영상 (1920 X 1080)
Depth 영상 (512 X 424)
a. Depth 영상 해상도 (512 X 424) 로 변환
b. RGB 영상 해상도 (1920 X 1080) 로 변환
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27 |
//RGB frame to Depth space
m_pCoordiMapper->MapColorFrameToDepthSpace(_IR_Width_ * _IR_Height_, m_pRealDepth, _Color_Width_ * _Color_Height_, m_pDepthSpacePoint);
for(int h = 0; h < _Color_Height_; h++)
{
for(int w = 0; w < _Color_Width_; w++)
{
index = h*_Color_Width_+w;
_X = (int)(floor(m_pDepthSpacePoint[index].X + 0.5f));
_Y = (int)(floor(m_pDepthSpacePoint[index].Y + 0.5f));
if ((_X >= 0) && (_X < _Color_Width_) && (_Y >= 0) && (_Y < _Color_Height_))
{
index_3_DtoRGB = h * m_pCVMgr->m_pImg_3_Merge_DtoRGB->widthStep + w * m_pCVMgr->m_pImg_3_Merge_DtoRGB->nChannels;
index_3_RGBtoD = _Y * m_pCVMgr->m_pImg_3_Merge_RGBtoD->widthStep + _X *m_pCVMgr->m_pImg_3_Merge_RGBtoD->nChannels;
//DepthtoRGB resolution
m_pCVMgr->m_pImg_3_Merge_DtoRGB->imageData[index_3_DtoRGB] = m_pColorRGBX[index].rgbBlue;
m_pCVMgr->m_pImg_3_Merge_DtoRGB->imageData[index_3_DtoRGB+1] = m_pColorRGBX[index].rgbGreen;
m_pCVMgr->m_pImg_3_Merge_DtoRGB->imageData[index_3_DtoRGB+2] = m_pColorRGBX[index].rgbRed;
//RGBtoDepth resolution
m_pCVMgr->m_pImg_3_Merge_RGBtoD->imageData[index_3_RGBtoD] = m_pColorRGBX[index].rgbBlue;
m_pCVMgr->m_pImg_3_Merge_RGBtoD->imageData[index_3_RGBtoD+1] = m_pColorRGBX[index].rgbGreen;
m_pCVMgr->m_pImg_3_Merge_RGBtoD->imageData[index_3_RGBtoD+2] = m_pColorRGBX[index].rgbRed;
}
}
} |
cs |
2015/10/29 - [[ Topics ]/Kinect 2.0] - Kinect 2.0 & Kinect SDK 2.0 (Sample source code uploaded)
2012/04/24 - [[ Topics ]/Kinect 1.0] - RGB 이미지와 Depth 이미지의 Calibration
2013/05/22 - [[ Topics ]/Kinect 2.0] - Xbox One & Kinect2 are announced!!
2013/03/26 - [[ Topics ]/3Gear System SDK] - 3Gear System SDK - Kinect Positioning and Setting
'[ Topics ] > Kinect 2.0' 카테고리의 다른 글
| Freenect2 를 활용한 multi Kinect v2 in 1 PC (블로깅 자료 준비중) (0) | 2017.07.18 |
|---|---|
| [Kinect v2.0] Kinect 2.0 & SDK 2.0 (Sample source code uploaded) (12) | 2015.10.29 |
| Xbox One & Kinect2 are announced!! (0) | 2013.05.22 |
Kinect_DepthCalib_in_console(RGB, Depth with calib, OpenCV).vol1.egg
