♩Min's Acoustic Life♬

요즘 새로운? 프로젝트가 시작 되었습니다.

Kinect v2 를 여러대 활용하여 연구? 보다는.. 연구에 활용하기 위한 공부를 시작하고자 하는데, 문제는 Kinect SDK 2.0 은 1개의 PC당 1개의 Kinect v2 만 연결이 되도록 한정 지어놨다는 점입니다.

이를 해결할 방법을 찾다가 Freenect2 라는 오픈소스 라이브러리가 있더군요.

예전에 초창기 Kinect v1이 나왔을떄 Freenect 에서 해킹을 해서 이를 오픈소스로 유포한걸로 기억하는데, 거기서 다시 Kinect v2를 활용하는 방법을 제공하네요.

( 사이트는 여기로: https://github.com/OpenKinect/libfreenect2 )

간단히 둘러보니, libusb 를 활용하여 스트리밍 데이터를 받아들이는데, 말그대로 중간에서 Freenect2가 각각의 고유번호 및 USB 통신을 컨트롤 해서 다중 키넥트 환경을 제공 해주는거 같습니다. 그리고 픽업 된 영상은 OpenNI 2.0을 활용하여 결과물을 보여주고 있구요. 기호에 따라 OpenGL, OpenCL, CUDA 등등 기능도 같이 컴파일하여 활용할수있도록 해놓았습니다.

하지만 다른 블로거 유한규님 (URL: https://hanquel.postype.com/post/28254 ) 블로그를 보면 아직은 다중 키넥트 환경이 안정적이지는 않다고 하시는거보니 아무래도 한계점은 있는것 같아 보입니다.

일단은 저도 기본적인 multi Kinect v2 까지 테스트 해보고 Freenect2 컴파일 방법 및 연결 방법등을 찬찬히 설명 해보겠습니다.

Comming soon!

기본적으로 키넥트를 쓰는 이유중 한가지가 바로 Point cloud 때문이지 않을까 생각됩니다.

이는 여러 분야에서 아주 범용적으로 쓰이는 유용한 데이터 라고도 할 수 있겠네요.

Kinect를 활용하여 Point cloud를 만들기 위해서는 두가지의 다른 영상정보 (RGB, Depth (or Z)) 를 정합을 해야 합니다.

이는 Kinect v1.0때도 마찬가지였지만, v2.0에서도 방법이 있지 않을까 해서 해당 방법을 알아보았습니다.

역시 클래스와 함수로 잘 정리 되어있었네요.

아래 링크를 들어가보시면 아시겠지만, 이번 SDK 에서 확실하게 강화시켜 놓았습니다.

CoordinateMapper Class가 따로 있고, 밑에는 해당 methods 들이 나열 되어있는것을 확인 하실수 있어요.

▶ http://msdn.microsoft.com/en-us/library/windowspreview.kinect.coordinatemapper.aspx

더욱 더 인상 적인점은, 키넥트 1.0 에서는 없었던 RGB camera to IR camera mapping 기능이 들어있습니다.

(저는 이 방법이 필요해서 직접 구현을 했다만.. 이제는 편해졌네요 ㅎㅎ)

아래는 저의 소스 및 결과물 입니다.

RGB 영상 좌표를 Depth 영상 좌표로 변환, 매핑하는 방법인데요,간단히 설명 드리면..

1. RGB 영상의 좌표정보(혹은 RGB coordinate's array)을 Depth 영상 좌표에 맞게 변환 (MapColorFrameToDepthSpace 함수 사용)

2. 변환된 RGB 영상 좌표정보를 활용하여 2가지 영상을 제작

a. Depth 영상 해상도 (512 X 424) 로 변환

b. RGB 영상 해상도 (1920 X 1080) 로 변환 

RGB to Depth resolution 결과물 (a) 영상에서는 노이즈를 보실수 있습니다.

이는 제가 겪었던 문제와 동일한데, 정수형의 픽셀배열이 사영변환 (projective transformation)을 통해서 재배치 될때 좌표가 실수형으로 바뀝니다. 

그리고 영상을 출력시 다시 정수형 좌표계(pixel coordinate)로 표현이 되는데, 이때 소숫점 자리는 무시가 됩니다. 

따라서, 결과적으로 픽셀 사이에 빈 공간이 생기게 되고, 이것이 저런 노이즈로 나타나게 됩니다.

아무튼 아래 소스코드들을 참고하셔서 활용하시면 될듯 하네요. (맘에 드신다면요.. ㅎㅎ)

RGB 영상 (1920 X 1080)

Depth 영상 (512 X 424)

a. Depth 영상 해상도 (512 X 424) 로 변환

b. RGB 영상 해상도 (1920 X 1080) 로 변환 

2015/10/29 - [[ Topics ]/Kinect 2.0] - Kinect 2.0 & Kinect SDK 2.0 (Sample source code uploaded)

2012/04/24 - [[ Topics ]/Kinect 1.0] - RGB 이미지와 Depth 이미지의 Calibration

2013/05/22 - [[ Topics ]/Kinect 2.0] - Xbox One & Kinect2 are announced!!

2013/03/26 - [[ Topics ]/3Gear System SDK] - 3Gear System SDK - Kinect Positioning and Setting

Kinect 2.0을 구매한지 꽤~ 오래 되었지만, 드디어 맛 볼? 기회가 생겨서 이리저리 구동시켜 보았네요.

일단 기본 정보는 전에 포스팅 한것을 참조하시면 될듯 합니다.

▶ 2013/05/22 - [[ Topics ]/Kinect 2.0] - Xbox One & Kinect2 are announced!!

그래도 요약을 하자면,

Operating System: Windows 8.0 or 8.1 and Windows embedded standard 8

Field of view (RGB camera): 84.1º in horizontal , 53.8º in vertical

Field of view (IR camera): 70.6º in horizontal , 60º in vertical

Depth information: 0.5 ~ 8.0m (Reasonable distance: 0.8~4.0m), ToF(Time of Flight) camera

Color stream: 1920 X 1080 (16:9), YUY2, 30fps

Depth stream: 512 X 424, 30fps

IR stream: 512 X 424, 30fps

Data path: USB 3.0

대충 이렇습니다,

다른 블로거님의 포스팅을 빌려서 하드웨어 부분을 설명할께요 ^^;;

▶ http://blog.naver.com/tachikomatic/220130374854

그리고 Kinect SDK 2.0 도 (한참전에) 출시가 되었습니다.

▶ https://www.microsoft.com/en-us/kinectforwindows/develop/

여기로 가시면 바로 다운 받으실수 있어요.

제공된 샘플코드들을 실행해보고 느낀점은 훨씬 간단해졌다는 점이었습니다.

왜냐면 훨씬 잘 정돈 되어있었고, 간결해졌다고나 할까..??

또한 각각의 카메라 정보 (RGB, IR, Depth) 동시에! 획득 가능하다는 점!

개인적으로 제일 반가웠던 점입니다.

자체적으로 따로 구분 지어서 프로세스 되게 구축해놓은거 같더군요.

아무튼 개인적으로는 정말 희소식 입니다.

그리고, 혹시나 필요하신분들이 계실까봐 미천한 소스코드지만, 정리해서 올립니다. ^^;;;;;

프로그램은 콘솔 기반이구요, OpenCV 를 써서 영상을 출력 시켰습니다.

Kinect 2.0 장치를 초기화 및 구동하는데 필요한 부분만 SDK 샘플코드에서 발췌해서 만들었구요, RGB, IR, Depth 영상 따로 따로 CV윈도우 창 띄워서 출력 되게 만들었습니다.

좀 더 자세히 설명 드리자면.. Visual Studio 2012, OpenCV 2.4.2, Kinect SDK 2.0, C++, Console based 입니다.

아래 이미지들은 SDK에 있는 샘플소스코드들을 취합해서 만든 콘솔기반 프로그램에서 캡쳐한 영상들 입니다. 둘 다 쩍벌남이네요 ㅎㅎ (다리 좀 오므리고 찍을껄..)

KinectV2_Console_151027_RGB_IR_Depth_Complete.vol1.egg

KinectV2_Console_151027_RGB_IR_Depth_Complete.vol2.egg

Color image: 1920 X 1080 (16:9)

IR image: 512 X 424

Depth image: 512 X 424 (normalized in 0~255)

2013/05/22 - [[ Topics ]/Kinect 2.0] - Xbox One & Kinect2 are announced!!

2013/07/19 - [[ Topics ]/Kinect 1.0] - [KinectSDK 1.7]FaceTracking Test!

2013/02/28 - [[ Topics ]/Kinect 1.0] - Kinect의 IR-Camera 로의 접근

2012/04/24 - [[ Topics ]/Kinect 1.0] - RGB 이미지와 Depth 이미지의 Calibration

Map

map<key, value>   -> key에는 정렬될 값, value에는 필요한 값 (Key값을 기준으로 함께 쌍으로 저장 및 정렬됨)

중복된 키값을 허용 X

map 정렬방식

map<int, string, string.less<int>>    -> map의 오름차순 (그냥 map<key, value> 사용시 오름차순)

map<int, string, string.greater<int>>  -> map의 내림차순

map 추가방식

map<int, string> strMap;

strMap.insert( make_pair( 5, "Rjwu") );

strMap.insert( make_pair<int , string> (5, "RJwu")  );

삭제방식

strMap.erase(1);          키값 1의 Pair 가 사라짐

검색방식( 반환타입은 iterator)

map<int, string, string.greater<int>> :: iterator    iter;

iter = strMap.find(7);

cout << iter->first << "\t" << iter->second << endl;          //first 는 키값, second 는 데이터

multiMap

map과 달리

strMap[5] = "기륜"; 이런방식의 키값과 데이터 추가가 안된다.

또한 multiMap은 map 과 달리 중복된 키값을 허용한다. map 은 중복된 키값이 들어오면 나중에 들어온 pair 가 먼저것을 밀어냄

multimap 은 중복된 키값에 대하여 find로 검색시 먼저 들어온 데이터를 우선시한다.

multimap 은 중복된 키값에 대하여 erase 로 삭제 시 해당 키값에 해당하는 Pair 를 모두 삭제한다.

Include header

#include <map>

<map>만 추가해줘도 map, multimap 둘다 사용이 가능

#include <functional>

오름차순, 내림차순 정렬시, std::greater<key>, std::less<key> 를 사용하기 위한 헤더파일

http://stackoverflow.com/questions/16567699/stdgreater-not-defined-in-msvc2012

위의 블로그를 참고 했습니다.  (몇몇 필요한 내용은 추가 및 수정)

실제 사용 예 및 소스코드

오늘은 FaceTrackLib 를 활용하여 눈동자를 트래킹하는 프로그램을 제작하였다

먼저 FaceTrackLib를 통해 얼굴을 트래킹 하면,

해당 vertex의 2차원 위치를 알수가 있다.

(참고로 vertex의 총 갯수는 121개이다)

여기서, 눈에 해당하는 부분만 따로 추출을 하여 눈에 해당하는 vertex를 추출할 수가 있는데,

이를 이용하여 눈동자를 트래킹 하게 되었다.

그리고 Translate, Rotate, Scale 값도 함께 라이브러리에서 제공한다.

결과물은 아래와 같다.

하지만 필요한것은 3차원 좌표..

그것도 영상의 사이즈에 depend 하기때문에, 이를 3차원에서의 좌표를추출해야 한다.

이제 depth map을 가지고 놀아봐야겠군..

---------------------------------------------------------------------------------------------------

[2014. 03. 27 Update]

해당 프로젝트 파일을 원하시는 분들이 많아서 자료 함께 첨부합니다.

거의 반년 이상 전에 공부하면서 만든 프로젝트 파일이라 시스템 구조가 엉망이라는 점 감안하고 올립니다.

뭐 이따구로 코딩해놨어~! 라고 하시면.. 안됩니다 ^^;;

환경은 Windows7, VS2010, MFC, C++, KinectSDK 1.7, OpenCV 2.4.2 이렇게 활용했습니다.

티스토리 10mb 업로드 용량 제한때문에 분할압축해서 올립니다.

궁금하신점은 제 메일로 연락주세요 ^^ (TommyHSM@gmail.com)

KinectFaceTracker(130724_눈영역검색 및 취합, 4가지 버전_소스코드_불필요한부분_수정).vol1.egg

KinectFaceTracker(130724_눈영역검색 및 취합, 4가지 버전_소스코드_불필요한부분_수정).vol2.egg