♩Min's Acoustic Life♬

요즘 새로운? 프로젝트가 시작 되었습니다.

Kinect v2 를 여러대 활용하여 연구? 보다는.. 연구에 활용하기 위한 공부를 시작하고자 하는데, 문제는 Kinect SDK 2.0 은 1개의 PC당 1개의 Kinect v2 만 연결이 되도록 한정 지어놨다는 점입니다.

이를 해결할 방법을 찾다가 Freenect2 라는 오픈소스 라이브러리가 있더군요.

예전에 초창기 Kinect v1이 나왔을떄 Freenect 에서 해킹을 해서 이를 오픈소스로 유포한걸로 기억하는데, 거기서 다시 Kinect v2를 활용하는 방법을 제공하네요.

( 사이트는 여기로: https://github.com/OpenKinect/libfreenect2 )

간단히 둘러보니, libusb 를 활용하여 스트리밍 데이터를 받아들이는데, 말그대로 중간에서 Freenect2가 각각의 고유번호 및 USB 통신을 컨트롤 해서 다중 키넥트 환경을 제공 해주는거 같습니다. 그리고 픽업 된 영상은 OpenNI 2.0을 활용하여 결과물을 보여주고 있구요. 기호에 따라 OpenGL, OpenCL, CUDA 등등 기능도 같이 컴파일하여 활용할수있도록 해놓았습니다.

하지만 다른 블로거 유한규님 (URL: https://hanquel.postype.com/post/28254 ) 블로그를 보면 아직은 다중 키넥트 환경이 안정적이지는 않다고 하시는거보니 아무래도 한계점은 있는것 같아 보입니다.

일단은 저도 기본적인 multi Kinect v2 까지 테스트 해보고 Freenect2 컴파일 방법 및 연결 방법등을 찬찬히 설명 해보겠습니다.

Comming soon!

기본적으로 키넥트를 쓰는 이유중 한가지가 바로 Point cloud 때문이지 않을까 생각됩니다.

이는 여러 분야에서 아주 범용적으로 쓰이는 유용한 데이터 라고도 할 수 있겠네요.

Kinect를 활용하여 Point cloud를 만들기 위해서는 두가지의 다른 영상정보 (RGB, Depth (or Z)) 를 정합을 해야 합니다.

이는 Kinect v1.0때도 마찬가지였지만, v2.0에서도 방법이 있지 않을까 해서 해당 방법을 알아보았습니다.

역시 클래스와 함수로 잘 정리 되어있었네요.

아래 링크를 들어가보시면 아시겠지만, 이번 SDK 에서 확실하게 강화시켜 놓았습니다.

CoordinateMapper Class가 따로 있고, 밑에는 해당 methods 들이 나열 되어있는것을 확인 하실수 있어요.

▶ http://msdn.microsoft.com/en-us/library/windowspreview.kinect.coordinatemapper.aspx

더욱 더 인상 적인점은, 키넥트 1.0 에서는 없었던 RGB camera to IR camera mapping 기능이 들어있습니다.

(저는 이 방법이 필요해서 직접 구현을 했다만.. 이제는 편해졌네요 ㅎㅎ)

아래는 저의 소스 및 결과물 입니다.

RGB 영상 좌표를 Depth 영상 좌표로 변환, 매핑하는 방법인데요,간단히 설명 드리면..

1. RGB 영상의 좌표정보(혹은 RGB coordinate's array)을 Depth 영상 좌표에 맞게 변환 (MapColorFrameToDepthSpace 함수 사용)

2. 변환된 RGB 영상 좌표정보를 활용하여 2가지 영상을 제작

a. Depth 영상 해상도 (512 X 424) 로 변환

b. RGB 영상 해상도 (1920 X 1080) 로 변환 

RGB to Depth resolution 결과물 (a) 영상에서는 노이즈를 보실수 있습니다.

이는 제가 겪었던 문제와 동일한데, 정수형의 픽셀배열이 사영변환 (projective transformation)을 통해서 재배치 될때 좌표가 실수형으로 바뀝니다. 

그리고 영상을 출력시 다시 정수형 좌표계(pixel coordinate)로 표현이 되는데, 이때 소숫점 자리는 무시가 됩니다. 

따라서, 결과적으로 픽셀 사이에 빈 공간이 생기게 되고, 이것이 저런 노이즈로 나타나게 됩니다.

아무튼 아래 소스코드들을 참고하셔서 활용하시면 될듯 하네요. (맘에 드신다면요.. ㅎㅎ)

RGB 영상 (1920 X 1080)

Depth 영상 (512 X 424)

a. Depth 영상 해상도 (512 X 424) 로 변환

b. RGB 영상 해상도 (1920 X 1080) 로 변환 

2015/10/29 - [[ Topics ]/Kinect 2.0] - Kinect 2.0 & Kinect SDK 2.0 (Sample source code uploaded)

2012/04/24 - [[ Topics ]/Kinect 1.0] - RGB 이미지와 Depth 이미지의 Calibration

2013/05/22 - [[ Topics ]/Kinect 2.0] - Xbox One & Kinect2 are announced!!

2013/03/26 - [[ Topics ]/3Gear System SDK] - 3Gear System SDK - Kinect Positioning and Setting

Kinect 2.0을 구매한지 꽤~ 오래 되었지만, 드디어 맛 볼? 기회가 생겨서 이리저리 구동시켜 보았네요.

일단 기본 정보는 전에 포스팅 한것을 참조하시면 될듯 합니다.

▶ 2013/05/22 - [[ Topics ]/Kinect 2.0] - Xbox One & Kinect2 are announced!!

그래도 요약을 하자면,

Operating System: Windows 8.0 or 8.1 and Windows embedded standard 8

Field of view (RGB camera): 84.1º in horizontal , 53.8º in vertical

Field of view (IR camera): 70.6º in horizontal , 60º in vertical

Depth information: 0.5 ~ 8.0m (Reasonable distance: 0.8~4.0m), ToF(Time of Flight) camera

Color stream: 1920 X 1080 (16:9), YUY2, 30fps

Depth stream: 512 X 424, 30fps

IR stream: 512 X 424, 30fps

Data path: USB 3.0

대충 이렇습니다,

다른 블로거님의 포스팅을 빌려서 하드웨어 부분을 설명할께요 ^^;;

▶ http://blog.naver.com/tachikomatic/220130374854

그리고 Kinect SDK 2.0 도 (한참전에) 출시가 되었습니다.

▶ https://www.microsoft.com/en-us/kinectforwindows/develop/

여기로 가시면 바로 다운 받으실수 있어요.

제공된 샘플코드들을 실행해보고 느낀점은 훨씬 간단해졌다는 점이었습니다.

왜냐면 훨씬 잘 정돈 되어있었고, 간결해졌다고나 할까..??

또한 각각의 카메라 정보 (RGB, IR, Depth) 동시에! 획득 가능하다는 점!

개인적으로 제일 반가웠던 점입니다.

자체적으로 따로 구분 지어서 프로세스 되게 구축해놓은거 같더군요.

아무튼 개인적으로는 정말 희소식 입니다.

그리고, 혹시나 필요하신분들이 계실까봐 미천한 소스코드지만, 정리해서 올립니다. ^^;;;;;

프로그램은 콘솔 기반이구요, OpenCV 를 써서 영상을 출력 시켰습니다.

Kinect 2.0 장치를 초기화 및 구동하는데 필요한 부분만 SDK 샘플코드에서 발췌해서 만들었구요, RGB, IR, Depth 영상 따로 따로 CV윈도우 창 띄워서 출력 되게 만들었습니다.

좀 더 자세히 설명 드리자면.. Visual Studio 2012, OpenCV 2.4.2, Kinect SDK 2.0, C++, Console based 입니다.

아래 이미지들은 SDK에 있는 샘플소스코드들을 취합해서 만든 콘솔기반 프로그램에서 캡쳐한 영상들 입니다. 둘 다 쩍벌남이네요 ㅎㅎ (다리 좀 오므리고 찍을껄..)

KinectV2_Console_151027_RGB_IR_Depth_Complete.vol1.egg

KinectV2_Console_151027_RGB_IR_Depth_Complete.vol2.egg

Color image: 1920 X 1080 (16:9)

IR image: 512 X 424

Depth image: 512 X 424 (normalized in 0~255)

2013/05/22 - [[ Topics ]/Kinect 2.0] - Xbox One & Kinect2 are announced!!

2013/07/19 - [[ Topics ]/Kinect 1.0] - [KinectSDK 1.7]FaceTracking Test!

2013/02/28 - [[ Topics ]/Kinect 1.0] - Kinect의 IR-Camera 로의 접근

2012/04/24 - [[ Topics ]/Kinect 1.0] - RGB 이미지와 Depth 이미지의 Calibration

오늘은 FaceTrackLib 를 활용하여 눈동자를 트래킹하는 프로그램을 제작하였다

먼저 FaceTrackLib를 통해 얼굴을 트래킹 하면,

해당 vertex의 2차원 위치를 알수가 있다.

(참고로 vertex의 총 갯수는 121개이다)

여기서, 눈에 해당하는 부분만 따로 추출을 하여 눈에 해당하는 vertex를 추출할 수가 있는데,

이를 이용하여 눈동자를 트래킹 하게 되었다.

그리고 Translate, Rotate, Scale 값도 함께 라이브러리에서 제공한다.

결과물은 아래와 같다.

하지만 필요한것은 3차원 좌표..

그것도 영상의 사이즈에 depend 하기때문에, 이를 3차원에서의 좌표를추출해야 한다.

이제 depth map을 가지고 놀아봐야겠군..

---------------------------------------------------------------------------------------------------

[2014. 03. 27 Update]

해당 프로젝트 파일을 원하시는 분들이 많아서 자료 함께 첨부합니다.

거의 반년 이상 전에 공부하면서 만든 프로젝트 파일이라 시스템 구조가 엉망이라는 점 감안하고 올립니다.

뭐 이따구로 코딩해놨어~! 라고 하시면.. 안됩니다 ^^;;

환경은 Windows7, VS2010, MFC, C++, KinectSDK 1.7, OpenCV 2.4.2 이렇게 활용했습니다.

티스토리 10mb 업로드 용량 제한때문에 분할압축해서 올립니다.

궁금하신점은 제 메일로 연락주세요 ^^ (TommyHSM@gmail.com)

KinectFaceTracker(130724_눈영역검색 및 취합, 4가지 버전_소스코드_불필요한부분_수정).vol1.egg

KinectFaceTracker(130724_눈영역검색 및 취합, 4가지 버전_소스코드_불필요한부분_수정).vol2.egg

오늘 테스트 결과물은 Kinect SDK 1.7 에서 제공되는 FaceTrackingVisualization 을 뜯어보고, 나만의 프로젝트로 이식하기 까지다.

글의 서두이자 테스트하게 된 이유는,

연구실의 박사님께서 얼굴을 트래킹하는 프로그램을 하나 부탁하신게 있어 시작하게 되었다.

먼저 조사결과, 얼굴을 robust 하게 tracking 할수 있는 방법은 2가지로 줄일수 있는데,

1. FaceAPI

2. KinectSDK - FaceTrackLib

하지만, FaceAPI는 유료이기때문에.. 패스!

Kinect SDK 에서 제공하는 SDK는 무료이기 때문에, 이녀석을 뜯어보고 사용하기로 결정했다.

일단 FaceTrackingVisualization 에서는 크게 2가지로 나누고 있다.

1. MultiFace

2. SingleFace

하지만 나는 얼굴 하나만 트래킹 하면 되기에 싱글을 뜯어보기로 했다.

샘플을 돌려보면 알겠지만, 왼편에 원처럼 생긴곳에 트래킹 얼굴을 따라 아바타가 나타나고, 오른편에는 얼굴을 따라 삼각형 메쉬덩어리들이 얼굴위에 뙇! 나타난다.

내가 필요한 부분은 삼각형 메쉬 덩어리들이기때문에, eggavatar 부분은 버리고,

키넥트로 부터 영상을 받아오는 부분과, 얼굴을 detect 하는부분, 이렇게 찾아본 결과,

KinectSensor = 키넥트에서 영상을 받아오는 부분 (순수 키넥트 영상)

SingleFace = 키넥트에서 받아온 영상을 처리하여 얼굴을 찾는 부분

Visualize = 삼각형 메쉬를 그려주는 부분

이렇게 3가지 부분으로 정리되었다.

그리고 중요한 점!

여기서는 Depth 와 Skeleton Tracking 을 통해 머리와 목을 트래킹 하여 얼굴영역을 트래킹 한다는 사실!

그리고 Depth 영상의 Resolution은 320 X 240 이라는 사실!

(Color 영상은 640 X 480 이다.)

마지막으로 GetClosestHint() 함수를 통해 가장 가까운 사람을 Detect 한다는 사실!

다음으로

영상을 어떻게 출력해줄것인가..??

나는 OpenCV를 사용하여 MFC 의 Picture Control 영역에 뿌려주기 위해 작업을 했다.

그리고 하면서 알게 된 결과..

여기서 영상을 출력해주기 위해 사용하는 영상 포멧은 IFTImage 이고, 4channel 로 이루어져있다는 사실..

이제 필요한 부분과 필요없는 부분을 골라내서 마무리!

대충 결과물은 아래와 같다. (이미지와 영상 참조)

(이미지는 얼굴영역을 어떻게 잡나 보여주기위해, mesh를 제거하였다.)

개발환경 : Window 7, Kinect SDK 1.7, VS 2010, C++, MFC

결과.

트래킹이 잘된다.

하지만 문제점이 있는데,

어느정도 가까워지면 트래킹이 끊어진다. (아마도 스켈레톤을 하지 못해서 이지 않을까.. 라는 생각 )

그리고 한번씩 인식된 부분이 튄다는점인데..

뭐 앞으로 마소 에서 개선하겠지??

이제, 내부구조를 조금 더 파해쳐보고, 수확이 있으면 다음번 포스팅에 올릴예정이다.