♩Min's Acoustic Life♬

블로깅에 앞서 출처를 남긴다.

http://gizmodo.com/kinect-2-full-video-walkthrough-the-xbox-sees-you-like-509155673?utm_campaign=socialflow_gizmodo_facebook&utm_source=gizmodo_facebook&utm_medium=socialflow

드디어 소문으로만 무성하던 새로운 XBox 와 키넥트2가 출시 되었다.

한국시간으로 22일 새벽에 마이크로소프트가 발표를 했는데,

먼저 

- Xbox One -

이름은 XBox One 이다.

스펙은 보는바와같이..

- 8 Core CPU

- 8GB RAM

- 500GB HDD

- Blu-ray Drive

- HDMI In/Out

- USB 3.0

등등을 꼽을수가 있겠다.

이건 뭐 최고사양 컴퓨터라고 생각해도 되겠구만;;

외형이 너무 투박한게 아닌가....라는 생각이...;;;

하지만 나의 관심사는 키넥트일뿐이기에 관심없음.

다음으로

- Kinect 2 -

중요한건 키넥트2인데, 

이녀석.. 정말 대단하다.

알려진 스펙을 살펴보면

-  ToF (Time of Flight) 방식의 센서로 변경 (IR Pattern 방식이 아님)

- 60 FOV (Field of View) (기존의 57도였던 화각보다 더 넓어졌음)

- 1080p camera resolution & 30 FPS 지원(대박!!)

- Increase skeleton performance & Accuracy (영상 보면 알겠지만.. 진짜 대단하다)

- 리뷰 -

어제 외국친구녀석이 한국 시간으로 새벽2시에 연락와서 Xbox 랑 Kinect2 관련해서 발표한다고 잠을 깨웠다.

잠결에 전화받아서 전화를 끊고 바로 잠들었지만, 지금 생각해보면 라이브로 봤었으면 어땠을까..

라는 생각이 아쉬움과 함께 떠오른다.

어째뜬!!

새로운 Xbox와 Kinect2

마이크로소프트가 새로운 혁신을 내놓았다.

중요한건 Resolution 과 Depth 를 얻기 위한 센싱 방식이 IR Pattern 방식에서 ToF방식으로 바뀌었다는점을 주목 할 필요가 있다.

ToF 카메라는 가격이 정말 ㅎㄷㄷ.. 하기때문에 엄두도 못내고있었는데, 

이번에 Kinect2 에서 사용한다고 하니 정말 기대가 된다.

사비를 써서라도 꼭 먼저 구매하리라.....!!

어째뜬

훨씬 빠르고, 훨씬 높은 화소, 훨씬 정확한 Depth 정보, 강력한 Skeletal tracking mode...

이것을 통해 또 얼마나 많은 사람들이 연구하고,

또 응용하여 새로운것들을 응용해낼까??

오늘 늦게나마 블로깅을 하지만, 새로운 기대감에 적잖은 흥분이 가라앉지 않는 신나는 오후다.

(동영상은 위에 링크로 들어가서 꼭꼭꼭!!! 보시길... 추천!!)

이번 포스팅은 3Gear System SDK에서 제공하는 샘플 프로그램들을 테스트 겸 리뷰해보기로 했다.

3Gear System 은 이번 SDK에서 많은 샘플들을 제공 했는데,

나중에 언급을 하겠지만, Leap Motion과 같이 손끝으로 포인팅 하는 샘플이 가장 인상 깊었던거 같다.

그리고 오브젝트를 3D환경에서 조립하는 샘플도 괜찮았던거 같구..

어째뜬 포스팅 시작한다.

1. Heart_Demo

이 샘플은 양손의 Pinch를 이용하여 오브젝트를 집거나 돌려보기, 그리고 슬라이드뷰로 내부 들여다 보기 등의 기능을 보여준다. 주목 할 점은 양손으로 회전 및 오브젝트와 슬라이드 따로 따로 집기가 가능하다는 점인데, 아래 영상을 보면 잘 이해가 될듯 하다.

2. Dino_eggs

이 샘플 역시 양손의 핀치를 이용하여 공룡알을 집게되면 효과음과 함께 공룡알이 사라지는 샘플이다. 간단한 샘플이다. 하지만 주목해야할 점은 Z축으로 움직인다는거

3. Cricket_Defender

이 샘플은 오른손의 위치를 트래킹 하여 선물상자는 바닥으로, 다이너마이트는 크리켓배트로 쳐내야 하는 게임이다. 물리가 적용되어 나름의 효과음과 함께 보여지는 샘플이다. 주목해야 할 점은 손의 회전에 따라 크리켓 배트도 같이 회전한다는 점이다.

4. Xylophone

이 샘플은 응용하기에 좋을듯 하다. 양손으로 실로폰을 치는 샘플인데, 원하는 음을 치기 위해서는 조금 집중하면 똑바로 칠수 있을 정도의 정확도를 테스트 해볼 수 있다.

5. SlingShot

이 샘플은 새총 샘플이다. 핀치를 통해 뒤로 당긴 후, 놓게 되면 해당 방향으로 날아가서 선물상자들과 충돌이 일어난다. 여기서 핵심은 핀치 및 X,Y,Z축 움직임이다.

6. Pointing_Demo

이 샘플은 이번 포스팅에 앞서 이야기 했던 샘플이다. 다들 Leap Motion을 알것이다. 그 샘플과 비교해서 단순 X,Y축으로의 움직임은 거의 흡사 할듯하다. 아주 미세한 움직임도 감지하여 잘 보여준다. 제공 된 샘플중에 제일 흥미유발을 한 샘플이라고 생각한다.

7. Rotation_Trainer

이번 샘플은 양손을 이용하여 Roll, Pitch, Yaw 방향으로 각각 회전이 가능하다. 먼저 양손으로 pinch하여 해당 방향으로 회전시켜주면 3D오브젝트인 토끼는 각 방향으로 따라 움직인다. 양손을 이용하여 3D 오브젝트를 이리저리 굴려보는 샘플인데, 이 역시 응용하면 재밋는게 나올듯 하다고 생각한다.

8. Assembly_Trainer

내가 찾은 SDK에서의 마지막 샘플이다. 해당 샘플은 동영상에도 비중있게 나오지만, 양손의 Pinch를 이용하여 뭔가를 조립하는 샘플이다. 어찌보면 가장 미래 지향적인 환경을 미리 경험할 수 있는 샘플이지 않을까 라는 생각이다. 여기서 사용되는 제스쳐는 Pinch와 X,Y,Z축 움직임이다. 일정 범위로 가면 자동 stitching이 되서 쉽게 경험 할 수 있게 되어있다. 하지만, 난 이걸 조립하는데 좀 시간이 걸렸다. 하지만 두번, 세번 하다보니 시간은 단축이 되더라, 어째뜬 이것 역시 재밋는 샘플 중 하나라고 생각한다.

이번 포스팅에서는 3Gear System SDK 에서 제공하는 여러 샘플들을 리뷰 해 보았다. 3D 공간에서 뭔가를 조립하거나, 허공에서 무언가를 돌려보고, 이동하고, 미세한 손동작으로 그림도 그리고.. 참으로 많은 가르침이 있는 샘플들인거 같다. 많은 비전을 제시하는 3Gear System SDK 이다. 앞으로 어떻게 응용해볼지에 대한 연구를 진행해봐야겠다.

이번 포스팅에서는 3Gear System 에서 새로운 손 제스쳐를 정의하고 렌더링 하는 방법에 대해 알아볼것이다.

3Gear System SDK에서는 총 7가지의 제스쳐를 제공한다.

Spread, Pinch, OK, HandShake, Microphone, Ell, Pointing 등 인데,

이를 구동하기 위해서는 카메라 세팅과 마찬가지로 cmd.exe를 실행 후, 도스창에서 명령어를 입력 후 실행 된다.

이는 사용 설명서에 자세히 나와있지만, 한번 더 언급하자면,

handcalibration.bat shape NewUser'sName

인데, 공백을 띄워주고 NewUser'sName에는 원하는 사용자의 이름을 명명해주면 된다.

여기서는 Spread 부분을 먼저 모델링 하는데, 가만히 있으면 depth point들이 누적된다.

이때 고기 굽듯이 살살 굴려주면 앞, 뒤 잘 누적되어 좋은 3D모델이 생성된다.

Spread Gesture 영상

handcalibration.bat pose NewUser'sName

여기서는 나머지 6개의 제스쳐가 모델링 된다.

Pinch Gesture 영상

OK Gesture 영상

HandShake Gesture 영상

Microphone Gesture 영상

Ell Gesture 영상

Pointing Gesture 영상

상위 3D 모델이 끝나게 되면 이 또한 모든 데이터를 정합해야한다.

해당 과정은 아래 영상을 통해 확인 할 수 있다.

New user's hand gesture - 3D Rendering 영상

해당 과정이 끝나면 이제 결과물을 볼 차례다.

얼마나 3D데이터가 잘 굽혔는지 말이다.

handdriver.bat NewUser'sName

해당 명령어를 입력하면 3Gear System의 서버가 열리면서 DebugView가 한개 생성된다.

DebugView 영상

그리고 간단한 샘플을 한개만 실행해보겠다.

handviewer.bat 파일이 있는데, 이를 실행하면 Rendering 한 3D Hand Gesture를 구동 해볼수 있다.

HandViewer 영상

이상 새로운 Hand Gesture를 생성하는 과정을 포스팅 해보았다.

참으로 놀라운 결과가 아닐수 없었다.

퍼포먼스에 놀라고, 디테일함에 또 놀라고.. 오늘 정말 눈 정화를 하는거 같은기분이다.

어째뜬 다음 포스팅은 3Gear System SDK에서 제공하는 여러 샘플들을 포스팅 해보겠다.

이번장에서는 체스보드판을 이용하여 두 키넥트의 화면을 정합하는 부분을 해볼 생각이다.

먼저 cmd.exe로 들어가서 도스창을 실행 후, camerasetup.bat 을 입력한다.

그러면 여러 라이브러리들을 읽으면서 얼마 후 프로그램이 구동 된다.

먼저 체스보드판이 가운데에 오도록 키넥트의 위치를 수정한다.

그리고 Calibrate to Checkerboard를 누른다.

그러면 20프레임간 손의 위치의 Point cloud를 누적시켜 손의 영역을 대충 Calibration 한다.

20프레임 이후에는 이렇게 결과화면이 나온다.

Exit Camera Calibration 을 누르면 종료된다.

우리는 이 Calibration 이 잘 되었는지 확인을 해야하는데, 이는 cameracalibrationtest.bat 을 실행함으로써 확인 할 수 있다.

홈페이지에도 나와있지만, Ghosting을 확인해야한다.

위에는 설명서에 나와있는 이미지 이고, 아래 이미지는 나의 결과 이미지 이다.

그런대로 고스팅 없이 잘 Calibration 된거 같다.

이상 카메라 세팅하는 방법에 대해 포스팅 해보았다.

다음에는 손의 제스쳐를 새로 정의하고, 렌더링 하는 방법에 대해 포스팅 하겠다.

이번장에서는 3Gear System을 구동해보기 위한 준비단계를 설명할 예정이다.

제일 먼저 홈페이지에서 공식 최신버전을 다운 받는다.

공식 사이트 : http://www.threegear.com/index.html

다운이 완료 되었으면,

다운파일 -> gestural_user_interface_x64 -> GesturalUserInterface -> Doc 따라 들어가본다.

그럼 installation.html 이 나올것이다.

이 설명서를 보고 따라 하면 되겠지만, 간단히 정리를 해보자.

1. 시스템 요구사양(System Requirement)

2대의 3D카메라(Depth Sensing Cameras) 즉, 키넥트나 PrimeSense 카메라, 또는 Asus 카메라가 필요로 한다.

그리고 좋은 컴퓨터가 필요하다. 최저사양이 Intel i7, 8GB RAM........ 고사양이 필요하다..

그리고 윈도우 7-64비트(아무래도 RAM 때문인듯하다)

JAVA SE 64비트 (이게 없으면 프로그램이 아예 실행이 안된다)

OpenNI 와 Nite 최신버전

등등이 필요하다.

난 Kinect SDK 와 OpenNI 둘다 깔려있으니 상관없음

혹시 둘 다 설치하고싶다면 밑에 유튜브 참조 (연구실 친구가 아주 친절하게 설명해놨음)

(참고 : http://youtu.be/TDuGfAV6hDc )

2. 설치(Installation)

설치는 하드웨어적인 세팅과 소프트웨어적인 파일 경로 등의 세팅 총 2가지로 크게 나뉜다.

먼저 하드웨서 세팅

설명서에는 프레임은 어떻게 설치 하는지, 길이는 얼마나 되는지 등등의 자세한 스펙이 나와있다.

하지만 나는 다른 방법으로 세팅하기로 했다.

위와같이 세팅을하였는데, 기둥에 Arm을 붙여 두개의 Kinect를 고정시켰다.

다음으로 소프트웨어 파일 경로설정

1. 다운받은 파일을 C:\Dev\ 에 복사를 한다.

그래서 최종 경로는 C:\Dev\GesturalUserInterface 가 된다.

2. 라이센스파일 C:\Dev\GesturalUserInterface에 복사 (있을경우에만)

3. config.yml 파일 수정

config_example.yml 파일이 있는데, 이를 복사하여 config.yml로 수정

내부에는 여러내용이 있지만 정작 추가 및 수정 해야 할 부분은 2군데뿐이다.

- DataDirectory

이녀석은 Calibration 및 Hand Modeling 한 결과를 저장하고 불러 올 경로이다.

나는 시키는대로 C:\dev\GesturalUserInterface\GesturalData 라고 했다. (물론 GesturalData 폴더를 만들어줘야 한다.)

- CameraType

카메라 타입이 OpenNI 와 OpenNI2, Kinect for Window 등 이렇게 총 3가지로 나뉘는데, 나는 Kinect for X-Box 용이기 때문에 CameraType: OpenNI2 라고 해주었다.

자 그럼 이제 소프트웨어 파일 경로설정은 끝났다.

그리고 마지막으로 카메라를 Merge 하기 위한 Chessboard를 출력

이를 통해 두개의 다른 키넥트 Depth 영상을 정합할수가 있다. 이는 Homography Matrix 를 공부해보면 쉽게 이해가 된다.

다음장에서는 체스보드판을 이용한 Camera Setup 부분을 다루겠다.