Surround 360 is now open source
*주의 이글은 허가 받지 않은 번역으로 잘 못된 번역이 포함 되어 있을 수 있습니다. 꼭 원문도 함께 보시기 바랍니다.
* 저작권의 문제가 발생할 시 삭제 하겠습니다.
오늘 우리는 고품질의 3D-360의 하드웨어,소프트웨어인 Surround 360 을 공식적으로 오픈소스로 공개 하였습니다. 오픈소스 프로젝트는 촬영부터 처리 까지 가능한 카메라의 하드웨어 디자인과 3D-360 video를 하나의 시스템에서 생성할 수 있는 스티칭 코드를 담고 있습니다.
우리는 GitHub에 무료로 공개한 카메라 디자인과 스티칭 코드가 3D-360 생태계의 성장을 가속하리라고 믿습니다 - 개발자는 그 코드를 더 풍부 하게 할것 이고, 컨텐츠 생산자는 카메라를 그들의 컨텐츠에 사용할 것 입니다. 이번 스펙을 기준으로 모두는 계속하여 기여 하고 개선하며, 구축하고, 배포 할 것 입니다.
하드웨어 디자인과 소프트웨어는 모두 고품질의 결과물을 생성하는 역할을 합니다.
우리는 먼저 카메라의 하드웨어 디자인(hardware design) 과 영상 처리 시간을 감축의 중요성에 대하여 이야기 하고자 합니다. 우리는 고품질의 광학기기(Optic)와 기계로 제작된 Rig를 이용하고 다양한 카메라렌즈를 사용하더라도 Stereo 결과물을 볼 수 없었다(3D 가 아닌 Double Vision은 가능). 우리의 Stitching 소프트웨어는 17개의 카메라로 촬영(Captured)된 Surround 360 이미지를 사용하여 VR을 위한 360 스테레오 스코픽 파노라마로 변형 합니다.이 소프트웨어는 최고의 VR 경험을 위하여 각 카메라당 8K로 담은 3D-360 처리시간을 꽤나 단축 시킵니다. 이 게시물은 이러한 문제를 해결하고, 설정한 목표를 달성하고 우리의 도전 위하여 결정하고 만든 렌더링 소프트웨어의 몇 가지 기술에 대하여 깊게 다루고자 합니다.
스테레오 360 video rendering 도전 (Challenges of rendering stereo 360 video)
스테레오 360 video 는 다양한 이유로 어려운 문제 입니다:
- * 관련된 데이터가 매우 많습니다. 많은 카메라를 이용하여 압축되지 않은 최고 품잘의 원본 영상을 사용하기 때문입니다. 대략 1분당 120GB의 데이터(30 fps의 경우 60fps의 경우 두배).
- * 적은 에러만 허용됩니다. 360 mono 컨텐츠를 위하여 약간의 에러가 허용됩니다. 그러나 스테레오는 완벽히 처리 되지 않을 경우 물리적인 불편함을 느끼게 됩니다.
- * VR동영상을 실제적으로 생성하기 위하여 모든 데이터가 최대한 빠르게 처리 되며, 가급적 최고의 품질을 지향해야 합니다.
기존의 모노스티칭(mono stitching)프로그램으로는 문제를 해결할 수 없습니다. 그것은 소스이미지의 간단한 변형으로 처리된 후 경계선(edge)를 섞는 과정을 거치는 데 이것은 스테레오를 처리할 수 없습니다. 그런 처리는 스테레오 불일치를 생산하며 그것은 불편함의 인인 3D 지각 불일치입니다.
스테레오 파노라마 생성법 (Methods for constructing stereo panoramas)
우리는 3D-360 카메라 프로토타입을 위하여 많은 카메라와 소프트웨어 조합을 시도했습니다. 먼저 두 눈의 거리만큼 떨어진 4개의 카메라 구성으로 시도해 보았습니다. 그 다음 왼쪽 눈과 오른쪽 눈의 이미지를 알파블렌딩과 함께 심리스 파노라마를 이용하여 스티칭을 하였다. 이것은 이미지를 자연스럽게 섞기 위한 기본적인 기술이다. 카메라가 직선 방향으로 바라볼때는 좋았으나, 구석에 있는 경우는 스테레오가 되지 않았다. 이 방법의 또 다른 문제는 당신이 회전 할 때에 당신의 눈이 어떤 특정 거리의 물체에 대하여 서로 다른 방향으로 방향으로 보게되고 이것은 눈의 피로를 발생 시킨다.
기본 알파 블렌딩 스티치 보다 스테레오 파노라마를 구성하는 좀 더 정교한 방법이 있습니다. 고정된 축을 중심으로 회전하는 카메라로 촬영한 이미지의 조각을 사용하는 것입니다. 이것은 기본적인 스트치 보다 좀 더 향상된 이향운동(vergence) 에 대한 파노라마를 만듭니다. 그러나 이것은 어떤한 움직임이라도 있는 장면에 적용할 수 없습니다. 한발짝 더 나아가 우리는 회전하는 카메라를 시뮬레이션 하기 위하여 고리(Ring) 에 배치된 많은 작은 카메라의 “보기보간(View Interpolation)” 이라고 하는 광학흐름(Optical flow)를 사용합니다; 이는 움직임이 있는 장면을 촬영할 수 있습니다. 그러나 광학흐름(Optical flow)는 Computer Vision 연구의 어려운 도전 과제 입니다.
지오메트리를 사용하여 현실적인 결과물 만들기 (Using geometry to create realistic results)
Surround 360 렌더링 코드는 괜찮은 품질의 이미지를 유지하고, 깊이와 규모에 대한 정확한 인식, 편안한 스테레오 보기를 지원하며, 360x180를 이용한 몰입을 위한 상단과 하단에 조합처리(삼각대 보이지 않게 하기)를 빠르게 렌더링 할수 있도록 설계 되었습니다.
Equirectangular projections은 VR 비디오, 이미지 를 처리 하기 위한 보편 적인 처리 기술 입니다. Equirectangular projection은 세계지도 처럼 구면체의 표면을 평면으로 보여주기 위한 하나의 방법입니다. 각 equirect image 왼쪽, 오른쪽 픽셀의 열(Column)은 사용자의 특정 머리 방향에 대응하고, 머리 방향에 있는 좌,우 눈에 보여지게 됩니다.
그래서 우리의 목표는 좌우 눈을 위한 서로 다른 머리 방향에 대응하는 픽셀로 구성된 equirectangular 파노라마를 만드는 것입니다. 머리 방향을 구하기 위하여 2개의 가상 눈(eye)를 6.4cm 간격으로 배치 하였습니다, 이것은 머리 중심 축을 회전 합니다. 각 가상 눈(eye)은 코의 방향을 을 고려 합니다. 그리고 해당 방향에 따른 실 세계의 색상과 빛을 알고자 합니다. 그 색상은 equirectangular image에서 인지 하고자하는 각 픽셀의 색상이다.
이제 카메라(2D top down 관점) 안에서 벌어지는 모든일을 상상해보자. 머리의 중심이 카메라의 중심인 것이다. 선(The Ray)는 가상의 눈이 시작되는 Pixel 과 결국 카메라의 원형을 탈출 한 Pixel로 구성된다.(The ray we constructed through each pixel starts at a virtual eye and eventually exits the circle of cameras.) 만약 해당 선이 실제 카메라를 바로 통과 한다면, 우리는 카메라의 일부 이미지에서 어떤 색상인지 알게 됩니다. 그러나 대부분의 선(the ray)은 실제 카메라가 없는 원형(Circle)을 탈출 하게 됩니다. 이런 경우 우리는 가상 카메라와 실제 카메라 사이의 보간법(interpolation)을 사용하여 색상을 가져옵니다.
위의 설명은 실제의 세계의 광선(The ray)에 대응하여 스테레오 equirectangular 이미지 렌더링 하기 위한 방법이고 이것이 (약간은 거칠지만) 사실적인 느낌을 주는 이유를 설명 해줍니다.
렌더링 파이프라인 (Rendering pipeline)
실제로 우리는 이미지 프로세싱 단계의 파이프라인 모델을 통하여 위의 모델을 구현하였습니다. 파이프라인은 많은 단계(step)로 구성 되었으나 대부분은 자동이어서, 렌더링 시간은 수동 스티칭 보다 덜 걸립니다.
먼저 카메라는 RAW bayer pattern 이미지를 출력합니다. Surround 360 의 이미지 시그널 프로세서(The Image Signal Processor (ISP)) 코드는 RAW 센서 데이터를 감마 색상 보정을 적용하여 표준화된 RGB 포멧의 .png이미지로 변경합니다. 그 다음, 렌더링 시스템은 각 카메라 이미지와 equirectangular 사상(projection)을 읽어옵니다. equirectangular 사상(projection)은 사각형 텍스쳐의 전체면을 커버합니다. 각 카메라는 전체 구면체의 일부만 촬영하지만, 이것은 equirectangular 사상에 표시될 수 있습니다. 우리는 파이프라인의 후속 단계를 통과 함으로 사상(projection)을 좀 더 편하게 할수 있다.
원본이미지를 equirectangular로 사상하는 동안 렌즈 왜곡을 보정해야 합니다. 컴퓨터 비전에서 흔히 사용하는 체커보드를 많이 활영하는 방법으로 왜곡에 대한 측정을 하였습니다.
우리는 또한 수직시차(vertical prallex)가 원인이 되어 발생하는 카메라/렌즈/마운팅 시스템의 회전, 틀어짐 을 보정합니다. 우리는 모든 조청된 카메라로 부터 매칭 키포인트를 찾아내고 인접한 각 카메라의 정류(Rectifies)를 위한 시점 변화(perspective transform)을 최적화 함으로서 수직시차(오른쪽 눈과 왼쪽눈의 수직차이)를 최소화 합니다.
모든 카메라는 제로변위에 카메라를 두고 무한대의 거리에 물체를 둠으로 equirectangular에 투영합니다. 이것은 카메라 사이에 다른 거리에 물체가 존재 투영(Project) 하는 경우 시각차에 대응 하기 위함 입니다. 이것은 멀리있는 것은 0에서 부터 추측하기 때문에 광학 흐름(optical flow)에 도움이 됩니다.
가까이 있는 카메라의 이미지 중첩 영역을 발견하고 처리 합니다.
광학흐름은 시점을 보간(view interpolation)하는데 사용됩니다. 그래서 우리는 가상카메라에서 필요로하는 선(the ray)를 얻을 수 있습니다.
지금까지, 우리는 파노라마의 스테레오를 렌더링 하는 부분에 대하여 설명하였습니다. 우리는 상하단 카메라를 통합하여 360도x180도의 전체 범위에 대하여 더욱 몰입하게 만듭니다. 측면의 카메라들은 대략 90도의 수직 수평 FOV(베럴 디스토션 보정을 하면 77도 까지 좁혀짐) 를 가진 광각 카메라가 있습니다. 그래서 전체 180도 수직범위를 벗어나 수평 77도 스트립을 포함 합니다. 우리는 상하단에 단일 구멍을 채우는 180도 어안렌즈 카메라를 가집니다. 이것은 사실상 최상단과 촤하단의 mono를 가지게 됩니다. 왜냐하면 머리 방향에 대하여 좌우 equirectangular 이미지 쌍에 맞도록 구성할 수 없습니다. 그래서 지평선의 스테레오로부터 극점의 모노로 점진적(gradually)으로 구성합니다. 다른 렌즈를 통하여 스테레오 범위를 증가 시킬수 있지만, 해상도와 Pixel 밀도 간의 트레이드 오프가 있습니다.
편안한 스테레오를 위하여 상단 카메라와 사이드 카메라의 좌우 이미지간 자연스러운 스티치를 해야 합니다. 상단이미지와 파노라마를 매치시키위하여 광학흐름을 사용합니다. 그 다음 상단의 이미지는 흐름에 따라 이동(warping)하고 이미지를 구성하기 위하여 알파블랜딩(deghosting 포함) 됩니다.
하단에는 2개의 카메라가 있습니다. 그래서 우리는 삼각대의 막대를 자동으로 제거 할 수 있습니다. 기본 카메라는 상단 카메라와 대칭 되어 리그(rig)의 중심에 위치 합니다. 문제는 삼각대 봉에 의하여 생기는 이미지가 막힌 부분 입니다. 두 번째 카메라는 봉의 반대 편에 있습니다. 그래서 기본 카메라에서 봉(pole)때문에 막힌 부분을 볼 수 있습니다. 우리는 이미지를 조합 함으로서 기본 카메라에서 봉(pole)이 제거된 장면을 볼 수 있습니다. 이것은 두 개의 이미지에서 특정 봉(pole)부분을 가린 후 광학 흐름을 이용하여 두 번째 이미지에서 첫 번째 이미지로 옮기고, 섞습니다 이때 첫 번째 이미지의 봉의 마스크 부분에 두 번째 이미지의 픽셀을 사용합니다. 2개의 이미지를 사용하여 봉이 제거된 후 사이드의 좌우 파노라마 이미지에 상단 카메라와 동일한 방법으로 스티칭을 하게 됩니다.
이것은 다중 CPU의 장점을 사용한 멀티플쓰레드(multiple Thread)환경에서 일어납니다. 예를 들면, 광학 흐름은 모든 이미지 쌍을 동시에 계산합니다. 반면 파이프라인의 각 단계는 가능한 만큼 CPU의 복잡도를 위지 하기 위하여 단계 별 종속성을 가진다.
시작에 불과합니다. (Just the beginning)
이 렌더링 파이프라인은 높은 몰입 경험을 위하여 고해상도의 360 도 x 180도 의 구체로 이루어진 3D 360 파노라마를 생성합니다. 우리는 각 단계 별로 상당히 심혈을 기울였습니다. 이미지 품질을 유지 하기 위하여, 속도를 최적화 하기 위하여 그리고 현실에 가까운 실용적인 상용 하드웨어를 생산 할 수 있도록. 우리는 오픈소스로 하드웨어 설계 및 소프트웨어를 공개 하고 향후 모든 360 파이프라인을 계속적으로 기여할 수 있어서 매우 기쁩니다. 우리는 자기 자신의 360 리그 구축 하고 , 무엇보다도 진정한 몰입 경험을 획득 할 수 있기를 희망한다. 커뮤니티로 돌아와 당신의 생각을 알려주고 기여하기 바랍니다.
댓글 없음:
댓글 쓰기