카메라 이미지 센서 - Image Sensor

카메라 이미지 센서

카메라 이미지 센서

카메라는 렌즈를 통해 빛을 받아 디지털 이미지를 생성하는 장치입니다. 카메라에는 렌즈, 이미지 센서, ISP 등이 포함되며 USB 또는 MIPI를 통해 호스트 머신과 연결됩니다.

이중 이미지 센서는 렌즈를 통해 빛을 받아 전기 신호로 변환하는 반도체입니다. 대표적으로 CMOS와 CCD 방식이 있습니다. 최근 임베디드 분야에서는 대부분 CMOS (Complementary Metal-Oxide Semiconductor) 방식의 센서를 사용합니다.

이미지 센서의 동작 원리

이미지 센서는 컬러필터어레이(Color Filter Array, CFA)의 집합입니다. 아래 그림처럼 R, G, B 색상의 빛을 받을 수 있는 필터가 있습니다. 필터를 통해 각 색상이 빛의 세기에 따라 베이어 어레이(Bayer Array)에 기록됩니다.

이미지 센서 구조

컬러 필터 어레이(Color Filter Array, CFA)는 RGB의 조합입니다. 배열에 따라 RGGB, GRBG 등이 있습니다. 특이하게는 색상이 없는 Clear도 있습니다. 최근에는 RGBIR 어레이도 개발되었습니다. 예를 들어, GRBG 타입의 컬러 필터 어레이로 구성된 센서로 저장된 영상은 아래 그림과 같습니다. 하지만 이 이미지는 우리가 보는 실제 이미지와는 다릅니다. 이 이미지는 뒤에서 설명할 ISP에서 debayer(또는 demosaic) 과정을 거쳐야 합니다.

이미지 센서의 크기는 중요합니다.

이미지 센서의 사양을 확인할 때 가장 먼저 나오는 것은 센서 크기입니다. 센서 크기는 이미지의 품질을 결정하는 데 매우 중요합니다. 센서가 크다는 것은 빛을 받는 면적이 넓다는 것을 의미합니다. 즉, 이미지 센서를 구성하는 픽셀이 크거나, 픽셀의 개수가 많다는 것을 의미합니다. 결론적으로, 센서의 크기는 이미지의 품질과 비례합니다.

이미지 센서의 크기는 어떻게 표현하나요?

센서의 크기는 대각선 길이(mm)로 표현됩니다. 아래 표는 라즈베리파이 카메라 버전3에서 사용된 소니 IMX708의 사양입니다.

해상도 가로	해상도 세로	픽셀 크기	센서 가로	센서 세로
4608 pixels	2592 pixels	1.4 µm	6.45 mm	3.63

해당 센서는 약 4608 x 2592 = 12 M 픽셀의 해상도를 갖습니다. 사양서에 있는 픽셀 크기로 센서의 가로와 세로를 계산하면 약 6.45 mm x 3.63 mm입니다. 센서의 크기를 대각선 길이로 표현하면 약 7.40mm입니다.

이 카메라는 기존 라즈베리파이 카메라 버전2보다 큽니다. 그러나 최신 아이폰 센서보다는 작고, 고프로10의 이미지 센서와 비슷한 크기입니다. 센서 크기에 대한 사양은 렌즈를 선택하기 위한 광학 포맷 (inch)으로 제공됩니다. 광학 포맷은 아래의 식으로 계산됩니다.

위에서 예를 든 IMX708은 약 1/2.43 인치로 계산됩니다. 아래 표는 광학 포맷으로 표현된 센서 크기에 대한 치수와 크롭 팩터를 보여줍니다. 크롭 팩터는 카메라 센서의 크기와 35mm 필름 프레임의 비율과 관련이 있습니다.

 

크기(인치)	대각선 (mm)	너비 (mm)	높이 (mm)	면적 (mm²)	크롭 팩터
1/2″	8	6.4	4.8	30.7	5.41
1/2.3″	7.66	6.17	4.55	28.5	5.64
1/2.5″	7.18	5.76	4.29	24.7	6.02
1/3″	6	4.8	3.6	17.3	7.21
2/3″	11	8.8	6.6	58.1	3.93
35mm FF	43.1–43.3	35.8–36	23.9–24	856–864	1

이미지 센서와 관련된 사양

적절한 응용 분야에 맞는 이미지 센서를 선택하는 것이 중요합니다. 따라서, 이미지 센서와 관련된 기능 사양에 대해 자세히 알아보아야 합니다. 기술적인 사양으로는 해상도, FPS, 글로벌셔터, 감도, 렌즈마운트, 이미지서클직경, 저조도 품질 등이 있습니다.

해상도

해상도는 이미지 센서를 구성하는 픽셀의 개수를 의미합니다. 현재 가장 많이 사용하는 임베디드 시스템 카메라의 해상도는 Full HD (1920x1080, 2M 픽셀)이며, 4K 형식 (3840×2160, 8M 픽셀) 이나 그 이상의 해상도에 대한 수요도 늘고 있습니다. 특히 뷰티와 의료기기에서 사용되는 고화질 영상 분야에서는 이보다 훨씬 높은 해상도를 요구하기도 합니다.

1. 고해상도 이미지 센서를 사용하면 이미지 품질을 높일 수 있습니다. 예를 들어 Full HD (1920x1080, 2M 픽셀) 이미지를 사용하더라도, 8M 센서보다 더 좋은 이미지를 얻을 수 있습니다. 이는 픽셀비닝 모드를 사용하여 좋은 Full HD 이미지를 캡처할 수 있기 때문입니다. 또한 관심 영역을 잘라서 사용할 수 있는 장점이 있습니다.
2. 하지만, 높은 해상도의 이미지센서는 고가이기 때문에 하드웨어 구성의 비용을 고려해서 선택해야 합니다.

FPS (Frame Per Second)

이미지 캡처 속도는 초당 몇 장의 이미지를 캡처하는지를 의미합니다. 일반적으로, 실시간이라고 말할 때 30 FPS를 가리키며, 이보다 높은 속도일 경우에도 사람 눈으로 차이를 쉽게 인지하기는 어렵습니다.

1. 30FPS 또는 60FPS 를 주로 사용합니다. 카메라에서 지원하는 해상도를 낮추면 높은 FPS 를 사용할 수 있습니다. (예) 1080p@50fps, 720p@100fps, 480p@120fps
2. 카메라나 피사체가 움직일 경우 높은 FPS가 필요합니다. 예를 들어 공장에서 컨베이어 벨트 위에서 빠르게 움직이는 택배 상자의 바코드를 찍을 때는 높은 FPS를 지원하는 카메라를 사용해야 합니다. 그리고 해당 FPS에서도 전자셔터의 노출 시간을 줄여 모션 블러 없는 이미지를 얻어야 합니다.
3. 카메라부터 호스트 시스템까지의 전송 대역폭과 관련이 있기 때문에 물리적인 인터페이스에 따라 최대 FPS가 결정될 수 있습니다. 일반적으로 MIPI CSI가 가장 높고 안정적인 FPS를 제공하며, USB3.0, USB2.0 순입니다.

셔터방식

이미지 센서에서 지원하는 셔터 방식은 주로 롤링 셔터와 글로벌 셔터입니다. 일반적인 응용 분야에서는 비교적 저렴한 롤링 셔터가 사용됩니다. 그러나 피사체가 빠르게 움직이는 일부 머신 비전 응용 분야에서는 글로벌 셔터를 선호합니다.

감도

일반적으로, 큰 픽셀의 이미지 센서는 높은 감도를 가지고 있습니다. 감도는 빛이 부족한 환경에서 이미지의 품질과 매우 밀접한 관련이 있습니다. 소니 STARVIS™ 계열의 이미지 센서를 사용하면 저조도에서 우수한 이미지 품질을 얻을 수 있습니다.