이미지 신호 프로세서 - ISP

이미지 신호 프로세서(Image Signal Processor)

이미지 센서는 렌즈를 통해 빛을 받아 신호로 저장합니다. 저장된 신호는 이미지 신호 프로세서(Image Signal Processor, 이하 ISP)에 의해 고품질의 디지털 이미지로 변환됩니다.

이미지 신호 프로세서

아래의 왼쪽 그림과 같이 빛은 컬러 필터 어레이(Color Filter Array, CFA)를 통해 이미지 센서에 Bayer 패턴으로 저장됩니다. 이 Bayer 패턴은 ISP를 통해 오른쪽 그림과 같은 우리 눈에 익숙한 디지털 이미지로 변환됩니다.

ISP 의 세부과정

아래 그림은 이미지 신호 프로세서(ISP)가 이미지 센서에서 수집한 데이터를 고품질의 이미지로 변환하는 일반적인 과정을 나타냅니다.

이미지 신호 프로세서

1. 블랙 레벨 보정 (Black level Correction)
2. 렌즈 교정 (Lens Correction)
3. 배드 픽셀 교정 (Bad pixel correction)
4. HDR (High Dynamic Range)
5. 노이즈 제거 (Denoise
6. 디베이어 (Debayer) 또는 디모자익
7. 화이트밸런스 (White Balance)
8. 샤픈 (Sharpen)
9. 감마 보정 (Gamma Correction)
10. 리샘플링 Re-Sampling & Crop
11. 색상변환 (Color Coversion)

---

블랙 레벨 보정(Black level Correction)

전체적으로 어두운 환경에서는 블랙이 다소 회색으로 나오는 경향이 있습니다. 이 때, 이미지 레벨을 보정하기 위해 정확한 블랙 값을 기준으로 보정합니다. 목적은 이미지의 검정을 최대한 어둡게 표현하고 다이나믹 레인지를 높이는 것입니다.

렌즈 교정 (Lens Correction)

렌즈 셰이딩이란 이미지 센서의 중심에서 모서리로 갈수록 밝기와 채도가 감소하는 현상을 말합니다. 이는 렌즈의 광학적 특성으로 인해 발생하는 현상으로, 필름 카메라에서도 관찰됩니다. 이러한 현상은 렌즈 비네팅(lens vignetting)이라고도 불리며, 이미지 센서의 중심과 모서리 모든 영역에서 이미지 품질을 균일하게 유지하기 위해 보정 과정이 필요합니다.

불량 픽셀 보정 (Bad pixel Correction)

값이 없는 경우는 불량 픽셀(또는 핫 픽셀) 때문입니다. 이러한 경우에는 주변 값의 평균으로 보정해 줍니다.

HDR (High Dynamic Range)

이미지 내의 밝은 부분과 어두운 부분의 차이를 가장 넓게 해주는 포괄적인 기술을 의미 합니다. 노출 시간을 짧고 길게 촬영하여 한장의 이미지로 합성하는 방식을 사용합니다. HDR 의 세부적인 최신 기술은 별도의 포스팅에서 다루겠습니다.

노이즈 제거 (Denoise)

노이즈는 이미지의 밝기와 색상에서 불필요한 흔적과 변화가 나타나는 것으로 정의됩니다. 디노이즈 단계에서는 이러한 불필요한 부분이 제거됩니다.

화이트 밸런스(White Balance)

이미지의 색상을 실제 값에 최대한 가깝게 맞추는 과정입니다. 기준은 흰색이며, 각 R, G, B 색상 간에는 트레이드오프가 있을 수 있습니다.

경계선 선명화(Sharpening)

카메라 센서, 렌즈 및 일부 다른 ISP 작업은 항상 어느 정도의 이미지를 흐리게 만듭니다. 이러한 이유로 이미지의 품질을 향상시키기 위해 엣지를 더욱 선명하게 보정합니다.

감마 보정(Gamma Correction)

감마 보정은 픽셀의 숫자 값과 실제 밝기를 보상하는 기술입니다.

리샘플러 및 크롭(Re-Sampler and Crop)

카메라에서 지원하는 여러 해상도는 리샘플러를 사용하여 적절한 다운 스케일링(또는 업스케일링)을 수행하여 필요한 종횡비 및 해상도 설정에 대해 실제 센서 이미지를 잘라냅니다.

색상 변환(Color Conversion)

색상 변환은 구성 가능한 색상 변환 행렬을 사용하여 이미지를 원하는 형식으로 출력하는 것입니다. 기본적으로 YUYV, YCbCr 및 몇 가지 출력 형식이 지원됩니다.