엑스클립스 940 이미지 프로세싱(엑시노스 2400 갤럭시 S24)

갤럭시 S24 모델에 탑재된 엑시노스 프로세서의 이미지 프로세싱 기능에 관한 글입니다. 화이트 밸런스, 오토포커스, 노이즈 감소, 모자이크 제거 등 카메라와 관련된 다양한 기능을 다루고 있습니다. 더 자세한 내용은 아래의 포스팅을 참고해 주세요.

 

목록

1. 엑스클립스 940 이미지 프로세싱(엑시노스 2400) - ISP(이미지 신호 프로세서)

화이트 밸런스(AWB)

자동 노출(AE)

Contrast AF 및 PDAF(위상 검출 자동 초점)

이미지 생성 과정(모자이크 제거)

노이즈 감소

렌즈 및 센서 보상

감마 보정

다이내믹 레인지 압축

스마트 HDR

영상 디지털 이미지 손떨림 보정

 

엑스클립스 940 이미지 프로세싱(엑시노스 2400)

갤럭시 S24 모델에 탑재된 엑시노스 2400(CPU)과 엑스클립스 940(GPU)은 최대 2억 화소의 멀티카메라 사진 촬영을 지원할 뿐만 아니라, AI 엔진을 활용한 이미지 처리 장치(ISP)로 각 촬영 시나리오에 맞는 최적의 이미지를 제공합니다. 이때 CPU와 GPU는 이미지 프로세싱에서 중요한 역할을 합니다.

 

일반적으로 이미지 프로세싱에서 촬영 및 기본적인 이미지 처리 작업은 CPU에 의해 처리됩니다. 이러한 작업에는 포커스, 노출, 화이트 밸런스 등의 조정이 포함됩니다. 또한, CPU는 이미지 데이터를 캡처하고 임시 저장하여 후속 처리를 위해 준비합니다.

 

그러나 더 복잡한 이미지 프로세싱 작업, 특히 후처리 작업은 GPU에 의해 처리됩니다. GPU는 대규모 이미지 데이터를 효율적으로 처리하고, 필터 적용, 픽셀 처리, HDR 이미지 생성, 톤 매핑 등과 같은 고급 기능을 담당합니다. GPU는 병렬 처리 능력이 뛰어나기 때문에 대용량 이미지 데이터를 신속하게 처리할 수 있어 이미지 후처리에 적합합니다.

 

이에 따라 이미지 프로세싱에서 CPU와 GPU는 서로 보완적으로 작업을 수행하며, CPU는 주로 기본적인 작업을 처리하고 GPU는 고급 이미지 처리를 담당합니다.

 

 

디스플레이에 최적화된 이미지 신호 프로세서(ISP)

01

카메라 앱을 실행하고 촬영 버튼을 누르면 엑시노스의 이미지 신호 프로세서가 놀랄 만큼 많은 연산을 수행합니다. 초점, 노출, 화이트 밸런스, 색상 등을 최적화하고 노이즈를 줄여 완벽한 사진을 만들어냅니다. 이 과정은 광학 렌즈를 통해 수집된 빛을 이미지 센서로 전달되어 전기 신호로 변환합니다. 그 후, 이미지 신호 프로세서(ISP)가 이 데이터를 받아 사진을 재구성하거나 디스플레이의 미리 보기를 구성합니다.

 

사진 품질을 높이기 위해서는 이미지 센서가 더 많은 빛을 흡수하고 ISP가 이를 처리해야 합니다. 하지만, 스마트폰의 슬림한 디자인에서는 공간이 제한적입니다. 이런 문제를 해결하기 위해 삼성전자는 작은 공간에도 높은 사진 품질을 유지하기 위한 첨단 이미지 신호 프로세서(IPS)를 개발했습니다.

 

 

자동 화이트 밸런스(AWB)

01234567

자동 화이트 밸런스(AWB)는 디지털카메라나 캠코더에서 사용되는 중요한 기술 중 하나입니다. 이 기술은 주로 색온도를 조절하여 사진이나 비디오에서 실제 색상을 더 정확하게 재현할 수 있도록 돕습니다.

 

보통 사람의 눈은 다양한 조명 조건에서도 색상을 자연스럽게 인식할 수 있습니다. 그러나 디지털카메라는 주변 환경의 색상 온도 변화에 민감하게 반응할 수 있습니다. AWB는 이러한 문제를 해결하기 위해 사용됩니다.

 

AWB는 주변 조명의 색온도를 감지하고 이를 카메라의 화이트 밸런스 설정에 적용하여 이미지의 색상을 조정합니다. 이를 통해 백색 광원 아래에서도 사진이나 동영상에서 실제 색상을 정확하게 재현할 수 있습니다. 이러한 과정은 사진이나 동영상이 자연스러운 색상 톤을 가지도록 보장합니다.

 

예를 들어, 살구나 태양광 같은 따뜻한 빛에 노출된 사진은 눈으로 보는 것보다 더 붉게 보일 수 있습니다. 반면에 흐린 날씨나 혹은 형광등 아래에서 촬영된 사진은 눈으로 보는 것보다 푸른 색조가 강조될 수 있습니다. AWB는 이러한 환경에서도 적절한 화이트 밸런스를 유지하여 실제 색상을 정확하게 재현할 수 있도록 합니다.

 

따라서, 자동 화이트 밸런스는 디지털 이미징에서 중요한 역할을 하며, 사진이나 동영상의 색상을 보다 자연스럽게 표현할 수 있도록 돕습니다. 엑시노스의 최신 ISP는 이미지 센서로부터 수집된 색상 정보를 분석하여 주변 조명 상태를 파악하고, 전체적인 색감을 조정하여 보다 자연스러운 결과물을 창출합니다.

 

 

자동 노출(AE)

0123456

자동 노출(AE, Automatic Exposure)은 사진이나 동영상을 촬영할 때 적절한 조도와 셔터 속도를 자동으로 설정하여 적절한 밝기와 노출을 유지하는 역할을 합니다.

 

일반적으로 사진이나 동영상을 촬영할 때, 조명 조건은 항상 일정하지 않습니다. 이러한 상황에서 수동으로 조도와 셔터 속도를 조절하는 것은 매우 어려울 수 있습니다. 이때 자동 노출이 사용됩니다.

 

엑시노스의 자동 노출 기능은 이미지 센서가 카메라 렌즈를 통해 수집된 빛의 양을 ISP가 측정하여 밝기 수준을 분석하고, 이에 따라 조도와 셔터 속도를 자동으로 조절합니다. 이를 통해 촬영된 이미지나 동영상이 적절한 밝기와 노출을 유지할 수 있습니다.

 

예를 들어, 밝은 조명 아래에서는 카메라가 셔터를 더 빨리 닫아서 과도하게 밝은 이미지를 피하고, 어두운 조명 아래에서는 셔터를 더 오래 열어서 어두운 이미지를 밝게 조정합니다. 이렇게 자동으로 노출을 조절함으로써 사용자는 촬영 과정에서 조도나 밝기를 신경 쓰지 않고도 좋은 품질의 사진이나 동영상을 촬영할 수 있습니다.

 

AF: Contrast AF 및 PDAF

과거에는 Contrast AF가 연속적인 실험 과정을 통해 색 대비를 조절하여 초점을 조절했습니다. 그러나 최근에는 프리미엄 DSLR 카메라에만 사용되던 상 탐지 AF 기술이 모바일 기기에서도 사용 가능해졌습니다. PDAF를 적용한 ISP는 사물 간의 거리를 빠르게 계산하여 정확한 초점을 맞출 수 있습니다.

 

"AF"는 자동 초점(autofocus)을 의미합니다. 여러 종류의 자동 초점 기술 중에서 두 가지 주요한 기술로 "Contrast AF"와 "PDAF"가 있습니다.

 

Contrast AF(콘트라스트 자동 초점)

• 콘트라스트 자동 초점은 카메라가 이미지의 대비를 분석하여 초점을 맞추는 기술입니다.
• 이미지의 대비가 가장 높은 지점을 찾아내어 초점을 조정합니다.
• 이 기술은 정확하고 세밀한 초점을 찾아낼 수 있지만, 초점을 맞추는 데 시간이 조금 더 걸릴 수 있습니다.
• 주로 컴팩트 카메라나 미러리스 카메라 등에 사용됩니다.

PDAF(Phase Detection AutoFocus, 위상 검출 자동 초점)

• 위상 검출 자동 초점은 광학 센서를 사용하여 초점을 조절하는 기술입니다.
• 카메라의 이미지 센서 위에 빛이 들어오는 각 픽셀 그룹에 대해 위상 차이를 계산하여 초점을 조절합니다.
• PDAF는 일반적으로 빠르고 정확한 초점 조절을 제공하며, 주로 DSLR 카메라나 고급 미러리스 카메라에서 사용됩니다.
• 이 기술은 연속 촬영이나 빠른 대응이 필요한 상황에서 특히 유용합니다.

이 두 가지 기술은 각각의 장단점을 가지고 있으며, 카메라나 렌즈의 종류, 사용 환경, 촬영 목적 등에 따라 선택됩니다. 종종 하이브리드 자동 초점 시스템에서는 두 기술을 결합하여 더 빠르고 정확한 초점 조절을 가능하게 합니다.

 

 

모자이크 제거(이미지 생성 과정)

01

보통 이미지 센서는 빨간, 파란, 녹색의 픽셀로 이루어져 있습니다. 하지만 각 픽셀은 한 가지 색상만을 감지할 수 있기 때문에, 재구성 과정을 거쳐야만 색 정보를 완전한 컬러 이미지로 변환할 수 있습니다. 그러나 첨단 ISP는 각 픽셀의 색상 정보를 분석하고 보간하여 선명하고 자연스러운 컬러 이미지를 생성합니다.

 

모자이크 제거는 이미지나 영상에서 모자이크로 가려진 부분을 원래의 내용으로 복원하는 과정을 말합니다. 주로 프라이버시를 보호하거나 미디어의 민감한 부분을 감추기 위해 사용됩니다. 모자이크 제거에는 주로 다음과 같은 기술이 사용됩니다.

1. 영역 검출: 먼저 이미지나 영상에서 모자이크가 적용된 부분을 식별합니다. 이를 위해 얼굴, 텍스트, 민감한 정보 등을 검출합니다.
2. 내용 복원: 모자이크가 적용된 영역을 원래의 내용으로 복원합니다. 이를 위해 주변 픽셀의 정보를 활용하여 모자이크를 제거하고 실제 내용을 추정합니다.
3. 알고리즘 적용: 다양한 이미지 처리 알고리즘과 기술이 사용됩니다. 예를 들어, 보간(interpolation) 기법이나 신경망 기반의 딥러닝 알고리즘 등이 모자이크 제거에 적용될 수 있습니다.
4. 보완 및 평활화: 모자이크가 제거된 부분을 주변의 이미지와 자연스럽게 보완하여 부드러운 전환을 만듭니다.
5. 품질 평가: 제거된 영역이 자연스럽고 원래의 내용과 일치하는지 확인하기 위해 품질 평가가 수행됩니다. 이 과정에서는 이미지나 영상의 선명도, 색상 일관성, 텍스처 유사성 등이 평가될 수 있습니다.

모자이크 제거 기술은 주로 보안 관련 분야에서 사용되지만, 종종 미디어 편집이나 디지털 아트에서도 활용될 수 있습니다.

 

*평활화(Smoothing)- 평활화는 이미지나 영상 처리에서 사용되는 기술 중 하나로, 주변 픽셀의 정보를 활용하여 곡선이나 직선 부분이 부자연스러울 때 세부적인 부분을 부드럽게 만드는 과정을 의미합니다.

 

노이즈 감소

01

어두운 환경에서는 이미지 센서가 충분한 빛을 받기 어려워서 ISO를 높이거나 셔터 속도를 줄여야 합니다. 그러나 이렇게 하면 이미지에 노이즈가 많이 생길 수 있습니다. 엑시노스의 ISP는 노이즈를 줄이는 첨단 알고리즘을 사용하여 텍스처 디테일을 유지하면서 색상이나 패턴 노이즈를 낮출 수 있습니다. 특히, 3DNR 기능은 영상에서 노이즈를 줄이는 데 도움이 됩니다. 이 기능은 영상 스트림에서 이전 프레임과의 차이를 분석하여 유용한 디테일과 노이즈를 식별하고 제거합니다.

 

3DNR(3차원 노이즈 감소)는 노이즈 감소 기술의 한 종류로, 영상에서 발생하는 가시적인 노이즈를 줄이는 데 사용됩니다. 이 기술은 영상 프레임 간의 상관관계를 분석하여 노이즈를 구분하고 제거하는 데 초점을 맞춥니다. 주변 프레임의 정보를 활용하여 현재 프레임에서 발생한 노이즈를 식별하고 제거함으로써 영상의 선명도와 품질을 향상합니다. 3DNR은 주로 낮은 조도에서 촬영된 영상이나 고해상도 영상에서 발생하는 노이즈를 효과적으로 제거하는 데 사용됩니다.

 

 

렌즈 및 센서 보상

012

스마트폰 카메라는 작고 복잡한 구조로 인해 성능 향상에 제한을 받습니다. 이는 색상 불균일성과 초점 거리 고정으로 인한 렌즈 세이딩, 비네팅, 색수차, 렌즈 왜곡과 같은 문제를 야기할 수 있습니다. 엑시노스 프로세서의 이미지 신호 프로세서(ISP)는 이러한 문제를 해결하기 위해 첨단 색상 보정 및 왜곡 보정 알고리즘을 적용합니다. 이를 통해 이미지 품질과 선명도를 향상하며 자연스러운 결과물을 제공합니다.

 

감마 보정

01

인간의 시각은 어두운 환경에서는 민감하게 작용하고, 밝은 곳에서는 상대적으로 둔감하게 반응합니다. 이에 비해 이미지 센서는 선형적으로 빛 정보를 처리하고, 모바일 기기의 디스플레이는 광도를 비선형적으로 표현합니다. 엑시노스 프로세서의 이미지 신호 프로세서(ISP)는 이러한 차이를 인식하여 이미지 센서에서 생성된 빛 정보를 적절하게 디코딩하여 인간의 시각에 맞게 조정합니다.

 

감마 보정은 디지털 이미지나 영상에서 밝기와 색상의 관계를 조절하여 화면의 명암 대비를 조정하는 과정입니다. 감마 값은 입력 밝기와 출력 밝기 간의 비율을 나타내는 지수로, 주로 0.5에서 2.5 사이의 값으로 설정됩니다. 감마 보정은 디스플레이나 이미지 처리 장치에서 사용되며, 이미지를 적절하게 보정하여 색감을 더욱 생생하게 만들고, 세부 사항을 더욱 명확하게 표현할 수 있도록 도와줍니다

 

다이내믹 레인지 압축

01

ISP는 이미지의 다이내믹 레인지를 분석하여 어두운 부분과 밝은 부분 간의 대비를 최적화합니다. 이를 위해 DRC는 톤 매핑 커브를 동적으로 생성하고 각 픽셀에 적용하여 균형 잡힌 다이내믹 레인지를 보장합니다.

 

톤 매핑 커브(Tone Mapping Curve)는 HDR(High Dynamic Range) 이미지나 비디오를 일반적인 디스플레이에서 표시하기 위해 사용되는 기술입니다. HDR 콘텐츠는 넓은 다이내믹 레인지를 가지고 있어 모든 그림자와 하이라이트를 표현할 수 있지만, 일반적인 디스플레이는 이러한 다이내믹 레인지를 완벽하게 재현할 수 없습니다.

 

이 때문에 톤 매핑 커브는 HDR 이미지의 픽셀 값을 적절한 범위로 변환하여 디스플레이에서 올바르게 표시될 수 있도록 합니다. 이러한 과정에서 넓은 다이내믹 레인지를 보존하면서도 영상의 세부 정보를 유지하고, 자연스러운 이미지를 생성하는 것이 목표입니다.

 

스마트 HDR

012

삼성의 이미지 센서를 적용한 ISP는 지그재그 HDR 패턴을 활용하여 한 번의 촬영으로 HDR 이미지를 생성합니다. 이 패턴은 장노출용과 단노출용 픽셀로 구성되어 있습니다. ISP는 이미지 센서가 한 번의 촬영에서 두 가지 노출 시간을 활용하여 빛을 캡처하도록 관리합니다. 그 후, 두 가지 빛 정보와 색 정보를 결합하여 밝은 부분과 어두운 부분이 모두 선명하게 표현되도록 합니다.

 

 

영상 디지털 이미지 손떨림 보정

01

VDIS는 영상의 안정성을 유지하고 손떨림이나 외부 환경으로 인한 카메라의 흔들림을 줄입니다. 이 기술은 의도적인 카메라 움직임과 원치 않는 사물의 움직임을 구분하고, 프레임 워핑을 통해 네 축을 원활하게 보정하여 영상 품질을 향상합니다.