이미지 프로세싱

1. 이미지 프로세스 플로우

(1) 이미지 취득 및 수집
-- 디지털 카메라, 스캐너, 드론 등을 사용하여 이미지를 얻는 과정을 의미
-- 노출 -> 디지털화 -> 노이즈 제거 -> 색 공간 변환 -> 이미지 크기 조정
 
1. 노출 : 디지털 카메라의 경우, 렌즈를 통해 빛을 받아 이미지 센서로 노출, 스캐너의 경우, 스캔 헤드를 이용하여 이미지 스캔

2. 디지털화 : 노출된 이미지는 아날로그 신호로 표현되며, 이를 디지털 신호로 변환하여 디지털 데이터로 저장하는데 이미지 샘플링 -> 양자화 -> 부호화 등의 단계로 이루어짐

3. 노이즈 제거 : 이미지 취득 과정에서는 주변 환경이나 기기의 한계로 인해 노이즈가 발생할 수 있어 노이즈 제거 필터를 사용하여 제거

++ 이미지 smoothing 에서 추가적 설명 ++

4. 색 공간 변환 : 이미지 취득 후, 이미지의 색 공간 변경, RGB 색 공간을 YUV 색 공간으로 변경하여 색상 정보 분리 가능

++ YUV : 텔레비전에서 사용하는 색 공간으로 밝기 (Y)  와 색상 (U,V) 로 표현함

: 휘도 및 색상 차이 정보를 사용하여 표현 

: 인간의 눈이 밝기 정보와 색상 정보를 각각 다르게 처리하기 때문에 이와 유사한 방식으로 색상을 표현하여 데이터를 더 효율적으로 저장할 수 있음

: YUV 색 공간은 비디오 코덱에서 사용되는 여러 알고리즘에서 중요한 역할을 하는데 예를 들어 MPEG 비디오 코덱에서는 YUV 색 공간을 사용하여 비디오 데이터를 압축할 수 있고 YUV 색 공간은 색상을 조정하거나 색상 균일성을 증가시키는 필터링 작업에도 사용됨

 5. 이미지 크기 조정 : 이미지 크기를 조정하여 이미지를 보다 작게 만들거나, 이미지를 확대하여 보다 자세하게 보는 등의 작업 수행 가능
 
(2) 전처리 ( preprocessing )
-- 이미지 분석 및 인식에 앞서 원본 이미지에 대해 사전 처리를 수행하는 과정
-- 전처리 과정을 적절히 수행하면 분석 미치 인식의 정확도를 향상시킬 수 있음
 
1. 이미지 노이즈 제거 : 이미지 노이즈는 이미지의 품질을 저하시키므로 노이즈 제거 필터를 사용하여 노이즈 제거
++ 이미지 smoothing 에서 자세히 설명 ++ 
2. 이미지 향상 : 이미지의 선명도, 대비, 밝 등을 개선하는 작업으로 이미지 선명화, 히스토그램 평활화, 컬러 균형 조정 등

 

++ 이미지 선명화 : 이미지에서 선명한 엣지(Edge)를 강조하여 이미지의 선명도를 높이는 과정으로 이미지 선명화를 수행하면 이미지의 선명도가 향상되어 더욱 선명하고 세밀한 이미지를 얻을 수 있음.

: 이미지 선명화는 다양한 방법으로 수행될 수 있는데 대표적인 방법으로는 샤프닝(Sharpening) 필터를 이용한 선명화가 있음.

: 샤프닝 필터:  이미지에서 선명한 엣지 부근의 픽셀값을 강조하여 엣지의 대비를 높이는 역할을 함

++ 샤프닝 필터는 이미지를 더욱 선명하게 만들기 위해 블러링(Blur) 필터와 엣지 검출 필터를 결합하여 사용.

++ 샤프닝 필터의 가장 기본적인 형태는 원본 이미지와 블러링된 이미지를 빼는 연산을 수행하는 것으로 이 연산을 수식으로 나타내면 

 => Sharpened Image = Original Image - Blurred Image

++ 블러링 : 이미지에서 엣지 정보를 제거하고, 원본 이미지에서 블러링된 이미지를 뺌으로써 엣지 부근의 픽셀값을 강조

++ 언샤프 마스킹(Unsharp Masking) 필터 : 언샤프 마스킹 필터는 블러링된 이미지를 원본 이미지에서 뺀 후, 더해주는 형태로 동작함. 이를 통해 엣지 부근의 픽셀 값을 더욱 강조하여 이미지의 선명도를 높임. 샤프닝 필터는 이미지 처리에서 매우 중요한 필터 중 하나이며, 이미지 분석이나 컴퓨터 비전 분야에서 많이 활용됨.

++ 엣지 검출 기술: 이미지에서 엣지를 검출하고, 이를 이용하여 이미지를 선명하게 만들 수 있음

: 컴퓨터 비전 분야에서도 많이 활용되는데 예를 들어 이미지 분석이나 컴퓨터 비전 기반의 자율주행 자동차 등에서 이미지 선명화 기술이 활용됨.

3. 이미지 크기 조정, 회전, 이동 : 회전 및 이동을 통해 새로운 관점에서 이미지를 분석할 수 있도록 하는 작업
4. 이미지 분할 : 이미지 내에서 객체나 배경을 구분하는 작업으로 객체 추출 및 분석에 사용
 
(3) 특징 추출 ( feature extraction )
-- 이미지에서 중요한 정보를 추출하는 단계로 픽셀 값을 사용하여 이미지의 주요 특징을 추출하는데 다양한 알고리즘 및 기술을 사용하여 이미지에서 더욱 의미 있는 정보 추출
 
1. 특징 검출 : 엣지 검출, 코너 검출, 직선 검출, 특징점 검출 등의 알고리즘을 사용하여 이미지에서 중요한 특징 검출

 

++ 엣지 검출

++ 코너 검출 : 코너 검출은 이미지 내부의 코너 지점을 검출하는 기술이며 코너란, 물체의 모서리나 모서리 근처에서 생기는 작은 공간으로, 엣지 검출과는 달리 물체의 형태 정보를 더욱 정확하게 파악할 수 있습니다. 대표적인 알고리즘으로는 해리스 코너 검출(Harris Corner Detection)이 있음.

>> 해리스 코너 검출 ( Harris Corner Detection ) 

++ 직선 검출 : 직선 검출은 이미지 내부의 직선을 검출하는 기술입니다. 대표적인 알고리즘으로는 허프 변환(Hough Transform)이 있습니다. 이 알고리즘은 이미지 공간상의 점들을 직선의 방정식으로 변환하여, 직선이 존재하는 가능성이 있는 점들을 선별하는 방식으로 동작합니다.

>> Hough Transform : 

++ 특징점 검출 : 특징점 검출은 이미지 내부의 특징점(Feature Point)을 검출하는 기술입니다. 특징점은 이미지 내부에서 중요한 지점이며, 서로 다른 이미지에서 동일한 특징점을 검출하여 매칭함으로써 이미지 매칭 등에 사용됩니다. 대표적인 알고리즘으로는 SIFT(Scale-Invariant Feature Transform)나 SURF(Speeded Up Robust Features) 등이 있습니다.

>> SIFT ( Scale-Invariant Feature Tranfrom )

>> SURF ( Speeded Up Robust Features )

2. 특징 기술 : SIFT(Scale-Invariant Feature Transform), SURF (Speeded0Up Robust Features), ORB (Oriented FAST and Rotated BRIEF) 등의 알고리즘 사용해 특징 검출 단계에서 검출된 특징점에 대해 실제로 특징값을 계산하는 단계

>> ORB ( Oriented FAST and Rotated BRIEF )
3. 특징 일치 : 두 이미지 간의 특징을 일치시키는 과정으로 각 이미지에서 추출한 특징값을 비교하여 일치하는 특징을 찾아내는 작업 수행
: 객체 인식, 이미지 검색, 영상 분석 등의 분야에서 사용 가능
 
(4) 분석 및 인식 ( analysis and recognition )
: 다양한 기술과 알고리즘을 사용하여 추출된 이미지의 특징을 이용해 해당 이미지가 무엇인지 인식 & 분석
: 이미지 분류, 객체 인식, 얼굴 인식 등이 있음
 
(5) 결과 출력 및 활용
: 분석 결과를 데이터베이스에 저장하거나 시각적으로 표현하여 사용자에게 제공하는 방식으로 결과 활용 가능
 

2. 이미지 그레이스케일 변환

-- 컬러 이미지를 흑백 이미지로 변환하는 과정으로 각 픽셀의 밝기 정보만을 사용하여 이미지를 표현
-- 3개의 채널을 갖는 컬러 이미지를 1개의 채널을 갖는 흑백 이미지로 변환하면서 이미지 데이터의 크기를 줄일 수 있음
-- 데이터의 크기가 작아 이미지 처리 속도가 높고 이미지 분석이 용이함
-- RGB 채널 값들의 평균값을 계산하여 그 값을 그레이스케일 채널 값으로 사용
 

3. 이미지 smoothing

-- 디지털 이미지 처리에서 잡음을 제거하거나 선명도를 줄이기 위해 이미지를 부드럽게 만드는 기술로 필터(Filter) 를 이용하여 이미지의 픽셀 값을 변경하는 과정
-- 계산량이 많고 적절한 파라미터 설정이 필요함
-- 이미지의 외곽선 ( Edge ) 정보를 희석시켜 객체 간의 경계선이 불분명해질 수 있음
 
1. 평균 필터 ( Average Filter ) : 주변 픽셀 값을 평균내어 해당 픽셀 값으로 대체하는 칠터로 잡음 제거에는 효과적이지만 이미지에서 선명도를 낮추는 부작용이 있음
2. 가우시안 필터 ( Gaussian Filter ) : 가우시안 분포를 기반으로 한 필터로 평균 필터보다 잡음 제거 능력이 뛰어나며 이미지의 선명도를 높일 수 있음
3. 미디안 필터 : 각 픽셀에 대해 해당 픽셀 주변의 값들을 정렬한 후, 중앙값을 해당 픽셀 값으로 대체하는 방법으로 큰 크기의 이상한 픽셀을 제거하는 데는 비효율적
4. 양방향 필터 : 주변 픽셀 값과 함께 픽셀의 밝기와 색상을 고려하여 필터링하는 방법으로 이미지에서 잡을 제거하면서도 이미지의 에지 ( Edge ) 정보 보존 가능
 

4. 이미지 Edge Detection 

-- edge detection 을 통해 물체 인식, 영상 분할, 영상 재구성, 컴퓨터 비전 등의 다양한 분야에서 응용 작업을 수행할 수 있음
-- Edge : 이미지에서 밝기 값이 급격하게 변하는 부분으로 대표적으로 물체 경계, 선, 모서리 등
-- 이미지에서 기울기 (gradient) 정보를 추출하여 에지를 검출하는 알고리즘 : Sobel, Prewitt, Robert, Canny

 

++ Sobel : 미지 내의 각 픽셀에 대해 그래디언트(Gradient) 값을 계산하여 엣지를 검출하는 방법

Sobel 알고리즘은 수평 방향과 수직 방향의 그래디언트 값을 계산합니다. 수평 방향의 그래디언트는 이미지 내의 각 픽셀을 중심으로 아래 행의 픽셀 값과 위 행의 픽셀 값을 차이로 계산합니다. 수직 방향의 그래디언트는 이미지 내의 각 픽셀을 중심으로 오른쪽 열의 픽셀 값과 왼쪽 열의 픽셀 값을 차이로 계산합니다. 이렇게 계산된 수평 방향과 수직 방향의 그래디언트 값을 합쳐서 그래디언트 크기와 방향을 구할 수 있습니다. Sobel 필터는 각 방향에서 픽셀 값의 변화량을 감지하기 때문에 엣지 검출에 효과적입니다. 그래디언트 값이 일정 이상인 픽셀은 엣지가 존재하는 픽셀로 간주하여, 이를 바탕으로 엣지 맵을 생성할 수 있습니다. Sobel 알고리즘은 컴퓨터 비전과 이미지 처리에서 많이 사용되며, 영상에서 잡음을 제거하거나, 모서리와 경계선을 검출하는 등 다양한 분야에서 활용됩니다.

++ Prewitt :

++ Robert :

++ Canny :

 

-- 각 방향별로 이미지에서 기울기를 추출함

이들 알고리즘은 에지를 검출하기 위해 이미지에서 gradient(기울기) 정보를 추출합니다.

Sobel, Prewitt, Roberts 등은 각 방향별로 이미지에서 기울기를 추출합니다.

예를 들어, Sobel 알고리즘은 x, y 방향으로 기울기 정보를 추출한 후 이를 합산하여 최종적인 기울기 정보를 생성합니다.

이 기울기 정보를 이용해 이미지에서 에지 부분을 검출합니다.

반면 Canny 알고리즘은 노이즈를 감소시키고 최적의 에지 검출을 위해 다음과 같은 과정을 거칩니다.