Mid level features: Textures

Texture

• Texture는 반복되는 패턴을 보임.
• Color histogram과는 달리, Color와 Intensity의 공간적 분포를 고려한 피처.

Structural approaches

관점: Texture는 정규적이고 반복되는 관계를 가진 primitive texels의 집합임.

• 지표: 크기, 입자성, 방향성, 랜덤한 정도

Statistical approaches

관점: Texture는 Intensity 배열의 양적인 값이며, 이를 feature vector 라고 함.

• Texture segmentation은 Texture 간의 경계를 결정하는 것.
• Texture classification은 특성에 따라 Texture 클래스를 식별하는 것.

Simple features

• Range: 인접한 Intensity의 최댓값과 최솟값의 범위.
• Variance: 센터의 픽셀과 인접한 픽셀들의 variance는 randomness와 비례함.

Local Binary Patterns(LBPs)

• Quantitative texture measure에 속함.
• 센터 픽셀 1개에 인접한 8개의 픽셀을 8-bit number로 나타냄. (MSB부터 씀.)
  임의의 인접한 픽셀 값 ≤ 센터 픽셀 값 → 0
  임의의 인접한 픽셀 값 > 센터 픽셀 값 → 1
• 시작 픽셀 b1은 원하는 대로 지정할 수 있음.
• LBPs의 단점: 회전시키면 값이 달라지므로, rotation에 variant 함.
  
• 차원을 10으로 줄인 uniform & rotation-invariant LBP도 존재함.

 

Grey Level Co-occurrence Matrix(GLCMs)

• Quantitative texture measure에 속함.
• Texture의 반복되는 속성을 나타내는 것이 주요 특징.
• Grey Level의 쌍들의 동시 출현 횟수가 높을수록 패턴이 뚜렷함.

• 각각의 entry를 픽셀 쌍의 총 개수로 나누어, GLCM을 정규화할 수 있음.

• GLCM은 보통 그대로 사용하지 않고, 중요한 Numeric features만 추출해서 분석에 사용함.

• GLCM에서 Displacement vector를 고르는 것은 매우 중요하며, 값을 선택할 때 아래 식을 사용해도 됨.

 

Edge based features

• Edgeness per unit area 
  F(edgeness) = |{ p | gradient_magnitude(p) ≥ threshold}| / N
  (N: 단위 영역의 사이즈)
• Histograms of edge magnitude and direction
  F(magdir) = (H(magnitude), H(direction))

Raw's energy

• Texture filters로 입력 이미지를 필터링. → 필터링한 결과에서 절대값을 더함으로써 Texture energy를 계산.  → 피처를 Combine.
• Texture Energy Measure (TEM)

 

Raw's texture masks

• L5E5 / E5L5 와 같은 feature vector를 n개 사용하면, n개의 TEM 값이 픽셀 하나를 정의하는데 사용됨.

Interpreting textures

Autocorrelation

• Autocorrelation 함수는 original 이미지와 shifted 이미지의 내적을 계산함.
• Texel의 반복적인 패턴을 인식할 수 있음.

• Autocorrelation 해석

Texture 특징	Regular	Random	Coarse	Fine
Autocorrelation function 특징	peaks와 valleys를 가짐.	[0,0]에서 peak이 있고, peak의 폭이 texture의 사이즈를 보여줌.	함수가 천천히 감소한다.	함수가 빠르게 감소한다.

 

Fourier Analysis

• 신호의 power spectrum: autocorrelation function을 Fourier transform 한 것.
• Fourier transform: 신호를 sine/cosine waves로 나타낸 것.

 

* 참고 자료

컴퓨터비전 강의자료(김은이 교수님)