當今數碼照相機基本都是基于電荷耦合器件（CCD）或CMOS傳感器技術。這兩種技術都能將光信號轉換為電信號，但它們的轉換方式不同。
在CCD組件中，由數百萬光敏像素組成的陣列覆蓋在CCD傳感器的表面。在傳感器曝光后，首先CCD的末端讀出覆蓋整個CCD像素陣列上的累積電荷，然后經模擬前端（AFE）芯片或CCD處理器數字化。另外一種傳感器，CMOS傳感器可直接將每個像素單元的曝光程度數字化。
通常，CCD具有最高的圖像質量和最低的噪聲，但是其功耗較高。CMOS傳感器容易制造并且具有低功耗特性，但是其圖像質量較低。部分原因是因為位于每個像素的晶體管容易阻擋到達像素的部分光信號。然而，如果在質量競爭過程中與CCD比價格，那么CMOS具有優(yōu)勢，并且目前采用CMOS傳感器的中擋數碼照相機的數量越來越多。
無論數碼照相機內部采用哪種傳感器，傳感器陣列的所有像素都需對灰度等級靈敏——從全暗（黑）到全亮（白）。對灰度等級敏感程度被稱為“比特深度”。因此，8 bit像素可區(qū)分28或256個灰度梯度，而12 bit像素可區(qū)分4096個灰度梯度。分層的整個像素陣列是一種將每個像素分為幾個對顏色敏感的“子像素”的濾色鏡。這種安排允許測量每個像素單元不同顏色的成分。因此，每個像素單元的顏色可看作是紅色（R）、綠色（G）和藍色（B）通道光的成分以加法方式疊加的總和。比特深度越高， RGB空間能產生的顏色越豐富。例如，24 bit顏色（R、G和B每通道為8 bit）可產生224或1,670萬種離散的顏色。
為了恰當地表示彩色圖像，每個像素單元，每個傳感器需要3種顏色采樣——最通常是R，G和B。然而，為每個數碼照相機配備3個單獨的傳感器并不是經濟有效的解決方案（雖然最近這種解決方案變得比較實際）。而且，當傳感器的分辨率增加到5百萬～1千萬像素時，就會需要一些圖像壓縮格式防止為每個像素單元需要輸出3個字節(jié)（或更壞情況下，對于更高分辨率的傳感器，還會需要輸出3個12 bit字）。
不用擔憂，因為數碼照相機生產廠商已經開發(fā)出了減少必要的顏色采樣數目的巧妙方法。最常用的方法是采用色彩濾鏡陣列（CFA），它僅測量任何給定像素單元的一種顏色。然后，用圖像處理器對測量結果進行插值運算以便看起來好像在每個像素單元測量了3種顏色。
當今最流行使用的CFA是Bayer模式，如圖1所示。該方案由Kodak創(chuàng)立，它利用這樣的原理：人眼對綠色成分的識別靈敏度大于紅色或藍色。因此，在Bayer濾光鏡陣列中，通過綠色濾光鏡的光強是通過藍色濾光鏡或紅色濾光鏡的兩倍。這便引出一種通常稱作的“4:2:2 RGB”的輸出格式，即每發(fā)送2份紅色光和2份藍色光就對應發(fā)送4份綠色光。
圖1: Bayer模式圖像傳感器排列
圖像傳感器的連接
CMOS傳感器通常按照YCbCr或RGB格式輸出像素單元的并行數據流，同時伴隨水平同步和垂直同步以及像素時鐘。有時，它們允許使用外部時鐘和同步信號來控制來自傳感器的幀圖像輸出。
另一方面，CCD傳感器通常需要隨后連接“模擬前端（AFE）”芯片，例如AD9948，它可處理模擬輸出信號、將其數字化并且產生掃描CCD陣列的合適時序。處理器為AFE提供同步信號，它需要這種控制信號來管理CCD陣列。從AFE輸出的并行數據流可能為每像素單元提供10 bit或12 bit的分辨率。
最近，低電壓差分信號傳輸（LVDS）技術已經成為取代并行數據總線的重要方法。LVDS技術是一種低成本、低引腳數和高速串行的連接方法，它比標準并行方案提高了抗噪聲性能并且降低了功耗。隨著傳感器分辨率和色深度增加以及便攜式多媒體應用越來越普遍，這種LVD連接方法顯得格外重要，
圖像流水線
當然，照相過程并不是終止于傳感器，相反，傳感器僅是處理過程的開始。讓我們看一下原始圖像在顯示器上呈現(xiàn)出精美的圖像之前是什么樣子。在數碼照相機中，這些處理階段的順序被稱為“圖像處理流水線”，或簡稱為“圖像流水線”。請參見圖2所示的一個數據流程。這些算法通常由多媒體處理器來完成，例如ADI公司的Blackfin處理器系列。
圖2: 軟件圖像處理流水線流程示例
機械反饋控制
在你平靜地釋放快門按鈕之前，聚焦和曝光系統(tǒng)與照相機的機械部件一起工作，根據場景特性控制鏡頭的位置。自動曝光算法測量分立景物區(qū)域的亮度，通過調節(jié)快門速度和（或）光圈以對曝光過度或曝光不足的區(qū)域進行補償。我們的主要目標是維持圖像中不同區(qū)域之間的相對對比度并且達到所要求的平均亮度。
自動聚焦算法可分為兩類。其中主動算法采用紅外線或超聲波發(fā)射器和接收器估計照相機和拍攝對象之間的距離。另一種被動算法是根據照相機所接收的圖像進行聚焦。
在這兩種子系統(tǒng)中，多媒體處理器通過其輸出的脈寬調制（PWM）信號控制各種鏡頭和快門的電機。自動曝光控制功能還能調節(jié)傳感器的自動增益控制（AGC）電路。
預處理
正如我們前面所討論的，傳感器的輸出需要灰度系數校正以滿足最終的顯示需求，并且補償傳感器捕獲響應的非線性。
因為傳感器通常含有很少的無效或缺陷像素，所以常用的預處理技術可以通過中值濾波消除這些缺陷，它根據這樣的原理：當光學處理有些模糊的圖像時像素之間的急劇變化是不正常的。
鏡頭校正（暗影或畸變校正）
這套算法解決了鏡頭輸出的圖像與用戶看到的實際場景相比產生畸變的物理屬性問題。不同的鏡頭會產生不同的畸變；例如，廣角鏡頭會造成“桶形畸變”效應，而長焦鏡頭會產生“枕形畸變”效應。鏡頭的陰影畸變降低了鏡頭周圍區(qū)域的圖像亮度。色像差會使圖像周圍出現(xiàn)色彩條紋。因此多媒體處理器需要對圖像做數學變換以校正這些畸變。
預處理的另外一方面是圖像穩(wěn)定性補償或信號交換校正。這里，處理器常借助于涉及到傳感器實時運動輪廓的外部傳感器器調節(jié)所接收圖像的平移運動。
預處理的另外一個階段稱為白平衡。當我們看到一幅場景時，無論照明條件如何，我們的眼睛能將觀看到的所有場景都轉換成標準的自然光條件下的顏色。例如，我們所看到的蘋果應是深紅色，無論是在室內的熒光燈下還是室外的陽光下。然而，圖像傳感器對顏色的“感知”很大程度上取決于照明條件，因此它需要將它映射成所要求的圖像以使其最終的輸出看起來不受照明條件的影響。這種圖像映射過程可手動或自動完成。
在手動系統(tǒng)中，在將你的照相機對準你確定是“白色”的對象后，然后將照相機移動到待拍照所有圖像的“色溫”區(qū)以適應這種映射。另外一種自動白平衡（AWB）方法，使用圖像傳感器的輸入和額外的白平衡傳感器來確定什么是圖像中的“真正白色”。它可調節(jié)圖像中R、G和B通道的相對增益。當然，AWB比手動方法需要更多的圖像處理能力，并且也是供應商提供的知識產權算法。
抗馬賽克、像素內插、降噪以及輪廓增強
抗馬賽克〔或色彩濾鏡陣列插值（Demosaicking）〕可能是圖像流水線中最重要并且計算量最大的階段。通常各數碼照相機制造商都有自己的“秘訣”，但通常可將這些方法分成幾種主要的算法。
雙線性插值或雙三次插值等非自適應算法屬于最簡單易行的方法，它們非常適合處理圖像的平滑區(qū)域。然而，用這些簡單的算法處理邊緣或紋理豐富的區(qū)域時會遇到問題。自適應算法根據局部圖像特點改變算法，從而可以提供較好的效果。
自適應算法的一個例子是基于邊緣重構。這種算法分析圍繞像素的區(qū)域并且確定在哪個方向上完成內插。如果它在像素附近找到了邊緣，則將沿著邊緣進行插值，而不是越過邊緣。另一種自適應算法是假設整個對象是恒定色調，這可以防止在個別對像中顏色梯度的突變。還有許多其它的抗馬賽克技術，包括頻域分析、貝葉斯判決準則，以及神經網絡。
顏色空間變換
在這一階段，將內插后的RGB圖像變換為目標輸出顏色空間（如果還不是合適的顏色空間）。為了壓縮或在電視機上顯示圖像，這通常包括RGB?YCbCr的矩陣轉換，通常還包括另外的灰度系數校正電路以適應目的顯示器。在這一階段按照標準4:2:2格式可能還要對YCbCr輸出進行顏色子采樣以便在幾乎不影響視覺效果的情況下減少顏色帶寬。
后處理
在這一階段，圖像在送到顯示器和（或）存儲媒體之前通過各種濾波作用完善圖像。例如，邊緣輪廓增強、像素閾值處理以降低噪聲、以及人工顏色刪除通常都在這階段完成。
顯示、壓縮和存儲
如果圖像本身準備用于瀏覽，圖像流水線會產生兩個不同的方向的分支。第一個分支，后處理圖像輸出到目的顯示器，通常是集成液晶顯示（LCD）屏（但是對于某種型號的數碼照相機，有時是NTSC或PAL電視監(jiān)視器）。第二個分支，將圖像送到多媒體處理器運行壓縮算法軟件，在將圖像本地存儲在存儲媒體（通常是非易失閃存卡）之前使用工業(yè)標準壓縮技術（例如JPEG標準）進行壓縮。
