帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
以DSP為基礎的數位相機MPEG-4壓縮技術
 

【作者: Madhukar Budagavi,Youngjun Yoo】   2004年03月05日 星期五

瀏覽人次:【5431】

數位相機在市場出現還不到幾年時間,已大幅改變消費性影像產業,目前全世界相機銷售量中,數位產品約佔三分之一,而且比重還在穩定增加。百萬像素等級的數位相機提供越來越高解析度的影像,畫質已媲美傳統膠卷相機;同時,嶄新的智慧型操作模式,幫助使用者在各種環境中拍攝出更好的照片,視訊模式也成為消費性數位相機的標準功能,它能讓使用者迅速捕捉多個畫面,以便有更多照片供他們選擇;消費者還能在重要事件發生時,拍攝短片做為記錄。除此之外,數位相機也開始與行動電話結合,讓使用者能從任何地點迅速傳送相片和短片。


由於變動快速的數位相機市場越分越細,廠商必須繼續利用技術創新,加速產品的差異化;今天,這些創新做法之一是將MPEG-4視訊壓縮,用於以高效能DSP(Digital Signal Processor;數位訊號處理器)為基礎的消費性數位相機,MPEG-4標準將使數位相機更有效地提供視訊和其它操作模式,不但增加視訊短片的儲存量,還支援強健可靠的影片傳輸。DSP,特別是架構支援快速影像處理的元件,為低價位相機提供MPEG-4編碼和解碼所需的運算效能,可程式能力則讓廠商將同樣的DSP平台用於整個數位相機產品線,並透過軟體為各項產品提供最佳化的影像處理能力。


新的壓縮標準

傳統上,數位相機都依賴JPEG壓縮標準,此標準主要用來儲存圖片,在網際網路上的應用極為廣泛。壓縮資料時,JPEG會利用離散餘弦轉換(Discrete Cosine Transforms;DCT)和量化技術,從8×8像素組成的最小編碼單元(minimum coded unit)的資料描述中除去大部份的空間冗餘性;然後,這套演算法使用熵編碼(entropy coding)或是可變長度編碼(Variable-Length Coding;簡稱VLC)技術進一步壓縮影像資料,使它們更容易儲存或傳輸,影像解壓縮則會逆向執行上述步驟。雖然壓縮比必須視影像內容而定,但整體而言,JPEG演算法至少能將像素資料壓縮一個數量級,而不會影響視覺感受。


動態影片和視訊的MPEG標準首先會使用與JPEG相同的框內(intraframe)技術壓縮基準靜態畫面(baseline still image),又稱為I圖框,然後再利用其它框間(interframe)技術除掉後面圖框帶來的空間冗餘性。基本上,框間技術會將每個圖框分成多個16×16像素的巨集區塊(macroblock),將它們與前一個圖框進行比較,然後使用移動估算(motion estimation)和補償來描述這些巨集區塊在各圖框間的移動情形;這些被預測的圖框又稱為P圖框,它們只需描述自己與前面一個圖框之間的差異。演算法還會定期執行I圖框編碼,其間隔時間可由應用設定。


(圖一)是普通MPEG視訊壓縮過程,上半部是從輸入到輸出的框內壓縮步驟,包括離散餘弦轉換、量化及可變長度編碼,它們已足以產生I圖框。要產生P圖框,必須將剛編碼完成的圖框解碼結果儲存至本地圖框緩衝區,再將每個區塊的內容與後面一個圖框進行比較 (也就是移動估算),以便執行框間壓縮;視訊解碼則涉及圖下方的步驟,包括逆向量化、逆向離散餘弦轉換和移動補償。除了圖中所示之外,MPEG標準還包括音訊的壓縮及解壓縮演算法,它們都有自己的執行流程。



《圖一 MPEG視訊壓縮流程》
《圖一 MPEG視訊壓縮流程》

MPEG-4多媒體標準

MPEG標準不斷進步,以便跟上新推出的視訊應用。原始MPEG-1標準在發展時,主要用於大量資料儲存和讀取系統,例如互動式CD-ROM和VCD。不久後,此項標準改進為MPEG-2,以便支援高畫質電視所需的更高解析度、更多種格式以及數位編碼應用;由於獲得DVD採用,MPEG-2的應用更加廣泛。MPEG-7標準則直接鎖定視訊資料庫的需求,它能描述資料內容,以利資訊檢索。


MPEG-4主要用來支援互動式多媒體應用,包括經由無線連接所提供的各種應用,它與基準H.263視訊壓縮標準採用相同演算法。相較於先前的MPEG標準,MPEG-4擁有更良好的壓縮能力,可得到更精簡的影像和更強大的抗錯性(error resilience),進而提供更強健的資料傳輸支援;此外,MPEG-4還能將多種類型的物件引入圖框內,讓不同的影像和繪圖元素能被單獨的定義、壓縮、傳送和重新組合。另一方面,雖然這項標準已有能夠支援物件的功能,但真正的實作仍然有待發展;在此之前,包括數位相機在內的絕大多數MPEG-4應用將繼續使用單一物件,由它代表整個畫面圖框。


高壓縮效率

隨著影片內容不同,特定片段的壓縮比會有很大的差異;整體而言,MPEG壓縮技術能於M-JPEG之上,再將壓縮比提升一個數量級,M-JPEG是由同樣解析度的連續JPEG圖框組成。使用框間技術還能進一步提升壓縮比,視訊圖框通常約有10萬像素(352×288像素,CIF解析度)或大約2.5萬像素(176×144像素,QCIF解析度),而不是JPEG常使用的200至250萬像素;高畫質照片或許無法接受解析度降低至這種程度,然而加上它的視訊擷取功能,已經能實現許多消費性數位相機的要求。


MPEG-4演算法利用壓縮技術的改良,將先前MPEG標準的壓縮比提升約20%,這種高水準的壓縮能力使得MPEG-4在處理每秒15格畫面的QCIF視訊時,能將4.5 Mbps的原始視訊資料壓縮至64 kbps以下,並維持合理的視覺品質。在數位相機中,MPEG-4壓縮能於記憶體中儲存超過M-JPEG好幾倍的視訊畫面。


更強大的抗錯性

MPEG-4也增加數種新的抗錯性技術,這是很有用的功能,因為越來越多使用者開始將數位相機拍攝的照片和影片傳送給他人;隨著照相手機日益普及,強健可靠的傳輸更將成為不可或缺的功能。MPEG-4抗錯性技術包括:


  • ˙數目更多的再同步標記(resynchronization marker),它會將傳輸資料打散成小的視訊封包,使接收器能從許多種傳輸錯誤中恢復,並將資料損失減至最少;


  • ˙標頭延伸碼(header extension code),它會利用每一個封包來顯示標頭的存在,避免包含這項重要標頭資訊的視訊圖框因為第一個視訊封包毀損,而使得標頭資訊也跟著喪失;


  • ˙把視訊資料分割成移動資料和紋理(空間)資料,進而增加部份資料能被正確接收的機率,使得錯誤的復原更容易;


  • ˙可逆式可變長度編碼(Reversible VLC):使接收器能根據再同步標記,順向或逆向進行解碼,以便在發生傳輸錯誤時儘可能將畫面復原;


  • ˙錯誤隱藏技術,可用於空間性和時間性的錯誤(MPEG-4標準介紹了少數技術,它們是此標準的附加內容,而不是演算法的一部份)。



對於DSP效能和彈性的需求

由於框間移動估算和補償還涉及其它的步驟,MPEG-4壓縮及解壓縮所需的處理運算遠超過JPEG,因此數位相機的影像處理引擎必須提供更強大的運算效能。ASIC雖能達成這項要求,它卻很難配合不同數位相機產品的影像處理管線;另一方面,可程式DSP不僅提供MPEG-4演算法所需效能,還可以透過軟體修改,針對不同的系統提供最佳化支援。同樣的DSP在經由程式設定後,甚至能執行JPEG演算法以便用於更高解析度的數位相機,如此一來,整個數位相機產品線只需一套DSP平台,不但能增加產品的獨特性,在發展過程中亦可省下可觀的時間和成本。


包含影像處理架構的DSP範例

以TI的數位媒體處理器為例,該專為數位相機等產品的影像應用而設計的DSP元件,是以多處理器架構為基礎,內建ARM7 32位元RISC處理器,可用來執行非影像功能,並擔任整個系統的主處理器;另外是可程式C54x DSP核心,負責執行音訊的編碼與解碼。此外,該元件還整合多顆可程式協同處理器,專門設計來處理運算量最龐大的影像作業,其中一顆協同處理器是SIMD影像處理引擎(iMX),負責執行離散餘弦轉換、逆向離散餘弦轉換、移動估算和補償以及許多影像處理運算,其它協同處理器則會執行可變長度編碼和解碼、量化及逆向量化。


(圖二)是範例DSP元件的主要功能方塊和流程,除了主處理器外,這顆元件並整合快取記憶體和影像區塊緩衝器,還有外部記憶體的控制,CCD、液晶顯示器或電視輸出,以及透過多隻通用I/O接腳所提供的其它通訊界面。專屬的影像前置處理硬體也能替主處理器分擔部份工作,例如白平衡(white balancing)、自動曝光和自動聚焦。


在外部零件方面,它只需要SDRAM就能組成完整的數位相機影像處理引擎。MPEG必須保留額外圖框以執行移動估算及補償,例如在QCIF(176×144)解析度下,它大約需要110 kByte的SDRAM記憶體來執行編碼運算。而元件包含高整合度的特殊架構,不但支援30 fps以上CIF(352 ( 288)解析度的MPEG-4編碼作業,解碼時更能將像素處理能力增加50%,也就是在HVGA(640 ( 240)解析度下,達到30 fps以上的速率。這顆元件還支援多媒體所用的其它重要視訊、音訊和語音標準,並能搭配專門擔任行動電話引擎的DSP元件。



《圖二 數位媒體處理器架構》
《圖二 數位媒體處理器架構》

照相手機和其它新應用

在變化快速的消費性影像視訊市場上,可程式能力的重要性可說是無庸置疑。數位相機正迅速演進至新應用,照相手機就是個例子,它們能拍攝相片和簡短影片,並將拍攝內容傳送出去,這類產品早已在市場出現。MPEG-4資料可嵌入多媒體簡訊(MMS)的協定層疊(protocol stack),讓視訊封包得以透過無線IP網路簡訊服務的業界標準,輕易傳送至其它任何無線網路。


廠商或許也要DSP提供的彈性,以便設計其它類型的相機系統,例如支援H.324視訊會議的產品,許多無線產品也提供此項功能,這些支援視訊會議的無線電話利用H.263或MPEG-4進行視訊的編碼和解碼;對於Session Initiation Protocol(SIP)的支援也可能有其需要,這種協定能把簡訊傳送和視訊會議結合在一起。MPEG-4還會繼續進步,例如提供能夠支援物件的各種profiles,這可能會使得廠商想要重新設定(reprogram)已銷售或發展中的產品,新出現的MPEG-4 AVC先進視訊編碼標準(又稱為H.264標準)的更大壓縮密度就是這類進步之一。可程式DSP就能支援其中任何標準或者其它標準,進而協助影像系統發展廠商將他們的產品差異化,為新的市場需求預做準備。


結語

數位相機仍有很長的路要走,才能在畫質方面與最精密的傳統膠卷相機媲美,但是在低階市場上,數位相機卻能提供任何傳統相機都無法匹敵的視訊及其它功能。今天,數位相機廠商已發現利用MPEG-4的更高壓縮比和更大抗錯性,他們就能提供消費者想要的更多功能。可程式DSP把實作MPEG-4演算法所需的效能提供給低價位數位相機,這能為廠商帶來彈性,以便支援高度區隔化的市場,滿足它們的不同需求。


以DSP為基礎的MPEG-4壓縮還開啟許多新的應用商機,例如將數位相機和無線儀錶整合在一起,並於未來支援其它類型應用;在MPEG-4以及DSP的攜手合作下,低價位消費性數位相機的未來仍將非常樂觀,讓使用者可放心享受拍照的樂趣。


(作者任職於德州儀器TI)


  • 原文刊登於2003年七月份EDN雜誌Digital Den


相關文章
AI Everywhere勢不可擋 信任運算架構將成關鍵
神經處理/運算為邊緣帶來實時決策
嵌入式應用漸趨多元 浮點運算MCU滿足市場不同需求
高性能DSP與深度學習語庫是智慧語音開發關鍵
類比、數位還是混合型電源:何時為電源增加智慧功能才有意義
comments powered by Disqus
相關討論
  相關新聞
» 豪威集團推出用於存在檢測、人臉辨識和常開功能的超小尺寸感測器
» ST推廣智慧感測器與碳化矽發展 強化於AI與能源應用價值
» ST:AI兩大挑戰在於耗能及部署便利性 兩者直接影響AI普及速度
» 慧榮獲ISO 26262 ASIL B Ready與ASPICE CL2認證 提供車用級安全儲存方案
» 默克完成收購Unity-SC 強化光電產品組合以滿足半導體產業需求


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.172.70.126.85
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: [email protected]