1、多媒體的定義

“多媒體 ”是指融合兩種或兩種以上媒體的一種人-機(jī)交互式信息交流和傳播技術(shù)，這些信息媒體包括：文字、聲音、圖形、圖像、動畫、視頻等。

文字、聲音、圖形、圖像、動畫、視頻為多媒體的六種形式

2、媒體的類型

感覺媒體：能直接作用于人們的感覺器官，從而能使人產(chǎn)生直接感覺的媒體。如語音、音樂、各種圖像、動畫、文本等。

表示媒體：為了傳送感覺媒體而人為研究出來的媒體。借助于此種媒體，便能更有效的存儲或傳送感覺媒體。如語言編碼、電報(bào)碼等。

顯示媒體：用于通信中使電信號和感覺媒體之間產(chǎn)生轉(zhuǎn)換用的媒體。如輸入、輸出設(shè)施，鍵盤鼠標(biāo)器、顯示器、打印機(jī)等。

傳輸媒體：用于傳輸某些媒體的媒體，如電話線、電纜光纖等。

存儲媒體：用于存放某種媒體的媒體如紙張、磁帶、磁盤、光盤等。

3、多媒體系統(tǒng)的構(gòu)成

多媒體應(yīng)用軟件

第八層

軟件系統(tǒng)

多媒體創(chuàng)作軟件

第七層

多媒體數(shù)據(jù)處理軟件

第六層

多媒體操作系統(tǒng)

第五層

多媒體驅(qū)動軟件

第四層

多媒體輸入/輸出控制卡及接口

第三層

硬件系統(tǒng)

多媒體計(jì)算機(jī)硬件

第二層

多媒體外圍設(shè)備

第一層

4、MPC主要特征可以用一個簡單的公式表示：

多媒體PC機(jī) = PC機(jī) + CD-ROM驅(qū)動器 + 聲卡+視頻卡

二、多媒體音頻處理技術(shù)

1、聲音是通過空氣傳播的一種連續(xù)的波。

聲音是攜帶信息的極其重要的媒體，是多媒體技術(shù)研究中的一個重要內(nèi)容。

2、聲音的聽覺特性

從聽覺角度看，聲音具有音調(diào)、音色和音強(qiáng)三個要素。 –音調(diào) ： 表示聲音的高低，取決于聲音的頻率。 –音色：表示人耳對聲音音質(zhì)的感覺。 ? 聲音分純音和復(fù)音，復(fù)音包括基音和泛音。 ? 一定頻率的純音不存在音色問題，音色是復(fù)音主觀屬性的反映。–音強(qiáng)：聲音的強(qiáng)度，取決于聲音的振幅。即“音量”。

3、聲音的數(shù)字化過程

? 采樣：在某些特定時刻對模擬信號進(jìn)行測量，即使音頻信號在時間軸上離散化。

? 量化：對采樣后的離散音頻信號幅值樣本進(jìn)行離散化處理， 即將每一個樣本歸入預(yù)先編排的量化級上。

? 編碼：對量化級以二進(jìn)制數(shù)碼按一定數(shù)據(jù)格式表示的過程。

4、影響數(shù)字音頻質(zhì)量的因素

數(shù)字音頻的質(zhì)量取決于采樣頻率、量化位數(shù)和聲道數(shù)三個因素。

5、MIDI文件的特點(diǎn)

(1).指令的集合，文件小。 (2).編輯靈活，在音序器的幫助下，用戶可自由地改變音調(diào)、音色以及樂曲速度等，以達(dá)到需要的效果。 (3).表現(xiàn)力弱，不能與真正的樂器完全相似，音質(zhì)有待提高。 (4).MIDI聲音適于重現(xiàn)打擊樂或一些電子樂器的聲音， 利用MIDI聲音方式可用計(jì)算機(jī)來進(jìn)行作曲。 (5).使用MIDI文件，其聲音卡上必需含有硬件音序器或者配置有軟件音序器。

6、數(shù)字式頻率調(diào)制（FM ）合成法

由以下五部分組成： ? 數(shù)字載波器 ? 調(diào)制器 ?數(shù)字運(yùn)算器 ?聲音包絡(luò)發(fā)生器 ? 模數(shù)轉(zhuǎn)換器 從理論上講，F(xiàn)M合成方法可以產(chǎn)生任何樂音，但是，這種“物理課式”的合成方法合成出來的聲音不夠真實(shí)。

7、樂音樣本合成法

把真實(shí)樂器發(fā)出的聲音以數(shù)字的形式記錄下來， 播放時再加以調(diào)整、修飾和放大，生成各種音階的音符。此法產(chǎn)生的聲音質(zhì)量比FM合成方法產(chǎn)生的聲音質(zhì)量要高。

8、音頻信號壓縮的三種常用編碼方法(比較圖)

混合法、波形編碼法、分析合成法

9、常見的五種編碼（波形編碼）及其基本思想

（1）脈沖編碼調(diào)制（PCM）：把模擬信號變換為數(shù)字信號的一種調(diào)制方式。

（2）增量調(diào)制（DM）: 對實(shí)際的采樣信號與預(yù)測的采樣信號之差的極性進(jìn)行編碼，將極

性變成0或1這兩種可能的取值之一。自適應(yīng)增量調(diào)制(ADM): 如果編碼器的輸出連續(xù)出現(xiàn)三個相同的值，量化階就加上一個大的增量；反之，就加一個小的增量。

（3）自適應(yīng)脈沖編碼調(diào)制（APCM）：根據(jù)輸入信號幅度大小來改變量化增量大小的一種

波形編碼技術(shù)。（4）差分脈沖編碼調(diào)制（DPCM)：是利用樣本與樣本之間存在的信息冗余度來進(jìn)行編碼的一種數(shù)據(jù)壓縮技術(shù)。編碼思想：對實(shí)際信號值與預(yù)測值之差進(jìn)行量化編碼，從而就減少了表示每個樣本信號的位數(shù)，降低傳送或存儲的數(shù)據(jù)量。

（5）自適應(yīng)差分脈沖編碼調(diào)制（ADPCM）：綜合了APCM的自適應(yīng)特性和DPCM的差分特性，是一種性能比較好的波形編碼。 核心思想：1）利用自適應(yīng)的思想改變量化階的大小，即使用小（大）的量化階去編碼小（大）的差值； 2）使用過去的樣本值估算下一個輸入樣本的預(yù)測值，使實(shí)際樣本值和預(yù)測值之間的差值總是最小。

10、增量調(diào)制（DM）中的問題

斜率過載:音頻信號變換快，跟不上（連續(xù)三個1或0時增加一個△）

粒狀噪聲：在輸入信號與預(yù)測信號的差值接近零的區(qū)域，增量調(diào)制器的輸出出現(xiàn)隨機(jī)交變得0和1。

三、多媒體數(shù)據(jù)壓縮技術(shù)

1、信息熵的含義：將信源所有可能事件的信息量進(jìn)行平均。 實(shí)際上,信息熵是編碼所有符號平均所需的二進(jìn)制位數(shù)。信息熵是數(shù)據(jù)壓縮的理論極限！

2、算術(shù)編碼的思想：將整個信源變成 [0,1)中的一個實(shí)數(shù)

3、行程長度編碼的思想： 它通過將信源中相同符號序列轉(zhuǎn)換成一個計(jì)數(shù)字段再加上一個重復(fù)字符標(biāo)志實(shí)現(xiàn)壓縮。

4、信息冗余的五種形式

（1）空間冗余

任一幅圖像中，均有由許多灰度或顏色都相同的鄰近像素組成的區(qū)域，它們形成了一個性質(zhì)相同的集合塊，即存在著空間連貫性，在圖像中表現(xiàn)為空間冗余。

壓縮方法：把這種集合塊當(dāng)作一個整體，用極少的信息來表示它，從而節(jié)省存儲空間，這種壓縮方法稱為空間壓縮。 （2）時間冗余運(yùn)動圖像一般為位于一時間軸區(qū)間的一組連續(xù)畫面，其中的相鄰幀往往包含相同的背景和移動物體，只不過移動物體所在的空間位置略有不同，所以前、后幀的數(shù)據(jù)有許多共同的地方，這種共同性是由于相鄰幀記錄了相鄰時刻的同一場景畫面，所以稱為時間冗余。 同理，語音數(shù)據(jù)中也存在著時間冗余。

（3）視覺冗余人類的視覺系統(tǒng)并不能對圖像畫面的任何變化都能感覺到，視覺系統(tǒng)對圖像場的注意是非均勻和非線性的，即主要部分質(zhì)量，同時取畫面的整體效果，不拘泥于每一個細(xì)節(jié)，因而存在著視覺冗余。 人眼對圖像的亮度信息敏感，對顏色的分辨率弱。

（4）結(jié)構(gòu)冗余在有些圖像的紋理區(qū)，圖像的像素值存在著明顯的分布模式，例如，方格狀的板圖案等，我們稱此為結(jié)構(gòu)冗余。5）知識冗余有些圖像的理解與某些知識有很大的關(guān)聯(lián)性。例如，狗有四條腿，頭部有眼、鼻、耳朵，有尾巴等。這類規(guī)律性的結(jié)構(gòu)由先驗(yàn)知識和背景知識得到，我們稱此類冗余為知識冗余。

5、有損編碼壓縮：此種方法的解碼圖像與原始圖像存在一定的誤差，但視覺效果一般可以接受。 壓縮比在幾倍~上百倍之間； 編碼方法有：變換編碼、預(yù)測編碼。

6、無損壓縮此種方法的解碼圖像與原始圖像嚴(yán)格相同。 壓縮比一般在2:1 ~ 5:1之間；

編碼方法有：香農(nóng)-范諾編碼、霍夫曼編碼、算術(shù)編碼、行程長度編碼、詞典編碼等。

四、多媒體圖像處理

1、顏色的視覺三要素

色調(diào)：色調(diào)反映顏色的類別，如紅色、綠色、藍(lán)色等。色調(diào)大致對應(yīng)光譜分布中的主波

長。飽和度：飽和度是指彩色光所呈現(xiàn)顏色的深淺或純潔程度。對于同一色調(diào)的彩色光，其飽和度越高，顏色就越深，或越純；而飽和度越小，顏色就越淺，或純度越低。

亮度：亮度是光作用于人眼時引起的明亮程度的感覺。是視覺系統(tǒng)對可見物體輻射或者發(fā)光多少的感知屬性。

2、四種顏色空間及其適用場合

（1）計(jì)算機(jī)顯視器RGB彩色空間

?RGB 彩色空間又稱加色法系統(tǒng)，三種顏色均無時顯示黑色。 ?在RGB彩色空間，任意彩色光F，其配色方程可寫成：F=r[R]+g[G]+b[B]（2）彩色印刷CMYK彩色空間

?彩色印刷采用青色、品紅、黃色和黑色四種油墨印刷各種顏色，通常把這四種顏色簡稱CMYK。 ?CMYK彩色空間又稱減色法系統(tǒng)。 （3）彩色電視YUV和YIQ彩色空間

解決黑白電視機(jī)和彩色電視機(jī)的兼容問題；可以利用人眼特性來降低數(shù)字彩色圖像所需的存儲容量，大面積涂色。（4）HSL彩色空間HSL彩色空間能夠減少彩色圖像處理的復(fù)雜性，而且更接近人對色彩的認(rèn)識和解釋。

3、矢量圖與點(diǎn)位圖的區(qū)別：

矢量圖是圖形，點(diǎn)位圖是圖像矢量圖文件小，不會失真點(diǎn)位圖顯示速度快

4、伽馬校正

?一個圖像系統(tǒng)中一般包含輸入設(shè)備（掃描儀、攝像機(jī)、數(shù)碼相機(jī)）、存儲設(shè)備（膠片、磁盤）和輸出設(shè)備三大模塊。 ?一個圖像系統(tǒng)追求的目標(biāo)：真實(shí)的再現(xiàn)原始場景。

明亮環(huán)境，使圖像系統(tǒng)γ＝1； 暗淡環(huán)境，γ≈1.25； 黑暗環(huán)境，γ≈1.5。

5、人眼對顏色的感知特性（視覺系統(tǒng)對顏色和亮度的響應(yīng)特性曲線）

（1）眼睛本質(zhì)上是一個照相機(jī)； （2）紅、綠和藍(lán)三種錐體細(xì)胞對不同頻率、亮度的光的感知程度不同； 3）自然界中的任何一種顏色都可以由R，G，B這三種之和來確定。

6、jpeg算法的主要步驟

正向離散余弦變換（FDCT）、量化、DC系數(shù)DPCM編碼和AC系數(shù)Z形排列之后采用RLE編碼、熵編碼

五、數(shù)字視頻技術(shù)

1、視頻的定義視頻就是利用人眼視覺暫留的原理，通過播放一系列的圖片，使人眼產(chǎn)生運(yùn)動的感覺（實(shí)際上就是系列圖片）。

2、運(yùn)動圖像的壓縮標(biāo)準(zhǔn)

（1）MPEG-1標(biāo)準(zhǔn)

目標(biāo)：CD-ROM上存儲的數(shù)字視頻 ，MPEG-1是1992年通過的用于 1.5Mbps速率的數(shù)字存儲媒體運(yùn)動圖像及伴音編碼標(biāo)準(zhǔn)。 MPEG-1主要應(yīng)用：光盤、數(shù)字錄音帶、磁盤、通信網(wǎng)絡(luò)以及VCD等。

（2）MPEG-2標(biāo)準(zhǔn) 目標(biāo)：數(shù)字電視

MPEG-2是1994年通過的一個直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標(biāo)準(zhǔn) 。 MPEG-2主要應(yīng)用：DVD、數(shù)字電視、視頻會議以及多媒體郵件等。

（3）MPEG-4標(biāo)準(zhǔn) 目標(biāo)：網(wǎng)絡(luò)環(huán)境下、交互式視頻

MPEG-4是1998年通過的用于低比特率(≤ 64kbps)的視頻壓縮編碼標(biāo)準(zhǔn)，注重基于視頻、音頻對象的交互。主要應(yīng)用：可視電話、實(shí)時多媒體監(jiān)控、網(wǎng)絡(luò)視頻流。

（4）MPEG-7標(biāo)準(zhǔn) MPEG-7規(guī)定一套描述符標(biāo)準(zhǔn)，用于描述各種多媒體信息，以便更快更有效地檢索信息。 主要應(yīng)用：數(shù)字圖書館、廣播媒體選擇、多媒體編輯以及多媒體索引服務(wù)

3、彩色數(shù)字電視的制式

（1）NTSC制式(正交平衡調(diào)幅制) ①525行/幀，30幀/秒 ②隔行掃描：2場/幀，262.5行/場 ③寬高比：4:3(電影為3:2) ④顏色模型：YIQ 采用于美國、日本、臺灣地區(qū)（2）PAL制式(倒相正交平衡調(diào)幅制) ①625行/幀，25幀/秒 ②隔行掃描：2場/幀，312.5行/場 ③寬高比：4:3 ④顏色模型：YUV 采用于中國、多數(shù)歐洲國家（3）SECAM制式(順序傳送彩色與存儲制) 類似PAL制式，色度信號調(diào)頻， SECAM制調(diào)幅 采用于法國、俄羅斯、中東國家。

4、圖像子采樣

5、CCIR 601電視圖像數(shù)字化標(biāo)準(zhǔn)

（1）采樣頻率

亮度信號采樣頻率：fs=13.5MHZ =625×25×N（PAL） 或 =525×29.97×N （NTSC）

色度信號采樣頻率 fc＝6.75MHZ 或 13.5MHZ

每行采樣點(diǎn)數(shù) N = 864 (PAL) ，858（NTSC）

對于所有制式，每個掃描行的有效樣本數(shù)均為720。

（2）數(shù)字信號取值范圍：

每個樣本點(diǎn)8位量化，亮度信號220級，色度信號225級，其他位作同步、編碼等空中用。（3）圖像子采樣格式： 4：4：4， 4：2：2、 4：1：1， 4：2：0

六、多媒體光存儲系統(tǒng)

1、光存儲系統(tǒng)

CD-ROM盤片: 只讀型光驅(qū)：即CD-ROM驅(qū)動器CD-R盤片: 一次可寫型光驅(qū)： “光盤刻錄機(jī)”CD-RW盤片: 可擦寫型光驅(qū)：“可擦寫光盤刻錄機(jī)”

2、光盤的光道結(jié)構(gòu)：CD盤的光道：光道是螺旋形光道 恒定線速度磁盤的磁道：同心環(huán)的磁道 恒定角速度

3、通道編碼

物理盤上數(shù)據(jù)和真正數(shù)據(jù)之間要作變換處理。 通道編碼的目的：為了改善讀出信號的質(zhì)量 為了在記錄信號中提取同步信號

4、CD-R/RW的讀寫原理

?刻錄CD-R盤的原理：刻錄機(jī)首先對寫激光進(jìn)行聚焦，然后照射、燒熔有機(jī)染料，形成光痕。 ?刻錄CD-RW盤的原理：采用高能激光，使染料層轉(zhuǎn)換為低反射的非結(jié)晶狀態(tài)，實(shí)現(xiàn)數(shù)據(jù)寫入； 采用中能激光，使染料層轉(zhuǎn)換為高反射率的結(jié)晶狀態(tài)，實(shí)現(xiàn)數(shù)據(jù)擦寫；（由于CD-RW盤片具有這種熱轉(zhuǎn)換性，因此可以反復(fù)改變記錄層的晶體狀態(tài)，達(dá)到多次重寫的目的，但因?yàn)椴牧系囊蛩兀w狀態(tài)改變的次數(shù)有限。）

5、DVD存儲容量的提高

減小激光波長、加大N.A.（數(shù)值孔徑）、減小光道間距、 減小最小凹凸坑長度、減小糾錯碼的長度、 修改信號調(diào)制方式、 加大盤片表面的利用率減小每個扇區(qū)字節(jié)數(shù)

七、多媒體網(wǎng)絡(luò)應(yīng)用

1、多媒體網(wǎng)絡(luò)應(yīng)用的例子（交互性由高到低）

因特網(wǎng)電話、實(shí)時電視會議、遠(yuǎn)程教育醫(yī)療；聲音點(diǎn)播、視頻點(diǎn)播、多媒體游戲；

網(wǎng)絡(luò)收音機(jī)、網(wǎng)絡(luò)電視；

2、流媒體的定義

應(yīng)用流技術(shù)在網(wǎng)絡(luò)上傳輸?shù)亩嗝襟w文件，而流技術(shù)就是把連續(xù)的影象和聲音信息經(jīng)過壓縮處理后放上網(wǎng)站服務(wù)器。

用戶一邊下載一邊觀看、收聽，而不需要等整個壓縮文件下載到自己機(jī)器后才可以觀看的網(wǎng)絡(luò)傳輸技術(shù)。

3、保證播放的連續(xù)性

?流媒體技術(shù)先在使用者端的電腦上創(chuàng)造一個緩沖區(qū)，于播放前預(yù)先下載一段資料作為緩沖，

?當(dāng)網(wǎng)路實(shí)際下載速度小于播放所耗用資料的速度時，播放程序就會取用這一小段緩沖區(qū)內(nèi)的資料，避免播放的中斷，也使得播放品質(zhì)得以維持。

4、流媒體系統(tǒng)的組成

編碼器、服務(wù)器、播放器

5、流媒體的傳輸方式

?點(diǎn)播:流媒體的源和目的地是一一對應(yīng)。 （主動連接）

?組播:源和目的地是一對多的關(guān)系，客戶端局限于組內(nèi)。 （被動連接）

?廣播:源和目的地也是一對多的關(guān)系，并不局限于組。 （被動連接）

6、常見的流媒體格式? rm\rv\rmvb格式 ? asf\wmv\wma格式 ? mov格式