作为消费者，我们对于各种形式的视频系统都已经了如指掌。不过，从嵌入式开发者的角度来看，视频技术就好象是一个具有不同的分辨率、格式、标准、信源和显示的复杂网络。
文章中，我们只对视频中的某些方面进行具体阐述，这些方面都是当今多媒体处理系统中比较常见的问题。首先，简要介绍视频方面的基本知识，然后，将会重点讨论一些在嵌入式多媒体设计中常见的问题，同时，也将针对一些具有挑战性的视频设计问题，提供一些技巧与窍门。
人类视觉感知
来讨论一些简单的生理学问题。正如我们将看到的那样，对我们的眼睛的工作原理的理解为视频和成像技术的发展铺设出一条重要的道路。
眼睛包含两种视觉细胞：杆状细胞和视锥细胞。杆状细胞主要对亮度信息敏感，而对颜色信息不敏感，它们使我们具备夜视能力。与此相反，视锥细胞对亮度并不敏感，但对400nm（紫光）～770nm（红光）波长范围内的光比较敏感。因此，这些视锥细胞使我们能够感知色彩。
视锥细胞有3种，每一种都带有不同的色素，分别对红光、绿光或者蓝光波长敏感，虽然这3种细胞的响应特性有重叠区域。总的说来，视锥细胞对波长在555nm左右的绿光区域最为敏感。这也就是为什么在LCD显示器中，绿色通道的分辨率高于红色和蓝色通道。
红色、绿色和蓝色视锥细胞的发现大大促进了三色理论的发展，该理论认为，任何一种有色光，可以通过不同比例的红光、绿光和蓝光的组合生成。
由于人眼含有的杆状细胞的数量要远多于视锥细胞，故眼睛对亮度的敏感度要高于对色彩的敏感度。这使得我们可以借助对色彩信息的子采样来节省视频和图像信息的带宽。
我们对亮度的感受特性是对数性的，而非线性的。换句话说，用于产生50％灰度图（恰好在全黑和全白之间的正中）所需的实际的光强仅为我们需要产生全白图像所需的光强的18％。这一特性在相机传感器和显示技术中尤为重要，正如我们将在后面的伽马校正中讨论的。此外，这一效应还将导致人眼对高亮度环境下的量化失真的感知度下降，导致这一特性被许多媒体编码算法所利用。
视觉方面的另一新奇之处在于，人眼可以适应环境，创建自己的白光参考，即使在低照明或者人工照明的情况下也是如此。因为摄像传感器自身并不具有这一特性，因此它需要使用参考量作为绝对白色，并对传感器进行调整，这一过程称为白平衡控制。
人眼对高频信息的敏感性要低于对低频信息。而且，虽然它可以检测出静态图像中细节和彩色部分的分辨率，但对于快速移动的图像，却无法做到这一点。于是，人们可以利用变换编码（DCT、FFT等）以及低通滤波技术来降低呈现一幅图像或者视频序列时所需的总带宽。
当图像的刷新速率低于50～60次/s时，我们的眼睛会感受到一种亮光“闪烁”的效应。在光线较暗的情况下，该频率值降低到24Hz。此外，我们更倾向于观察到大而均匀的区域内的闪烁，相比之下，对局部区域的闪烁敏感度较低。这些特性对于隔行视频、刷新速率和显示技术具有重要的潜在作用。
