视频编码格式：YUV

像素格式描述了像素数据存储所用的格式，定义了像素在内存中的编码方式。RGB和YUV为两种经常使用的像素格式。

RGB格式
一般较为熟悉，RGB图像具有三个通道R、G、B，分别对应红、绿、蓝三个分量，由三个分量的值决定颜色；通常，会给RGB图像加一个通道alpha，即透明度，于是共有四个分量共同控制颜色。

YUV格式
(YCrCb)是指将亮度参量Y和色度参量U/V分开表示的像素格式，主要用于优化彩色视频信号的传输。
YUV像素格式来源于RGB像素格式，通过公式运算，YUV三分量可以还原出RGB，YUV转RGB的公式如下：

R = Y + 1.403V
G = Y - 0.344U - 0.714V
B = Y + 1.770U

一般，将RGB和YUV的范围均限制在[0, 255]间，则有如下转换公式：

R = Y + 1.403(V - 128）
G = Y - 0.344(U - 128) - 0.714(V - 128)
B = Y + 1.770(U - 128)

鉴于RGB格式已经见得见多，本文主要总结YUV常见的几种像素格式。

 

计算YUV420p的大小：

sintel_480x272_yuv420p.yuv， 125帧数据

windows统计的文件大小是23.3 MB (24,480,000 bytes)

计算方法如下： 480 * 272 * 125 * 3 / 2  = 24,480,000

 

YUV采样

YUV相比于RGB格式最大的好处是可以做到在保持图像质量降低不明显的前提下，减小文件大小。TUV格式之所以能够做到，是因为进行了采样操作。

YUV码流的存储格式与其采样方式密切相关，主流的采样方式有三种：YUV 4:4:4**(YUV444)，YUV 4:2:2(YUV422)，YUV 4:2:0(YUV420)**。

若以以黑点表示采样该像素点的Y分量，以空心圆圈表示采用该像素点的UV分量，则这三种采样方式如下：

即：

• YUV 4:4:4采样，每一个Y对应一组UV分量。

• YUV 4:2:2采样，每两个Y共用一组UV分量。

• YUV 4:2:0采样，每四个Y共用一组UV分量。

YUV存储格式

YUV存储可以分为两种：packed（打包）和planar（平面）；

• packed：Y、U、V分量穿插着排列，三个分量存在一个Byte型数组里；

• planar：Y、U、V分量分别存在三个Byte型数组中；

常见的像素格式

1.YUV422：YUYV、YVYU、UYVY、VYUY

这四种格式每一种又可以分为2类（packed和planar），以YUYV为例，一个6*4的图像的存储方式如下：

Y Y Y Y Y Y                   
Y Y Y Y Y Y                  
Y Y Y Y Y Y                   
Y Y Y Y Y Y                    
U U U U U U                  Y U Y V Y U Y V Y U Y V
U U U U U U                  Y U Y V Y U Y V Y U Y V
V V V V V V                  Y U Y V Y U Y V Y U Y V
V V V V V V                  Y U Y V Y U Y V Y U Y V
- Planar -                          - Packed -

 YUYV转YUV422p

    int count = 0;
    AVPacket pkt;
    while((ret = av_read_frame(fmt_ctx, &pkt)) == 0 && count++ < 200)
    {
        av_log(NULL, AV_LOG_INFO, "packet size is %d\n", pkt.size);
        //yuyv--->yuv422p
        //ffplay -video_size 640x480 -pixel_format yuv422p ~/Videos/video.yuv
        int len = WIDHT * HEIGHT;
        for(int i = 0;i < len; i++){
            avframe->data[0][i] = pkt.data[i*2];//Y
        }
        len = WIDHT * HEIGHT / 2;
        for(int i = 0;i < len; i++)
        {
            avframe->data[1][i] = pkt.data[i*4 + 1];//Cb
            avframe->data[2][i] = pkt.data[i*4 + 3];//Cr
        }
        fwrite(avframe->data[0], 1, WIDHT * HEIGHT, outfile);
        fwrite(avframe->data[1], 1, WIDHT * HEIGHT/2, outfile);
        fwrite(avframe->data[2], 1, WIDHT * HEIGHT/2, outfile);
        fflush(outfile);
    }

YUYV转YUV420p

    int base = 0;
    while((ret = av_read_frame(fmt_ctx, &pkt)) == 0 && count++ < 200)
    {
        av_log(NULL, AV_LOG_INFO, "packet size is %d\n", pkt.size);
 
        //ffplay -video_size 640x480 -pixel_format yuv420p ~/Videos/video.yuv
 
        int len = WIDHT * HEIGHT;
        for(int i = 0;i < len; i++){
            avframe->data[0][i] = pkt.data[i*2];//Y
        }
 
        //yuyv 序列为YU YV YU YV，一个yuv422帧的长度 width * height * 2 个字节
        //yuyv --- >yuv420p丢弃偶数行 u v
        int cnt = 0;
        for(int i = 0; i < HEIGHT; i += 2)
        {
            for(int j = 0; j < WIDHT/2; j++)
            {
                avframe->data[1][cnt] = pkt.data[i * WIDHT * 2 + j * 4 + 1];//Cb
                avframe->data[2][cnt++] = pkt.data[i * WIDHT * 2 + j * 4 + 3];//Cr
            }
        }
        fwrite(avframe->data[0], 1, WIDHT * HEIGHT, outfile);
        fwrite(avframe->data[1], 1, WIDHT * HEIGHT/4, outfile);
        fwrite(avframe->data[2], 1, WIDHT * HEIGHT/4, outfile);
 
        //important!!!
        avframe->pts = base++;
 
        encode(codec_ctx, avframe, newpkt, encode_file);
        fflush(outfile);
 
    }

 

2. YUV420

• YUV420p: I420、YV12

• YUV420sp: NV12、NV21

同样，对于一个6*4的图像，这四种像素格式的存储方式如下：

Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
U U U U U U      V V V V V V      U V U V U V      V U V U V U
V V V V V V      U U U U U U      U V U V U V      V U V U V U
 - I420 -          - YV12 -         - NV12 -         - NV21 -

注：

• I420、YV12三个分量均为平面格式，即分别存在三个Byte型数组中；

• NV12、NV21的存储格式为Y平面，UV打包，即Y信息存储在一个数组中，UV信息存储在一个矩阵中。