流媒体是什么(流媒体是不是在线播放)

流媒体背景

目前音频、视频、流媒体无处不在，直播也流行了好几年。在接下来的时间里，人们的聊天已经不仅仅满足于文字，更多的是“面对面”的交流，可以实时感知对方的表情和动作。因此，有必要紧跟时代潮流，对流媒体进行梳理。

什么是流媒体？流媒体是指通过流媒体技术在网络上实时连续播放的媒体格式，如音频、视频或多媒体文件。流媒体技术也叫流媒体技术。那么音视频就是流媒体的核心。

音视频常见术语定义规范音视频组成

一个完整的视频文件包括音频、视频和基本元信息。我们常见的视频文件，如mp4、mov、flv、avi、rmvb等。，都是一个容器的包装，里面包含了音频和视频两部分，都是通过一些特定的编码算法进行编码和压缩的。

H264，Xvid等。都是视频编码格式，还有MP3，AAC等。是音频编码格式。例如，将Xvid视频编码文件和MP3音频编码文件按照AVI封装标准封装后，得到一个带有AVI后缀的视频文件。

因此，视频转换需要设置的本质是

设置需要的视频编码设置需要的音频编码选择需要的容器封装

完整的视频转换设置至少包括上述三个步骤。

编码格式

音频编码格式

音频编码格式如下

AACAMRPCMogg(ogg vorbis音频)AC3(DVD 专用音频编码)DTS(DVD 专用音频编码)APE(monkey’s 音频)AU(sun 格式)WMA

音频编码方案(AAC、MP3、WMA等)之间的音质比较。)结果:AAC+>:MP 3 pro & gt；AAC & gtRealAudio & gtWMA & gt；MP3文件

目前，最常见的音频格式是MP3、AC-3、ACC，而Mp3是支持最广泛的。AC-3是杜比公司的技术，ACC是MPEG-4的音频标准，ACC是目前比较先进和有优势的技术。相应的，知道最常见的音频格式有几种就够了。

视频编码格式

视频编码标准有两大体系:MPEG-4-2-1和ITU-T。有两个国际组织制定了视频编码和解码技术。一个是ITU-T，制定H.261，H.263，H.263+，H.264等标准，一个是ISO，制定。

常见的编码格式有:

Xvid(MPEG4)H264 （目前最常用编码格式）H263MPEG1，MPEG2AC-1RM，RMVBH.265（目前用的不够多）

目前最常见的视频编码方法的一般性能排名基本是:MPEG-1/-2 < WMV/7/8 & lt；RM/RMVB & lt；xvid/Divx & lt；AVC/H.264(从低到高，不一定完全准确)。

在H.265出来之前，H264是压缩率最高的视频压缩格式。其优点是:

低码率（Low Bit Rate）：和MPEG2和MPEG4 ASP等压缩技术相比，在同等图像质量下，采用H.264技术压缩后的数据量只有MPEG2的1/8，MPEG4的1/3。高质量的图象 ：H.264能提供连续、流畅的高质量图象（DVD质量）。容错能力强 ：H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。网络适应性强 ：H.264提供了网络抽象层（Network Abstraction Layer），使得H.264的文件能容易地在不同网络上传输（例如互联网，CDMA，GPRS，WCDMA，CDMA2000等）。

H.264最大的优势是数据压缩率高。在相同画质下，H.264的压缩比是MPEG-2的2倍以上，MPEG-4的1.5 ~ 2倍。比如原文件大小为88GB，经过MPEG-2压缩后变成3.5GB，压缩比为25∶1，而经过H.264压缩后变成879MB，从88GB变成879MB，H.264的压缩比达到惊人的102∶1。低比特率对H.264的高压缩比有重要作用，与MPEG-2、MPEG-4 ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量费用。特别是H.264压缩比高，图像质量高，平滑。正因为如此，H.264压缩的视频数据需要的带宽更少，在网络传输过程中更经济。

目前常见的这些视频编码格式，其实都属于有损压缩，包括H264，H265，也是有损编码。有损编码只有在保证质量的情况下，才能达到更高的压缩率和更小的体积。

存储封装格式

目前，市场上常见的存储包格式如下:

AVI (.avi)ASF（.asf)WMV (.wmv)QuickTime ( .mov)MPEG (.mpg / .mpeg)MP4 (.mp4)m2ts （.m2ts / .mts )Matroska （.mkv / .mks / .mka )RM ( .rm / .rmvb)TS/PS

AVI: mpeg-2、divx、xvid、wmv3、wmv4、AC-1、h.264都有。

WMV: WMV3，WMV4，AC-1 AC-1都有。

RM/RMVB:提供RV40、RV50、RV60、RM8、RM9、rm10和RM10。

MOV: MPEG-2，MPEG-4-ASP (XVI ID)，H.264都可以。

MKV:所有

视频码率、帧率、分辨率

编码速率

数据速率是指单位时间内视频文件使用的数据流，也称为码率或码率。通俗的理解就是采样率，采样率是视频编码中画质控制最重要的部分。一般我们用的单位是kb/s或者MB/s，一般来说，在同样的分辨率下，视频文件的码流越大，压缩比越小，画质越高。码流越大，单位时间的采样率越高，数据流和精度越高，处理后的文件越接近原文件。画质越好，画质越清晰，对播放设备的解码能力要求越高。

当然，比特率越大，文件越大，其计算公式为文件大小=时间x比特率/8。比如网络上常见的90分钟1Mbps比特率的720P RMVB文件的容量=5400秒× 1 Mbps/8 = 675 MB。

一般来说，一个视频文件包括画面(视频)和声音(音频)。例如，RMVB视频文件包含视频信息和音频信息。音频和视频有不同的采样方式和码率，即同一视频文件中音频和视频的码率不一样。我们所说的视频文件比特率，一般是指一个视频文件中音频和视频信息的比特率之和。

英国制药学会会员

帧速率也称为FPS(每秒帧数)-每秒帧数。指的是每秒刷新图像的帧数，也可以理解为图形处理器每秒可以刷新几次。帧率越高，可以获得更流畅、更真实的动画。每秒帧数(FPS)越多，显示的动作就越流畅。

关于帧速率有以下几个基本数据:

帧率越高，cpu消耗就高秀场视频直播，一般帧率20fps普通视频直播，一般帧率15fps

分解率

视频分辨率是指视频成像产品所形成图像的大小或维度。常见的视频分辨率有352×288、176×144、640×480和1024×768。在成像的两组数字中，前者是图像的长度，后者是图像的宽度。图像的像素是两者相乘得到的，长宽比一般是4: 3。

480P: 640 x 480像素

720像素:1280 x 720像素

1080P: 1920 x 1080像素

然后你需要注意每个像素的存储格式和每个像素占用的字节大小。

图像存储格式yuv

彩色图像的基本元素是什么？

1.宽度:一行有多少像素。

2.高度:一列多少像素，一帧多少行？

3.YUV格式还是RGB格式？

4.一行有多少字节？？

5.图像大小是多少？

6.图像的分辨率是多少？

说白了，一个图像包含的基本东西就是二进制数据，它的容量其实就是二进制数据的量。一张1920x1080像素的YUV422的图像是1920X1080X2=4147200(十进制)，大小是3.95M。这个大小与像素数和数据的存储格式有关。

YUV与像素的关系：

YUV格式，类似于大家熟知的RGB，也是一种颜色编码方式，主要应用于电视系统和模拟视频领域。它将亮度信息(Y)和颜色信息(UV)分开，可以显示没有UV信息的完整图像，只有黑白。这种设计解决了彩色电视机和黑白电视机的兼容问题。而且YUV不需要像RGB一样同时传输三个独立的视频信号，所以YUV传输占用的带宽非常少。

YUV格式有两类:平面和打包。对于平面的YUV格式，首先连续存储所有像素的Y，然后是所有像素的U，最后是所有像素的V。对于打包的YUV格式，每个像素的Y、U、V连续交替存储。

YUV，分为三个分量，“Y”表示亮度(亮度或Luma)，即灰度值；而“U”和“V”代表色度(chroma或chroma)，用来描述图像的颜色和饱和度，并指定像素的颜色。

YUV用一个亮度(Y)和两个色差(U，V)代替传统的RGB三原色来压缩图像。传统的RGB三原色用红、绿、蓝三原色来表示一个像素，每个原色占用一个字节(8bit)，所以一个像素用RGB表示需要8 * 3=24bit。

如果用YUV来表示这个像素，假设YUV的采样率为4: 2: 0，即每个像素对于亮度Y的采样频率为1，对于色差U和V，每相邻两个像素取一个U和V。对于单个像素，色差U和V的采样频率是亮度的一半。如果有三个相邻的像素，如果用RGB三原色表示，需要占用:8 * 3 * 3 = 72bits；如果采用YUV (4: 2: 0)，只需要占用:8 * 3(y)+8 * 3 * 0.5(u)+8 * 3 * 0.5(v)= 36比特。只需要一半的原空空间来表现原图像，数据速率翻倍，图像效果基本不变。

那么，具体yuv格式占用的字节数怎么算呢？

YUV图像格式的内存大小4:4:4 表示色度值(UV)没有减少采样。即Y,U,V各占一个字节，加上Alpha通道一个字节，总共占4字节.这个格式其实就是24bpp的RGB格式了。4:2:2 表示UV分量采样减半,比如第一个像素采样Y,U,第二个像素采样Y,V,依次类推,这样每个点占用2个字节.二个像素组成一个宏像素.需要占用的内存：w * h * 24:2:0 这种采样并不意味着只有Y，Cb而没有Cr分量，这里的0说的U，V分量隔行才采样一次。比如第一行采样 4:2:0 ,第二行采样 4:0:2 ,依次类推...在这种采样方式下，每一个像素占用16bits或10bits空间.内存则是：yyyyyyyyuuvv需要占用的内存：w * h * 3 / 24:1:1 可以参考4:2:2分量，是进一步压缩，每隔四个点才采一次U和V分量。一般是第1点采Y,U,第2点采Y,第3点采YV,第4点采Y,依次类推。

帧率、码率与分辨率之间关系

比特率和帧速率之间没有关系。

比特率与带宽和文件大小有关。

帧率与画面流畅度和cpu消耗有关。

分辨率与图像大小和清晰度有关。

视频文件大小为5.86M，播放时间为3分7秒。

1，该文件对应的码率就是5.86 * 1024 * 1024 * 8 / (3 * 60 + 7) = 262872.95657754bps2，10M独享带宽能支撑的同时在线人数10 * 1024 * 1024 / 262872.95657754 = 39.8890784982943， 支撑1000人同时在线的系统最少需要的带宽数为262872 * 1000 / (1024 * 1024) = 250.69427490234M

10min，流量消耗41587KB。

41587/10 * 60 = 69KB/s = 69 * 8kb/s = 532 Kb/s

最终码率为532Kb/s..

输出文件大小公式

一个音频编码速率为128Kbps，视频编码速率为800Kbps的文件，总编码速率为928Kbps，这意味着编码后的数据需要用每秒928 kbps来表示。

文件大小公式:

(音频编码速率(KBit)/8+视频编码速率(KBit) /8)×影片总长度(秒)=文件大小(MB)

一帧图像大小

帧图像的原始大小=宽像素*长像素。当然要考虑数据格式，因为数据格式不一样，大小写不一样。数据一般为rgb和yuv格式，如rgb32、yuv420、yuv422等。最常用的应该属于yuv420。因此，计算公式为:

文件字节数=图像分辨率*图像量化位数/8

图像分辨率= x方向的像素数* y方向的像素数

图像量化数=二进制颜色位数

RGB24每帧的大小是

大小=宽×高×3位

RGB32每帧的大小是

尺寸=宽×高×4

YUV420每帧的大小是

大小=宽×高×1.5位

例如，对于一个1024*768的图像，实际的YUV422数据流大小为:1024 *768 * 2 = 1572864bit。

音频采样率、位数

1.声道数:声道数是音频传输的重要指标，现在主要分为单声道和双通道。双声道又称立体声，在硬件上占两条线，音质和音色都很好。但是数字化后，立体声占用的空是单声道的两倍。

2.量化位:量化位将模拟音频信号的幅度轴数字化，决定了数字化后模拟信号的动态范围。因为计算机是按字节运算的，所以一般的量化位是8位和16位。量化比特越高，信号的动态范围越大，数字化的音频信号越有可能接近原始信号，但所需的存储器空也越大。

3.采样率:也称为采样速度或采样频率，定义每秒钟从连续信号中提取的由离散信号组成的样本数。它用赫兹(Hz)表示。采样率是指模拟信号转换成数字信号时的采样频率，即单位时间内采样多少点。一个采样点数据有多少位？比特率是指每秒传输的比特数。单位是bps(比特每秒)。比特率越高，传输的数据越大，音质越好。

采样率的选择要遵循哈利·奈奎斯特的采样理论(如果对一个模拟信号进行采样，采样后可以恢复的最高信号频率只有采样频率的一半，或者只要采样频率高于输入信号最高频率的两倍，就可以从采样信号序列中重构出原始信号)。根据采样理论，CD光盘的采样频率为44kHz，可录制的最高音频为22kHz。这种音质和原声相差无几，也就是我们常说的超高保真音质。通信系统中数字电话的频率通常为8kHz，与原来的4k带宽声音一致。

比特率(音频)=采样率x使用的位数x通道数。

以电话为例，每秒3000个样本，每个样本7比特，那么电话的比特率是21000。而CD是每秒44100个样本，两个通道，每个样本都是13位的脉码调制，所以CD的比特率是44100213 = 1146600，也就是说CD每秒的数据量大约是144KB，一张CD的容量是74分钟等于4440秒，也就是639,360 KB = 640 MB。

I帧、P帧、B帧、IDR帧

I:帧内编码帧

一、框架特征:

它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;解码时仅用I帧的数据就可重构完整图像;I帧描述了图像背景和运动主体的详情;I帧不需要参考其他画面而生成;I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;I帧不需要考虑运动矢量;I帧所占数据的信息量比较大。

p帧:前向预测编码帧

P帧预测重建:P帧以I帧为基础，在I帧中找到P帧“某一点”的预测值和运动矢量，将预测差和运动矢量一起发送。在接收端，根据运动矢量，从I帧中找出P帧“某一点”的预测值，将预测值加上差值，得到P帧“某一点”的样本值，这样就可以得到一个完整的P帧。也称为预测帧(predictive-frame)，也称为预测帧(predictive frame)，通过完全压缩比图像序列中前一编码帧更低的时间冗余信息，以传输的数据量压缩编码图像。

p帧特征:

P帧是I帧后面相隔1~2帧的编码帧;P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;由于P帧是参考帧,它可能造成解码错误的扩散;由于是差值传送,P帧的压缩比较高。

b:双向预测插值编码帧。

B帧的预测重建:B帧以前一个I或P帧和后一个P帧为参考帧，“找出”B帧中“某一点”的预测值和两个运动矢量，取预测差和运动矢量进行传输。接收端根据运动矢量“找出(计算出)”两个参考帧中的预测值，将预测值与差值相加，得到B帧的“某点”样本值，从而得到完整的B帧。也称为双向内插预测帧，也称为双向预测帧，它考虑了源图像序列前面的编码帧和源图像序列后面的编码帧之间的时间冗余信息，用传输数据压缩编码图像。

b .框架特征:

B帧是由前面的I或P帧和后面的P帧来进行预测的;B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量;B帧是双向预测编码帧;B帧压缩比最高,因为它只反映丙参考帧间运动主体的变化情况,预测比较准确;B帧不是参考帧,不会造成解码错误的扩散。

IDR框架

Idr(即时解码刷新)-即时解码刷新。

和I IDR帧都使用帧内预测。它们都是一样的东西。为了编解码的方便，第一个I帧要和其他I帧区分开来，所以第一个I帧称为IDR，方便控制编解码过程。IDR帧的作用是立即刷新，使错误不会扩散。从IDR帧开始，重新计算新的序列以开始编码。而I-frame不具备随机接入的能力，由IDR承担。IDR会导致DPB(DecodedPictureBuffer参考帧列表——这是关键)清零空，而我不会。IDR图像一定是I图像，但是I图像不一定是IDR图像。一个序列中可以有多个I画面，I画面之后的画面可以参考I画面之间的画面进行运动参考。一个序列中可以有多个I画面，I画面之后的画面可以参考I画面之间的画面进行运动参考。

对于IDR帧，IDR帧之后的所有帧都不能引用IDR帧之前的任何帧的内容。相反，对于普通I帧，B帧及其之后的P帧可以参考普通I帧之前的I帧。从随机存取视频流中，播放器总是可以从IDR帧开始播放，因为在它之后没有帧参考前一帧。但是，如果没有IDR帧，就不能从视频中的任何一点开始播放，因为后面的帧总是引用前面的帧。

总结

I代表关键帧，你可以理解为这个帧的完全保留；解码时只需要这一帧的数据(因为包含了完整的画面)。

P帧表示该帧与前一关键帧(或P帧)之间的差异。解码时，需要将该帧中定义的差值与之前缓存的图片叠加，生成最终图片。(也就是差帧，P帧没有完整的画面数据，只有与前一帧不同的数据)。

B帧是双向差帧，即B帧记录了当前帧与前一帧的差。换句话说，为了解码帧B，不仅需要获得先前缓存的图片，还需要获得后续图片，并且通过将先前和后续图片与当前帧数据叠加来获得最终图片。b帧压缩率高，但是解码的时候CPU会累~。

PTS:演示时间戳.PTS主要用于测量解码后的视频帧何时显示。

解码时间戳.DTS主要识别读入内存的比特流何时开始发送到解码器进行解码。

DTS主要用于视频解码。PTS主要用于解码阶段的视频同步和输出。它用于展示。没有B帧，DTS和PTS的输出顺序是一样的。

GOP

两个iframe组成一个GOP，在x264中，bf的大小可以同时用参数设置，即I和P或者两个P之间B的个数，如果有B帧，那么一个GOP的最后一帧一定是P .

一般来说，I的压缩比是7(类似JPG)，P是20，B可以达到50。可以看出，使用B帧可以节省很多空帧，节省下来的空帧可以用来节省更多的I帧，在相同的码率下可以提供更好的图像质量。在比特率不变的前提下，GOP值越大，P帧和B帧的数量就会越多，每个I帧、P帧和B帧平均占用的字节数也会更多，更容易获得更好的图像质量。参考越大，B帧越多，越容易获得更好的画质。

如果一个GOP中丢失了I帧，那么后面的P帧和B帧就没用了，所以必须丢失。然而，一般的策略将确保I帧不丢失(例如通过tcp协议)。如果采用UDP，会有更多的策略保证I帧的正确传输。

多媒体数字信号编解码器

硬编解码器

硬件编解码可以减轻CPU计算负担，比如GPU。

软编解码器

如H264、H265、MPEG-4等编解码算法，这些算法对CPU的消耗比较大。

数据优化

数据优化与编码和解码算法密切相关。一般而言

视频帧大小

一般I 帧的压缩率是7，P 帧是20，B 帧可以达到50 (数据不精确)P帧大概是3~4KB (480P, 1200k码率, baseline profile)

音频帧大小

(采样频率（Hz）* 采样位数（bit）* 声道数)/ 848000hz大概经过AAC压缩后，应该是12KB/s左右流媒体传输协议

常用的流媒体协议主要有HTTP渐进式下载和基于RTSP/RTP的实时流媒体协议，两者基本上是完全不同的。

CDN直播中常用的流媒体协议有RTMP、HLS和HTTP FLV。

RTP，RTCP

实时传输协议，RTP协议常用于流媒体系统(用RTCP协议)、视频会议和一键通系统(用H.323或SIP)，使其成为IP电话行业的技术基础。RTP与RTP控制协议RTCP一起使用，它基于UDP协议。

实时传输控制协议(RTP控制协议或RTCP)是实时传输协议的姐妹协议。RTCP为RTP媒体流提供信道外控制。RTCP本身并不传输数据，而是与RTP合作打包发送多媒体数据。RTCP定期在流式多媒体会话的参与者之间传输控制数据。RTCP的主要功能是为RTP提供的服务质量提供反馈。

IPTV领域经常使用RTSP+RTP。它使用UDP传输视频和音频，支持组播，效率高。但它的缺点是网络不好时可能会出现丢包，影响视频观看质量。

总结

RTMP

RTMP(实时消息协议)是由Adobe Systems开发的一种开放式协议，用于在Flash player和服务器之间传输音频、视频和数据。

它有三个变种:

工作在TCP之上的明文协议，使用端口1935；RTMPT封装在HTTP请求之中，可穿越防火墙；RTMPS类似RTMPT，但使用的是HTTPS连接；

总结:RTMP协议是基于TCP实现的，每一刻的数据都会在收到后立即转发，一般延迟1-3s左右。

HLS

HTTP Streaming (HLS)是Apple Inc .实现的基于HTTP的流媒体传输协议，可以实现流媒体直播和点播。HLS VOD基本上就是常见的分段式HTTP VOD。不同的是它的段很小。基本原理是将视频或流切割成小块(TS)并建立索引(M3U8)。

相比常见的流媒体直播协议，如RTMP协议、RTSP协议、MMS协议等。，HLS直播最大的区别在于直播客户端获得的不是完整的数据流。HLS协议在服务器端将直播数据流存储为连续的、短时长的媒体文件(MPEG-TS格式)，而客户端则连续下载并播放这些小文件，因为服务器端总是从最新的直播数据中生成新的小文件，这样客户端只要不断按顺序播放从服务器获取的文件就可以实现直播。所以基本上可以认为HLS是点播实现直播的技术途径。由于数据通过HTTP协议传输，完全不需要考虑防火墙或代理，分段文件长度很短，客户端可以快速选择和切换码率，适应不同的带宽条件。但HLS的这种技术特性决定了它的时延总是高于普通直播流媒体协议。

总结:HLS协议是基于HTTP短连接实现的。它采集一段时间的数据，生成ts切片文件，然后更新m3u 8(HTTP直播流的索引文件)，一般延迟超过10s。

HTTP-FLV

HTTP-FLV基于HTTP长连接。像RTMP，每时每刻的数据都是收到后立即转发，但它使用的是HTTP协议，一般延迟1-3s。

加拿大

CDN的架构设计非常复杂。不同的CDN厂商都在不断优化自己的架构，所以架构不可能统一。这里只是对一些基本架构的简要分析。

CDN主要包括:源站、缓存服务器、智能DNS、客户端等。

来源:指内容发布的原始站点。网站文件的添加、删除、更改都是在源站上完成的；此外，缓存服务器捕获的所有对象都来自源站。直播的话，源站就是主播客户端。

缓存服务器:直接提供给用户访问的站点资源，由一台或多台服务器组成；当用户发起访问时，他的访问请求由智能DNS定位到他附近的缓存服务器。如果用户请求的内容恰好在缓存中，则直接将内容返回给用户；如果访问所需的内容没有被缓存，缓存服务器从相邻的缓存服务器或直接从源站抓取内容，然后返回给用户。

智能DNS:是整个CDN技术的核心。它根据用户的来源和缓存服务器的当前负载，将其访问请求定向到离用户较近、负载较小的缓存服务器。通过智能DNS解析，让用户以较小的负载访问同一服务商下的服务器，可以消除网络访问慢的问题，加快速度。

客户端:发起访问的普通用户。对于直播来说，就是观众客户端。

弱网优化

弱网络优化策略包括以下内容:

播放器Buffer丢帧策略 (优先丢P帧，其次I帧，最后音频)自适应码率算法双向链路优化音频FEC冗余算法(20%丢包率）

下拉框架

在网络弱的情况下，为了达到更好的体验，可能会采取丢帧的策略，但是怎么丢帧呢？丢失音频帧还是视频帧？因为视频帧比较大，而且视频帧的前后是有关联的；音频帧非常小。关键是音频帧是连续采样的。如果音频帧丢失，声音将明显有缺陷。因此，一般的丢帧策略是丢视频帧。

自适应比特率

在网络较弱的情况下，另一个可靠的策略是自适应比特率算法，通过设置将比特率降低到多个级别。这样在网络不好的时候，可以通过降低比特率来预测。如果降低后比特率不足以缓冲buffer buffer，则是一个循环检测过程。如果再降一级后buffer buffer足够了，说明当前网络可以适应这个比特率，所以会采用当前的比特率。同样，升档也是一样。但这是厂商的核心算法，

实时聊天的挑战

简单估算一下大概的网络延迟。众所周知，在true 空中光速约为30万km/s，而在其他介质中，光速会大大降低。所以在普通光纤中，工程上一般认为传输速度是20万km/s。现实中，可以参考以下内容:

实时聊天的挑战主要在于以下几点:

实时性: 600ms以内网络的不对称性距离常见问题和解决方案出现花屏、绿屏问题

声音网络传输中的采集问题、编解码问题、丢帧问题。

声画不同步

集合问题，或者公有云SDK问题。

画面有时候有点糊

弱网络，比特率适配

有声音没有画面

薄弱的网络触发了帧丢弃策略。

画面播放有时候卡顿

CPU消耗过多导致停滞，比如AR模块。

弱网

网络连接不上

弱网

要么代码有Bug，要么公有云SDK有Bug。

出现马赛克现象？

像不像花屏？

TODO

其他常见指标和问题解决方案

最后推荐一个音视频进价课程学习路线

后台关注回复:1。有音视频开发相关教程。

本文来源为掘金作者吴德宝AllenWu，如侵，联合删除。