作为直播平台搭建中的核心功能,音视频处理的一般流程:
直播客户端分为两个端:共享端和观看端。其中共享端又包含:音视频采集,音视频编码两个模块,我们需要对每个模块做的事情非常清楚。
音视频采集:摄像机及拾音器收集视频及音频数据,此时得到的为原始数据涉及技术或协议。
音视频编码:我们采集到音视频之后并不能直接传输,因为这个数据太大了,超出了我们网路的设备的负载。因此我们必须对这些数据进行压缩后再进行传输,这个压缩的过程就是对音视频的编码处理。
音视频传输:编码时候,我们就需要把数据传输到对端,早期的音视频通过同轴电缆之类的线缆进行传输,IP网络发展后,使用IP网络优传输。
音视频解码:对端收到传输的数据后,需要对编码的数据进行解码,把压缩的数据还原后才能进行播放渲染。解码这块是跟编码相对应的,用什么方式编码,就需要用对应的方式解码。
播放显示:在显示器(电视、监视屏等)或扬声器(耳机、喇叭等)里,显示相应的图像画面或声音。