利用FFmpeg解析音视频流,音视频流可以来自一个标准的RTMP的URL或者是一个文件. 通过解析得到音视频流,进一步就可以解码, 然后视频渲染在屏幕上,音频通过扬声器输出.

FFmpeg有非常强大的功能，包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。同时还支持以RTP方式将视频流传送给支持RTSP的流媒体服务器，支持直播应用。

手动编译打开x264功能的FFmpeg并放入新建的项目中,可以编译成功.以便后续使用.

iOS中编码视频数据,一般情况而言一个项目仅需要一个编码器,不过有时特殊需求可能需要两个编码器同时工作.本例中实现了编码器类.仅通过指定不同编码器的枚举值就可以快速生成需要的编码器,且支持两个编码器一起工作.

在移动端做音视频开发不同于基本的UI业务逻辑工作,音视频开发需要你懂得音视频中一些基本概念,针对编解码而言,我们必须提前懂得编解码器的一些特性,码流的结构,码流中一些重要信息如sps,pps,vps,start code以及基本的工作原理,而大多同学都只是一知半解,所以导致代码中的部分内容虽可以简单理解却不知其意,所以,在这里总结出了当前主流的H.264,H.265编码相关的原理,以供学习.

本例最终实现的是通过Audio Queue采集到AAC压缩数据,将其解码为PCM数据,并将解码后的PCM数据以录制的形式保存在沙盒中.可调整解码后采样率,解码器类型等参数.

iOS中将采集到的原始音频数据(PCM)进行编码以得到压缩数据类型(AAC...).

对于整个iOS体系中音视频众多框架,我们不应该盲目选择,针对音视频的采集录制,需要根据自己的实际需求选择最适合项目的API,以致于最高效的完成项目任务.

iOS中使用Audio unit实现音频数据采集,直接采集PCM无损数据, Audio Unit不能直接采集压缩数据,在以后的文章会讲到音频压缩.

使用Audio File中的API可以将我们采集到的音频数据录制成音频文件,这里采集到的数据包括从Audio Queue/Audio Unit直接采集或Audio Converter间接转换得到的音频数据.