本文主要介绍Android上可以进行音频(PCM)播放的两个组件–AudioTrack/OpenSL ES的简单使用方法。

对一个音频文件(如MP3文件),如何使用FFmpeg进行解码获取到PCM,之前的文章已经有相应的说明:
https://blog.csdn.net/myvest/article/details/89254452。
那么解码后或者mic采集的PCM数据,是如何播放的呢,首先一般会对PCM数据进行重采样,也即是转换为指定的格式。重采样可以参考:https://blog.csdn.net/myvest/article/details/89442000

最后,进入本文主题,介绍AudioTrack/OpenSL ES的简单使用方法。

1 AudioTrack简介

AudioTrack是Android系统中管理和播放单一音频资源的类,Android提供了java层及native层的api,使用也比较简单,一般我推荐使用这个组件播放。
但需要注意的是,它仅能播放已经解码出来的PCM数据。

1.1 使用方法及API简介

我们以java端的api为例(native层基本一致),AudioTrack使用方法如下:
1、创建:

public AudioTrack(int streamType, int sampleRateInHz, int channelConfig, int audioFormat,
            int bufferSizeInBytes, int mode);

参数说明:
1)int streamType:指定即将播放的声音类型,对于不同类型,Android的audio系统会有不同处理(如音量等级不同,音量控制不同等),一些常见类型如下,对于音乐文件,我们使用STREAM_MUSIC

  • STREAM_ALARM:警告声
  • STREAM_MUSIC:音乐声,例如music等
  • STREAM_RING:铃声
  • STREAM_SYSTEM:系统声音,例如低电提示音,锁屏音等
  • STREAM_VOCIE_CALL:通话声

AudioTrack有两种数据加载模式(MODE_STREAM和MODE_STATIC),对应的是数据加载模式和音频流类型, 对应着两种完全不同的使用场景。

2)int sampleRateInHz:采样率
3)int channelConfig:音频声道对应的layout,如立体声是AudioFormat.CHANNEL_OUT_STEREO
4)int audioFormat:音频格式
5)int bufferSizeInBytes:缓冲区大小
缓冲区大小可以通过函数getMinBufferSize获取,传入采样率、声道layout、音频格式即可,如下:

public AudioTrack.getMinBufferSize(sampleRateInHz, channelConfig, audioFormat);

6)int mode:数据加载模式(MODE_STREAM和MODE_STATIC),两种模式对应着两种不同的使用场景

  • MODE_STREAM:在这种模式下,通过write一次次把音频数据写到AudioTrack中。这和平时通过write系统调用往文件中写数据类似,但这种工作方式每次都需要把数据从用户提供的Buffer中拷贝到AudioTrack内部的Buffer中,这在一定程度上会使引入延时。为解决这一问题,AudioTrack就引入了第二种模式。
  • MODE_STATIC:这种模式下,在play之前只需要把所有数据通过一次write调用传递到AudioTrack中的内部缓冲区,后续就不必再传递数据了。这种模式适用于像铃声这种内存占用量较小,延时要求较高的文件。但它也有一个缺点,就是一次write的数据不能太多,否则系统无法分配足够的内存来存储全部数据。

2、启动:

public AudioTrack.play();

3、数据注入:

public int write(byte[] audioData, int offsetInBytes, int sizeInBytes);

参数比较简单,数据、偏移、size

4、停止:

public AudioTrack.stop();		

5、释放:

public   AudioTrack.release();

6、获取状态:
STATE_INITIALIZED和STATE_UNINITIALIZED就不用说明了。STATE_NO_STATIC_DATA是个中间状态,当使用MODE_STATIC模式时,创建AudioTrack ,首先会进入改状态,需要write数据后,才会变成STATE_INITIALIZED状态。非STATE_INITIALIZED状态下去进行play的话,会抛出异常,所以MODE_STATIC模式如果没有write就去play是不行的。

* Returns the state of the AudioTrack instance. This is useful after the * AudioTrack instance has been created to check if it was initialized * properly. This ensures that the appropriate resources have been acquired. * @see #STATE_INITIALIZED * @see #STATE_NO_STATIC_DATA * @see #STATE_UNINITIALIZED public int getState() { return mState;

1.2 AudioTrack使用示例

java端示例

private AudioTrack audioTrack = null;
	private static int sampleRateInHz = 44100;
	private static int channelConfig = AudioFormat.CHANNEL_OUT_STEREO;
	private static int audioFormat = AudioFormat.ENCODING_PCM_16BIT;
	private int bufferSize = AudioTrack.getMinBufferSize(sampleRateInHz, channelConfig, audioFormat);
	class processThread implements Runnable {
......省略
		public void run() {		    			
		    byte[] outBuf = new byte[DECODE_BUFFER_SIZE];
		    if(audioTrack == null){
				audioTrack = new AudioTrack(AudioManager.STREAM_MUSIC, sampleRateInHz, channelConfig, audioFormat, bufferSize,
					AudioTrack.MODE_STREAM);
				if(audioTrack == null){
					mFFdec.decodeDeInit();			
					return ;
		    try {
			   if ( audioTrack.getState() != AudioTrack.STATE_UNINITIALIZED) {
					audioTrack.play();
			   while(true){
				   int size = mFFdec.decodeFrame(outBuf);
				   if(size > 0){
						if(mFFdec.getMediaType() == mFFdec.MEDIA_TYPE_AUDIO){//audio
							audioTrack.write(outBuf, 0, size);
				   }else{
				   		break;
			   if (audioTrack.getState() != AudioTrack.STATE_UNINITIALIZED) {
					audioTrack.stop();
					audioTrack.release();
		    }catch (Exception ex) {
				   ex.printStackTrace();
		    } catch (Throwable t) {
				   t.printStackTrace();
		    audioTrack = null;
		    mFFdec.decodeDeInit();

2 OpenSL ES简介

OpenSL ES(Open Sound Library for Embedded Systems,开源的嵌入式声音库)是一个免授权费、跨平台、C语言编写的适用于嵌入式系统的硬件加速音频库。简单来说,它提供了一些标准化的api,让开发者可以在不同硬件平台上,操作音频设备。包括播放,录制等等。

虽然是C语音,但其采用了面向对象的方式,在开发中,我们使用对象(object)和接口(interface)来开发。

2.1 对象(object)和接口(interface)

  • 对象:提供一组资源极其状态的抽象,例如录音器对象,播放器对象。
  • 接口:对象提供一特定功能方法的抽象,例如播放器对象的播放接口。

也就是说每种对象都提供了一些最基础的操作:Realize,Resume,GetState,Destroy 等等,但是对象不能直接使用,必须通过其 GetInterface 函数用ID号拿到指定接口(如播放器的播放接口),然后通过该接口来访问功能函数。

所有对象在创建后都要调用Realize 进行初始化,释放时需要调用Destroy 进行销毁。

2.2 OpenSL ES 音频播放方法

音频播放场景:
在这里插入图片描述
从该场景图来讲解播放方法:
1、创建OpenSL engine,
2、通过engine创建 AudioPlayer和outputMix
3、指定AudioPlayer的输入为DataSource,输出为outputMix,outputMix是会关联到设备的默认输出。
4、启动播放。

下面详细讲解各个部分

2.2.1 Engine

OpenSL ES 里面最核心的对象,它主要提供如下两个功能:
(1) 管理 Audio Engine 的生命周期。
(2) 提供管理接口: SLEngineItf,该接口可以用来创建所有其他的对象。

使用步骤:
1、创建Engine

SLresult SLAPIENTRY slCreateEngine(
SLObjectItf *pEngine,
SLuint32 numOptions
constSLEngineOption *pEngineOptions,
SLuint32 numInterfaces,
constSLInterfaceID *pInterfaceIds,
constSLboolean *pInterfaceRequired

参数说明:

  • pEngine:指向输出的engine对象的指针。 numOptions:可选配置数组的大小。
  • pEngineOptions:可选配置数组。 numInterfaces:对象要求支持的接口数目,不包含隐含的接口。
  • pInterfaceId:对象需要支持的接口id的数组。
  • pInterfaceRequired:指定每个要求接口的接口是可选或者必须的标志位数组。如果要求的接口没有实现,创建对象会失败并返回错误码SL_RESULT_FEATURE_UNSUPPORTED。

2、创建完engine后就可以通过SL_IID_ENGINE获取管理接口:

//创建对象
SLObjectItf engineObject;
slCreateEngine( &engineObject, 0, nullptr, 0, nullptr, nullptr );
//初始化
(*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);
//获取管理接口
static SLEngineItf iengine = NULL;
(*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &(iengine));

3、然后通过管理接口iengine,就可以继续创建其他需要的对象。

2.2.2 AudioPlayer

音频播放对象,它需要指定输入(DataSource)和输出(DataSink)
Datasource 代表着输入源的信息,即数据从哪儿来、输入的数据参数是怎样的;
DataSink 代表着输出的信息,即数据输出到哪儿、以什么样的参数来输出。

  • DataSource 的定义如下:
 typedef struct SLDataSource_ {
      void *pLocator;
      void *pFormat; 
} SLDataSource;
  • DataSink 的定义如下:
 typedef struct SLDataSink_ {
     void *pLocator;
     void *pFormat; 
} SLDataSink;
 

其中,pLocator 主要有如下几种:

  • SLDataLocator_Address
  • SLDataLocator_BufferQueue
  • SLDataLocator_IODevice
  • SLDataLocator_MIDIBufferQueue
  • SLDataLocator_URI

也就是说,输入源/输出源,既可以是 URL,也可以 Device,或者来自于缓冲区队列等等。

那么我们在创建AudioPlayer对象前,还需要先创建输入和输出,输入我们使用一个缓冲队列,输出则使用outputMix输出到默认声音设备。

使用步骤:
1、输入源

	 //输入源为缓冲队列
    SLDataLocator_AndroidSimpleBufferQueue dsLocator = { SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE, 1 };
    // 设置音频格式
    SLDataFormat_PCM outputFormat = { SL_DATAFORMAT_PCM, 2, SL_SAMPLINGRATE_44_1,
                                      SL_PCMSAMPLEFORMAT_FIXED_16, SL_PCMSAMPLEFORMAT_FIXED_16,
                                      SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT, SL_BYTEORDER_LITTLEENDIAN
    // 输入源 
    SLDataSource audioSource = { &dsLocator , &outputFormat };

2、输出源
outputMix对象需要通过CreateOutputMix接口创建,并调用Realize初始化

	static SLObjectItf mix = NULL;
    //创建mix
    (*iengine)->CreateOutputMix(iengine, &mix, 0, NULL, NULL);
    //初始化
    re = (*mix)->Realize(mix, SL_BOOLEAN_FALSE);
    if(re != SL_RESULT_SUCCESS )
        ALOGE("mix Realize error!");
        return false;
    //输出源为mix
    SLDataLocator_OutputMix outmix = {SL_DATALOCATOR_OUTPUTMIX, mix};
    SLDataSink audioSink = {&outmix,NULL};

3、创建AudioPlayer并初始化
AudioPlayer对象需要通过CreateAudioPlayer接口创建,并调用Realize初始化

	static SLObjectItf player = NULL;
	const SLInterfaceID  outputInterfaces[1] = { SL_IID_BUFFERQUEUE };
	const SLboolean req[] = {SL_BOOLEAN_TRUE};
    //audio player
    (*iengine)->CreateAudioPlayer(iengine, &player, &audioSource, &audioSink, 1, outputInterfaces, req);
    re = (*player)->Realize(player, SL_BOOLEAN_FALSE);
    if(re != SL_RESULT_SUCCESS )
        ALOGE("player Realize error!");
        return false;

4、设置输入队列的回调函数,回调函数在数据不足时会内部调用。然后启动播放即可。
需要通过SL_IID_ANDROIDSIMPLEBUFFERQUEUE获取队列接口,并RegisterCallback设置回调函数。
需要通过SL_IID_PLAY获取播放接口,并设置为播放状态,同时调用Enqueue给队列压入一帧空数据。
需要注意的是,入队列的数据并非立刻播放,所以不能把这个数据立刻释放,否则会造成丢帧。

    //获取队列接口
	static SLPlayItf iplay = NULL;
	static SLAndroidSimpleBufferQueueItf pcmQue = NULL;
    (*player)->GetInterface(player, SL_IID_ANDROIDSIMPLEBUFFERQUEUE, &pcmQue);
    if(re != SL_RESULT_SUCCESS )
        ALOGE("get pcmQue error!");
        return false;
    //设置回调函数,播放队列空调用
    (*pcmQue)->RegisterCallback(pcmQue, PcmCall, this);
    //获取player接口
    re = (*player)->GetInterface(play, SL_IID_PLAY, &iplayer);
    if(re != SL_RESULT_SUCCESS )
        ALOGE("get iplayer error!");
        return false;
    //设置为播放状态
    (*iplay)->SetPlayState(iplay, SL_PLAYSTATE_PLAYING);
    //启动队列回调
    (*pcmQue)->Enqueue(pcmQue, "", 1);

当播放队列数据为空时,会调用队列的回调函数,所以需要在回调函数中给队列注入音频数据

static void PcmCall(SLAndroidSimpleBufferQueueItf bf, void *contex)
if(pcmQue && (*pcmQue))
        if(aFrame == NULL)
            (*pcmQue)->Enqueue(pcmQue, "", 1);
            //进队列后并不是直接播放,所以需要一个buf来存,不能释放掉
            memcpy(buf, aFrame->data, aFrame->size);
            (*pcmQue)->Enqueue(pcmQue, buf, aFrame->size);

5、播放结束后,需要调用Destroy将各个对象释放。

opensl es参考自:https://www.jianshu.com/p/cccb59466e99

本文主要介绍Android上可以进行音频PCM播放的两个组件–AudioTrack/OpenSL ES的简单使用方法。 对一个音频文件(如MP3文件),如何使用FFmpeg进行解码获取到PCM,之前的文章已经有相应的说明: https://blog.csdn.net/myvest/article/details/89254452。 那么解码后或者mic采集的PCM数据,是如何播放的呢,首先一般会对PCM数据进行重采样,也即是转换为指定的格式。重采样可以参考:https://blog.csdn.net/myvest/article/details/89442000 最后,进入本文主题,介绍A
PCM 数据播放在开发中也经常使用,例如自己编写播放器,解码之后的音频PCM数据,就可以通过OpenSL 播放,比用Java层的AudioTrack更快,延迟更低。         下面我们编写OpenSL PCM播放播放的主要逻辑是从文件读取PCM数据然后播放,代码编写环境Eclipse。 一、 Eclipse 创建Android工程 二、布局XML 创建文件 /res/layout
//创建引擎对象,获取引擎接口 (*pEngine)->Realize(pEngine, SL_BOOLEAN_FALSE); (*pEngine)->GetInterface(pEngine, SL_IID_ENGINE, &engineEngine); //获取source SLDataLocator_IODevice loc_dev = {SL_DATALOCATOR_IODE. class PCMPlayer extends Thread { protected AudioTrack mAudioTrack; protected int mMiniBufferSize; protected byte[] mBuffer; File file; FileInputStream in; * @param ... 在讲解音频渲染之前,需要对音频的基础知识有所了解,所以该篇分为基础概念和AudioTrack 以及 OpenSL ES Demo 实例讲解,这样有助于更好的理解 Android音频渲染。 音频的基础概念涉及的知识点比较多,该篇文章的上半部分会详细的介绍,后续文章基本上都会涉及音频的开发,有了基础对于后面的内容就更容易上手了。 音频的基础知识 播放器入门到提高 快速掌握音视频开发基础知识 声音的物理性质 说到声音我相信只要听力正常的人都听见过声音,那么声音是如何产生的呢?记得初中物理课本上 ```java int sampleRate = 44100; int bufferSize = AudioTrack.getMinBufferSize(sampleRate, AudioFormat.CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT); AudioTrack audioTrack = new AudioTrack(AudioManager.STREAM_MUSIC, sampleRate, AudioFormat.CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT, bufferSize, AudioTrack.MODE_STREAM); audioTrack.play(); byte[] data = null; // 音频数据 while (true) { int bytesWritten = audioTrack.write(data, 0, data.length); if (bytesWritten <= 0) { break; audioTrack.stop(); audioTrack.release(); 在上面的代码中,我们首先创建了一个 `AudioTrack` 实例,然后调用 `play()` 方法开始播放音频。然后,我们可以通过循环调用 `write()` 方法不断向 `AudioTrack` 实例中写入音频数据,直到音频数据全部播放完毕。最后,我们调用 `stop()` 方法停止播放并释放 `AudioTrack` 实例。 需要注意的是,我们在创建 `AudioTrack` 实例时需要提供的参数包括采样率、声道数、采样位数等,这些参数需要根据实际的音频数据进行设置。此外,我们还需要根据实际情况设置音频数据的读取方式,可以使用 `MODE_STATIC` 或 `MODE_STREAM` 两种模式中的任意一种。在使用 `MODE_STREAM` 模式时,我们需要在循环中不断调用 `write()` 方法向 `AudioTrack` 实例中写入数据。