如何下载安装、使用一句话识别iOS NUI SDK及代码示例_智能语音交互(ISI)-阿里云帮助中心

本文介绍如何使用阿里云智能语音服务提供的iOS NUI SDK，包括SDK下载安装、关键接口及代码示例。

前提条件

使用SDK前，请先阅读接口说明，详情请参见接口说明。
准备好项目Appkey，详情请参见创建项目。
已获取Access Token，详情请参见获取Token概述。

下载安装

类别	兼容范围
系统	最低支持iOS9。
架构	arm64，x86_64

功能	是否支持
一句话识别	是
实时语音识别	是
语音合成	是
实时长文本语音合成	是
离线语音合成	否
录音文件识别极速版	是
唤醒及命令词	否

/**
 * 初始化SDK，SDK为单例，请先释放后再次进行初始化。请勿在UI线程调用，可能引起阻塞。
 * @param parameters: 初始化参数，参见接口说明文档
 * @param level: log打印级别，值越小打印越多
 * @param save_log: 是否保存log为文件，存储目录为parameter中的debug_path字段值
 * @return 参见错误码
-(NuiResultCode) nui_initialize:(const char *)parameters
                       logLevel:(NuiSdkLogLevel)level
                        saveLog:(BOOL)save_log;

/**
 * 以JSON格式设置参数
 * @param params: 参数信息请参见接口说明文档
 * @return 参见错误码
-(NuiResultCode) nui_set_params:(const char *)params;

/**
 * 开始识别
 * @param vad_mode: 多种模式，对于识别场景，请使用P2T
 * @param dialog_params: 设置识别参数，可不设置
 * @return 参见错误码
-(NuiResultCode) nui_dialog_start:(NuiVadMode)vad_mode
                      dialogParam:(const char *)dialog_params;

/**
 * 结束识别，调用该接口后，服务端将返回最终识别结果并结束任务
 * @param force: 是否强制结束而忽略最终结果，false或NO表示停止但是等待完整结果返回
 * @return 参见错误码
-(NuiResultCode) nui_dialog_cancel:(BOOL)force;

/**
 * 释放SDK资源
 * @return 参见错误码
-(NuiResultCode) nui_release;

/**
 * SDK主要事件回调
 * @param event: 回调事件，参见如下事件列表
 * @param dialog: 会话编号，暂不使用
 * @param wuw: 语音唤醒功能使用（暂不支持）
 * @param asr_result: 语音识别结果
 * @param finish: 本轮识别是否结束标志
 * @param resultCode: 参见错误码，在出现EVENT_ASR_ERROR事件时有效
-(void) onNuiEventCallback:(NuiCallbackEvent)nuiEvent
                    dialog:(long)dialog
                 kwsResult:(const char *)wuw
                 asrResult:(const char *)asr_result
                  ifFinish:(BOOL)finish
                   retCode:(int)code;

名称	说明
EVENT_VAD_START	检测到人声起点。
EVENT_VAD_END	检测到人声尾点。
EVENT_ASR_PARTIAL_RESULT	语音识别中间结果。
EVENT_ASR_RESULT	语音识别最终结果。
EVENT_ASR_ERROR	根据错误码信息判断出错原因。
EVENT_MIC_EEROR	录音错误，表示SDK连续2秒未收到任何音频，可检查录音系统是否正常。

/**
 * 开始识别时，此回调被连续调用，App需要在回调中进行语音数据填充
 * @param audioData:  填充语音的存储区
 * @param len: 需要填充语音的字节数
 * @return 实际填充的字节数
-(int) onNuiNeedAudioData:(char *)audioData length:(int)len;

/**
 * 当start/stop/cancel等接口调用时，SDK通过此回调通知App进行录音的开关操作
 * @param state：录音需要的状态（打开/关闭）
-(void) onNuiAudioStateChanged:(NuiAudioState)state;

/**
 * SDK主要事件回调
 * @param rms: 语音能量值，范围为-160至0
-(void) onNuiRmsChanged:(float) rms;

NSString * initParam = [self genInitParams];
[_nui nui_initialize:[initParam UTF8String] logLevel:LOG_LEVEL_VERBOSE saveLog:save_log];

//账号和项目创建
//  ak_id ak_secret app_key如何获得,请查看https://help.aliyun.com/document_detail/72138.html
[dictM setObject:@"<您申请创建的app_key>" forKey:@"app_key"]; // 必填
//获取token方式：
//方法1：
//  首先ak_id ak_secret app_key如何获得,请查看https://help.aliyun.com/document_detail/72138.html
//  然后请看 https://help.aliyun.com/document_detail/466615.html 使用其中方案一获取临时凭证
//  此方案简介: 远端服务器使用以下方法获得有效时限的临时凭证, 下发给移动端进行使用, 保证账号信息ak_id和ak_secret不被泄露
//  获得Token方法(运行在APP服务端): https://help.aliyun.com/document_detail/450255.html?spm=a2c4g.72153.0.0.79176297EyBj4k
[dictM setObject:@"<服务器生成的具有时效性的临时凭证>" forKey:@"token"]; // 必填
//方法2：
//  STS获取临时凭证方法暂不支持
// 推荐填入具有唯一性的id, 方便定位问题
[dictM setObject:id_string forKey:@"device_id"]; // 必填

-(NSString*) genParams {
    NSMutableDictionary *nls_config = [NSMutableDictionary dictionary];
    [nls_config setValue:@YES forKey:@"enable_intermediate_result"];
    //参数可根据实际业务进行配置 https://help.aliyun.com/document_detail/173298.html?spm=a2c4g.173528.0.0.47f05398HEpSxW
    //  若要使用VAD模式，则需要设置nls_config参数启动在线VAD模式
    //[nls_config setValue:@YES forKey:@"enable_voice_detection"];
    //[nls_config setValue:@10000 forKey:@"max_start_silence"];
    //[nls_config setValue:@800 forKey:@"max_end_silence"];
    NSMutableDictionary *dictM = [NSMutableDictionary dictionary];
    [dictM setObject:nls_config forKey:@"nls_config"];
    [dictM setValue:@(SERVICE_TYPE_ASR) forKey:@"service_type"]; // 必填
    NSData *data = [NSJSONSerialization dataWithJSONObject:dictM options:NSJSONWritingPrettyPrinted error:nil];
    NSString * jsonStr = [[NSString alloc]initWithData:data encoding:NSUTF8StringEncoding];
    return jsonStr;
NSString * parameters = [self genParams];
[_nui nui_set_params:[parameters UTF8String]];

//若要使用VAD模式，则需要设置nls_config参数启动在线VAD模式(见genParams())
[_nui nui_dialog_start:MODE_P2T dialogParam:[param_string UTF8String]];

-(void)onNuiAudioStateChanged:(NuiAudioState)state{
    TLog(@"onNuiAudioStateChanged state=%u", state);
    if (state == STATE_CLOSE || state == STATE_PAUSE) {
        [_voiceRecorder stop:YES];
    } else if (state == STATE_OPEN){
        self.recordedVoiceData = [NSMutableData data];
        [_voiceRecorder start];
}

-(int)onNuiNeedAudioData:(char *)audioData length:(int)len {
    static int emptyCount = 0;
    @autoreleasepool {
        @synchronized(_recordedVoiceData){
            if (_recordedVoiceData.length > 0) {
                int recorder_len = 0;
                if (_recordedVoiceData.length > len)
                    recorder_len = len;
                    recorder_len = _recordedVoiceData.length;
                NSData *tempData = [_recordedVoiceData subdataWithRange:NSMakeRange(0, recorder_len)];
                [tempData getBytes:audioData length:recorder_len];
                tempData = nil;
                NSInteger remainLength = _recordedVoiceData.length - recorder_len;
                NSRange range = NSMakeRange(recorder_len, remainLength);
                [_recordedVoiceData setData:[_recordedVoiceData subdataWithRange:range]];
                emptyCount = 0;
                return recorder_len;
            } else {
                if (emptyCount++ >= 50) {
                    TLog(@"_recordedVoiceData length = %lu! empty 50times.", (unsigned long)_recordedVoiceData.length);
                    emptyCount = 0;
                return 0;
    return 0;
}

-(void)onNuiEventCallback:(NuiCallbackEvent)nuiEvent
                   dialog:(long)dialog
                kwsResult:(const char *)wuw
                asrResult:(const char *)asr_result
                 ifFinish:(bool)finish
                  retCode:(int)code {
    TLog(@"onNuiEventCallback event %d finish %d", nuiEvent, finish);
    if (nuiEvent == EVENT_ASR_PARTIAL_RESULT || nuiEvent == EVENT_ASR_RESULT) {
        TLog(@"ASR RESULT %s finish %d", asr_result, finish);
        NSString *result = [NSString stringWithUTF8String:asr_result];
        [myself showAsrResult:result];
    } else if (nuiEvent == EVENT_ASR_ERROR) {
        TLog(@"EVENT_ASR_ERROR error[%d]", code);
    } else if (nuiEvent == EVENT_MIC_ERROR) {
        TLog(@"MIC ERROR");
        [_voiceRecorder stop:YES];
        [_voiceRecorder start];
    if (finish) {
        [myself showStart];
    return;
}

[_nui nui_dialog_cancel:NO];

iOS SDK

前提条件

下载安装

SDK关键接口

调用步骤

代码示例

NUI SDK初始化

参数设置

开始识别

回调处理

结束识别

常见问题

是否有Android和iOS的SDK，能否用在专有云环境下？

iOS是否支持后台处理？

下载语音交互iOS SDK至本地静态库，运行Demo程序测试代码时，模拟器可以正常运行，真机无法运行，报错“Reason: no suitable image found. Did find:xxx”如何解决？

iOS端集成nuisdk运行报mic错误如何处理？

使用智能语音服务集成iOS SDK，接入nuisdk.framework后，导入头文件#import "nuisdk.framework/Headers/NeoNui.h"后项目报错如何解决？

按照文档使用SDK接入后报错“/Users/admin/FlashTranscription_iOS/Fc_ASR.xcodeproj Building for iOS, but the linked and embedded framework 'nuisdk.framework' was built for iOS + iOS Simulator."”如何解决？

使用集成语音服务iOS SDK，集成flutter_plugin时报错“Undefined symbols for architecture arm64: "std::__1::mutex::~mutex()", referenced from: ___cxx_global_var_init in libflutter_tts.a(ringBuf.o)”如何解决？

TRTC实时音视频和语音识别结合，当同时调用麦克风时可能会发生冲突，导致有一方没有声音如何解决？

使用App集成iOS SDK，提交到App store失败，提示“Unsupported Architectures. The executable for AliYunSmart.app/Frameworks/nuisdk.framework contains unsupported architectures '[x86_ _64, i386]'. With error code”如何解决？

使用集成语音服务iOS SDK，接入nuisdk.framework后报错，要修改Legacy Build system才可以运行，如何解决？