CN111953764B 有效 人工智能语音算法自动化测试方法
技术领域 [0001]本发明属于人工智能技术领域,涉及一种人工智能语音算法自动化测试方法。 背景技术 [0002]AI人工智能技术作为科技发展的前沿,令全球科技界趋之若鹜,如谷歌、苹果、微软、英特尔、及中国的大厂等都将人工智能视为下一个技术引爆点,各式各样的人工智能算法及技术不断涌现。 [0003]在各种人工智能算法中其语音识别算法成了很多设备的标配,但是技术日新月异,升级更新迭代都非常之快,可用于的产品也各式各样,故此对算法的好坏、是否达到商用标准的需求、算法迭代调优、是否有缺陷漏洞都需要算法测试,对其测试需求巨大。但是传统的测试方式有如下问题: [0004](1).项目运用形态多样,比如车载语音设备,家居智能音箱设备,智能玩具,智能蓝牙耳机设备,各种智能语音的物联网设备等等,这就对测试环境搭建,测试场地,提出更高的要求,每次搭建测试环境都要占用测试人员大量的时间。 [0005](2).每次测试环境的搭建,都会造成测试环境的一定误差,难保证测试环境完全的一致性,比如上次环境和这次环境,在音量调节校准误差,外部噪声的传入,测试房间温度及密封性都会引来环境的改变,这样用于调试软件的时候,很难复现第一次的环境。 [0006](3).算法测试场景众多,测试时间长,但是算法迭代快,调优需求大,会造成项目的进度全压在测试这边。 [0007](4).每个项目都会占用一个测试场地,由于是语音算法,不能在同一个测试场地放多个不同的产品。如此多项目多的公司,对测试场地的需求大,投入也加大。 [0008](5).每个算法不是一次测试就结束,后期还需要大量的调试,要大量的测试工作。 [0009](6).有些产品测试对经济投入,环境污染及对测试人员的身体影响都较大,比如语音设备,测试人员处于各种恶劣噪声环境下,再比如,车载语音设备,每次测试都要在车内搭建测试环境,开启车载发动机,不利于节能减排,减小经济投入。 [0010](7).测试受限,测试人员工作时间地点,场地占用,测试人员投入等等影响不利于公司产品的研发效率。 发明内容 [0011]本发明的目的就是针对现有技术的不足,提供一种人工智能语音算法自动化测试方法。 [0012]本发明方法具体是: [0013]步骤(1).对于一个新的待测试项目,按照测试标准的规定,录制在各种场景下带有唤醒词的音频文件作为该待测试项目的测试用例,存储在服务器;服务器中保存历史所有待测试项目的测试用例;所述的场景包括环境噪声、声源距离、声源角度; [0014]步骤(2).对所有的测试用例,创建每个测试项目配置;所述的测试项目配置为调用对应测试项目的测试用例在服务器上的路径; [0015]步骤(3).算法开发人员提交待测试项目时,首先在服务器上下载对应的测试项目配置,选择一种或多种需要测试的场景,将待测试项目的软件、选择的场景对应的试项目配置提交给服务器; [0016]步骤(4).测试主机实时查询服务器有无新提交的待测试项目,如果有新待测试项目,则将服务器存储的测试项目的软件、选择的场景对应的测试项目配置下载到本地,进行测试; [0017]步骤(5).测试主机在对新待测试项目进行测试过程中,实时生成测试报告并上传至服务器,直到测试结束; [0018]步骤(6).算法开发人员访问服务器,得到测试报告。 [0019]进一步,步骤(4)中测试具体方法是:首先将测试项目软件装载到测试主机所连接的被测设备上,然后测试主机根据测试项目配置下载对应的测试用例,将测试用例传入被测设备,音频文件对测试项目软件进行实时测试。 [0020]更进一步,测试主机根据对一个测试项目配置下不同的测试用例,将不同的测试用例分配到不同的被测设备,不同的被测设备同时进行测试。所述的测试主机通过ADB(android debug brige)和串口(Serial Interface)与多台被测设备连接,同步测试,压缩测试时间,提高测试效率。 [0021]进一步,所述的服务器通过FTP(File Transfer Protocol,文件传输协议)开放共享目录,算法开发人员和测试主机管理人员能够访问该共享目录。 [0022]更进一步,步骤(4)中测试主机通过FTP(File Transfer Protocol,文件传输协议)实时检测远程共享目录是否有新提交的待测试项目,步骤(5)中测试主机通过FTP将实时生成测试报告并上传至服务器。 [0023]虽然测试项目及场景多样,但是本发明采用将测试用例"喂入"(feed)算法的方式进行测试,所以测试人员只要新项目开始时,用测试设备按照测试标准,转录测试用例音频文件,上传服务器,添加测试配置,后期不需要重复搭建环境,至此测试人员参与该项目基本结束。 [0024]由于测试用例是转录下来的,后期测试用的都同一个测试用例,保证了每次测试的环境一致,剔除环境改变的影响,只需软件及算法的调整,保证了调试方向的正确。 [0025]由于算法测试场景多,传统测试方法耗时长,本发明方法可以连接多台被测设备,实现测试用例分配,多进程同时测试。传统方法需要几天测的测试周期,本发明方法可以压缩为十几分钟,极大提高测试效率。全部过程,开发人员自主共享目录提交测试,查看测试报告,无需测试人员参与,也解决测试人员的工作量大,场地不足的问题。 [0026]使用本发明方法,一个新项目的到来,测试人员只参与前期测试用例音频的录制,故此环境搭建也只有一次,把原来多次的环境搭建压缩到一次。减少测试人员在高噪声、潮湿车库(车载项目)、密闭静音室等环境下待的时间,保护测试人员的身心健康,及减小测试人员投入、经济投入(车载项目油耗)、测试场地投入,提高测试效率都有极大帮助。还起到了节能减排(车载项目)的效果。 [0027]本发明方法可24小时运行,不受测试人员工作时间,测试地点影响,基本剥离测试人员工作。算法开发、软件开发、提测人员,可以任意时间、任意地点、自主远程提交算法测试,远程查看测试状态及测试报告,具有测试响应快,测试速度快,报告实时上传等优点,不受测试人员,测试场地,工作时间的影响。 具体实施方式 [0028]以下结合实施例对本发明技术方案做进一步的说明。 [0029]一种人工智能语音算法自动化测试方法,具体是: [0030]步骤(1).对于一个新的待测试项目,按照测试标准的规定,录制在各种场景下带有唤醒词的音频文件作为该待测试项目的测试用例,存储在服务器;服务器中保存历史所有待测试项目的测试用例;所述的场景包括环境噪声、声源距离、声源角度; [0031]步骤(2).对所有的测试用例,创建每个测试项目配置;所述的测试项目配置为调用对应测试项目的测试用例在服务器上的路径; [0032]步骤(3).算法开发人员提交待测试项目时,首先在服务器上下载对应的测试项目配置,选择一种或多种需要测试的场景,将待测试项目的软件、选择的场景对应的试项目配置提交给服务器;服务器通过FTP开放共享目录,算法开发人员和测试主机管理人员能够访问该共享目录; [0033]步骤(4).测试主机通过FTP实时查询服务器有无新提交的待测试项目,如果有新待测试项目,则将服务器存储的测试项目的软件、选择的场景对应的测试项目配置下载到本地,进行测试;测试具体方法是:首先将测试项目软件装载到测试主机所连接的被测设备上,然后测试主机根据测试项目配置下载对应的测试用例,将测试用例传入被测设备,音频文件对测试项目软件进行实时测试; [0034]测试主机通过ADB和串口与多台被测设备连接,测试主机根据对一个测试项目配置下不同的测试用例,将不同的测试用例分配到不同的被测设备,不同的被测设备同步测试; [0035]步骤(5).测试主机在对新待测试项目进行测试过程中,通过FTP实时生成测试报告并上传至服务器,直到测试结束; [0036]步骤(6).算法开发人员访问服务器,得到测试报告。 [0037]由此,该方法可以实现自动测试,自动生成测试报告,24小时运行,多进程同步测试。主要由三个部分组成,即算法开发人员部分、服务器部分、测试主机部分。 [0038]算法开发人员部分,主要是面向算法软件开发者的一个角色,服务器通过FTP开放共享目录,算法开发人员和测试主机管理人员能够访问该共享目录。在其中下载服务器放置的测试项目配置,该文件和需要测试的算法软件一起放置一个文件夹中,打包该文件夹,上传至共享目录指定的路径下就可以触发测试。实现自主远程提交测试,无需通知测试人员参与。 [0039]服务器部分,主要开放一个共享目录存放提交带算法软件测试包、历史提交测试包、当前实时上传的测试日志及测试报告、历史测试日志及测试报告、测试配置文件。内部还存放只有测试主机管理人员才有权限访问测试用例文件。主要流程是:算法开发人员在新项目开启之前,用被测设备转录带测试标准下各个场景带有唤醒词的测试用例音频文件,测试用例存放在服务器的指定位置,并且更新测试配置,至此测试人员工作结束,一个新项目支持完成。测试人员结束后,算法开发人员从共享目录下载最新配置,提交测试。测试主机上传测试状态,并且把测试日志和测试报告实时上传该共享目录,算法开发人员可以实时查看。 [0040]测试主机部分是该人工智能语言算法自动化测试平台的核心部分,主要流程是实时检测,共享目录下是否存在新提交的算法测试包(测试项目软件+测试项目配置的压缩包)的出现,如果存在,下载该测试包,解压缩读取测试配置,生成测试用例列表。根据测试用例和测试主机空闲设备的数量,分配测试用例,启动对应的进程数进行,装载测试项目软件启动测试。 [0041]测试流程:根据测试用例从服务器下载对应用例音频文件,后面通过测试主机上的ADB(android debug brige)把音频数据输入人工智能设备并且喂“feed”给算法,进行测试。另外同时通过串口(Serial Interface)进行测试日志的收集,并且实时分析统计生成报告,上传至服务器共享目录指定文件夹下,供给算法开发人员实时追踪测试情况。具体测试方法即为现有普遍使用的方法。 [0042]测试状态和测试日志及报告,除了实时上传共享目录下,该平台还提供邮件通知服务,邮件会把,测试开始、测试异常、测试结束、测试日志及报告表,即时通知指定人员,算法开发人员只需要在测试配置中填写自己邮箱地址即可。至此一轮测试结束。
现在,一起体验智慧芽的产品和服务
自动注册,无需人工审核,即可立即开始查询专利
立即注册
澳门正版图库

AI助手