终端设备、信息处理方法和程序 [技术领域] 【0001】 终端设备、信息处理方法和程序 技术领域 本发明涉及终端设备、信息处理方法和程序。 【背景技术】 【0002】 终端设备通常具有防止未经授权使用的认证功能,认证成功后即可使用各项功能。 在认证处理中,除了一般的密码以外,还利用各种生物信息等。 例如,专利文献1公开了一种通过使用用户的语音读出显示在显示装置上的字符串来认证用户的技术。 【0003】 专利文献 1 日本专利申请特开第 2021-33315 号 【发明概要】 【发明要解决的问题】 【0004】 在专利文献1所公开的技术中,用户需要在每次认证时以规定的读音、字符数等读出显示在显示装置上的字符串。 因此,存在读出字符串的用户的负担大的问题。 此外,由于用户需要通过一项一项地停止其他工作来有意地进行认证,因此还存在工作效率降低的问题。 【0005】 本发明为了解决上述问题,旨在提供一种能够减轻用户的负担并容易地进行用户的认证的终端装置、信息处理方法以及程序。 [解决问题的方法] 【0006】 ‖ 为了实现上述目的,根据本发明的终端设备是 ‖获取多个认证信息的认证信息获取单元, 语音认证处理部基于由认证信息取得部取得的多个认证信息中的语音数据,执行生成用于认证用户的语音认证值的处理。 认证判断部根据语音认证处理部生成的语音认证值判断认证是否成功。 配备 语音认证处理单元基于从语音数据中包含的指示填充词的声音的音高的音高特征量和填充词的语音波形获得的声道特征数据来创建语音验证值,执行处理, 鉴权判断单元在语音鉴权处理单元生成的语音的鉴权值小于预定的鉴权阈值,且该语音的鉴权值等于鉴权阈值时,判定鉴权成功。认证阈值等于或大于认证允许值,该值是包括指示用户是否为真人的认证允许范围值的值,则假定基于语音认证值的认证失败。基于由认证信息获取单元获取的作为另一认证信息的一个认证信息来确定认证是否成功。 【发明效果】 【0007】 根据本发明的终端装置,能够基于正常语音中包含的填充词来对用户进行认证,因此能够减轻用户的负担,并且能够容易地对用户进行认证。 【图纸简要说明】 【0008】 图1为本发明实施例一提供的终端设备的主视图; 终端设备框图如图1所示。 图2是表示图1所示的终端装置的硬件结构例的图。 图1所示终端设备的信息处理框图。 图1所示的信息处理块的语音认证确定单元的框图。 是表示第1实施方式的用户的话语中包含的填充词的概要的图。 示出根据第一实施例的存储包括在用户话语中的填充词的词数据库的表格的图。 图6B所示的填充词时序模型数据库的表格示意图 图6B为填充词的声道特征模型数据库表格示意图 图2是表示从图1所示的终端装置取得的认证用生物体信息数据库的表的图。 图2是表示从图1所示的终端装置取得的认证用行为信息数据库的表格的图。 图2是表示图1所示的终端装置的倾斜信息表的图。 根据第一实施例的认证处理的流程图 图8A所示的认证处理流程图之后的流程图 根据第一实施例的面部认证值获取处理的流程图 实施例1的辅助认证处理流程图 实施例一语音采集处理流程图 图11A所示的音频获取过程的流程图之后的流程图 实施例一的语音认证处理流程图 实施例一语音认证值获取处理流程图 图13A所示的语音认证值获取处理的流程图之后的流程图 根据第二实施例的认证处理的流程图 图14A所示的认证处理流程图之后的流程图 根据第二实施例的语音认证值获取处理的流程图 实施例2的人脸认证处理流程图 【0009】 (实施例一) 下面将参照附图详细描述根据本发明实施例的终端设备、信息处理方法和程序。 另外,对图中相同或相当的部分标注相同的符号。 【0010】 根据第一实施例的终端设备1将用户的面部图像、指纹、声音等生物特征信息与基于用户在操作终端设备1时的特定行为、操作状态等的行为信息相结合。基于此如图所示,终端设备1是能够对用户本人进行认证并执行终端设备1的各种功能的设备。 特别是,由于在终端装置1中使用的声音认证能够根据通常的语音中包含的填充词来认证用户,因此能够减轻用户的负担,能够容易地进行用户的认证。 【0011】 此外,在终端装置1中执行的用户认证处理在终端装置1运行时在后台执行,并且通过更新用户的生物信息和行为信息,提高了认证的准确性。这是一个允许 【0012】 图1表示终端装置1的主视图。 终端装置1是所谓的智能手机,具备拍摄正面的用户的脸的内置相机11A、扬声器12A、作为通话用的麦克风的麦克风12B、检测手机的倾斜的倾斜。终端设备1.检测单元13、兼作操作输入单元14和显示单元的触摸面板19、检测用户指纹的左指纹传感器15A和右指纹传感器15B、以及位置检测单元16检测终端设备当前位置 1. 准备。 另外,终端设备1在其背面具有主摄像头11B,可以拍摄用户看到的人物、风景、物体等。 【0013】 这里,在下文中,内置相机11A和主相机11B统称为拍摄单元11。 以下,将扬声器12A和作为通话用麦克风的麦克风12B统称为声音输入输出部12。 此外,在下文中,左指纹传感器15A和右指纹传感器15B统称为指纹检测单元15。 【0014】 图2是表示终端装置1的结构的框图。 终端设备1包括通信单元10、成像单元11、音频输入/输出单元12、倾斜度检测单元13、操作输入单元14、指纹检测单元15、位置检测单元16和终端存储单元17、终端控制单元18和显示单元19。 【0015】 通信单元10经由通信网络(未示出)与外部服务器、云等通信,并且发送和接收无线电信号以用于发送和接收各种数据的数据通信单元与基站(未示出)之间的电话通信显示)和用于发送和接收的语音通信单元。 可以使用无线LAN(局域网)、Wi-fi(注册商标)、蓝牙(注册商标)等来配置数据通信单元。 此外,可以使用向基站发送/接收用于电话通信的无线电信号的通信设备来配置语音通信单元。 【0016】 拍摄单元11包括图1所示的内置相机11A和主相机11B。 成像单元11包括使用诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)图像传感器的成像元件的照相机、摄像机等,或者拍摄静止图像的摄像机。图像或运动图像,并传输拍摄的静止图像或运动图像。可以使用各种可用的相机。 【0017】 语音输入/输出单元12包括图1中所示的扬声器12A和麦克风12B。 扬声器12A输出在语音通话中接收到的音频、经由通信网络从外部获取的音乐数据等。 麦克风12B是拾取用户的声音的装置。 【0018】 倾斜检测部13是能够检测终端装置1的倾斜、晃动等的装置。 倾斜检测部13可以使用加速度传感器、角度传感器、检测地磁的磁传感器等能够检测终端装置1的倾斜的各种传感器构成。 应当注意,构成倾斜检测单元13的传感器的数量和类型可以是单个或多个。 【0019】操作输入单元14是可以输入来自图1所示的用户的操作的装置。 指纹检测单元15是检测用户指纹的传感器。 指纹检测单元15包括图1所示的左指纹传感器15A和右指纹传感器15B。 指纹检测单元15不限于指纹传感器,可以使用能够检测用户指纹的任何传感器、装置等。 【0020】 位置检测部16是能够检测终端装置1的当前位置的装置。 位置检测部16可以使用GPS(Global Positioning System)等能够检测终端装置1的当前位置的装置构成。 【0021】 终端存储单元17存储用于执行用户认证处理的认证处理程序170、用于通过用户语音执行认证处理的语音认证处理程序171、以及由终端设备1获取的用户生物信息。认证生物信息数据库172,认证行为信息数据库173总结了终端设备1获取的用户行为信息,倾斜信息表174用于存储终端设备1的倾斜状态,以及用于语音识别的表。它包括存储单词数据库175填充词、存储填充词的时间序列特征的时间序列模型数据库176、以及存储填充词的声道特征的声道特征模型数据库177。 此外,终端存储单元17存储由终端装置1执行的各种应用程序的程序。 【0022】 认证处理程序170是基于终端装置1取得的利用者的生物体信息和行动信息,进行利用者的认证处理的程序。 用于认证的生物信息数据库172是用于存储关于用户生物信息和用于认证的认证值的信息的数据库。 【0023】 认证行为信息数据库173是用于存储与操作终端设备1时的用户特有的行为、通过认证的条件等有关的信息的数据库。 这里,用户特有的行为是指用户操作终端设备1时的行为、显示单元19的屏幕与用户面部之间的距离、击键、如何握持终端设备1、终端所在的位置。设备 1 被使用,并且特定用户特定的项目,例如用户连接到通信网络的次数,特定应用程序的激活和操作等。 【0024】 倾斜信息表174是存储倾斜检测部13检测出的终端装置1的倾斜角度、取得日期时间、取得等待时间的表。 词数据库175是存储用于语音识别的填充词的数据库。 填充词是一种跨越地点的感叹词,没有特定的含义,例如话语中包含的“啊”或“嗯”。 【0025】 时间序列模型数据库176是存储填充词的时间序列特征的数据库。 填充词的时间序列特征是指示声音音高的音高特征。 声道特性模型数据库177是存储填充词的声道特性的数据库。 另外,认证处理程序170、认证用生物体信息数据库172、认证用行为信息数据库173、倾斜信息表174、单词数据库175、时间序列模型数据库176、声道特征模型数据库177稍后将详细描述。 【0026】 终端控制单元18执行存储在终端存储单元17中的各种程序。 此外,终端控制单元18包括通信单元10、成像单元11、语音输入/输出单元12、倾斜检测单元13、操作输入单元14、指纹检测单元15和位置检测单元16 . 数据被获取、处理并存储在终端存储单元17中的各种数据库和表格中。 此外,终端控制单元18可以通过向图像捕获单元11发送图像捕获指令来使图像捕获单元11在任意定时执行图像捕获。 【0027】 显示单元19显示由终端控制单元18执行的各种程序的处理内容。 显示单元19还可以显示诸如成像单元11捕获的静止图像和运动图像的图像、从操作输入单元14输入的数据等。 显示部19层叠在操作输入部14上,构成图1所示的触摸面板。 【0028】 接下来,将参考图1描述终端设备1的硬件配置的示例。 终端设备1包括用于执行各种程序的处理器21、用于开发各种程序的存储器22、用于输出各种显示数据的显示控制器23、用于显示各种显示数据的显示设备24、以及拍摄设备11、I /O端口25用于连接语音输入/输出单元12等,存储设备26用于存储各种程序和各种数据,以及通信设备27用于与外部通信并发送和接收各种数据。 处理器21、存储器22、显示控制器23、显示设备24、I/O端口25、存储设备26和通信设备27通过数据总线28互连。 【0029】 处理器21读出存储装置26中存储的各种程序,在存储器22中展开并执行。 处理器21可以使用CPU(中央处理单元)或MPU(微处理单元)等处理装置构成。 存储器22可以使用诸如RAM(随机存取存储器)、易失性或非易失性半导体存储器(诸如闪存)之类的存储元件和存储介质来配置。 【0030】 显示控制器23是向显示装置24输出各种显示数据的控制器。 显示控制器23可以使用诸如视频卡、GPU(图形处理单元)或图形板的视频信号输出设备来配置。 此外,显示装置24可以使用LCD(液晶显示器)或有机EL(电致发光)监视器等显示装置构成。 【0031】 I/O端口25是可以连接成像单元11、音频输入/输出单元12、倾斜检测单元13、操作输入单元14、指纹检测单元15和位置检测单元16的连接端口. 是一个端口。 I/O端口25可以使用USB(通用串行总线)端口、IEEE1394端口等能够连接设备的各种端口来构成。 【0032】 存储装置26是存储由处理器21执行的各种程序和各种程序所使用的各种数据的装置。 存储装置26可以使用诸如HDD(硬盘驱动器)和SSD(固态驱动器)的存储装置来配置。 【0033】 通信装置27经由通信网络(未图示)与外部的服务器、云等进行通信,收发用于收发各种数据的数据通信部与基站(未图示)之间的电话通信用的无线信号。 ).和一个用于发送和接收的语音通信单元。 可以使用无线LAN、Wi-fi(注册商标)、蓝牙(注册商标)等来配置数据通信单元。 此外,可以使用向基站发送/接收用于电话通信的无线电信号的通信设备来配置语音通信单元。 【0034】 上述处理器21执行存储在图10所示的终端设备1的终端存储单元17中的认证处理程序170和语音认证处理程序171来实现。 结果,终端设备1基于诸如用户的面部图像、指纹、语音等生物特征信息以及诸如操作终端设备1时用户特有的行为的行为信息和行为信息来识别用户。操作状态,可以对人进行认证,可以执行终端设备1中的各种功能。 【0035】 信息处理块包括从通信单元10、成像单元11等获取用于认证的生物信息和行为信息的认证信息获取单元181;以及用于在终端上显示认证结果的认证结果显示单元183认证信息更新部184根据认证判定部182的指示,更新终端存储部17中存储的各种数据库和表的信息。 【0036】 认证信息获取单元181从通信单元10、成像单元11等获取用于认证的生物信息和行为信息。 认证确定单元182基于从认证信息获取单元181获取的用于认证的生物信息和行为信息、存储在终端存储单元17的各种数据库中的认证值、通过条件等来认证用户。做。 认证确定单元182还包括进行语音认证的语音认证处理单元300。 稍后将描述语音认证处理单元300的细节。 【0037】 认证结果显示单元183从认证确定单元182接收用户的认证结果,并使显示单元19显示根据认证结果的消息、图像等。 认证信息更新部184根据认证判定部182的指示,更新终端存储部17中存储的各种数据库中存储的数据和表。 由认证信息获取单元181获取的生物信息和行为信息是权利要求范围内的认证信息的示例。 此外,由认证信息获取单元181获取的每个生物信息是权利要求范围中的一个认证信息和第二认证信息的示例。 认证信息获取单元181获取的每条行为信息是权利要求范围中的第三认证信息的示例。 【0038】图5是表示图3所示的认证判定部182所包含的语音认证处理部300的结构的框图。 语音认证处理单元300包括从单词数据库175获取填充词的单词获取单元310、截取对应于填充词的语音波形的语音波形截取单元311、以及从语音中提取的时间序列变化。波形。提取单元312、将提取的时间序列变化与存储在时间序列模型数据库176中的数据进行比较的时间序列变化匹配单元313、从波形中提取声道特征的声道特征提取单元314。语音波形,包括将提取的声道特征与存储在声道特征模型数据库177中的数据进行比较的声道特征匹配单元315,以及获得用于语音认证的认证值的语音认证值创建单元316。 【0039】 单词获取单元310获取存储在终端存储单元17中的单词数据库175中的填充词。 语音波形提取单元311从从图1所示的语音输入/输出单元12获取的语音数据中提取对应于单词获取单元310获取的填充词的语音波形。 【0040】 时间序列提取单元312从语音波形剪切单元311剪切的语音波形中提取时间序列变化。 时间序列提取单元312提取的时间序列变化是指示声音音高的音高特征量,并且是基于语音波形的音高获得的。 时间序列变化匹配单元313将作为由时间序列提取单元312提取的时间序列变化的音调特征量与存储在终端存储器中的时间序列模型数据库176中的相应填充词进行比较unit 17. 匹配音高特征量。 【0041】 声道特征提取部314从语音波形提取部311提取的语音波形中提取声道特征数据。 声道特征数据是低阶和高阶倒谱,每个倒谱可以用不同的反频值表示。 声道特征匹配单元315将声道特征提取单元314提取的声道特征数据与存储在终端存储单元17中的声道特征模型数据库177中存储的相应填充词的语音进行比较。特征数据。 语音认证值创建单元316基于时间序列变化匹配单元313和声道特征匹配单元315的匹配结果获得语音识别认证值。 【0042】 下面,参照图6A~图6D说明图6所示的终端存储部17中存储的单词数据库175、时间序列模型数据库176、声道特性模型数据库177的结构。 首先,图6A示出了包括在用户话语中的填充词的概要。 填充词是逐个插入的词,没有特定的含义,例如话语中包含的“啊”或“嗯”。 【0043】 例如,如图6A所示,如果用户的第n个话语是“嗯,我想马上开始”,那么该话语中包含的“嗯”和“嗯”是填充词。 另外,当用户的第(n+1)个话语是“顺便问一下,你最近过得怎么样……”时,包括在话语中的“顺便说一句”成为填充语。 当用户的第(n+2)个话语是“我想……嗯,下一个话题是……”时,话语中包含的“嗯”就变成了一个填充词。 当用户的第(n+3)个话语是“那么,让我们做这个”时,包含在话语中的“那么好”就变成了一个填充词。 【0044】 在本实施例中,在图6B所示的单词数据库175的表中预先设置了一般口语中包含的填充词、使用终端设备1的用户定义的任意词汇等作为填充词。 然后,从用户的话语中搜索在单词数据库175的表中设置的填充词,并且提取作为搜索结果的填充词的时间顺序变化和声道特征。 【0045】 首先,在图6B所示的单词数据库175的表中,将填充词、填充词的语音特征量和用户话语中的出现次数相关联地存储。 假定由使用终端设备1的用户预先设置填充词和填充词的语音特征量。 用户话语中的出现次数统计填充词在用户话语中出现的次数。 例如,如图6B所示,在单词数据库175中,填充词“啊”与语音特征量和出现次数“154”相关联。 另外,单词数据库175以出现次数从小到大的顺序排列填充词、单词的语音特征量、以及出现次数。 【0046】 时间序列模型数据库176的表如图6C所示。 时间序列模型数据库176的表将填充词与作为词的时间序列特征的音高特征量相关联并存储。 这里,存储在时间序列模型数据库176的表中的填充词是图6B所示的词数据库175的表中存储的填充词中的按出现频率的降序排列的任意数量的词。 任意例数例如为50例、100例等,由使用终端装置1的用户预先设定。 此外,以下将出现频率的顺序称为出现等级。 另外,以下将与任意个数一致的顺序称为规定顺序。 【0047】 在时间序列模型数据库176中,例如,如图6C所示,“ah”、“ja”等对应于存储在图6c所示的词数据库175的表中的填充词。它们一起,从上往下依次排列,对应音高特征量存储,音高特征量是词的时间序列特征。 【0048】 声道特性模型数据库177的表如图6D所示。 在声道特性模型数据库177的表中,填充词和作为词的声道特性的低阶和高阶倒谱的倒频值彼此相关联地存储。 这里,存储在声道特征模型数据库177的表中的填充词是与图6C所示的时间序列模型数据库176的表中存储的填充词相同的词。 在声道特征模型数据库177中,例如,如图6D所示,“ah”、“ja”等对应于存储在图6D所示的单词数据库175的表中的填充词。从上往下依次排列,将词的声道特征进行关联存储。 【0049】 接着,参照图7A~图7C,对终端存储部17中存储的认证生物​​体信息数据库172、认证行动信息数据库173、倾斜信息表174的结构进行说明。 首先,在认证生物体信息数据库172的表中,如图7A所示,显示面部、虹膜等生物体信息的种类、作为用户本人的生物体信息的登记信息、登记信息、登记信息。在图1中,存储通过将其与由认证信息获取单元181获取的生物信息进行比较而获得的认证值。 【0050】 在第一实施例中,由于语音的生物信息存储在图6C所示的时间序列模型数据库176中,而图6C所示的声道特征模型数据库177没有存储在 因此,对于语音,认证生物信息数据库172存储平均认证值、允许认证值和认证阈值。 【0051】 认证用生物信息数据库172的表中存储的登录信息是用户本人的生物信息。 登记信息是在终端装置1中进行认证处理之前预先登记的信息,在用户本人被认证时被更新。 例如,如果生物信息的类型是面部,则存储从面部图像获得的特征量作为注册信息,如果生物信息的类型是虹膜,则存储虹膜数据。 在生物信息的类型中,“面部”是权利要求范围中的第一生物信息的示例。 此外,在生物信息的类型中,“语音”是权利要求范围中的第二生物信息的示例。 【0052】 在第一实施例中,基于认证值执行生物信息的相似性确定。 认证值是基于将注册信息与由图1所示的认证信息获取单元181获取的生物信息进行比较的结果而获得的值。 认证值在认证信息取得部181取得的登记信息和生物体信息相似的情况下接近0,在不相似的情况下接近1。 用于认证的生物信息数据库172存储平均认证值、作为用于确定认证值的阈值的认证阈值、以及包括表示用户在认证阈值中为灰色的情况的认证允许范围值的认证允许值。并包括在内。 【0053】 首先,平均认证值是通过将注册信息与由认证信息获取单元181获取的生物信息进行比较而获得的平均认证值。 请注意,证明值的平均值是权利要求范围内的第一个证明值的示例。 【0054】 认证阈值将注册信息与认证信息获取单元181获取的生物特征信息进行比较,如果基于比较结果获得的认证值等于或小于该值,则确定用户是用户本人/自己。这是一个参考值 认证阈值是根据用户的认证状态而变化的值,其上限是预先设定的。 上限值是当超过上限值时不应仅通过用户他/她自己和生物统计信息来认证用户的值。 例如,认证阈值的默认值被设定为认证值0和认证值1之间的0.4,认证值0在认证信息取得部181取得的生物体信息相似时接近。他们不相似。 在这种情况下,认证阈值的上限是在认证阈值的默认值上加上0.05得到的值,0.05是认证值相似时接近0和认证值1接近时的10%的一半。 . ,即 0.45。 【0055】 关于容许认证值,将注册信息与认证信息获取单元181获取的生物信息进行比较。如果基于比较结果获得的认证值等于或大于该值,则用户被识别作为用户本人,作为判断没有的参考值 认证允许值是包括认证阈值的值,该认证阈值包括指示用户为灰色的情况的认证允许范围值,如上所述。 为此,认证允许值是根据认证阈值和认证允许范围值的波动而波动的值。 允许认证值有一个预定的上限,称为最大允许认证值。 最大允许认证值是一个值,超过该值用户应该被判断为陌生人。 例如,0.5是在注册信息和由认证信息获取单元181获取的生物统计信息相似时接近的认证值0与在它们不相似时接近的认证值1之间的中间值。 【0056】 认证阈值和认证允许值之间的值称为认证允许范围值。 允许认证范围值是指示用户是否是用户本人的值。 当认证值在允许认证范围值内时,仅根据生物特征信息判断用户是否为真实用户,但包括用户特有的行为信息。 具体地,如果认证值在认证允许范围值内,且用户特有的行为信息满足通过条件,则用户通过认证。 另外,如果认证值在认证允许范围值内,或者如果用户特定行为信息不符合通过条件,则用户不被认证。 基于行为信息的用户认证以下称为辅助认证。 允许认证范围值是一个预定值,如果认证值落在该范围内,则该值通常被认为对用户有利。 【0057】 认证允许范围值例如是图0.08所示的注册信息接近0.08的认证值之一,小于10%。 注意,当认证阈值达到上限时,允许认证范围值变为通过从最大认证值减去认证阈值的上限而获得的值。 例如,认证阈值上限为0.45,最大允许认证值为0.5,则认证允许范围值为0.05。 因此,当认证阈值是上限时,认证允许范围值的值小于认证阈值不是上限时的值。 【0058】 接下来,下面将参考图7B描述认证行为信息数据库173的表。 认证行为信息数据库173的表格包括通信连接、事件执行等用户行为的类型、图4所示的认证信息获取单元181获取的信息、每个行为的最新状态、每个行为的通过条件是存储。 【0059】 例如,如果行为类型是通信连接,则连接目的地址、SSID(服务集标识符)、BSSID(基本服务集标识符)等,如果行为类型是事件执行,则调度簿位置信息如name and address of the place of the event held stored in. 存储要表示的名字、IDs(Identifiers)等,如果行为类型是位置信息,则表示当前的经纬度、地址等存储终端设备1的位置。 【0060】 例如,如果行为类型为通信连接,则每个行为的最新状态为设备连接到获取的信息中指示的通信连接目的地的总次数。 与通信连接目的地的总连接次数的初始值为0,随着与通信连接目的地的连接而增加次数。 此外,如果行为的类型是事件执行,则存储在获取的信息中存储的位置与用户当前位置之间的距离。 【0061】 若行为类型为人脸与终端设备1的距离,则最新情况存储用户通过认证时计算的人脸与终端设备1的平均距离。 人脸与终端设备1之间的平均距离在每次用户被认证时更新。 面部与终端装置1之间的平均距离的初始值是在终端装置1对用户进行认证之前预先登记图7A所示的生物信息时获得的距离。 【0062】 此外,如果行为的类型是设备连接,则最新状态存储它是否连接到由存储在获取的信息中的名称、ID等表示的设备。 设备连接例如是与蓝牙(注册商标)配对的设备与终端设备1之间的连接。 如果行为类型是位置信息,则最新情况存储了经纬度、地址等表示用户在认证时所在的位置。 而且,每个行为的接受条件是可以保证每个行为的可靠性的预定条件。 【0063】 接着,倾斜信息表174如图7C所示。 倾斜信息表174存储表示从图4所示的倾斜检测单元13获取的终端设备1的倾斜的角度、获取该角度时的日期和时间、以及作为检测倾斜的间隔的待机时间。倾斜。正在做。 表示终端装置1的倾斜的角度由图4所示的认证信息取得部181从倾斜检测部13取得,每次经过待机时间时更新。 此外,更新角度时,获取角度的日期和时间也会更新。 【0064】 当根据第一实施例的终端设备1完成开机后过程的初始化过程或从睡眠状态返回时,终端设备1进入锁定状态,其中在认证成功之前不允许操作每个功能。 当进入该锁定状态时或当操作每个功能时请求验证时,图1所示的终端控制单元18执行程序171以确定用户是否是用户本人。 下面将参考图8A至13B所示的每个处理的流程图来描述由终端控制单元18执行的认证处理程序170和语音认证处理程序171的处理。 【0065】 首先,参考图8A所示的认证过程的流程图。 图4所示的终端控制单元18的认证确定单元182执行面部认证值获取处理(步骤S101)。 下面将参照图10所示的面部认证值获取过程的流程图来描述面部认证值获取过程。 【0066】 终端控制部18的认证判定部182将重试次数设为0(步骤S201)。 图4所示的认证信息获取单元181使拍摄单元11拍摄操作终端设备1的用户的面部。 具体而言,认证信息取得部181使内置相机11A拍摄面向终端装置1的正面的用户的面部照片。 认证信息获取单元181获取从拍摄单元11拍摄的用户脸部照片(步骤S202)。 认证信息取得部181判断取得的用户的面部照片是否模糊(步骤S203)。 【0067】 如果用户的面部照片没有模糊(步骤S203;否),则认证信息获取单元181确定是否可以从拍摄单元11拍摄的用户的面部照片中检测到用户的面部(步骤S204)。 如果可以从用户的面部照片中检测到用户的面部(步骤S204;是),则认证信息获取单元181获得检测到的用户的面部图像的特征量。 认证信息获取单元181将所获取的用户面部图像的特征量发送到图1中所示的认证确定单元182。 【0068】 认证判定部182取得存储在图1所示的终端存储部17中的认证生物​​体信息数据库172。 认证判定部182从图7A所示的认证生物​​体信息数据库172的表中,检索与生物体信息中的“脸”对应的登记信息中存储的脸图像的特征量和认证值。 . 获得认证津贴和认证门槛 认证判定部182将从认证生物体信息数据库172取得的登录信息的面部图像的特征量与从认证信息取得部181接收到的面部图像的特征量进行比较,根据比较结果,得到人脸认证值。 【0069】 进一步地,如果在步骤S202中获取的用户的面部照片模糊(步骤S203;是),或者如果在步骤S204中无法从用户的面部照片中检测到用户的面部(步骤S204;否),认证申请信息获取单元181判断重试次数是否小于规定次数(步骤S206)。 该指定次数是规定的重试次数,存储在图1所示的终端存储部17中。 【0070】 如果重试次数小于指定次数(步骤S206;是),则认证信息获取单元181将重试次数加1(步骤S207)。 认证信息获取单元181使拍摄单元11重新尝试拍摄用户的脸(步骤S208)。 【0071】 如果重试次数不小于指定次数(步骤S206;否),则认证信息获取单元181使认证确定单元182获取存储在终端存储单元17中的面部认证值(步骤S209)。 具体而言,认证信息取得部181使认证判定部182取得存储在图1所示的终端存储部17中的认证生物​​体信息数据库172。 认证判定部182从图7A所示的认证生物​​体信息数据库172的表中取得生物体信息的种类中与“脸”对应的认证值的平均值。 另外,如果从用户的人脸照片中无法检测到用户的人脸,锁定当前正在操作的用户以防止进一步的操作,或者显示将使用另一种认证方式的消息,也很好。 【0072】认证确定单元182结束面部认证获取处理。 现在回到图8A。 认证判定部182判定在步骤S101的面部认证值取得处理中取得的面部认证值是否在从认证生物体信息数据库172取得的认证阈值以上(步骤S102)。 如果在面部认证值获取过程中获取的面部认证值等​​于或大于认证阈值(步骤S102;是),则认证确定单元182确定所获取的面部认证值是从认证生物信息数据库172。确定是否(步骤S103)。 【0073】 如果获得的面部认证值等​​于或小于认证允许值(步骤S103;是),则使用终端设备1的用户是否是用户本人是灰色的。 因此,认证确定单元182执行辅助认证处理,其是基于行为信息的认证处理(步骤S104)。 下面将参考图10所示的流程图描述辅助认证过程。 【0074】 首先,认证确定单元182使图4所示的认证信息获取单元181从通信单元10获取当前连接的通信连接目的地。 认证确定单元182从认证信息获取单元181接收所获取的通信单元10的当前通信连接目的地。 【0075】 随后,认证确定单元182从图1所示的终端存储单元17获取认证行为信息数据库173。 认证确定单元182获取存储在图7B所示的认证行为信息数据库173的表中的行为类型之中与“通信连接”相关联的获取信息、次数和接受条件。 【0076】 例如,如图7B所示,获取的“通信连接”信息中存储有SSID ABC_WLAN和123WLAN。 在该ABC_WLAN中,连接次数存储为31次,连接次数为100次以上作为合格条件。 对于123 WLAN,连接次数存储为157次,连接次数存储为100次以上作为通过条件。 在下面的描述中,将满足通过条件的情况称为可靠情况,将不满足通过条件的情况称为不可靠情况。 【0077】 认证确定单元182将从认证信息获取单元181接收的通信单元10的当前通信连接目的地与从认证行为信息数据库173获取的获取信息进行比较,并确定当前通信连接目的地是否可靠。判断是否是通信连接目的地(步骤S301)。 【0078】 这里,例如,假定SSID 123 WLAN被获取为通信单元10的当前通信连接目的地。 对于认证行为信息库173中存储的行为类型“通信连接”的获取信息中的123WLAN,连接次数为156次,通过条件的连接次数为100次以上. 因此,由于当前的通信连接目的地是可靠的通信连接目的地(步骤S301;是),所以认证确定单元182将使用终端装置1的用户认证为用户本人。 【0079】 接下来,认证确定单元182使认证间隔长于当前认证间隔(步骤S302)。 这是因为如果当前的通信连接目的地是可靠的通信连接目的地,则认为用户自己处于诸如家庭或办公室的可信任环境中。 在这种情况下,认证间隔应该设置得比当前认证间隔长,认证频率应该降低,认证应该执行最少必要的次数。 此外,认证确定单元182设置指示辅助认证已经完成的返回值(步骤S303)。 【0080】 此外,在步骤S301中,例如,假设已经获取了SSID ABC_WLAN作为通信单元10的当前通信连接目的地。 认证行为信息数据库173中存储的行为类型“通信连接”的获取信息中的ABC_WLAN的连接次数为31次,连接次数为100次以上的通过条件。 因此,认证确定单元182确定当前的通信连接目的地不是可靠的通信连接目的地(步骤S301;否)。 在这种情况下,认证确定单元182确定当前是否正在执行可靠事件(步骤S304)。 【0081】 认证确定单元182从图1所示的终端存储单元17获取认证行为信息数据库173。 认证确定单元182获取与存储在图7B所示的认证行为信息数据库173的表中的行为类型之中的“事件执行”相关联的获取信息和接受条件。 例如,如图7B所示,在所获取的“事件的执行”信息中,“○×公园”和“△●电影院”被存储为事件举行的地点,并且“距离为100m”存储为两者的通过条件。within”。 【0082】 这里,例如,假设终端设备1中提供的日历存储“△●电影院”作为将在当前日期和时间举行的事件的位置。 认证确定单元182将用于认证的信息获取单元181从位置检测单元16获取的当前位置信息与事件位置“△●电影院”在当前日期和时间的位置信息进行比较。 例如,假设当前位置信息与事件地点“△●电影院”的位置信息之间的距离为72m。 该距离是图7B所示的“事件执行”的“△●电影院”中的通过条件“100m以内的距离”。 在这种情况下,认证确定单元182确定它是可靠事件的执行(步骤S304;是)。 此后,认证确定单元182执行步骤S302和S303。 【0083】 此外,认证确定单元182使认证信息获取单元181从操作输入单元14获取紧接之前或当前正在执行的事件的细节。 认证判定部182从终端装置1所具备的日历中取得在最后一天或当前日期时间是否有日程、以及日程的举办场所的信息。 如果紧接在当前日期和时间之前或在当前日期和时间不存在日程,则认证确定单元182确定该事件不是可靠事件(步骤S304;否)。 在这种情况下,认证确定单元182计算面部和终端设备1之间的距离(步骤S305)。 【0084】 此外,在步骤S304中,如果紧接之前或当前存在日程,则认证确定单元182使认证信息获取单元181从位置检测单元16获取当前位置信息。 例如,假设终端设备1中提供的日历存储“XX Park”作为将在当前日期和时间举行的事件的位置。 认证确定单元182将认证信息获取单元181从位置检测单元16获取的当前位置信息与“○×公园”的位置信息进行比较,“○×公园”是在当前日期和时间举行的活动的位置。 . 【0085】 例如,假设当前位置信息与事件发生地“XX公园”的位置信息之间的距离为113m。 该距离不满足图7B所示的“事件执行”的“○×公园”中的通行条件“100m以内的距离”。 在这种情况下,证书确定单元182假设事件的执行是不可靠的(步骤S304;否),并且计算面部和终端设备1之间的距离(步骤S305)。 【0086】 用户面部与终端设备1之间的距离是基于图1所示的内置相机11A拍摄的用户面向终端设备1正面的照片中用户面部的比例来计算的。 【0087】 随后,认证确定单元182从图1所示的终端存储单元17获取认证行为信息数据库173。 认证确定单元182获取存储在图7B所示的认证行为信息数据库173的表中的行为类型中的平均距离和与“面部与终端设备之间的距离”相关联的接受条件。 例如,如图7B所示,对于“面部与终端设备之间的距离”存储262mm的平均距离,并且存储该平均距离的正负20mm作为接受条件。 【0088】 认证判定部182判定在步骤S109中计算出的用户的面部与终端装置1之间的距离是否在作为从认证行为信息数据库173取得的通过条件而设定的设定范围内(步骤S306)。 具体地,从认证行为信息数据库173获取的平均距离为262mm,接受条件为平均距离正负20mm,因此判定范围是否为242mm~282mm。 【0089】 如果在步骤S305中计算出的用户面部与终端装置1之间的距离在设定范围内,具体地,如果在242mm到282mm的范围内(步骤S306;是),则认证确定单元182,步骤执行S302和步骤S303。 【0090】 如果在步骤S305中计算出的用户面部与终端装置1之间的距离不在设定范围内,具体地,如果不在242mm到282mm的范围内(步骤S306;否),认证确定单元182获取终端设备1的当前位置(步骤S307)。 具体而言,认证判定部182使图4所示的认证信息取得部181从位置检测部16取得表示终端装置1的当前位置的纬度和经度。 【0091】随后,认证确定单元182确定从位置检测单元16获取的指示终端设备1的当前位置的纬度和经度是否在被设置为认证行为信息数据库173的通过条件的设置范围内(步骤S308). 具体而言,认证判定部182从图2所示的终端存储部17取得认证行为信息数据库173。 认证确定单元182确定存储在图1所示的认证行为信息数据库173的表中的行为类型中与“位置信息”关联的最新情况中存储的纬度和经度,并得到。 认证确定单元182基于认证信息获取单元181获取的指示终端设备1的当前位置的纬度和经度与从认证行为信息数据库173获取的纬度和经度之间的差来获得距离。 认证确定单元182确定所获得的距离是否在被设置为认证行为信息数据库173的通过条件的设置范围内。 【0092】 如果指示终端设备1的当前位置的纬度和经度在设置为认证行为信息数据库173的通过条件的设置范围内(步骤S308;是),则认证确定单元182执行步骤S302和S303。 . 此外,当指示终端设备1的当前位置的纬度和经度不在被设置为认证行为信息数据库173的通过条件的设置范围内时(步骤S308;否),认证确定单元182确定辅助认证不能执行。被设置为返回值(步骤S309)。 认证确定单元182终止辅助认证处理。 【0093】 现在,返回图8A。 认证确定单元182确定辅助认证是否已经完成(步骤S105)。 如果不能执行辅助认证(步骤S105;否),则认证确定单元182使图)中所示的认证结果显示单元183显示。 该关键字是预先存储在图1所示的终端存储单元17中的任意关键字。 【0094】 认证确定单元182确定语音输入的关键字是否正确(步骤S107)。 如果语音输入的关键词不正确(步骤S107;否),则认证确定部分182使认证结果显示部分183在显示部分19上显示密码输入请求(步骤S108)。 该密码是预先存储在图1所示的终端存储部17中的任意密码。 【0095】 认证确定单元182确定输入的密码是否正确(步骤S109)。 如果输入的密码不正确(步骤S109;否),则认证确定单元182使图4所示的认证结果显示单元183在显示单元19上显示登录屏幕(步骤S110)。 该登录画面用于通过终端装置1所具备的OS进行密码输入、指纹认证等个人认证。 【0096】 在步骤S102中,如果在面部认证值获取过程中获得的面部认证值不等于或大于认证阈值(步骤S102;否),如果在步骤S105中辅助认证成功(步骤S105;是),步骤S107.(步骤S107;是),或者如果在步骤S109中输入的密码正确(步骤S109;是),则认证确定单元182执行语音获取处理(步骤S111)。 【0097】 在步骤S102中,如果在面部认证值获取过程中获得的面部认证值不等于或大于认证阈值(步骤S102;否),如果在步骤S105中辅助认证成功(步骤S105;是),换言之,例如,这是通过用户面部认证成功的情况。 在这种情况下,终端设备1处于可以获取用户面部图像的状态,例如用户手持终端设备1的状态或者用户正在操作各种功能的状态。 【0098】 如果在步骤S107中通过语音输入的关键字正确(步骤S107;是),或者如果在步骤S109中输入的密码正确(步骤S109;是),则显示单元19上显示的关键字或密码用户可以看到要求输入 在这种情况下,类似于步骤S102和S105中的状态,终端设备1处于可以获取用户的面部图像的状态,例如被用户持有或者被用户利用各种功能操作。 【0099】 能够获取到用户人脸图像的状态,例如用户手持设备的状态、用户操作各种功能的状态,是权利要求中的第一使用状态的示例。 【0100】 接下来,下面将参考图11A和11B所示的流程图描述语音获取过程。 首先,在图11A中,认证确定单元182确定是否存在用户的语音(步骤S401)。 具体地,当认证信息获取单元181可以从图4所示的语音输入/输出单元12获取用户的语音时,认证确定单元182确定存在用户的语音。 如果认证信息获取单元181不能从图4所示的语音输入/输出单元12获取用户的语音,则认证确定单元182确定不存在用户的语音。 假设语音输入/输出单元12是图1中所示的麦克风12B。 【0101】 如果不存在用户的语音(步骤S401;否),则认证确定单元182结束语音获取处理,如图11B所示。 如果存在用户的声音(步骤S401;是),则认证确定单元182将记录时间设置为0秒(步骤S402)。 认证确定单元182使认证信息获取单元181从图4所示的语音输入/输出单元12获取用户的语音(步骤S403)。 【0102】 认证确定单元182确定记录时间是否已经超过指定时间(步骤S404)。 该规定时间是获取预定音频数据所需的时间。 例如,设定10秒、30秒等任意时间。 已设置的指定时间存储在终端存储单元17中。 【0103】 如果记录时间没有超过指定时间(步骤S404;否),则认证确定单元182返回到步骤S403并且使认证信息获取单元181从语音输入/输出单元12获取用户的语音。 如果记录时间超过规定时间(步骤S404;是),则认证确定单元182将词数据库175从终端存储单元17加载到图所示的语音认证处理单元300的词获取单元310中。获取(步骤S405)。 【0104】 随后,单词获取单元310确定认证信息获取单元181获取的用户语音数据是否包含填充词(步骤S406)。 具体地,单词获取单元310从头到尾依次搜索所获取的用户语音数据,判断语音数据中是否包含相同的特征量。 【0105】 如果在用户的语音数据中没有填充符(步骤S406;否),则认证确定单元182结束语音获取处理,如图11B所示。 如果在用户的语音数据中存在填充符(步骤S406;是),则图所示的语音认证处理单元300的语音波形提取单元311去除填充符(步骤S407)。 具体地,语音波形截取单元311从认证信息获取单元181获取的用户语音数据中截取与在步骤S406中找到的填充词对应的部分的语音波形。 【0106】 认证确定单元182更新填充词的出现次数和出现顺序(步骤S408)。 具体而言,认证判定部182将存储在图6B所示的单词数据库175的表中的填充词的出现次数加1。 随后,认证确定单元182以出现次数从小到大的顺序重新排列词数据库175中的填充词、词的语音特征量和出现次数。 【0107】 认证确定单元182确定在步骤S407中截取的填充词的出现顺序是否在指定顺序内(步骤S409)。 如果填充词的出现顺序不在规定顺序内(步骤S409;否),则认证确定单元182返回到步骤S406。 然后,认证确定单元182执行步骤S406之后的每个步骤。 【0108】 此外,当填充词的出现顺序在指定顺序内时(步骤S409;是),认证确定单元182指示图所示的语音认证处理单元300的语音波形提取单元311提取的语音波形是传送到单元300的时间序列变化提取单元312。 现在转向图11B。 时间序列变化提取单元312基于接收到的语音波形的电平获得音调特征量(步骤S410)。 时间序列变化提取单元312将获得的音高特征量与填充词相关联地存储在图5所示的终端存储单元17的时间序列模型数据库176中(步骤S411)。 【0109】 接着,语音波形提取部311将提取出的语音波形发送给图3所示的语音认证处理部300的声道特征提取部314。 声道特征提取单元314从接收到的语音波形中获得声道特征数据(步骤S412)。 声道特征提取部314将取得的声道特征数据与填充词相关联地存储在图5所示的终端存储部17的声道特征模型数据库177中(步骤S413)。 【0110】认证确定单元182确定是否存在其填充物在步骤S406中被确定的用户的语音的任何剩余数据(步骤S414)。 例如,假定与填充词相同的特征量包括在语音数据的中间。 在这种情况下,由于存在剩余的音频数据(步骤S414;是),处理返回到图11A所示的步骤406。 然后,认证确定单元182执行步骤S406之后的每个步骤。 此外,例如,假定与填充词的特征量相同的特征量被包括在语音数据的末尾。 在这种情况下,由于没有语音数据剩余(步骤S414;否),因此认证确定单元182终止语音获取处理。 【0111】 现在,返回图8A。 认证确定单元182使图4所示的认证信息更新单元184更新存储在图2所示的认证生物​​信息数据库172和认证行为信息数据库173中的各种数据(步骤S112)。 具体而言,认证信息更新部184更新图7A所示的认证生物​​体信息数据库172的表中的与生物体信息种类“脸”对应的登记信息中存储的登记信息。认证判定部182将来自认证信息取得部181的面部图像的特征量附加到面部图像的特征量,更新登记信息。 【0112】 随后,认证信息更新单元184更新在图7B所示的认证行为信息数据库173的表中与行为类型“通信连接”或“事件执行”相关联的最新状态中存储的次数。添加1和更新。 另外,将存储在图2所示的认证行为信息数据库173的表中的行为类型“人脸与终端设备之间的距离”的最新情况更新为根据“人脸与终端设备之间的距离”获得的平均距离。终端设备”在图4所示的步骤S305中计算得到。 并且,存储在如图所示的认证行为信息数据库173的表中的与行为类型“位置信息”相关联的最新情况。基于在S307中获取的终端设备1的当前位置的纬度和经度,平均纬度和经度被计算和更新。 【0113】 通过以这种方式更新存储在认证生物信息数据库172中的生物信息和存储在认证行为信息数据库173中的行为信息,提高了用户的生物信息和行为信息的准确性。 因此,可以提高用户认证的准确性。 【0114】 现在转到图 8B。 认证判定部182判定生物体认证和辅助认证是否成功了规定次数(步骤S113)。 设定次数为任意次数,比如连续10次,或者终端设备1启动后总共20次。 如果生物认证和辅助认证成功了设定次数(步骤S113;是),则认证确定单元182获得通过设定认证次数获得的平均面部认证值(步骤S114)。 【0115】 具体而言,认证判定部182取得图11所示的认证生物​​体信息数据库172。 认证判定部182从图7A所示的认证生物​​体信息数据库172的表中取得生物体信息的种类中与“脸”对应的认证值的平均值。 认证确定单元182将在步骤S101中获得的面部认证值与从认证生物信息数据库172获取的平均认证值相加,将结果除以2,并且计算平均面部认证值。 另外,在生物体认证及辅助认证未成功规定次数的情况下(步骤S113;否),跳过步骤S114至步骤S116的处理,进入步骤S117。 【0116】 认证确定单元182将在步骤S114中获得的平均面部认证值发送到认证信息更新单元184。 认证信息更新部184将接收到的人脸认证值的平均值与预先设定的认证阈值的上限值进行比较。 当平均面部认证值等​​于或大于预先设置的认证阈值的上限时,认证信息更新单元184更新图7A所示的认证生物​​信息数据库172的表中的生物信息类型。认证阈值的上限值被写入与“面部”相关联的认证阈值并被更新。 【0117】 此外,当平均面部认证值等​​于或小于认证阈值的预设上限时,认证信息更新单元184更新认证阈值(步骤S115)。 具体地,在步骤S114中,认证信息更新单元184将该值加到与图7A所示的认证生物​​信息数据库172的表中的生物信息类型中的“面部”相关联的认证阈值。获得的认证值被写入以更新认证阈值。 【0118】 随后,认证信息更新单元184更新认证允许值(步骤S116)。 具体地,当在步骤S114中获得的平均人脸认证值等于或大于预先设置的认证阈值的上限时,认证信息更新单元184更新预设的最大允许认证值以供认证。 如果步骤S114获取的人脸认证值的平均值等于或小于预先设置的认证阈值的上限值,则步骤S114获取的人脸认证值的平均值与默认的认证允许值范围值 如果增加值小于或等于最大认证允许值,则增加值作为认证允许值。 如果在步骤S114中获得的平均面部认证值与默认认证允许范围值之和等于或大于最大认证允许值,则将最大认证允许值设置为认证允许值。 【0119】 认证信息更新部184取得图11所示的认证生物​​体信息数据库172。 认证信息更新部184将取得的认证容许值追加到图7A所示的认证生物​​体信息数据库172的表中的与生物体信息的种类中的“脸”对应的认证容许值栏,并进行更新。 【0120】 图4所示的认证信息取得部181从倾斜检测部13取得终端装置1的倾斜角度。 随后,认证信息获取单元181从定时器(未示出)获取当前日期和时间信息(步骤S117)。 认证信息取得部181将取得的终端装置1的倾斜角度和当前日期时间信息发送给认证判定部182。 【0121】 认证判定部182将接收到的终端装置1的倾斜角度和当前日期时间信息发送给认证信息更新部184。 认证信息更新部184将接收到的终端装置1的倾斜角度和当前日期时间信息写入图2所示的终端存储部17所存储的倾斜信息表174中并保存(步骤S118)。 【0122】 认证确定单元182获取存储在图7C所示的倾斜信息表174中的待机时间。 认证判定部182将取得的待机时间发送给认证信息取得部181。 认证信息获取单元181在接收到的待机时间内等待从通信单元10、成像单元11等获取数据(步骤S119)。 【0123】 当待机时间结束时,认证信息获取部181从倾斜检测部13获取终端装置1的倾斜角度。 随后,认证信息获取单元181从定时器(未示出)获取当前日期和时间信息(步骤S120)。 认证信息取得部181将取得的终端装置1的倾斜角度和当前日期时间信息发送给认证判定部182。 【0124】 认证确定单元182获取存储在图7C所示的倾斜信息表174中的终端设备1的角度。 认证判定部182将从认证信息取得部181接收到的终端装置1的倾斜角度与从倾斜信息表174取得的终端装置1的倾斜角度进行比较,判定角度是否发生了变化。 S121). 【0125】 如果终端设备1的角度变化大于或等于预定的设定值,例如30度(步骤S121;否),则认证确定单元182确定用户移动了终端设备1并且执行一些操作。 执行,并且过程返回到图8A中所示的步骤S101。 之后,认证判定部182执行步骤S101以后的处理。 【0126】 另外,如果终端设备1的角度变化等于或小于预定设置值的角度(步骤S121;是),则认证确定单元182确定终端设备1没有被移动。用户。 随后,认证确定单元182确定是否到了认证用户的时间(步骤S122)。 对用户进行认证的时机为预设的认证间隔时间。 【0127】 如果到了验证用户的时间(步骤S122;是),则验证确定单元182返回到图8A所示的步骤S101。 之后,认证判定部182执行步骤S101以后的处理。 如果还没有到验证用户的时间(步骤S122;否),则验证确定单元182返回到步骤S118。 此后,认证确定单元182执行步骤S118至S122。 【0128】 现在,返回图8A。 在步骤S103中,如果认证确定单元182获得的面部认证值不等于或小于从用于认证的生物信息数据库172获取的认证允许值(步骤S103;否),则认证确定单元182开始语音认证处理.执行(步骤S123)。 【0129】如果该面部认证值不等于或小于从用于认证的生物信息数据库172获取的认证允许值,换言之,使用用户面部的认证失败。 例如,在将终端装置1用于包、口袋等的情况下,由于未取得用户的面部图像,因此通过用户的面部的认证失败。 进一步地,例如,在远程位置免提使用终端设备1时,即使能够获取到用户面部图像,用户面部图像也不清楚,或者图像中的用户面部图像是模糊的。太小,导致人脸认证值,用户人脸认证失败,因为 在这种情况下,通过切换到用户语音的认证,可以稳定地将用户认证为本人。 注意,验证切换到用户语音的状态是权利要求范围中的第二使用状态的示例。 【0130】 下面将参照图10所示的流程图描述语音认证过程。 认证确定单元182确定是否存在用户的语音(步骤S501)。 具体地,当认证信息获取单元181可以从图4所示的语音输入/输出单元12获取用户的语音时,认证确定单元182确定存在用户的语音。 如果认证信息获取单元181不能从图4所示的语音输入/输出单元12获取用户的语音,则认证确定单元182确定不存在用户的语音。 假设语音输入/输出单元12是图1中所示的麦克风12B。 【0131】 如果用户没有说话(步骤S501;否),则认证确定单元182将返回值设置为不能进行语音认证(步骤S509)。 如果存在用户的语音(步骤S501;是),则认证确定单元182使图4所示的认证信息获取单元181从语音输入/输出单元12获取用户的语音(步骤S502)。 认证确定单元182使图4所示的语音认证处理单元300执行语音认证值获取处理(步骤S503)。 下面将参照图13A和13B所示的流程图描述语音认证值获取过程。 【0132】 首先,参考图13A所示的流程图。 图5所示的声音认证处理部300的单词取得部310从图5所示的终端存储部17取得单词数据库175(步骤S601)。 单词获取单元310确定在图12的步骤S502中认证信息获取单元181获取的用户的语音数据是否包括填充词(步骤S602)。 具体地,词获取单元310从头到尾依次搜索所获取的用户语音数据,判断音频数据中是否包含相同的特征量。 【0133】 如果在用户的语音数据中没有填充符(步骤S602;否),则处理移动到图13B中的步骤S613。 认证确定单元182将大于与存储在图7A所示的认证生物​​信息数据库172的表中的生物信息类型“语音”相关联的认证允许值的值设置为认证值(步骤S613)。 这使得无法通过语音进行个人认证。 【0134】 比认证容许值大的值例如是与存储在图7A所示的认证生物​​体信息数据库172的表中的生物体信息种类“声音”对应的认证容许值加上0.1的值。 请注意,要添加的值是任意值。 语音认证值创建单元316结束语音认证值获取处理。 【0135】 这里,返回到图13A中的步骤S602。 如果在用户的语音数据中存在填充符(步骤S602;是),则图所示的语音认证处理单元300的语音波形提取单元311去除填充符(步骤S603)。 具体地,语音波形提取单元311从认证信息获取单元181获取的用户的语音数据中提取与在步骤S602中找到的填充词对应的部分的语音波形。 【0136】 认证确定单元182更新填充词的出现次数和出现顺序(步骤S604)。 具体而言,认证判定部182将存储在图6B所示的单词数据库175的表中的填充词的出现次数加1。 随后,认证确定单元182以出现次数从小到大的顺序重新排列词数据库175中的填充词、词的语音特征量和出现次数。 【0137】 认证确定单元182确定在步骤S603中截取的填充词的出现顺序是否在指定顺序内(步骤S605)。 如果填充词的出现顺序不在指定顺序内(步骤S605;否),则认证确定单元182返回到步骤S602。 然后,认证确定单元182执行步骤S602之后的每个步骤。 【0138】 此外,当填充词的出现顺序在指定顺序内时(步骤S605;是),认证确定单元182指示图所示的语音认证处理单元300的语音波形提取单元311提取的语音波形是传送到单元300的时间序列变化提取单元312。 现在转向图13B。 时间序列变化提取单元312基于接收到的语音波形的电平获得音高特征量(步骤S606)。 【0139】 图3所示的声音认证处理部300的时间序列变化提取部312被设定为时间序列变化提取部312。 时间序列变化匹配单元313从图1所示的终端存储单元17获取时间序列模型数据库176。 时序变化匹配单元313从图6C所示的时序模型数据库176的表中获取与在步骤S603中提取的语音波形相对应的填充词的音高特征量数据(步骤S607)。 【0140】 时间序列变化匹配单元313将从时间序列变化提取单元312获得的音高特征数据与在步骤S607中从时间序列模型数据库176获得的音高特征数据进行比较(步骤S608)。 随后,语音波形提取单元311将在步骤S603中提取的语音波形发送到图3所示的语音认证处理单元300的声道特征提取单元314。 声道特征提取单元314从接收到的语音波形中获得声道特征数据(步骤S609)。 【0141】 声道特征提取部314将声道特征数据发送至声音认证处理部300的声道特征匹配部315。 声道特性匹配单元315从图1所示的终端存储单元17获取声道特性模型数据库177。 声道特性匹配单元315获取存储在图6D所示的声道特性模型数据库177的表中的与在步骤S603中提取的语音波形对应的填充词的声道特性数据(步骤S610)。 【0142】 声道特性匹配单元315将从声道特性提取单元314获取的声道特性数据与在步骤S610中从声道特性模型数据库177获取的声道特性数据进行比较(步骤S611)。 取得图1所示的语音认证处理部300的语音认证值生成部316(步骤S612)。 语音认证值创建单元316结束语音认证值获取处理。 【0143】 在这里,返回图。 认证确定单元182确定在步骤S503中获得的语​​音认证值是否等于或大于认证阈值(步骤S504)。 如果语音认证值大于或等于认证阈值(步骤S504;是),则认证确定单元182确定语音认证值是否小于或等于允许认证值(步骤S505)。 如果语音认证值不等于或大于认证阈值(步骤S504;否),则认证确定单元182将返回值设置为语音认证成功的意思(步骤S508)。 【0144】 如果语音认证值等于或小于认证允许值(步骤S505;是),则认证确定单元182执行辅助认证处理(步骤S506)。 对于辅助认证处理,执行图10所示的流程图的处理。 如果语音认证值不等于或小于认证允许值(步骤S505;否),则认证确定单元182将返回值设置为语音认证不可能的大意(步骤S509)。 【0145】 认证确定单元182确定辅助认证是否已经完成(步骤S507)。 如果辅助认证成功(步骤S507;是),则认证确定单元182将返回值设置为语音认证成功(步骤S508)。 如果不能进行辅助认证(步骤S507;否),则认证确定单元182将返回值设置为不能进行语音认证(步骤S509)。 认证确定单元182终止语音认证过程。 【0146】 现在,返回图8A。 认证确定单元182确定语音认证是否成功(步骤S124)。 如果语音认证成功(步骤S124;是),则认证确定单元182更新语音认证值(步骤S125)。 具体地,认证确定单元182存储与存储在图3所示的认证生物​​信息数据库172的表中的生物信息类型“语音”相关联的认证值的平均值。在步骤中获得的语​​音认证值S612相加除以2得到平均值。 认证确定单元182将获得的语音认证值的平均值存储在图7A所示的认证用生物信息数据库172的表中。 【0147】认证判定部182更新图5所示的终端存储部17中存储的时间序列模型数据库176和声道特性模型数据库177(步骤S126)。 具体而言,认证判定部182使图176所示的语音认证处理部300的时间序列提取部312与填充词相关联地存储。 【0148】 认证判定部182使图1所示的语音认证处理部300的声道特征提取部314与以下的词相关联地存储。 认证判定部182返回步骤S101,执行步骤S101以后的处理。 【0149】 此外,在步骤S124中,如果语音认证失败(步骤S124;否),则认证确定单元182确定使用终端设备1的用户不是用户本人。 认证确定单元182使图4所示的认证结果显示单元183在显示单元19上显示认证失败。 随后,认证确定单元182调用终端设备1中提供的现有生物认证装置。 这里,假设指纹认证被称为现有的生物特征认证手段。 认证确定单元182执行指纹认证(步骤S127)。 在终端设备1中提供的现有生物认证装置中使用的各种生物信息是权利要求范围中的第四认证信息的示例。 【0150】 如果指纹认证成功(步骤S128;是),则认证信息获取单元181使拍摄单元11根据来自认证确定单元182的指令拍摄操作终端设备1的用户的面部。 认证信息获取单元181获取从成像单元11拍摄的用户面部照片的图像,并获得用户面部图像的特征量。 认证信息获取单元181将请求的用户面部图像的特征量发送到认证确定单元182。 认证确定单元182将接收到的用户面部图像的特征量发送到图1中所示的认证信息更新单元184。 认证信息更新部184将接收到的用户的面部图像的特征量存储在与图7A所示的认证生物​​体信息数据库172的表中的生物体信息种类“面部”对应的登记信息中。更新已经设置的面部图像的数量(步骤S129)。 认证确定单元182返回到步骤S101并执行步骤S101之后的步骤。 【0151】 如果指纹认证失败(步骤S128;否),则认证确定单元182使图4所示的认证结果显示单元183在显示单元19上显示登录屏幕(步骤S110)。 该登录画面用于通过终端装置1所具备的OS进行密码输入、指纹认证等个人认证。 【0152】 在上述第一实施例中,当从生物信息获得的认证值和认证阈值是相同值时,从生物信息获得的认证值等于或小于认证阈值,或者在任何情况下获得的认证值大于或等于认证阈值,则可以判断认证是否成功。 另外,如果从生物体信息获得的认证值和认证允许值是相同的值,则从生物体信息获得的认证值小于认证允许值,或者从生物体信息获得的认证值小于认证容许值,无论是大于还是等于认证容限,都可以判断认证是否成功。 【0153】 如上所述,根据第一实施例的终端设备1具有诸如用户的面部图像、指纹、声音等生物特征信息,以及用户操作终端设备1时的具体行为和操作状态。基于行为信息,可以验证用户并且可以执行终端设备1的各种功能。 特别是,由于在终端装置1中使用的声音认证能够根据通常的语音中包含的填充词来认证用户,因此能够减轻用户的负担,能够容易地进行用户的认证。 【0154】 另外,当由于终端设备1的使用情况,例如当终端设备1被放在包或口袋中使用时,用户的面部图像无法通过用户的面部图像来验证用户,则用户的声音可以是用于验证用户。应该能够验证 结果,无论终端设备1的使用状态如何,都可以稳定地验证用户。 【0155】 此外,在终端装置1中执行的用户认证处理在终端装置1的操作中在后台执行,并且通过更新用户的生物信息和行为信息,可以提高认证的准确性。 结果,可以在不给用户带来操作负担的情况下确保安全性。 【0156】 (实施例2) 在第一实施例中,当不能通过用户的面部图像对用户进行认证时,可以通过用户的语音对用户进行认证。 不限于此,当不能通过用户的语音认证用户时,可以通过用户面部的图像来认证用户。 其结果,即使变更用于认证用户的生物体信息的种类和顺序也能够进行认证,能够提高用户的便利性。 下面将将该认证处理描述为第二实施例的认证处理。 【0157】 当根据第二实施例的终端设备1完成开机后过程的初始化过程或从睡眠状态返回时,终端设备1进入锁定状态,在该锁定状态中,在认证成功之前不允许操作每个功能。 当进入该锁定状态时或当操作每个功能时请求验证时,图1所示的终端控制单元18执行程序171以确定用户是否是用户本人。 下面将参考图14A至16所示的每个处理的流程图来描述由终端控制单元18执行的认证处理程序170和语音认证处理程序171的处理。 【0158】 首先,参考图14A所示的认证过程的流程图。 图4所示的终端控制单元18执行语音认证值获取处理(步骤S701)。 下面将参照图10所示的语音认证值获取过程的流程图来描述语音认证值获取过程。 【0159】 认证确定单元182确定是否存在用户的语音(步骤S801)。 具体地,当认证信息获取单元181可以从图4所示的语音输入/输出单元12获取用户的语音时,认证确定单元182确定存在用户的语音。 如果认证信息获取单元181不能从图4所示的语音输入/输出单元12获取用户的语音,则认证确定单元182确定不存在用户的语音。 假设语音输入/输出单元12是图1中所示的麦克风12B。 【0160】 如果用户没有说话(步骤S801;否),则认证信息获取单元181指示认证确定单元182告诉认证确定单元182存储在认证生物信息数据库172的表中的生物信息的类型是所示的在图.中”被设置为认证值(步骤S804)。 比认证容许值大的值例如是在认证生物体信息数据库172的表中存储的与生物体信息种类“语音”对应的认证容许值加上0.1后的值。 请注意,要添加的值是任意值。 【0161】 此后,认证确定单元182结束语音认证值获取处理。 如果无法检测到用户的话语,则可以锁定当前操作的用户,使得不允许进一步的操作,或者显示一条消息,大意是要使用另一种认证方法。 【0162】 如果存在用户语音(步骤S801;是),则认证确定单元182使图4所示的认证信息获取单元181从语音输入/输出单元12获取用户语音(步骤S802)。 认证确定单元182使图4所示的语音认证处理单元300执行语音认证值获取处理(步骤S803)。 对于语音认证值获取处理,执行图13A和13B所示的流程图中的步骤S601至S613。 认证确定单元182结束语音认证值获取处理。 【0163】 现在,返回到图14A。 认证判定部182判定在声音认证值取得处理中取得的声音认证值是否在从认证生物体信息数据库172取得的认证阈值以上(步骤S702)。 如果在语音认证值获取过程中获取的语音认证值等于或大于认证阈值(步骤S702;是),则认证确定单元182确定获取的语音认证值等于获取的认证允许值判断是否来自认证生物体信息数据库172(步骤S703)。 【0164】 如果获得的语音认证值等于或小于认证允许值(步骤S703;是),则使用终端设备1的用户是否是用户本人是灰色的。 因此,认证确定单元182执行辅助认证处理,其是基于行为信息的认证处理(步骤S704)。 对于辅助认证处理,执行图10所示的流程图中的步骤S301至S309。 【0165】 认证确定单元182执行步骤S705至S710。 步骤S705至S710与图8A所示的步骤S105至S110相同。 【0166】在步骤S702中,如果在语音认证值获取过程中获得的语​​音认证值不等于或大于认证阈值(步骤S702;否),如果在步骤S705中辅助认证成功(步骤S705;是),则语音在步骤S707中进行认证。如果输入的关键字正确(步骤S707;是),或者如果在步骤S709中输入的密码正确(步骤S709;是),则认证确定单元182将密码存储在终端存储单元中更新图17所示的时间序列模型数据库176和声道特性模型数据库177(步骤S711)。 具体而言,认证判定部182使图176所示的语音认证处理部300的时间序列提取部312与填充词相关联地存储。 另外,认证判定部182将在图13B所示的步骤S609中取得的声道特征数据与填充词相关联地存储到图13B所示的声音认证处理部300的声道特征提取部314。 【0167】 认证确定单元182使图4所示的认证信息更新单元184更新存储在图2所示的认证生物​​信息数据库172和认证行为信息数据库173中的各种数据(步骤S712)。 具体而言,认证信息更新部184更新图7A所示的认证生物​​体信息数据库172的表中的与生物体信息种类“脸”对应的登记信息中存储的登记信息。认证判定部182将来自认证信息取得部181的面部图像的特征量附加到面部图像的特征量,更新登记信息。 【0168】 随后,认证信息更新单元184更新在图7B所示的认证行为信息数据库173的表中与行为类型“通信连接”或“事件执行”相关联的最新状态中存储的次数。添加1和更新。 另外,将存储在图2所示的认证行为信息数据库173的表中的行为类型“人脸与终端设备之间的距离”的最新情况更新为根据“人脸与终端设备之间的距离”获得的平均距离。终端设备”在图4所示的步骤S305中计算得到。 并且,存储在如图所示的认证行为信息数据库173的表中的与行为类型“位置信息”相关联的最新情况。基于在S307中获取的终端设备1的当前位置的纬度和经度,平均纬度和经度被计算和更新。 【0169】 通过以这种方式更新存储在认证生物信息数据库172中的生物信息和存储在认证行为信息数据库173中的行为信息,提高了用户的生物信息和行为信息的准确性。 因此,可以提高用户认证的准确性。 【0170】 随后,认证确定单元182执行图14B所示的流程图的步骤S713至S722。 从步骤S713到步骤S722的处理与图8B所示的流程图的从步骤S113到步骤S122的处理相同。 【0171】 现在,返回到图14A。 在步骤S703中,如果认证确定单元182获得的语音认证值不等于或小于从用于认证的生物信息数据库172获取的认证允许值(步骤S103;否),则认证确定单元182执行面部识别。认证处理.执行(步骤S723)。 下面将参照图11所示的流程图描述面部认证处理。 【0172】 认证确定单元182执行面部认证值获取处理(步骤S901)。 对于面部认证值获取处理,执行图9所示的流程图中的步骤S201至S209。 【0173】 认证确定单元182确定在步骤S901的面部认证值获取处理中获得的面部认证值是否等于或大于从认证生物信息数据库172获取的认证阈值(步骤S902)。 如果面部认证值不等于或大于认证阈值(步骤S902;否),则认证确定单元182进行到步骤S906并且设置表示面部认证处理已经完成的返回值(步骤S906)。 如果面部认证值大于或等于认证阈值(步骤S902;是),则认证确定单元182确定获得的面部认证值是否小于或等于从认证生物信息获取的认证允许值数据库172。(步骤S903)。 【0174】 如果由认证确定单元182获得的面部认证值不等于或小于从用于认证的生物信息数据库172获得的认证允许值(步骤S903;否),则认证确定单元182进行到步骤S907以执行面部认证处理 返回值被设置为不能执行操作的结果(步骤S907)。 【0175】 如果由认证确定单元182获得的面部认证值等​​于或小于从认证生物信息数据库172获得的认证允许值(步骤S903;是),则认证确定单元182执行辅助认证处理(步骤S904) ). 对于辅助认证处理,执行图10所示的流程图中的步骤S301至S309。 【0176】 认证确定单元182确定辅助认证是否已经完成(步骤S905)。 如果辅助认证成功(步骤S905;是),则认证确定单元182设置表示面部认证处理成功的返回值(步骤S906)。 此外,如果不能进行辅助认证(步骤S905;否),则认证确定单元182设置返回值以表示不能进行面部认证处理(步骤S907)。 认证确定单元182终止面部认证处理。 【0177】 现在,返回到图14A。 认证判定部182判定面部认证是否成功(步骤S724)。 如果面部认证成功(步骤S724;是),则认证确定单元182更新面部认证值(步骤S725)。 具体而言,首先,认证判定部182从图7A所示的认证生物​​体信息数据库172的表中取得生物体信息的种类中与“脸”对应的认证值的平均值。 随后,认证确定单元182将获得的平均面部认证值与在步骤S723的面部认证处理中获得的面部认证值相加,将结果除以2,并且计算平均面部认证值。 认证判定部182计算面部的认证值的平均值,作为认证生物体信息数据库172的表中的生物体信息的种类中与“面部”对应的认证值的平均值。在图 7A 中,填写列并更新。 【0178】 认证确定单元182执行语音获取处理(步骤S726)。 对于语音获取处理,执行图11A和11B所示的流程图中的步骤S401至S414。 【0179】 此外,在步骤S724中,如果面部认证失败(步骤S724;否),则认证确定单元182确定使用终端设备1的用户不是用户本人。 认证确定单元182使图4所示的认证结果显示单元183在显示单元19上显示认证失败。 随后,认证确定单元182调用终端设备1中提供的现有生物认证装置。 这里,假设指纹认证被称为现有的生物特征认证手段。 认证确定单元182执行指纹认证(步骤S727)。 【0180】 随后,认证确定单元182执行步骤S728和S729。 步骤S728和S729的处理与图8A所示的步骤S128和S129的处理相同。 认证确定单元182返回到步骤S701并执行步骤S701之后的步骤。 【0181】 在第二实施例中,与第一实施例中一样,当从生物特征信息获得的认证值与认证阈值相同时,从生物特征信息获得的认证值是否为可以确定认证是否成功。认证值等于或小于认证阈值或从生物特征信息获得的认证值等于或大于认证阈值。 另外,如果从生物体信息获得的认证值和认证允许值是相同的值,则从生物体信息获得的认证值小于认证允许值,或者从生物体信息获得的认证值小于认证容许值,无论是大于还是等于认证容限,都可以判断认证是否成功。 【0182】 如上所述,除了第一实施例的效果之外,根据第二实施例的终端设备1还具有当用户他/她不能通过语音认证用户他/她自己时可以通过用户语音认证用户他/她自己的效果。用户本人的人脸图像,可以进行身份​​验证。 其结果,即使变更用于认证用户的生物体信息的种类和顺序也能够进行认证,能够提高用户的便利性。 【0183】 (修改 1) 在上述实施例1和2中,使用用户面部图像的认证、语音认证和指纹认证被用作基于用户的生物信息的认证。 不限于此,基于用户的生物特征信息的认证可以是指静脉认证或虹膜认证等任何方法。 在上述实施例中,基于用户面部图像的认证和语音认证被用作确定是否使用辅助认证的条件。 【0184】 (修改 2) 在上述实施例1和2中,用户认证处理是通过执行图10所示的认证处理程序170来实现的。 认证处理程序170所执行的各步骤的全部或一部分由ASIC(专用集成电路)、系统LSI(大规模集成电路)或由各种电路元件构成的电路等半导体芯片实现。可能会这样做。 【0185】 (修改 3) 在上述实施方式1、2中,将与可信连接目的地的连接、可信事件的执行、用户的面部与终端装置1的距离作为辅助认证的判定条件。 不限于此,可以使用或包括其他方法。 例如,判断用户自己拥有的设备是否通过Bluetooth(注册商标)连接到终端设备1,如果连接,则用户被认证。 为了使用通过蓝牙(注册商标)连接的设备,需要将设备相互“配对”。 因此,通过Bluetooth(注册商标)进行的设备连接具有很强的个体特异性,可以将其作为辅助认证来对用户本人进行认证。 此外,也可以基于图1所示的位置检测部16取得的用户的行动路线的模式、规律性等,与用户本人进行认证。 【0186】 (修改 4) 在上述第一和第二实施例中,当其中一个辅助认证成功时,用户被认证为本人。 可选地,只有在多个辅助认证都成功时,用户才被认证为本人。 这使得可以进一步提高认证的准确性。 【0187】 (修改 5) 在上述实施例1和2中,当生物认证和辅助认证成功时,在图所示的流程图的步骤S302中降低频率。 然而,本发明不限于此,当生物认证和辅助认证成功时,可以不使认证间隔长于当前认证间隔,并且可以不降低认证频率。 具体地,可以不执行图10所示流程图的步骤S302。 【0188】 (修改 6) 在上述第一和第二实施例中,当用户认证成功时,用户继续操作终端设备1,并且终端设备1的倾斜度没有改变,用户自己操作终端设备1。可以确定操作继续进行。 在这种情况下,可以宽松地设置生物认证阈值和认证允许值,或者可以延长认证间隔。 通过这样做,可以节省终端设备1的资源的使用,同时在后台为用户他/她自己执行最少必要的认证。 【0189】 (修改七) 在上述第一和第二实施例中,以预定的认证间隔执行后台认证。 或者,也可以在后台随机进行鉴权,不指定鉴权的时间和间隔。 例如,当安装在终端设备1上的各种传感器中的任何一个引起诸如终端设备1的位置变化或倾斜变化的空间变化时,可以根据需要进行认证。 此外,也可以在用户对终端装置1进行用于进行特殊处理的操作、不正常的操作等时进行认证。 【0190】 (修改8) 在第一实施例的图8A所示的认证过程的步骤S112和图184所示的第二实施例的步骤S712中,存储在认证生物信息数据库172和认证行为信息数据库173中的各种数据的注册信息图2中所示的被更新。 不限于此,例如,当用户他/她自己已经被验证了预定次数时,或者当预定时间过去时,验证确定单元182用用于验证的生物特征更新验证信息更新单元184。可以更新存储在信息数据库172和认证行为信息数据库173中的各种数据的注册信息。 【0191】 此外,在第一实施例的图8A所示的认证过程的步骤S112和第二实施例的图14A所示的步骤S712中,认证确定单元182使认证信息更新单元184对注册信息的一部分进行更新。可以更新认证生物信息数据库172和认证行为信息数据库173中存储的各种数据。 【0192】 (修改9) 在上述实施例一中,在图8A所示的认证过程中,如果不能使用用户的面部图像对用户进行认证,则使用用户的语音对用户进行认证。 或者,例如,可以在后台不断获取用户的语音,通过语音来验证用户的身份。 并且,在这种情况下,当需要用户本人进行认证时,如果之前的后台语音认证成功,则可以认为认证成功。 【0193】 此外,如果之前没有在后台进行语音认证,或者语音认证失败,例如其他生物认证,如用户面部图像认证、指纹认证等。您可以 此外,当诸如通过用户面部图像对用户本人的认证或指纹认证的其他生物认证失败时,可以再次明确地发声用户以进行语音认证。 【0194】 (修改 10) 在上述第一和第二实施例中,存储在图6B所示的单词数据库175中的填充词各为一个单词。 不限于此,多个填充词可以例如以在语音中频繁出现的组合存储在词数据库175中。 除了填充词之外,还可以组合各种词,例如连词、副词和感叹词。 【0195】 (修改 11) 在上述实施方式1、2中,将存储在图6C所示的单词数据库175中的填充词的各种数据提取并存储在图6C所示的时间序列模型数据库176和图6C所示的声道特征模型数据库177中。添加或更新 6D。 用户经常使用的填充词预先存储在图6D所示的词数据库175中,也可以存储在图6D所示的数据库176和声道特征模型数据库177中。 由此,从终端装置1的使用开始时起,用户就可以利用填写者的用户认证。 【0196】 此外,当填充词包含在用户的话语中时,基于用户话语的语音数据更新预先存储在单词数据库175等中的与填充词相关的各种数据。 此外,如果用户的话语包括未预先存储在单词数据库175等中的新填充词,则可以将与新填充词相关的每个数据添加到单词数据库175等中。 结果,可以更新与预先登记的填充词相关的各种数据,并且用户话语中包含的新填充词也可以用于用户认证,可以提高准确性。 【0197】 另外,在本发明的实施方式1、2中,终端装置1不依赖于专用系统,能够使用通常的计算机系统来实现。 例如,用于实现终端设备1中的每个功能的程序被存储在诸如CD-ROM(致密盘只读存储器)或DVD-ROM(数字多功能盘只读存储器)的计算机可读记录介质中。通过分发该程序并将该程序安装在计算机上,可以构建能够实现上述每个功能的计算机。 然后,当在OS​​(操作系统)和应用程序之间共享每个功能时,或者当OS和应用程序一起工作时,可以仅将应用程序存储在记录介质中。 【0198】 在不脱离本发明广泛的精神和范围的情况下,本发明的各种实施例和修改是可能的。 此外,上述实施例是为了解释本发明的目的,并非旨在限制本发明的范围。 即,本发明的范围由权利要求书而非实施例来表示。 在权利要求的范围内以及在等同公开的范围内做出的各种修改被认为在本公开的范围内。 【0199】 本申请基于 2021 年 10 月 7 日提交的日本专利申请第 2021-165354 号。 日本专利申请第 2021-165354 号的整个说明书、权利要求和附图通过引用并入本文。 【0200】 本发明可以适用于终端设备。 【0201】1终端设备、10通信单元、11成像单元、11A前置摄像头、11B主摄像头、12语音输入/输出单元、12A扬声器、12B麦克风、13检测单元、14操作输入单元、15指纹检测单元、15A左指纹传感器、15B右指纹传感器、16位置检测单元、17终端存储单元、18终端控制单元、19显示单元、21处理器、22存储器、23显示控制器、24显示设备、25 I/O端口、26存储设备、 27 通信设备 28 数据总线 170 认证处理程序 171 语音认证处理程序 172 认证用生物特征信息库 173 认证用行为信息库 174 倾斜信息表 175 词库 176 时间序列模型库 177 vocal道特征模型数据库、181认证信息获取单元、182认证判定单元、183认证结果显示单元、184认证信息更新单元、300语音认证处理单元、310词获取单元、311语音波形提取单元、312时间序列提取单元313时间序列变化匹配单元314声道特征提取单元315声道特征匹配单元316语音认证值创建单元。