Digi ConnectCore Voice为任何集成了ConnectCore模块的设备带来了物联网边缘的完整语音处理。它集成了vicCONTROL工业应用从语音INTER连接使用Digi ConnectCore平台，为任何支持ConnectCore的产品提供语音识别和语音控制功能。

ConnectCore Voice提供了可定制的词汇表、可定制的唤醒词和文本到语音输出，实现了用户与设备的零接触交互。它不需要基于硬件的AI/ML加速器来运行，使您能够在不增加硬件成本的情况下添加语音处理功能。

ConnectCore Voice的语音识别技术在设备本地运行，不需要互联网连接。这使得它特别适合于必须在没有互联网访问的情况下运行的应用程序，需要快速响应语音命令的应用程序，或有特殊数据保护要求的应用程序。它可以识别自然语音，可与亚马逊Alexa或谷歌语音转文本服务等基于云的语音识别服务相媲美。此外，它还支持30种国家语言，并使用机器学习和人工智能技术实现对说话内容的语义理解。

体系结构

ConnectCore Voice由两个主要部分组成:

  • vicSDC网络工具用于设计和编译语音应用程序

  • 一个离线对话管理器，运行在ConnectCore平台上

VICcontrol和Digi ConnectCore Voice

开始与Digi ConnectCore语音演示

按照以下步骤开始使用Digi ConnectCore语音演示和您的ConnectCore 8M纳米开发工具包。

需求

  • ConnectCore 8M纳米开发工具包

  • USB耳机，或麦克风与耳机连接的音频插孔连接器

    为了充分利用ConnectCore 8M Nano语音识别演示，推荐使用森海塞尔PC 8 USB耳机，但你也可以使用麦克风和连接到音频插孔连接器的耳机。

  • 演示中的图形用户界面的HDMI显示

  • 在图形用户界面中切换演示的鼠标

步骤1:安装硬件

按照以下步骤来设置你的ConnectCore 8M Nano Development Kit硬件:

ConnectCore语音硬件设置

  1. 将microAB USB电缆连接到单板上的USB CONSOLE连接器和主机上。操作系统将检测到该单板为两个新的串口。一个串口是Cortex-A53控制台(系统默认控制台)，另一个串口是Cortex-M7控制台。确定操作系统上Cortex-A53控制台的新串口(Linux中的/dev/ttyUSBx, Windows中的COMx)，因为在接下来的步骤中，您将需要在该端口上打开一个控制台。

    如果操作系统不识别您的电路板，您必须手动安装可用的驱动程序在多产网站上。

  2. 将HDMI电缆(不包括在内)连接到HDMI连接器，然后连接到HDMI兼容显示器。

  3. 将USB耳机插入USB连接器(或将麦克风和耳机插入音频插孔连接器)。

    如果您将使用USB耳机，请确保在设备上电之前已插入插头。否则，演示将默认将音频路由到开发板上的音频插孔。

  4. 确保S1微开关都在关闭位置。

  5. 连接电源到电源桶连接器。

步骤2:对语音识别图像进行编程

预构建的ConnectCore Voice图像包括一个模拟你用声音控制洗衣机的演示。您可以使用语音控制和自然语言识别来使用洗衣机的语音命令，例如“额外清洗”或“用冷水快速清洗衣物”。你也可以向洗衣机索取信息，比如“嘿，洗衣机，冲洗周期多长时间?”测试文本转语音功能。Digi建议您直接在设备的eMMC中编程固件映像，但您也可以从uSD卡启动。

在继续编程固件之前，请确保USB耳机已连接。如果单板上电时耳机断开，则必须在编程固件之前重新启动设备。

与您的设备建立串行连接

打开与设备的串行连接。可以使用任意串口终端程序，如Tera Term、Minicom、CoolTerm或超级终端。

由于与USB/串口驱动不兼容，不建议使用PuTTY终端程序。

使用以下设置打开一个串行连接:

参数 价值

港口

设备连接的串口

波特率

115200

数据位

8

奇偶校验

没有一个

停止位

1

流控制

没有一个

下载固件

要访问固件映像，请填写以下表格以提供一些信息，以便我们更好地了解您的项目需求。

如果表单几秒钟后仍未加载，则可能需要刷新页面。联系数码支援服务如果您无法访问固件映像。

编程固件

Digi建议您通过USB连接到开发PC，使用Universal Update Utility (UUU)对映像进行编程。

  1. 在您选择的目录中解压缩zip文件。

  2. 下载最新资料通用更新实用程序(UUU)工具，NXP的软件工具。

  3. 把下面部分可执行文件在您的PATH目录中，例如工作。

  4. 安装udev规则，以允许任何用户运行下面部分用于访问USB端口:

    ＄Sudo sh -c "uuu -udev >> /etc/udev/rules.d/99-uuu.rules"＄Sudo udevadm control—reload-rules

  5. 将一根微型USB电缆连接到开发PC，另一端连接到目标USB恢复连接器。

  6. 按下单板上的复位按钮复位设备，然后立即按下串口终端上的任意键停止自动引导。U-Boot引导加载程序提示符显示:

    U-Boot SPL配音- 2020.04 - r2.2(2021年1月18日- 15:54:36 + 0000)DDRINFO:开始DRAM init DDRINFO: DRAM率3000 mts DDRINFO: ddrphy校准完成DDRINFO: ddrmix配置完成正常启动试图从BOOTROM图像偏移0 x0,引导页大小0 x200型,诊断和抵消0 x0 U-Boot配音- 2020.04 - r2.2(2021年1月18日- 15:54:36 + 0000)CPU: i.MX8MNano四rev1.0 1400 MHz(运行在1200 MHz) CPU:工业温度等级(-40 c到105 c) 36 c重置原因:为什么DRAM: 1直布罗陀MCA: HW_VER = 1 FW_VER = 1.01 MMC: FSL_SDHC:1、FSL_SDHC: 0 In: serial Out: serial Err: serial型号:Digi ConnectCore 8M Nano Development Kit ConnectCore 8M Nano SOM variant 0x01: 1 GiB LPDDR4, Wi-Fi，蓝牙，MCA, Crypto-auth Board version 3, ID undefined Boot: MMC2 BuildInfo: - ATF 9447098 - U-Boot dub-2020.04-r2.2 flash target is MMC:0 Net: eth0: ethernet@30be0000 Fastboot: Normal Normal Boot按任意键停止autoboot: 0= >
    控制台日志中的信息可能会有所不同。

  7. 在目标器的U-Boot下执行如下命令:

    = >fastboot 0

  8. 在您的开发PC上，更改到您提取ZIP文件的目录:

    ＄cd <压缩文件夹>

  9. 要对ConnectCore Voice演示图像进行编程，请运行:

    ＄./install_linux_fw_uuu.sh -i dey-image-语音识别

    固件安装完成后，设备自动启动。默认用户名:根没有密码。

  10. 从ConnectCore 8M Nano Development Kit的恢复连接器上拆下micro USB电缆。

  11. 重新启动设备。如果您使用USB耳机，这一步是必要的，因为如果连接线连接到ConnectCore 8M Nano Development Kit的恢复USB端口，USB端口将无法连接。看到ConnectCore 8M Nano的USB接口。

虽然推荐的引导方法是eMMC，但您也可以使用microSD卡引导语音识别套件图像* .sdcard图像文件下载的ZIP文件。看到从microSD卡启动有关microSD卡编程和从它启动的说明。

您必须使用最小容量为8gb的microSD。

步骤3:测试应用程序

语音识别示例应用程序

语音识别示例应用程序允许您使用语音控制和自然语言识别来使用洗衣机的语音命令。你也可以通过向洗衣机索取信息来测试文本转语音功能。一旦目标启动，演示将自动启动，但您也可以使用以下命令手动启动它:

＃启动演示洗衣机

该演示套件的程序与唤醒短语“嘿垫圈”。在检测到唤醒短语后，应用程序等待10秒，等待一个口头命令。

可用的操作有:

  • 改变面料循环

  • 改变温度

  • 改变旋转速度

  • 设置计时器

ConnectCore语音洗衣机演示截图

要测试应用程序，请执行以下步骤:

  1. 要与演示进行交流，请说出唤醒短语“嘿垫圈”对着麦克风说。如果应用程序识别了唤醒短语，设备就会播放声音，应用程序顶部的字符会变成蓝色。

  2. 说出要执行的动作，例如:“额外清洗”或“用冷水快速清洗衣物”。

    不要担心你怎么表达这个句子。演示程序使用自然语言理解，并将尝试找出你所说的内容。

    可用的操作有:

    • 更换面料周期(棉、精致、羊毛……)

    • 改变温度(冷，暖，热，30度…)

    • 改变旋转速度

    • 设置计时器

    应用程序更改选择以匹配您的语音命令。

  3. 试着说不同的动作，看看洗衣机上的指示灯是如何变化的。

文本到语音示例应用程序

该演示还具有文本到语音(TTS)功能，可以对您的语音问题进行语音应答。要测试TTS，您需要连接耳机或扬声器来收听音频。这将应用程序菜单界面变成栩栩如生的语音响应。

例如，如果你说:“嘿，洗衣工，这个项目持续多久?”它口头返回当前程序所花费的时间。

语音合成示例应用程序

语音合成演示允许您从列表中选择一个短语，并让软件以所选语言再现它。

  1. 选择语音合成从vicCONTROL工业应用程序的主菜单。

  2. 选择一种语言和一句话。例如，您可以选择美国英语语言和引用“流速是每分钟60升”。

  3. 点击说在说话者中复述这个短语。

  4. 尝试不同的语言和引用组合。

请求完整的ConnectCore Voice许可密钥

若要继续探索ConnectCore Voice解决方案并访问其他演示程序或构建自己的自定义支持语音的应用程序，请填写以下表格以请求完整的ConnectCore Voice开发许可。请确保输入有效的电子邮件地址和电话号码。Digi将与您联系以提供许可密钥。