Nowy asystent głosowy od firmy Espressif

2019-10-23

Espressif - lider na rynku Internet-of-Things, posiada szeroki wybór komponentów do zaawansowanych aplikacj. Wśród programowych rozwiązań został zaprezentowany asystent głosowy, ESP-SKAINET.

Nowa propozycja w oparciu o MCU ESP32 obsługuje głosowe wybudzanie urządzenia oraz zróżnicowane polecenia, które działają także w trybie offline. Jest to możliwe dzięki dwóm systemom: WakeNet i MultiNet.

WakeNet odpowiada za wybudzanie urządzenia i pobiera jedynie około 20KB pamięci, przy zachowaniu szybkiej reakcji. Został opracowany pod kątem niskonapięciowych, wbudowanych mikrokontrolerów. Technologia ta zapewnia od 97% do 88% skuteczności wybudzania (w zależności od hałasu otoczenia) przy odległości 1m oraz od 95% do 75% przy odległości 3m. WakeNet rozpoznaje pięć odgórnie zdefiniowanych poleceń.

MultiNet umożliwia rozpoznawanie komend głosowych offline, korzysta z sieci neuronowych CRNN oraz CTC (klasyfikacja czasowa łącznika), a identyfikacja poleceń bazuje na mel-cepstralnych współczynnikach częstotliwości otrzymywanego klipu audio, z których formuje fonemy (jak na razie w języku chińskim, w przyszłości także po angielsku).

Raz zapisane komendy pozostają w pamięci systemu, dzięki czemu nie ma konieczności powtórnej ich implementacji za każdym razem. Połączenie z Internetem nie jest wymagane do obsługi technologii MultiNet.

ESP-Skainet