Microsoft Teams wykorzystuje teraz sztuczną inteligencję do ulepszania echa, zakłóceń i dźwięku

Microsoft spędził ostatnie dwa lata na dodawaniu imponujących nowych funkcji zwiększających produktywność do aplikacji Teams, a teraz firma zmienia sposób działania podstaw dzięki sztucznej inteligencji. Wszyscy byliśmy na rozmowie telefonicznej, w której ktoś ma złą akustykę pomieszczenia, co utrudnia słyszenie, lub obserwowaliśmy, jak dwie osoby próbują rozmawiać w tym samym czasie, tworząc niezręczny moment „nie, śmiało”. Nowe ulepszenia jakości dźwięku oparte na sztucznej inteligencji firmy Microsoft powinny poprawić, a nawet wyeliminować te codzienne irytacje.

Microsoft używa teraz modeli uczenia maszynowego do poprawy akustyki pomieszczenia, dzięki czemu nie brzmisz, jakbyś chował się w jaskini. „Podczas gdy robiliśmy wszystko, co w naszej mocy w cyfrowym przetwarzaniu sygnału, aby wykonać naprawdę dobrą robotę w usłudze Teams, teraz po raz pierwszy zaczynamy wykorzystywać uczenie maszynowe do tworzenia eliminacji echa, dzięki której można naprawdę zredukować echo ze wszystkich różnych urządzeń” — wyjaśnia Robert Eichner, główny menedżer programu ds. inteligentnych rozmów i komunikacji w chmurze w firmie Microsoft, w rozmowie z krawędź.

Microsoft testuje to od kilku miesięcy, mierząc swoje modele w rzeczywistym świecie, aby upewnić się, że użytkownicy aplikacji Teams zauważą zmniejszone echo i poprawę jakości połączeń. Producent oprogramowania wykorzystał 30 000 godzin rozmów, aby pomóc w szkoleniu swoich modeli, i przechwycił tysiące urządzeń w ramach crowdsourcingu, w którym użytkownicy usługi Teams otrzymują wynagrodzenie za nagrywanie głosu i odtwarzanie dźwięku ze swoich urządzeń.

„Symulujemy również około 100 000 różnych pomieszczeń… akustyka pomieszczeń odgrywa dużą rolę w eliminacji echa”, mówi Aichner. Rezultatem jest znaczna poprawa jakości dźwięku połączeń, eliminacja echa, co pozwala na jednoczesne mówienie wielu osobom. Możesz zobaczyć wszystkie ulepszenia w akcji w powyższym filmie.

Jeśli aplikacja Teams wykryje, że dźwięk odbija się lub odbija pogłos w pomieszczeniu, powodując płytki dźwięk, model również przekształci i przetworzy przechwycony dźwięk, aby brzmiał tak, jakby uczestnicy aplikacji Teams rozmawiali do mikrofonu bliskiego pola, a nie do bałaganu echa.

Najbardziej imponującą częścią jest teraz możliwość przerywania sobie nawzajem podczas połączeń Teams, bez niezręcznych zakłóceń, w których nie słychać drugiej osoby z powodu echa. Microsoft udostępnia teraz całą tę pracę w usłudze Teams, wraz z ulepszeniami, które wprowadził w swoim wcześniej opartym na sztucznej inteligencji systemie redukcji szumów. Całe przetwarzanie odbywa się lokalnie na urządzeniach klienckich, a nie w chmurze.

„Powiedzieliśmy, że chcemy to zrobić na kliencie, ponieważ chmura jest nadal bardzo droga, jeśli chcesz wykonać każde połączenie, które jest przetwarzane w chmurze… i oczywiście będziemy musieli przenieść ten koszt na klienta” – wyjaśnia Aichner. Może to oznaczać, że te ważne ulepszenia usługi Teams są ograniczone do płacących klientów, a ścieżka na urządzeniu oznacza, że ​​funkcje, takie jak tłumienie hałasu, są dostępne na 90 procentach urządzeń korzystających z usługi Teams.

Wszystkie nowe ulepszenia Microsoft Teams są dostępne na żywo, wraz z pewnymi ulepszeniami ekranu w czasie rzeczywistym dla tekstu w filmach i ulepszeniami opartymi na sztucznej inteligencji w zakresie ograniczeń przepustowości podczas rozmów wideo lub udostępniania ekranu.