Microsoft Teams借助AI生成的實時字幕和轉錄功能，幫助全球學生和職場人士順利進行在線會議。用于訓練的NVIDIA AI計算技術和用于推理語音識別模型的NVIDIA Triton推理服務器進一步提升了這兩個功能。

    Microsoft Teams 是全球溝通和協作的重要工具，每月有近2.5億活躍用戶。Microsoft Azure 認知服務為Teams提供28種語言的字幕和轉錄，并將很快能夠在NVIDIA GPU上運行關鍵的計算密集型神經網絡推理。

    實時字幕功能幫助與會者實時跟蹤對話，轉錄功能方便與會者在日后回顧當時的創意或回看未能參與的會議。

    實時字幕對聾啞人、聽力障礙者，或者異國與會者特別有用。

    NVIDIA Triton開源推理服務軟件能夠幫助Teams使用認知服務優化語音識別模型。

    使用Triton，認知服務能夠支持高度先進的語言模型，以極低的延遲實時提供高度準確、個性化的語音轉文本結果。同時，可以保證運行這些語音轉文本模型的NVIDIA GPU充分發揮其潛力，在消耗更少計算資源的同時，為客戶提供更高的吞吐量，進而降低成本。

    底層語音識別技術作為認知服務中的一個API，開發人員可以使用它定制和運行自己的應用程序——客服電話轉錄、智能家居控制或為急救人員提供AI助手。

    字字達意的AI

    認知服務會生成Teams的轉錄和字幕，將語音轉換為文本，并識別說話人。同時也能夠識別專業術語 、姓名和其他會議背景，提高字幕的準確性。

    Microsoft Teams的通話、會議及設備首席項目經理Shalendra Chhabra表示：“這樣的AI模型非常復雜，需要數千萬個神經網絡參數才能識別幾十種不同的語言。但模型越大，就越難以經濟高效地實時運行。”

    NVIDIA GPU和Triton軟件能夠幫助微軟在不犧牲低延遲的情況下，通過強大的神經網絡，實現高準確性，確保語音-文本的實時轉換。

    當啟用轉錄功能時，與會者可以在會議結束后輕松補上錯過的內容。

    Triton三大功能推動效率提升

    NVIDIA Triton有助于簡化AI模型部署，并解鎖高性能推理。用戶甚至可以為自己的應用開發自定義后端。軟件的一些關鍵功能可將Microsoft Teams的字幕和轉錄功能擴展到更多會議和用戶，包括：

    流推理：新型流推理功能——通過跟蹤語音上下語境，提高延遲、敏感性字幕的準確度，它助力NVIDIA和Azure認知服務合作定制語音轉文本的應用程序。

    動態合批：批大小指神經網絡同時處理的輸入樣本數量。通過Triton的動態合批，單項推理請求被自動組合成一個批次，因此能夠在不影響模型延遲的情況下更好地利用GPU資源。

    并發模型執行：實時字幕和轉錄需要同時運行多個深度學習模型。Triton使開發人員能夠在單個GPU上同時完成這些工作，包括使用不同深度學習框架的模型。

    即刻啟程，借助Azure 認知服務，在您的應用中使用語音轉文本的功能，并進一步了解NVIDIA Triton 推理服務軟件如何幫助團隊大規模部署AI模型。