Công nghệ đằng sau nhận diện giọng nói: Cách nó hoạt động

TL;DR: Nhận diện giọng nói hiện đại chuyển đổi âm thanh thành văn bản bằng cách sử dụng mạng nơ-ron được đào tạo trên một lượng lớn dữ liệu giọng nói đa ngôn ngữ. Các hệ thống cũ so khớp các đoạn âm thanh với cơ sở dữ liệu âm vị; các mô hình hiện nay học cách ánh xạ từ âm thanh đến câu trực tiếp, đó là lý do tại sao việc phiên âm các giọng nói, tiếng ồn nền và 30+ ngôn ngữ trở nên khả thi — bao gồm cả cho ghi chú giọng nói WhatsApp thông qua các dịch vụ như Transcribe Bot.

Công nghệ nhận diện giọng nói đã trở thành một phần không thể thiếu trong cuộc sống hàng ngày, cung cấp năng lượng cho mọi thứ từ trợ lý ảo đến việc phiên âm tin nhắn giọng nói WhatsApp. Nhưng làm thế nào mà một chiếc điện thoại thực sự chuyển đổi sóng áp suất của giọng nói bạn thành văn bản có thể đọc được? Hãy cùng đi qua quy trình — cả kiến trúc cổ điển và cách tiếp cận AI hiện đại đã thay thế nó.

Điều gì xảy ra giữa giọng nói của bạn và văn bản?

Mỗi hệ thống nhận diện giọng nói bắt đầu theo cùng một cách:

• Ghi âm: một micro chuyển đổi sóng âm analog thành tín hiệu số — hàng nghìn mẫu số mỗi giây.
• Tiền xử lý: tín hiệu được làm sạch — tiếng ồn nền giảm, âm lượng chuẩn hóa, im lặng cắt bớt. Bước này rất quan trọng cho các ghi chú giọng nói được ghi lại trên đường phố hoặc trong quán cà phê.
• Trích xuất đặc trưng: dạng sóng thô được chuyển đổi thành một đại diện gọn gàng (thường là một phổ đồ) mà nắm bắt cách năng lượng ở các tần số khác nhau thay đổi theo thời gian — "dấu vân tay" của âm thanh giọng nói.

Cách thức hoạt động của nhận diện giọng nói cổ điển?

Trong nhiều thập kỷ, nhận diện là một chuỗi các mô hình thống kê riêng biệt. Một mô hình âm học so khớp các đặc trưng âm thanh với các âm vị — các đơn vị âm thanh nhỏ nhất. Một từ điển phát âm ánh xạ các chuỗi âm vị đến các từ ứng cử viên. Cuối cùng, một mô hình ngôn ngữ chọn chuỗi từ hợp lý nhất ("nhận diện giọng nói" thay vì "phá hỏng một bãi biển đẹp"). Mỗi thành phần được xây dựng và điều chỉnh riêng biệt, và lỗi ở một giai đoạn sẽ lan sang giai đoạn tiếp theo. Những hệ thống này hoạt động tốt trong các phòng yên tĩnh với những người nói rõ ràng — và gặp khó khăn ở mọi nơi khác.

Tại sao phiên âm AI hiện đại lại tốt hơn nhiều?

Đột phá đến từ việc thay thế chuỗi đó bằng một mạng nơ-ron end-to-end duy nhất — thường là kiến trúc transformer — được đào tạo trên hàng trăm nghìn giờ giọng nói thực tế trong nhiều ngôn ngữ. Thay vì được chỉ định các âm vị là gì, mô hình học trực tiếp từ các ví dụ cách âm thanh ánh xạ đến văn bản. Ba hệ quả thực tiễn:

• Độ bền: vì dữ liệu đào tạo bao gồm giọng nói ồn ào, có giọng điệu, và không chính thức, các mô hình xử lý các ghi chú giọng nói thực tế, không chỉ là các bản ghi trong studio.
• Phạm vi đa ngôn ngữ: một mô hình có thể phiên âm hàng chục ngôn ngữ và thậm chí xử lý những người nói chuyển đổi ngôn ngữ giữa chừng — điều này rất cần thiết cho người dùng WhatsApp đa ngôn ngữ.
• Nhận thức ngữ cảnh: mô hình sử dụng các từ xung quanh để giải quyết sự mơ hồ, vì vậy tên, số và từ đồng âm thường được phiên âm đúng hơn.

Điều gì vẫn gây khó khăn cho nhận diện giọng nói?

Không có hệ thống nào hoàn hảo. Độ chính xác giảm một cách dự đoán khi nhiều người nói chồng chéo lên nhau, khi micro ở xa hoặc bị che khuất, với các phương ngữ rất nặng hoặc ngôn ngữ hiếm, và với các thuật ngữ chuyên ngành mà mô hình hiếm khi thấy trong quá trình đào tạo. Dấu câu và phân tách người nói là những suy diễn bổ sung được thêm vào trên nhận diện thô, và đôi khi chúng có thể sai. Một quy tắc tốt: nếu một con người cần phải tua lại hai lần, thì máy cũng sẽ gặp khó khăn.

Độ chính xác của phiên âm AI ngày nay là bao nhiêu?

Độ chính xác của nhận diện giọng nói thường được đo bằng tỷ lệ lỗi từ — tỷ lệ phần trăm các từ bị chèn, xóa hoặc thay thế so với một bản phiên âm của con người. Trên âm thanh rõ ràng, một người nói, các hệ thống hiện đại thường đạt được hiệu suất tương đương với con người; trên âm thanh thực tế lộn xộn, khoảng cách vẫn còn nhưng đã thu hẹp đáng kể.

Những yếu tố nào thực sự tạo ra sự khác biệt:

• Chất lượng ghi âm: một chiếc điện thoại được giữ gần trong một phòng yên tĩnh phiên âm gần như hoàn hảo; một loa ngoài trong giao thông thì không.
• Phong cách nói: giọng nói tự nhiên liên tục hoạt động tốt hơn so với việc đọc chậm phóng đại, điều này một cách nghịch lý làm biến dạng các mẫu mà mô hình đã học được.
• Phạm vi ngôn ngữ và giọng điệu: các ngôn ngữ được nói rộng rãi với dữ liệu đào tạo phong phú dẫn đầu; các ngôn ngữ ít tài nguyên thì tụt lại phía sau.

Đối với các ghi chú giọng nói WhatsApp điển hình — một người nói, micro điện thoại, giọng nói không chính thức — độ chính xác hiện nay đủ tốt để đọc bản phiên âm nhanh hơn và đáng tin cậy hơn so với việc nghe lại để tìm một chi tiết bạn đã bỏ lỡ.

Điều này có nghĩa là gì cho các ghi chú giọng nói WhatsApp của bạn?

Kết quả thực tiễn của AI giọng nói hiện đại là việc phiên âm một ghi chú giọng nói WhatsApp không còn là một sự thỏa hiệp. Transcribe Bot là một bot WhatsApp phiên âm các tin nhắn giọng nói thành văn bản: chuyển tiếp một ghi chú giọng nói và bản phiên âm sẽ đến trong cùng một cuộc trò chuyện trong vòng vài giây, bằng 30+ ngôn ngữ, mà không cần cài đặt ứng dụng. Âm thanh được xử lý tại thời gian chạy và bị xóa sau đó — chúng tôi giải thích chi tiết trong những gì thực sự xảy ra với âm thanh của bạn.

Thích thú với cách nó so sánh với nỗ lực tích hợp của WhatsApp? Xem tại sao phiên âm gốc không đạt yêu cầu và những gì hoạt động tốt hơn — hoặc chỉ cần thử Transcribe Bot miễn phí trên WhatsApp.