Bối cảnh của AI trong ngôn ngữ và ngôn ngữ học châu Phi

Vài năm trước, tôi đã hỏi Trợ lý Google một câu hỏi đơn giản (không thể nhớ nó là gì) và nó nhận được một câu trả lời không liên quan. Tôi hỏi lại, và nó mang lại một câu trả lời khác. Tôi đã phải gõ câu hỏi của tôi.

Tại thời điểm đó, tôi kết luận rằng phần mềm nhận dạng giọng nói không được tạo ra cho người châu Phi.

Tiếng Anh nói và cách phát âm của tôi đã được cải thiện do sự phát triển và tiếp xúc cá nhân, nhưng tôi cũng có thể nói rằng nhiều ứng dụng và phần mềm nhận dạng giọng nói đang trở nên thích ứng hơn với những người nói tiếng Châu Phi (khôn ngoan). Tuy nhiên, sự thật là việc nhận dạng giọng nói cho người châu Phi còn một chặng đường dài phía trước.

Tôi vẫn thắc mắc tại sao chúng ta không có nhiều ứng dụng có thể được gợi ý bằng các ngôn ngữ chính của địa phương châu Phi, trong đó có hơn 10 triệu người bản ngữ. Vì vậy, tôi quyết định nói chuyện với một nhà ngôn ngữ học và nhà nghiên cứu học thuật về tình hình hiện tại của trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên trong ngữ cảnh và ngôn ngữ châu Phi.

Q: Xin chào, bạn có thể cho tôi biết về bản thân bạn không, và với tư cách là một nhà ngôn ngữ học và người đam mê NLP AI, sở thích của bạn là gì?

Xin chào, tôi là Olanrewaju Samuel.

Tôi quan tâm đến âm vị học máy tính, xây dựng tập dữ liệu, chú thích và quản lý, Xử lý ngôn ngữ tự nhiên và ngôn ngữ học thực địa.

Người cố vấn chính của tôi là . Gần đây, tôi tìm thấy niềm vui lớn trong ngôn ngữ học protein, gấp protein và ngôn ngữ học toán học. Một học giả mà tôi rất kính trọng tên là . Các tác phẩm của anh ấy đã ảnh hưởng đến nghiên cứu của tôi và tôi đã cho mượn chuyên môn của mình để học sâu NLP và người máy. Lĩnh vực nghiên cứu hiện tại của tôi xoay quanh sự gấp nếp của protein và mối tương quan giữa vật lý lượng tử, hóa học lượng tử và ngôn ngữ học.

Tôi vẫn chưa khắt khe với các mục tiêu nghiên cứu của mình, nhưng hiện tại tôi đang tập trung vào phát triển chuyên môn và khám phá các khả năng của mình. Không phải vì bản thân các chứng chỉ, mà vì sự phát triển bản thân. Vì vậy, tôi đang tìm cách phát triển bản thân đồng thời cố gắng hoàn thành chương trình của mình tại đây và chuyển sang một số thứ khác.

Q: Một số ấn phẩm của bạn trong lĩnh vực này là gì?

Tôi đã hợp tác với những cá nhân tuyệt vời khác nhau để trở thành một phần của các ấn phẩm khác nhau. Một trong những bài báo ngôn ngữ học gần đây của tôi là “ .” Về cơ bản, hầu hết các ấn phẩm nổi bật của tôi về NLP là từ nhóm Masakhane NLP.

Điêu nay bao gôm:

Q: Công việc hiện tại của bạn ở Kigali, Rwanda là gì?

Tôi đang dạy một khóa học mang tên “Xử lý ngôn ngữ tự nhiên cho các nhà ngôn ngữ học”. Về cơ bản, tôi đang dạy các quy trình ngôn ngữ tự nhiên trong bối cảnh châu Phi ở Kigali, Rwanda.

Tôi được giao nhiệm vụ cung cấp và thể hiện các sắc thái của việc xây dựng, chú thích, quản lý, phân tích và xuất bản bộ dữ liệu đa ngôn ngữ cho các nhiệm vụ NLP khác nhau, chẳng hạn như xây dựng các mô hình ngôn ngữ lớn (LLM). Một mô hình ngôn ngữ lớn có nghĩa là đưa nhiều hệ thống ngôn ngữ hoạt động trong một luồng duy nhất. Chúng tôi cố gắng đạt được điều đó bằng cách phân tầng hóa, kiểu như đào tạo hệ thống AI theo một mẫu hoặc khuôn mẫu. Sau đó, mẫu này trở thành cơ sở cho các ứng dụng khác của nó.

Ngoài AI đàm thoại, chúng tôi đang xem xét làm điều gì đó có ý nghĩa trong lĩnh vực AI tổng quát, vốn vẫn là một phần của quá trình phân tầng cho khả năng hoán đổi dữ liệu của mô hình và tạo ra kết quả bằng tính toán toán học, chẳng hạn như xác suất.

Q: Bạn có thể nói về tình hình hiện tại và các ứng dụng của AI/NLP trong bối cảnh châu Phi không?

NLP đã được sử dụng trong nhiều trường hợp trên khắp Châu Phi, một số trong đó bao gồm người máy và AI đàm thoại. Một ví dụ điển hình về AI đàm thoại là Lagos' Alaye, giúp khách du lịch tự nhiên (người Nigeria từ các bang khác) tìm đường quanh Lagos —một siêu thành phố và tiểu bang— và xác định các địa điểm như nhà hàng, câu lạc bộ, cửa hàng, và thậm chí cả các tình huống giao thông sử dụng tiếng pidgin phổ biến của Nigeria (Naija pidgin).

Chúng tôi đang phát triển các mô hình AI có thể được đào tạo để thực hiện các tác vụ – một hệ thống hoặc quy trình phức tạp được thu hẹp thành chuỗi lệnh đơn giản (mô hình hóa). Đó là ứng dụng thực tế của NLP trong chế tạo người máy ở Châu Phi vào thời điểm hiện tại.

Hiện tại, trong ngôn ngữ học, ứng dụng của AI chủ yếu là tự động hóa mặc dù có những mô hình ngôn ngữ được đưa vào các ứng dụng AI khác nhau, chẳng hạn như trong rô bốt và chatbot, trong số những ứng dụng khác.

Chúng tôi có một số người đang làm những thứ thực sự tuyệt vời, như , , ( ), Và .

Những thách thức của ứng dụng AI trong bối cảnh ngôn ngữ châu Phi là gì

Một thách thức lớn đối với bối cảnh của Châu Phi trong việc tìm kiếm sự phù hợp toàn cầu trong ngành AI là hạn chế về tài nguyên ngôn ngữ (dữ liệu). Châu Phi là đa ngôn ngữ, do đó, có để cung cấp lượng dữ liệu khổng lồ cần thiết cho các dự án AI khác nhau đang diễn ra trên thế giới. Chẳng hạn, bộ dữ liệu ngôn ngữ lớn nhất mà chúng tôi có ở Châu Phi là khoảng 2000 giờ, nhưng thậm chí còn nhỏ hơn rất nhiều, điều này thật vô lý khi so sánh với ngôn ngữ tiếng Anh, vốn có hàng tỷ giờ dữ liệu âm thanh.

Nếu bất cứ điều gì xảy ra với AI, nó sẽ xảy ra với các ngôn ngữ tài nguyên cao. Ngay cả khi điều đó xảy ra với các ngôn ngữ châu Phi, chúng tôi không có hệ thống cung cấp năng lượng cho chúng. Do đó, chúng tôi đang bị tụt lại phía sau vì chúng tôi không có đủ tài liệu để làm việc và vấn đề gần như tồn tại suốt đời là chúng tôi thiếu tài liệu.

Lấy Nigeria làm ví dụ, có hơn 200 bộ lạc nhưng chỉ có ba ngôn ngữ là phổ biến nhất. Không giống như Yoruba, Igbo và Hausa, các bộ lạc và ngôn ngữ nhỏ hơn có ít dữ liệu (dữ liệu tài nguyên thấp). Đó là những gì chúng tôi đang cố gắng làm tại , thu thập dữ liệu từ các ngôn ngữ ít tài nguyên và sử dụng chúng để nhận dạng giọng nói có thể lập trình, bao gồm chuyển giọng nói thành văn bản (STT) và chuyển văn bản thành giọng nói (TTS).

Các kỹ thuật viên AI và NLP không đầu tư vì họ không tin vào điều đó hoặc họ nghĩ rằng không có đủ dữ liệu để khám phá ROI của họ. Vì vậy, chúng tôi hy vọng các công trình ngầm hiện tại của chúng tôi sẽ là bước đột phá.

Hơn nữa, Châu Phi bị gạt ra ngoài thị trường toàn cầu về AI và NLP ngôn ngữ vì các công cụ tìm kiếm phổ biến nhất là người Châu Á và phương Tây (đặc biệt là người Mỹ). Ngoài ra, đối với một số tác phẩm của chúng tôi ở đây, chúng tôi không thể công nhận chúng với tư cách là người châu Phi vì đã được tài trợ.

H: Đâu là những quốc gia Châu Phi có nhiều tiến bộ nhất trong việc áp dụng NLP Châu Phi?

Các quốc gia châu Phi có ảnh hưởng lớn nhất bao gồm Nam Phi, Kenya và Rwanda – những kẻ đó thật điên rồ! Nigeria cũng đang cố gắng, nhưng hầu hết những người nên khám phá không gian không tìm kiếm sự phát triển mà là sự hài lòng của các chứng chỉ học thuật. Chúng tôi coi trọng (các) ngôn ngữ của mình, nhưng chúng tôi không xây dựng bộ dữ liệu với chúng. Chúng tôi thà nói hoặc tư nhân hóa ngôn ngữ của mình như một di sản khi chúng tôi nên đầu tư vào tài liệu để bảo tồn và bảo vệ ngôn ngữ.

H: Vì vậy, về mặt kinh doanh, châu Phi đứng ở đâu trong việc thương mại hóa NLP cho các ngôn ngữ châu Phi?

Thành thật mà nói, không có gì nhiều, ngoài việc kinh doanh bán bộ dữ liệu. Thậm chí, những người bơm tiền vào dự án đưa ra rất nhiều nhưng số tiền đến tay các đại lý thực địa rất ít so với số tiền đưa vào ban đầu.

H: Điều đó đưa tôi đến câu hỏi về đạo đức. Có bất kỳ giá trị đạo đức nào trong việc thu thập và bán dữ liệu của mọi người không? Và có công bằng không khi nhận được một số tiền lớn cho các dự án này và các nguồn chính của các ngôn ngữ này nhận được số tiền rất nhỏ (đôi khi bằng không)? Có biện pháp bảo vệ nào đối với những dữ liệu hoặc nguồn này không?

Không có luật chống lại việc thu thập dữ liệu. Điều quan trọng nhất là dữ liệu được thu thập một cách tự nguyện từ người bản ngữ và họ được thưởng cho thời gian của họ. Tuy nhiên, tất cả các hoạt động phải phù hợp với Liên minh châu Phi Ngoài ra, nghiên cứu Ngôn ngữ học liên quan đến việc thu thập dữ liệu thường cần sự đồng ý của người bản ngữ hoặc người trả lời.

Và đối với câu hỏi thứ hai của bạn, không ai có thể làm gì với số tiền cuối cùng sẽ đến tay những người tham gia vào các lĩnh vực này. Điều quan trọng nhất là mọi người đều sẵn sàng cam kết với dự án. Mọi người được thông báo rằng họ sẽ được ghi nhận và khen thưởng, miễn là họ hài lòng với giá cả, thì không có “sự bất công”.

H: Nếu có ai muốn tham gia NLP và đào tạo ngôn ngữ như hiện tại, bạn có đề xuất gì?

Đó là một lĩnh vực rộng lớn. Nhiều thứ đã có nền tảng và đang trong giai đoạn xây dựng, nhưng chúng ta vẫn còn nhiều khía cạnh gần như không có nền tảng. Điều tôi muốn giới thiệu cho bất kỳ ai là tham gia vào việc thu thập và phân tích dữ liệu ngôn ngữ. Chúng tôi cần phân tích dữ liệu cho các bộ dữ liệu nhiều như chúng tôi cần dữ liệu.

Do đó, tôi khuyên bạn nên tham gia hoặc tình nguyện tham gia các nhóm nhiệt tình hướng đến dữ liệu; tình nguyện thu thập và phân tích dữ liệu, học danh pháp và những thứ khác.

Suy nghĩ cuối cùng

Châu Phi tiếp tục được thể hiện không chính xác trong phần mềm nhận dạng giọng nói với các lệnh hoặc lời nhắc cho các AI và NLP khác nhau. Câu chuyện sẽ trở nên khác biệt khi người châu Phi bắt đầu xây dựng bộ dữ liệu, đưa ngôn ngữ của họ ra ngoài và tiếp tục đầu tư vào tài liệu. Tuy nhiên, bạn sẽ ấn tượng với một số sáng tạo đến từ Châu Phi liên quan đến các ứng dụng AI và NLP.

Trong nghiên cứu của mình và theo dõi các khách hàng tiềm năng, tôi đã thấy rô-bốt được gợi ý bằng các ngôn ngữ địa phương của châu Phi, chúng tôi đang có nhiều chatbot địa phương phù hợp với các bối cảnh châu Phi khác nhau (du lịch, khám phá), một số ngôn ngữ đang được sử dụng cho IoT cho các thiết bị gia dụng. Tuy nhiên, tôi tin rằng chúng ta nên làm nhiều hơn nữa, xem xét cuộc cách mạng AI và NLP lớn đang diễn ra trên thế giới ngay bây giờ. Hiện tại, chúng tôi có thêm vì phân loại văn bản hơn chúng tôi có cho dữ liệu âm thanh. Tuy nhiên, chúng tôi cần nhiều hơn cả bộ dữ liệu âm thanh và văn bản. Dữ liệu là loại tiền tệ mới, tôi thực sự hy vọng người châu Phi sẽ làm điều này ngay trước khi người nước ngoài làm những việc sai trái (Ồ, vâng, tôi đã đọc dữ liệu lịch sử sai được báo cáo trong một cuốn sách đã xuất bản trước đây; đó là những gì tài liệu không phù hợp gây ra cho chúng tôi).