Ibm watson giúp sinh viên đại học học tiếng quan

Các trường đại học đã đi một chặng đường dài trong nghiên cứu ngôn ngữ của họ, vượt ra ngoài các lớp học truyền thống trong một giảng đường và các bài học được thiết kế sẵn mà không có sự tương tác. Bây giờ sinh viên có quyền truy cập vào các công nghệ như trí tuệ nhân tạo (AI) và xử lý ngôn ngữ tự nhiên (NLP) trong một môi trường học tập nhập vai. Đó là những gì đang xảy ra tại Phòng thí nghiệm hệ thống nhận thức và nhập vai (CISL) ở thành phố Troy, New York, khuôn viên của Học viện bách khoa Rensselaer (RPI). Chính tại đây, viện đã hợp tác với IBM Research để tạo ra công nghệ cho khóa học hè kéo dài sáu tuần, trong đó các sinh viên tương tác với các tác nhân AI trong môi trường bao gồm chợ và nhà hàng trên đường phố.

Khóa học có tên "Trung Quốc nhập vai có hỗ trợ AI" có hệ thống hiển thị toàn cảnh 360 độ các cảnh do máy tính tạo ra trong Phòng nhập vai nhận thức (CIR) của phòng thí nghiệm, còn được gọi là "Phòng tình huống". Những cảnh ảo diễn ra ở Trung Quốc. Học sinh trò chuyện với các avatar được cung cấp bởi Watson Assistant và được sửa chữa về lời nói và phát âm của họ. Trong CIR, sinh viên sử dụng AI đàm thoại, tạo thế hệ kể chuyện, nhận thức bối cảnh không gian, và cử chỉ và công nghệ nhận dạng khuôn mặt.

CIR là một ví dụ về phạm vi tiềm năng đa dạng của IBM Watson trong một số ngành ngoài giáo dục. Những ngành này bao gồm nông nghiệp, nguồn nhân lực (HR) và quản lý đội tàu.

Tại RPI, ngoài Trợ lý Watson, sinh viên đang sử dụng Watson Speech to Text, Watson Text to Speech và Language Translator trong nghiên cứu của họ.

Học sinh học tiếng Quan Thoại bằng cách sử dụng AI trong khuôn viên RPI. (Tín dụng hình ảnh: Nghiên cứu IBM / RPI)

Trải nghiệm học tập tích cực

Đối với Julian Wong, một thiếu niên tại RPI, trải nghiệm AI nhập vai là một cách hấp dẫn để học tiếng Quan Thoại vì nó mang lại cho anh ta cách học tích cực hơn. Bởi vì tiếng Quan thoại là một ngôn ngữ có trọng âm trong đó sự thay đổi cao độ có thể thay đổi nghĩa của từ, các hình đại diện trong trải nghiệm AI cung cấp phản hồi về âm điệu để đảm bảo rằng Wong và các học sinh khác đang phát âm đúng.

Làm việc với AI trong CIR cung cấp một sự cân bằng tốt với thời gian học bình thường, theo Wong. "Cuộc họp để nói chuyện với máy tính … chắc chắn sẽ giúp ích rất nhiều cho việc học ngôn ngữ, đặc biệt là các kỹ năng bằng lời nói", Wong nói.

Lớp tiếng phổ thông của Wong họp bốn lần một tuần. Vào thứ Hai và thứ Sáu, anh tham dự một lớp học trong một lớp học truyền thống với Helen Zhou, Phó giáo sư tại RPI. Ở đó, anh học từ vựng mới và được giới thiệu về các cụm từ và cấu trúc ngữ pháp. Vào thứ ba và thứ năm, lớp học họp tại CIR, nơi sinh viên thực hiện các cuộc trò chuyện với các tác nhân ảo. Trong môi trường nhà hàng, Wong cho biết sinh viên có thể trải qua toàn bộ quá trình ngồi xuống nhà hàng, nhìn vào thực đơn, gọi đồ ăn, nói chuyện với người phục vụ về cách thức ăn được chuẩn bị và thanh toán hóa đơn. Các môi trường khác bao gồm vườn, chợ và khuôn viên trường học.

Lớp tiếng phổ thông trong lớp học nhập vai khác với môi trường truyền thống vì nó cung cấp trải nghiệm đa phương thức về ngôn ngữ và video, theo Zhou. Cô cho biết một lớp học truyền thống sẽ ít nhập vai và tương tác hơn. "Trong mô phỏng trong lớp học nhập vai, chúng tôi có hai đặc vụ để chiến đấu với nhau, để cố gắng thuyết phục các sinh viên mua sản phẩm, " Zhou nói. "Vì vậy, sinh viên sẽ hiểu bằng kinh nghiệm cá nhân thay vì chỉ xem video hoặc nghe bài giảng. Tôi tin rằng họ sẽ tiếp thu văn hóa dễ dàng hơn chỉ bằng cách học từ sách giáo khoa hoặc nghe băng."

Trong CIR, học sinh thực hiện các câu đố liên quan đến các cảnh mà họ đã tương tác và giơ tay để đưa ra câu trả lời. Công nghệ thị giác máy tính từ các camera trong phòng ghi lại cử chỉ của họ. Trợ lý AI đưa ra một câu đố liên quan đến cảnh và học sinh phải trả lời bằng một cụm từ bằng tiếng Trung.

"Nếu bạn muốn chọn một trong những cửa sổ bật lên trên màn hình, thì bạn có thể đưa tay ra, mở lòng bàn tay và sau đó bạn đóng tay lại", Wong giải thích. "Bạn chọn bất cứ con trỏ nào hiện đang bật. Đối với các câu đố nhỏ, nếu bạn biết câu trả lời đúng là gì, thì bạn có thể di chuyển bàn tay của bạn đến các ký tự mà bạn muốn chọn, sau đó đóng tay để chọn chúng. sẽ cho bạn biết nếu bạn hiểu đúng hay không. "

Các tác nhân ảo hiểu các sinh viên hầu hết thời gian, ngoại trừ khi họ có thể không có micrô của họ gần miệng. Hệ thống có các cài đặt nhận dạng giọng nói khác nhau để đón học sinh nếu chúng không phát âm. Nó cũng cung cấp phản hồi ngay lập tức trong một cuộc trò chuyện nếu bạn không có giáo sư trình bày. Vào thời gian riêng của họ, các sinh viên trong lớp học tiếng phổ thông đến một trang web để truy cập các clip bằng giọng nói để thực hành.

Một tính năng thú vị của trải nghiệm nhập vai tại RPI là nhận thức ngữ cảnh không gian, trong đó nhiều tác nhân ảo trên màn hình có thể cho biết bạn đang giao tiếp với ai. "Nếu bạn nói điều gì đó trong khi nhìn vào một đại lý, thì đại lý đó sẽ trả lời chứ không phải người khác", Wong nói.

Một sinh viên sử dụng cử chỉ và công nghệ nhận dạng khuôn mặt của IBM Watson như một phần của lớp học tiếng Quan thoại tại RPI. (Tín dụng hình ảnh: Nghiên cứu IBM / RPI )

Trải nghiệm nhập vai đã phát triển như thế nào

Trải nghiệm nhập vai tại RPI được tạo ra khi các giáo sư ngôn ngữ và giáo sư thiết kế trò chơi gặp nhau để thảo luận về một cách tốt hơn để dạy ngôn ngữ. Theo kế hoạch, Hui Su, người vừa là Giám đốc Trải nghiệm Người dùng Nhận thức tại IBM Research và Giám đốc CISL, cho biết, kế hoạch phát triển một trò chơi nhập vai đã sớm được đưa vào một cuộc thảo luận về cách dạy tiếng Quan thoại thông qua mô phỏng các tình huống thực tế. IBM và RPI bắt đầu phát triển khóa học vào cuối năm 2015 và họ đã thành lập phòng thí nghiệm chung tại thời điểm đó. CISL sau đó đã hình thành ngay sau đó.

"Mục đích của phòng thí nghiệm là xây dựng môi trường nhận thức và nhập vai để cải thiện các hoạt động nhóm, tăng cường trí thông minh của nhóm trong bối cảnh học tập và ra quyết định", Su nói. "Chúng tôi cũng tập trung vào việc xây dựng các phòng họp nhập vai nhận thức … để xem xét dữ liệu của một tình huống quan trọng và cố gắng hiểu ý nghĩa của thông tin và đưa ra quyết định hoặc khuyến nghị cho những người ra quyết định."

Là một phần của chương trình học ngôn ngữ AI, IBM và RPI đang thử nghiệm phân tích đường viền cao độ. Su mô tả cách thức hoạt động của công nghệ này. "Khi bạn nói một âm tiết, khi bạn phát âm một âm tiết, công nghệ cơ bản sẽ thu được giọng nói và nó tạo ra một đường viền trực quan về cách bạn phát âm âm tiết đó", Su nói. "Sau đó, nó sử dụng đường viền thị giác đó và so sánh đường viền thị giác đó với đường viền thị giác của người bản ngữ."

Sau đó, sinh viên có thể điều chỉnh cách phát âm của mình để đạt được âm điệu chính xác. Họ sẽ học được rằng họ cần thay đổi cách phát âm của một số âm tiết nhất định. Với kiến ​​thức mà sinh viên có được bằng cách học tiếng Quan Thoại trong lớp học nhập vai bằng công nghệ Watson, họ sẽ có cuộc trò chuyện tự tin hơn trong cuộc sống thực, theo Su.

"Toàn bộ ý tưởng là cung cấp đủ bối cảnh văn hóa thông qua môi trường nhập vai và công nghệ AI của chúng tôi để cho phép sinh viên thực hành một bài tập", Su nói. "Vì vậy, họ sẽ không có nỗi sợ như nói chuyện với mọi người trong cuộc sống thực."

Một sinh viên thực hành tiếng phổ thông trong môi trường nhà hàng ảo bằng cách sử dụng công nghệ IBM Watson. (Tín dụng hình ảnh: Nghiên cứu IBM / RPI )

Cầu nối giữa ngành công nghiệp công nghệ và học thuật

IBM và RPI có thể xây dựng một cầu nối giữa các nhà nghiên cứu và giảng viên của IBM, với việc IBM nhúng một nhà nghiên cứu vào khuôn viên trường, cụ thể là Su. Trong khi đó, Zhou, giáo sư của lớp tại RPI, cũng cung cấp phản hồi cho các nhà thiết kế, người dùng và giáo viên về cách cải thiện trải nghiệm nhập vai trong lớp học.

"Tôi cần cung cấp cho họ thông tin phản hồi ngay lập tức để gỡ lỗi hoặc cải thiện thiết kế để chúng tôi có thể cung cấp một lớp học tự nhiên hơn cho sinh viên", Zhou nói. "Vì vậy, có rất nhiều công việc liên quan nhưng nó đáng giá."

Tương lai của việc học ngôn ngữ

• Phần mềm học ngôn ngữ tốt nhất năm 2019 Phần mềm học ngôn ngữ tốt nhất năm 2019
• IBM phát hành các công cụ AI AI đã được sơ chế trong một số ngành công nghiệp IBM phát hành các công cụ AI AI đã được sơ chế trong một số ngành
• Liệu AI thực sự nói được ngôn ngữ của chúng ta? Liệu AI thực sự nói được ngôn ngữ của chúng ta?

Loại môi trường nhập vai này có giá trị vì khả năng cung cấp một môi trường dường như ngoài đời thực, theo Zhou. "Môi trường nhập vai AI không chỉ có thể tăng cường khả năng nói và nghe của học sinh mà còn cả tính thực dụng trong việc sử dụng ngôn ngữ đó trong các tình huống thực tế", Zhou nói. "Đó là lý do tại sao AI là lý tưởng hơn đối với tôi như một người hướng dẫn để sinh viên có thể có ý thức sử dụng ngôn ngữ từ rất sớm, ngay cả đối với những người mới bắt đầu, mà không cần đi du lịch đến đất nước này."

Môi trường học tập đa phương thức như những môi trường được cung cấp tại RPI sẽ mở rộng vai trò của AI trong lớp học. Với kinh nghiệm mà AI cung cấp thông qua các tác nhân ảo, sinh viên sẽ sẵn sàng giải quyết các tình huống khác nhau trong thế giới thực với các kỹ năng ngôn ngữ cần thiết.