Mục lục:
- Quan điểm của Unity về Phong cảnh AR / VR
- Làm việc với một hệ sinh thái đang phát triển
- Sự phát triển của sáng tạo nội dung 3D
- Giới hạn AR / VR hiện tại
- Chiến lược AI của Unity
- Học máy đằng sau hậu trường
- Đại lý máy học
- Xây dựng thế giới ảo hỗ trợ AI
- Tương lai của ứng dụng nhập vai
Video: Unity VuforiaTutorial: Speech Recognition controlled AR VR (Tháng mười một 2024)
Unity là nền tảng phát triển 3D được sử dụng rộng rãi nhất trên thế giới. Nó hỗ trợ 40% trong số 1.000 trò chơi di động hàng đầu và hơn một nửa số trò chơi di động mới, theo công ty phân tích ứng dụng Apptopia. Cùng với Unreal Engine, hai công cụ trò chơi phổ biến làm nền tảng cho hầu hết các trải nghiệm chơi trò chơi trên web.
Tuy nhiên, không gian phát triển 3D đông đúc hơn nhiều so với trước đây, đặc biệt khi nói đến phát triển thực tế ảo tăng cường.
Unity đóng vai trò là các khối xây dựng hoặc tích hợp với hầu hết các nền tảng AR / VR mới hơn, bao gồm cả ARKit của Apple và ARCore của Google, nhưng giờ đây nó cũng đối phó với sự cạnh tranh từ Amazon Sumerian và các giao diện kéo và thả khác đang tìm cách đơn giản hóa trải nghiệm ít người sáng tạo kỹ thuật.
Để đi trước đối thủ và phát triển nền tảng cho một hệ sinh thái thiết bị mới và trải nghiệm 3D đang phát triển, Unity đang thúc đẩy chiến lược hai hướng do các bộ phận AR / VR và AI của mình dẫn đầu. PCMag đã nói chuyện với Tony Parisi, Trưởng phòng Giải pháp thương hiệu VR / AR toàn cầu của Unity và Danny Lange, Phó chủ tịch về AI và Machine Learning của Unity, để có cái nhìn sâu sắc về tương lai của Unity và cách mà nền tảng mà trò chơi tạo ra của anh ấy ngày càng thông minh hơn bạn thậm chí nhận ra nó.
-
Làm việc với một hệ sinh thái đang phát triển
Parisi đã làm việc trong AR / VR kể từ giữa những năm 90 làm công việc trực quan hóa 3D. Ông đồng sáng tạo định dạng tệp VRML và các thông số kỹ thuật khác dựa trên WebGL và đã thành lập và làm việc cho một số công ty VR khác. Ông đã tham gia Unity vào cuối năm 2016 để lãnh đạo quảng cáo, tiếp thị và chiến lược trên khắp AR, VR, MR và chiếc ô thực tế mở rộng (XR) rộng hơn.
"ngay sau khi Pokemon Go bùng nổ, đó là loại AR đơn giản hơn về vị trí, đi đâu đó và tìm Pokemon, cộng với một chút máy ảnh. Đó là một yếu tố mà chúng tôi tiếp tục gia tăng. Đó là về vị trí cũng nhiều như vậy là về sự đắm chìm, "Parisi nói.
Trên mặt trận AR, Parisi đã nói về cách Facebook và Snap đang sử dụng các nền tảng dành cho nhà phát triển Camera Effects và Lens Studio để phát triển những gì bạn có thể làm với máy ảnh trên điện thoại thông minh để lập bản đồ môi trường xung quanh bạn. Kết nối điện thoại thông minh và AR dựa trên tai nghe là những trải nghiệm như trò chơi Star Wars: Jedi Challenges, cũng được tạo ra với Unity và hoạt động với điện thoại thông minh kết hợp với tai nghe Mirage AR của Lenovo.
Làn sóng tiếp theo là điện thoại có hỗ trợ hệ điều hành AR thông qua ARKit của Apple và ARCore của Google, Parisi cho biết. Cũng như Amazon Sumerian, Unity hợp tác với Apple và Google về việc tạo nội dung AR bằng các công cụ 3D. Unity cũng đóng vai trò là nền tảng cho các công cụ Google nguồn mở như Tilt Brush và Blocks. Parisi hình dung một thế giới gia tăng chia sẻ mở rộng hệ điều hành di động.
"Apple và Google đều là những đối tác tuyệt vời. Chúng tôi có mối quan hệ sâu sắc với họ để phát triển và hỗ trợ những trải nghiệm và nội dung XR này thông qua các công cụ 3D của Unity", Parisi nói. "Rất nhiều công cụ tạo được dân chủ hóa không dành cho lập trình viên hoặc nhà phát triển hoặc nhà thiết kế chuyên nghiệp được xây dựng trong công cụ của chúng tôi. Điều tuyệt vời hơn nữa là bạn có thể lấy mô hình Blocks hoặc nghệ thuật Tilt Brush và đưa chúng vào các ứng dụng Unity khác giống như bất kỳ phần mềm nào khác điều đó đi vào sự thống nhất. "
Về phía MR và VR, người chơi thiết bị và phần mềm lớn là Oculus, HTC, và tất nhiên là Microsoft và hệ sinh thái thực tế hỗn hợp Windows của nó. Unity xây dựng các ứng dụng 3D cho tất cả chúng, nhưng Microsoft đang làm mờ đi một chút giữa thực tế ảo và hỗn hợp, Parisi nói. HoloLens là một thiết bị thực tế hỗn hợp, nhưng tai nghe thực tế hỗn hợp Windows là VR.
"Ngành công nghiệp vẫn đang nắm bắt được những gì chúng ta nên gọi là tất cả những điều này, " Parisi nói. "Tùy thuộc vào việc bạn đang thiết kế nội dung pha trộn kỹ thuật số với thế giới thực so với việc bước vào một thế giới hoàn toàn đắm chìm, bạn có những thách thức khác nhau. Trong VR, các thách thức về hiệu suất cao hơn. Bạn phải tạo ra một thế giới tổng hợp hoàn toàn. Điều đó có nghĩa là PC Tai nghe VR dựa trên cơ sở được hiển thị ở 90 khung hình mỗi giây, làm nổ hiệu suất. Thực tế hỗn hợp ít chuyên sâu hơn, nhưng nó cũng phải điều chỉnh theo thời gian thực với toàn bộ môi trường mà nó đang xử lý. "
-
Sự phát triển của sáng tạo nội dung 3D
Unity là một công cụ tạo 3D dân chủ hóa để phát triển nội dung nhập vai. Có các phiên bản Free, Plus và Pro mà bạn có thể mua với phí thuê bao hàng tháng và miễn phí bản quyền. Vì vậy, những gì bạn xây dựng với Unity là của bạn. Unity hiện hỗ trợ xây dựng cho khoảng 30 nền tảng khác nhau, từ điện thoại thông minh và hệ điều hành PC đến một loạt các hệ thống trò chơi, TV thông minh và tai nghe VR.
Gần đây, Unity đã được sử dụng để tạo ra một loạt các nội dung và trải nghiệm nhập vai. Các phạm vi này từ loạt Liên hoan phim Sundance có tên Spheres, cho phép người xem khám phá sự va chạm vũ trụ của hai lỗ đen trong VR, đến trò chơi CocoVR của Disney, sử dụng các phép chiếu 360 độ đưa người chơi vào Vùng đất chết của phim Pixar.
Parisi cũng nói về việc sử dụng Unity để xây dựng các trò chơi VR vui nhộn như Beat Saber và trải nghiệm gia tăng bao gồm ứng dụng MLB At Bat AR, cho phép khán giả bóng chày hướng điện thoại thông minh của họ vào trò chơi và xem số liệu thống kê trên màn hình phía trên người chơi.
Unity có thể xây dựng tất cả các loại ứng dụng này, nhưng có rất nhiều sắc thái cần xem xét trong thiết kế. Trải nghiệm dựa trên PC mạnh hơn, cho phép các mô hình 3D lớn hơn trong môi trường phong phú hơn và các tai nghe như Oculus Rift và HTC Vive cũng cung cấp cho bạn bộ điều khiển đầu vào cùng với theo dõi theo vị trí và quy mô phòng để xem xét. Parisi cho biết bạn phải thiết kế cho loại ứng dụng đó khác với trải nghiệm xem tự do 3 độ trên tai nghe như Google Daydream View. Không dễ như bấm nút, nhưng Unity đã làm việc để đảm bảo rằng nội dung 3D bạn tạo có thể di chuyển từ thiết bị này sang thiết bị khác mà không cần quá nhiều mã hóa lại.
Ngoài các ứng dụng giải trí và chơi game để trải nghiệm AR / VR, một trong những câu hỏi mà Unity đã phải vật lộn gần đây là làm thế nào để cải thiện môi trường tạo 3D của mình để phục vụ các ngành công nghiệp, cấp độ kỹ năng và trường hợp sử dụng khác nhau. Với các công cụ phát triển mã thấp nhằm thỏa mãn cả người dùng mã hóa và người dùng phi kỹ thuật nghiêm túc, Unity đang tìm ra cách để giao diện, kho tài sản và phần còn lại của nền tảng hoạt động cho các loại công ty và người dùng khác nhau để mở rộng khách hàng của mình căn cứ.
"Chúng tôi đã xem xét các ngành công nghiệp khác nhau nơi AR và VR đang phát triển. Đó có thể là ô tô, phim ảnh, kiến trúc, y tế hoặc các tổ chức khác nơi bạn đang phân phối phần mềm tới hàng trăm nghìn chỗ ngồi", Parisi nói. "Đó là thế giới hoàn toàn khác nhau, các doanh nghiệp khác nhau, nền tảng và công cụ sản xuất khác nhau. Chúng tôi ban đầu tập trung vào ngành công nghiệp di động và trò chơi vì đó là nơi phát triển, nhưng bây giờ bánh xe đã quay và thời điểm phù hợp để lấy cuốn sách đó và mang nó đi với một số ngành công nghiệp khác hiện nay vì thế giới đang tiến triển B2B. "
-
Chiến lược AI của Unity
Unity đang sử dụng AI theo nhiều cách khác nhau, từ cải thiện lối chơi và thiết kế động cơ đến theo dõi hành vi của người dùng và thay đổi cách các nhà phát triển trò chơi có thể kiếm tiền từ ứng dụng của họ. Nhóm AI, gồm hơn 100 nhân viên trên toàn thế giới, được điều hành bởi Daniel Lange, Phó chủ tịch về AI và Machine Learning của Unity.
Lange đã gia nhập Unity khoảng 18 tháng trước sau khi trở thành Trưởng phòng học máy tại Uber và Tổng giám đốc của Amazon Machine Learning. Anh ấy cũng làm việc tại IBM và Microsoft. Anh đến với thế giới trò chơi với một góc nhìn khác về ML, và đã giúp biến những nỗ lực ML truyền thống của Unity thành các dự án đầy tham vọng hơn.
Lange nói: "Các doanh nghiệp như Amazon và Uber tập trung vào việc học máy rất nhiều. Đến từ một thế giới xe tự lái vào môi trường chơi game 3D này, bạn muốn tìm một nơi hoàn hảo để vượt qua giới hạn của trí tuệ nhân tạo".
"Khi tôi đến, có một số nỗ lực học máy đang được tiến hành, nơi tôi đã có kinh nghiệm với việc củng cố hệ thống học tập và năng động, nơi bạn cơ bản cải thiện hành vi, " Lange tiếp tục. "Đây là điều chúng tôi đã làm rất nhiều ở cả Amazon và Uber. Cho dù bạn đang gửi sách hay bạn đang tối ưu hóa cho một chiếc bán tải không ma sát cho Uber, tất cả những thứ đó không thực sự là người ngồi và thiết kế nó, đó là hệ thống máy tính học hỏi ở đâu bạn gặp tài xế Uber của bạn ở đâu. Và khi tôi đến Unity, tôi đã thấy một cơ hội lớn trong việc đưa những ý tưởng đó vào thế giới trò chơi. "
Như Lange đã giải thích, các dự án ML của Unity trải rộng mọi thứ, từ chơi trò chơi đến kiếm tiền. Trong một trường hợp, nhóm tìm kiếm các nhóm người dùng có mô hình chi tiêu nhất định mà các nhà phát triển Unity muốn kiếm tiền thông qua quảng cáo hoặc mua trong ứng dụng. Unity sau đó trình bày những kết quả đó cho các nhà phát triển để gắn kết lâu dài hiệu quả hơn.
Công ty cũng áp dụng ML để cải thiện lối chơi, thiết kế động cơ và trợ giúp cho quá trình soạn thảo nội dung. Chiến lược bao trùm của Unity về cơ bản được chia nhỏ giữa phía phát triển trên ML cấp độ dịch vụ hơn và nghiên cứu sâu hơn nâng cao về mặt học thuật. Lange cho biết điều này cũng liên quan đến những gì bộ phận của Paris đang làm với sự phát triển XR, nơi Unity mang đến cho các nhà nghiên cứu một môi trường đồ họa 3D để thử nghiệm các thuật toán ML mới.
"AR và VR thực sự là những lĩnh vực tuyệt vời cho học máy và AI. Tôi thường nghĩ về AI như thực tế được cải thiện và thực tế rất khó đối phó", Lange nói. "Thật khó để đưa ra các thuật toán cố định có thể hiểu mọi thứ trong một căn phòng và có thể che phủ căn phòng đó. Bạn không thể thực sự viết mã đó. Bạn phải sử dụng máy học và AI để đặt các vật thể ảo trong một căn phòng nhận ra rằng một cái bàn Một bề mặt, và nếu bạn đặt nó lên cạnh bàn thì nó sẽ rơi xuống. Đó là những lĩnh vực mà máy học đóng vai trò rất quan trọng vì hành vi trong thế giới thực năng động này, hiểu được chiều sâu và kích thước trong không gian ảo. nhằm mục đích mang lại lợi thế hàng đầu của việc học sâu để cách mạng hóa cách thức các trò chơi này được tạo ra và hành xử. "
-
Đại lý máy học
Cách quan trọng nhất mà Unity thực hiện là thông qua ML Agents, một sáng kiến beta mã nguồn mở biến các trò chơi và mô phỏng 3D thành cơ sở đào tạo cho các tác nhân thông minh tự trị. Về cơ bản, Unity cho phép các nhà phát triển triển khai các tác nhân ML linh hoạt này trong bất kỳ kịch bản nào và họ sẽ hành động như một miếng bọt biển: học hỏi và phát triển theo cách tùy chỉnh dựa trên bất kỳ môi trường ảo nào bạn thả chúng vào.
"Định nghĩa của tôi về học máy so với AI là với học máy bạn thu thập dữ liệu, huấn luyện hệ thống và đó là điều đó, " Lange giải thích. "AI là khi hệ thống tự kiềm chế liên tục và ngày càng tốt hơn. Chúng tôi muốn các trò chơi có thể phát triển và một trong những sáng kiến công khai của chúng tôi để thúc đẩy đó là Đại lý học máy."
Unity có một số đối tượng mục tiêu cho Đại lý ML của mình. Một kịch bản dành cho các nhà phát triển, cho phép các nhân vật tự động này di chuyển và tương tác với người chơi. Thay vì mã hóa hành động của họ, Đại lý ML học thông qua củng cố khi họ mô phỏng các cấp độ khác nhau và giúp các nhà phát triển nhanh chóng thử nghiệm các trò chơi hoạt động như những người chơi ảo kiểm tra song song hàng ngàn cấp độ trò chơi.
Một trường hợp sử dụng khác cho các trung tâm ML Agents xung quanh tường thuật. Lange cho biết Unity đang thử nghiệm các đặc vụ bằng cách cố gắng tìm hiểu xem người chơi sẽ làm gì tiếp theo và sau đó theo dõi họ di chuyển. Ý tưởng là để hiểu những gì người chơi đang làm và cách trò chơi sẽ bù đắp những quyết định đó trong sơ đồ lớn hơn của câu chuyện. Trong các trò chơi nơi hàng triệu người chơi đang hoạt động, Đại lý ML có thể tìm hiểu và điều chỉnh cấp độ hoặc cốt truyện của trò chơi trên quy mô lớn.
Trong mô phỏng "Goodboy" ở trên, nhóm của Lange đã xây dựng một trò chơi di động đơn giản bằng mô hình học máy từ bộ công cụ ML-Agents của Unity. Trong trò chơi, corgi nhỏ lấy một cây gậy với những động tác dễ thương, tất cả mà không bị mã hóa cứng. Thay vào đó, hành động và hành vi của anh ta được kiểm soát bởi Đại lý ML. Unity có kế hoạch hợp tác với các đối tác nền tảng để mở rộng Đại lý ML sang tất cả các nền tảng được Unity hỗ trợ.
"Nếu bạn nghĩ về loại khả năng đó trong một trò chơi ở cấp độ mà chúng ta gọi là cấp độ tường thuật, thì đó không phải là các nhân vật di chuyển trong trò chơi mà nhất thiết phải điều khiển mà là chính bản thân trò chơi. Vì vậy, về cơ bản, trò chơi sẽ cố gắng đưa bạn vào một số Những con đường rất thú vị. Vì vậy, bạn có thể có lựa chọn đi sang trái hoặc phải trên một con đường và trò chơi về cơ bản sẽ sắp xếp một số sự kiện dựa trên những gì nó dự đoán rằng bạn sẽ làm, năm, 10, 15 di chuyển từ bây giờ, " Lange nói.
"Bạn có thể tưởng tượng nó có thể hoạt động như thế nào trong một trò chơi nhiều người chơi, " anh tiếp tục. "Một trong những ví dụ cổ điển: ngay từ đầu trong một trò chơi, hai cá nhân gặp nhau. Một người cướp hết vàng từ một người chơi khác, và sau đó họ tách ra với dòng máu xấu giữa họ. Vì vậy, trò chơi sẽ đảm bảo một câu chuyện mà mỗi người chơi kết thúc Họ cùng nhau ở một nơi để tồn tại, họ sẽ phải làm việc cùng nhau. Họ cần phải đi qua một cây cầu, và họ chỉ có thể làm điều đó cùng nhau nếu không họ ra khỏi trò chơi. Sẽ rất khó để vượt qua điều đó bằng cách mở rộng mô phỏng, nhưng với Đại lý ML, trò chơi có thể tự động tạo ra các loại mô phỏng đó. "
-
Xây dựng thế giới ảo hỗ trợ AI
Bản demo "Kim tự tháp" ở trên là môi trường thể hiện những phát hiện của dự án học tập củng cố có tên Curiosity, nơi Đại lý ML nhanh chóng khám phá một thế giới để khám phá những phần thưởng ẩn trên bản đồ.
Một khía cạnh khác của hoạt động AI của Unity liên quan đến việc sử dụng ML để tạo ra các cảnh và kết cấu chân thực hơn khi tạo nội dung 3D. Lange cho biết đây là một lĩnh vực mới hơn nhưng rất hứa hẹn, nơi các hệ thống tự trị trong trò chơi có thể tạo ra nội dung điều khiển chuyển động và điền vào các chuyển động tự nhiên, tìm hiểu cách một nhân vật, con người hoặc động vật di chuyển và bắt chước hoạt hình đó trong trò chơi.
"Chúng tôi có hàng ngàn nhà phát triển thử nghiệm điều này", Lange nói. "Về mặt học thuật, chúng tôi đã bắt đầu thấy rất nhiều sinh viên và tiến sĩ của NASA tại MIT và Viện Paul Allen ở Seattle phát hành công cụ trên Unity. Tôi vừa gặp các nhà phát triển ở London đang xem xét điều này để phát triển NPC, những người thực sự đang thúc đẩy giới hạn hiệu suất đồ họa với iPhone và thiết bị Android. "
Unity cũng có một công cụ gọi là Extreme AI để ánh xạ tính cách cho các nhân vật, tương tự như cách Amazon Sumerian xây dựng các "máy chủ" truyền nhiễm AI. Đối với các nhân vật không thể chơi trong một trò chơi, Unity đã bắt đầu thử nghiệm điều này để mô phỏng tự nhiên hơn trong một hoặc hai năm qua, Lange nói.
"Vì vậy, nếu bạn muốn chế tạo robot hoặc xe tự lái hoặc thiết kế một ngôi nhà, bạn có thể làm điều đó trong Unity và đưa ngôi nhà đó vào NPC, " Lange nói. "Bạn có thể mô phỏng 1.000 gia đình sống trong ngôi nhà đó và thu thập thông tin về cách các nhân vật di chuyển xung quanh. Cửa có mở đúng không? Có đủ ánh sáng trong phòng không? Nếu bạn làm điều này trong đám mây, bạn có thể có 1.000 ngôi nhà khác nhau với 1.000 gia đình khác nhau. Điều này có vẻ giống như đi ra ngoài chơi game, nhưng nền tảng của tất cả những điều này là công nghệ chơi game. "
-
Tương lai của ứng dụng nhập vai
Khi tham vọng AR / VR và trí tuệ nhân tạo của công ty mở rộng, Unity đang tìm cách chơi game cho một thế hệ ứng dụng 3D mới. Một ví dụ là ngành công nghiệp ô tô, mà Unity gần đây đã thành lập một nhóm chuyên trách để giúp tạo nội dung AR / VR cho khách hàng bao gồm cả Audi, Toyota, Lexus và Volkswagen. Parisi cho biết Unity đang tìm cách áp dụng sức mạnh của hệ sinh thái nhà phát triển đa nền tảng của mình để đưa việc tạo ứng dụng AR / VR vào các ngành công nghiệp mới.
"Chúng tôi đang thay đổi cách bạn thiết kế xe hơi, làm phim; cách bạn làm tất cả những điều này như một công ty biết cách bán hàng cho các nhà phát triển trò chơi", Parisi nói. "Ví dụ, giả sử Ford muốn tạo một ứng dụng trong phòng thí nghiệm đổi mới của họ. Họ có phần cứng và phần mềm cao cấp, sau đó Rift xuất hiện và họ quyết định chỉ làm nó trên PC chơi game. Họ đưa ra một quảng cáo và tỷ lệ cược là, ai đó ở khu vực Detroit là một lập trình viên Unity. Một người bắt đầu tạo mẫu, nó biến thành một nhóm đổi mới ba người, và sau đó họ bắt đầu phát triển những cách mới để thiết kế xe hơi để thay thế các nguyên mẫu vật lý. "
Parisi cũng nhìn thấy rất nhiều tiềm năng để giảm ma sát khi nói đến AR và thương mại điện tử. Điểm nổi bật sắp tới là sự phê chuẩn WebXR của World Wide Web Consortium (W3C), một tiêu chuẩn mới sẽ cho phép trải nghiệm AR và VR chạy dưới dạng ứng dụng web trực tiếp trên trình duyệt máy tính để bàn và thiết bị di động.
Hãy tưởng tượng bạn nhìn thấy một quảng cáo cho một thiết bị nhà bếp mới trong nguồn cấp dữ liệu xã hội của bạn và sau đó kéo mô hình 3D đó vào một môi trường thực tế hỗn hợp được liên kết với máy ảnh của bạn để xem nó trông như thế nào trong nhà bếp của bạn. Để loại công nghệ quảng cáo 3D này hoạt động trên quy mô lớn, Parisi cho biết trải nghiệm web cần phải liền mạch. Nếu bạn phải cài đặt một ứng dụng để xem mọi đối tượng 3D được gắn thẻ thông tin ảo chỉ để kết nối nó với máy ảnh của mình, mô hình không hoạt động, nhưng Unity tự coi đó là một công cụ cùng với các tiêu chuẩn như WebXR có thể thu hẹp các khoảng trống tương thích đó.
Parisi hình dung một tương lai trong đó yếu tố hình thức cho trải nghiệm AR / VR là một thiết bị giải trí khép kín, có thể là trải nghiệm tại nhà, ứng dụng dựa trên vị trí hoặc mô phỏng doanh nghiệp để đào tạo. Ông cũng cho biết giao diện người dùng cần phải trở nên hoàn toàn nhập vai. Công nghệ chưa có, nhưng anh không tin nó xa như mọi người nghĩ.
"Một số người nghĩ rằng sẽ phải mất hàng thập kỷ trước khi chúng ta có thể có được một chiếc tai nghe hoặc kính nhập vai thực sự tốt với đủ sức mạnh tính toán", Parisi nói. "Khi bạn xem xét tất cả các đột phá kỳ diệu trong việc thu nhỏ tất cả các khía cạnh tính toán CPU CPU, GPU, mạng 5G trong một vài năm, chúng ta có thể di chuyển một số xử lý đó ra rìa hoặc lên đám mây. là bất cứ điều gì, nhưng yếu tố chung chắc chắn là giao diện người dùng nhập vai, nơi bạn có thể nhấn nút và trải nghiệm các ký tự kỹ thuật số được nhận biết đầy đủ hoặc môi trường xếp lớp pha trộn giữa thế giới kỹ thuật số và thế giới thực. "
Quan điểm của Unity về Phong cảnh AR / VR
IDC dự báo chi tiêu cho các sản phẩm và dịch vụ AR / VR sẽ đạt 27 tỷ đô la trong năm nay và thị trường chỉ phát triển từ đó. Parisi cho biết Unity nhằm hỗ trợ mọi nền tảng trong không gian.
"Ba hoặc bốn năm trước, trước khi tôi tham gia, Unity đã bắt đầu đầu tư đáng kể vào thị trường VR mới nổi là Oculus Rift, HTC Vive, Samsung Gear VR, v.v., với mục tiêu tạo ra một hệ thống đầy đủ tính năng cho các nhà phát triển vì vậy họ không cần phải tìm hiểu chi tiết ở mức độ thấp về cách hỗ trợ các nền tảng này ", Parisi nói. "Chúng tôi đã đến mức bạn viết hầu hết các ứng dụng của mình một lần và bạn có thể chuyển nó sang các thiết bị này."
Điều này không hoàn toàn đúng, ông nói, bởi vì một ứng dụng bạn tạo cho tai nghe người xem di động sẽ được thiết kế hơi khác so với một ứng dụng được tối ưu hóa cho trải nghiệm dựa trên PC. Nhưng theo số liệu nội bộ của Unity, nền tảng này hiện cung cấp 69% trải nghiệm Oculus Rift, 74% trên HTC Vive, 87% trên Gear VR và 91% trải nghiệm thực tế hỗn hợp (MR) trên Microsoft HoloLens.
Giới hạn AR / VR hiện tại
Hiện tại, trở ngại lớn nhất đối với việc áp dụng MR và VR rộng rãi hơn không phải là thiếu nội dung, mà là những hạn chế về phần cứng khi nói đến sự thoải mái và tính di động so với sức mạnh tính toán, Parisi nói. Hành trình đầy thách thức của tai nghe Magic Leap sắp tới đóng vai trò như một nghiên cứu tình huống trong sách giáo khoa trong việc cố gắng thu nhỏ bộ xử lý đủ mạnh thành một yếu tố hình thức đủ nhỏ để tiêu thụ hàng loạt.
"Thật khó khăn để tạo ra một trải nghiệm thực tế hỗn hợp, hoạt động xung quanh phòng khách của bạn so với việc điều hướng các đường phố mở", Parisi nói. "Chúng tôi đang ở một nơi mà chúng tôi vẫn đang trải qua các bước lặp trên phần cứng để tìm ra điểm ngọt ngào giữa sức mạnh tính toán và tính di động. Với tai nghe VR, bạn có thể di chuyển xung quanh cho đến khi bạn cảm thấy dây điện đó. cách truyền dữ liệu đó. Dây đó là một nỗi đau, nó phá vỡ sự chìm đắm. Tôi đã ở một nơi khác trong một phút, nhưng sau đó tôi có một thứ gì đó rối rắm quanh chân tôi. "
Về phía AR, những hạn chế là khác nhau; đó là nhiều hơn về tầm nhìn máy tính và sức mạnh xử lý cho đồ họa 3D thời gian thực. Khi nói đến tầm nhìn máy tính và sử dụng các loại máy học (ML) khác nhau để lấp đầy các khoảng trống và làm cho trải nghiệm AR / VR thông minh hơn và liền mạch hơn, đó là nơi bộ phận AI đang phát triển của Unity xuất hiện.
Học máy đằng sau hậu trường
Về mặt phát triển trò chơi và trò chơi, Lange đã kéo lại bức màn về cách Unity kết hợp các thuật toán ML vào trải nghiệm để tự động hóa quá trình tạo và lặp lại.
Lange nói: "Chúng tôi nắm bắt được rất nhiều dữ liệu về hành vi: khi một trò chơi bắt đầu với thời gian bạn chơi, bạn đã trải qua những cảnh nào trong trò chơi đó". "Theo nghĩa đó, chúng tôi đang sử dụng máy học và phân tích dữ liệu trong bối cảnh tương tự như những gì Amazon hoặc Google thực hiện thu thập dữ liệu hành vi và cung cấp lại cho nhà phát triển trò chơi. Nó tương đương với phân tích trang web, cung cấp cho bạn dữ liệu có thể thực hiện được sử dụng ngay để xem người chơi đang bị kẹt ở cấp độ nào, cảnh nào không hoạt động, v.v. "
Dữ liệu này có thể được sử dụng để tối ưu hóa cho các yếu tố như mua hàng và quảng cáo trong ứng dụng, nhưng Lange cho biết các thuật toán giúp tìm sự cân bằng giữa việc hiển thị nội dung người dùng mà họ quan tâm và kiếm tiền từ các trò chơi đến mức cực đoan. Ở cấp độ vĩ mô, ông giải thích rằng việc tạo ra một vòng lặp tự xử lý dữ liệu hành vi để giúp các trò chơi phát triển một cách hữu cơ, đưa nhà phát triển thủ công ra khỏi phương trình.
"Học máy là nơi bạn có thể lấy dữ liệu và bắt đầu tạo kết nối", Lange nói. "Khi bạn đặt nó vào một vòng lặp, giống như những gì bạn thường thấy trong trò chơi, dữ liệu dẫn đến dự đoán của trò chơi và người chơi. Điều đó tạo ra nhiều dữ liệu hành vi hơn và giờ bạn thực sự có một hệ thống có thể tương tác và học hỏi từ người dùng và cách họ tương tác với nhau. Một trong những nỗ lực lớn của chúng tôi là sử dụng công nghệ AI để tạo ra nhiều trò chơi hữu cơ phát triển hơn với việc sử dụng. "