Nhóm nghiên cứu tại Đại học Hàng không Vũ trụ Bắc Kinh (Trung Quốc) phát triển MetaEarth3D, mô hình AI có khả năng tạo những thế giới ba chiều liên tục, từ địa hình rộng lớn đến thành phố và từng khu phố chi tiết.
Người dùng chỉ cần nhập mô tả bằng văn bản hoặc cung cấp ảnh vệ tinh, hệ thống có thể tạo cảnh 3D với núi, sa mạc, vùng tuyết, bờ biển, đường sá hay các cụm công trình. Thế giới này có thể tiếp tục mở rộng, trong khi camera ảo cho phép người dùng tự do di chuyển bên trong.
MetaEarth3D có khả năng tạo những thế giới ba chiều chỉ với một câu lệnh. (Ảnh: MIT)
Khác với Google Earth, MetaEarth3D không tái dựng một khu vực có thật từ dữ liệu được thu thập trước. Google Earth sử dụng ảnh hàng không, ảnh vệ tinh và dữ liệu 3D để tái hiện thế giới thực, sau đó lưu trữ chúng trên máy chủ. Cách làm này cho độ chân thực cao nhưng đòi hỏi lượng dữ liệu lớn và chi phí thu thập, tái dựng cao.
MetaEarth3D sử dụng AI tạo sinh để tạo nên những thế giới không tồn tại trong thực tế. Tuy nhiên, địa hình, quan hệ không gian và hình ảnh của chúng vẫn được xây dựng theo những đặc điểm thống kê của thế giới thật.
Mô hình có 4,6 tỷ tham số, được huấn luyện bằng khoảng 10 triệu hình ảnh từ nhiều khu vực trên thế giới. Theo nhóm nghiên cứu, một card đồ họa NVIDIA RTX 3090 có thể tạo khoảng 17 km2 cảnh đô thị 3D trong hai giờ.
Một trong những thách thức lớn nhất khi phát triển công nghệ là thiếu dữ liệu 3D. Việc thu thập, tái dựng và gắn nhãn lượng lớn dữ liệu thế giới thực vừa phức tạp vừa tốn kém.
Nhóm nghiên cứu giải quyết vấn đề bằng cách chuyển cảnh 3D thành tín hiệu hình ảnh 2D để huấn luyện, qua đó tận dụng nguồn ảnh hai chiều dễ thu thập hơn. Kết quả tạo ra là các cảnh 3D có thể nhập trực tiếp vào những công cụ đồ họa phổ biến như Unreal Engine và Unity để tiếp tục chỉnh sửa, kết xuất hoặc tương tác.
Điểm đáng chú ý của MetaEarth3D không chỉ nằm ở khả năng tạo cảnh. Các thế giới ảo còn đi kèm thông tin về độ cao, khoảng cách và những đặc điểm không gian khác, có thể dùng trực tiếp làm dữ liệu huấn luyện AI.
Trong thử nghiệm của nhóm, dữ liệu do MetaEarth3D tạo ra giúp khả năng hiểu không gian của các mô hình AI tăng trung bình 22,85%.
Nhờ đó, công nghệ có thể được sử dụng để huấn luyện UAV, phương tiện tự lái và những hệ thống AI phải hoạt động trong môi trường rộng lớn, thay vì chỉ phục vụ tạo hình ảnh 3D.
MetaEarth3D là mô hình tự tạo ra thế giới ba chiều chưa từng tồn tại nhưng tuân thủ hoàn toàn quy luật thống kê của thế giới thực. (Ảnh: MIT)
Một hướng ứng dụng khác là mô phỏng những tình huống “thiên nga đen” - sự kiện rất hiếm nên khó thu thập đủ dữ liệu thực tế, nhưng có thể gây hậu quả lớn nếu xảy ra. AI có thể tạo nhiều kịch bản như vậy để các hệ thống tự động học cách nhận biết và xử lý trước khi gặp ngoài đời thực.
MetaEarth3D hiện vẫn có hạn chế. Các thế giới do AI tạo ra mới phản ánh một thời điểm, chưa mô phỏng được sự thay đổi theo thời gian như tuyết phủ vào mùa đông, cây cối xanh vào mùa hè hay quá trình xây mới và phá dỡ công trình.
Hệ thống cũng chủ yếu mô phỏng dữ liệu từ cảm biến quang học, chưa mở rộng sang LiDAR, camera hồng ngoại nhiệt và những cảm biến khác thường trang bị trên UAV hay vệ tinh.
Nhóm nghiên cứu kỳ vọng khi bổ sung yếu tố thời gian và các thuộc tính vật lý, công nghệ tạo sinh có thể trở thành nguồn dữ liệu quy mô lớn cho AI hoạt động trong thế giới thực.
Nghiên cứu về MetaEarth3D đã được công bố trên arXiv và được tạp chí National Science Review bình duyệt.
