Thư viện để lấy bản đồ độ sâu từ hình ảnh âm thanh nổi?

Question

Tôi sẽ thiết lập một số thiết bị để thực hiện theo dõi chuyển động 3D theo thời gian thực. Ý tưởng đầu tiên của tôi là sử dụng một cặp máy ảnh để chụp ảnh âm thanh nổi và tính toán bản đồ độ sâu để lấy dữ liệu 3D mà tôi cần.

Có sẵn thư viện nguồn mở tốt (C/C++) và đủ nhanh cho thời gian thực (~ 12-24fps) không? Tôi đã tìm thấy 3D Reconstruction using Stereo Vision và EStereo trong SourceForge, có ai đã thử chúng không?

Hoặc bất kỳ đề xuất thuật toán nào mà tôi có thể triển khai?

Answer 1

Trước khi bắt đầu, hãy xem xét thực tế là tầm nhìn âm thanh nổi không chỉ là vấn đề về phần mềm. Việc hiệu chỉnh cặp máy ảnh của bạn là cực kỳ quan trọng đối với độ chính xác của bản đồ độ sâu của bạn. Để có kết quả tốt nhất, bạn muốn hai máy ảnh giống hệt nhau được đặt chính xác song song, với chính xác cùng một ống kính trên cả hai máy ảnh, với CCD của máy ảnh nằm trên một mặt phẳng trong không gian 3D. Điều này rất khó thực hiện chỉ với bất kỳ cặp máy ảnh ngẫu nhiên nào. Đặc biệt là nếu họ đến từ phân khúc rẻ hơn.

Nếu tất cả những gì bạn quan tâm là sử dụng bản đồ độ sâu 3D để theo dõi chuyển động 3D thì bạn có thể mua máy ảnh stereo được hiệu chỉnh trước, thường đi kèm với phần mềm cho phép bạn trích xuất bản đồ 3D trực tiếp. Tôi đã có kinh nghiệm tốt với Bumblebee camera from Point Grey Research nhưng có lẽ cũng có những hệ thống tốt khác. Điều này sẽ cho phép bạn tập trung vào theo dõi 3D. Nếu không, chỉ nhận được một bản đồ độ sâu có thể sử dụng từ một cặp máy ảnh sẽ ăn nhiều thời gian của bạn.

Answer 2

OpenCV có một phần toàn bộ về vấn đề này, xem chương 12 của Learning Opencv