Sự khác biệt giữa các ma trận cơ bản, khái quát và Homography

Question

Tôi có hai hình ảnh được lấy từ các vị trí khác nhau. Camera thứ 2 nằm ở bên phải, lên và lùi đối với camera thứ nhất. Vì vậy, tôi nghĩ rằng có một sự chuyển đổi quan điểm giữa hai quan điểm và không chỉ là một biến đổi affine vì máy ảnh có độ sâu tương đối khác nhau (am I right?) Tôi có một vài điểm tương ứng giữa hai hình ảnh. Tôi nghĩ về việc sử dụng các điểm tương ứng này để xác định chuyển đổi của từng pixel từ hình ảnh thứ nhất đến hình ảnh thứ 2.

Tôi bị nhầm lẫn bởi các hàm findFundamentalMat và findHomography .... cả ma trận trả về 3x3, sự khác biệt giữa hai loại là gì ??

Có bất kỳ điều kiện bắt buộc/điều kiện tiên quyết nào để sử dụng chúng (khi nào sử dụng chúng) không ??

Cách nào để sử dụng để chuyển đổi điểm từ hình ảnh thứ nhất sang hình ảnh thứ 2? Trong các ma trận 3x3 mà các hàm trả về, chúng có bao gồm phép xoay và dịch giữa hai khung hình không ??

Từ wikipedia, biết rằng ma trận cơ sở là mối quan hệ giữa các điểm hình ảnh tương ứng. Trong một câu trả lời SO here, người ta nói Essential Matrix E là cần thiết để có được điểm tương ứng ... nhưng tôi không có ma trận Camera bên trong để tính E ..... Tôi chỉ có hai hình ảnh.

Tôi nên tiến hành như thế nào để xác định điểm tương ứng? Đang chờ đề xuất .. Cảm ơn bạn

Answer 1

Nếu không có bất kỳ giả định bổ sung nào về hình dạng cảnh thế giới, bạn không thể xác nhận rằng có một phép chuyển đổi dự đoán giữa hai chế độ xem. Điều này chỉ đúng nếu cảnh là phẳng. Một tham khảo tốt về chủ đề đó là cuốn sách Multiple View Geometry in Computer Vision của Hartley và Zisserman.

Nếu cảnh thế giới không phẳng, bạn chắc chắn không nên sử dụng chức năng findHomography. Bạn có thể sử dụng hàm findFundamentalMat, nó sẽ cung cấp cho bạn một ước lượng của ma trận cơ bản F. Ma trận này mô tả hình học epipolar giữa hai khung nhìn. Bạn có thể sử dụng F để chỉnh sửa hình ảnh của mình để áp dụng thuật toán âm thanh nổi để xác định bản đồ tương ứng dày đặc.

Tôi giả sử bạn đang sử dụng cụm từ "chuyển đổi phối cảnh" có nghĩa là "chuyển đổi dự báo". Theo hiểu biết tốt nhất của tôi, việc chuyển đổi phối cảnh là hình ảnh thế giới sang hình ảnh, không phải là hình ảnh để ánh xạ hình ảnh.

Answer 2

Ma trận cơ bản có liên quan x'Fu = 0 với x trong một hình ảnh và u trong khi và chỉ khi x khác và u là dự báo của các điểm 3d tương tự. Cũng l = Fu định nghĩa một dòng (lx'= 0), nơi điểm correponding của u phải nằm trên, vì vậy nó có thể được sử dụng để hạn chế các searchspace cho thư từ.

Một Homography ánh xạ một điểm trên một chiếu của mặt phẳng tới một phép chiếu khác của mặt phẳng. x = Hồ

Answer 3

Chỉ có hai trường hợp chuyển đổi giữa hai quan điểm là sự chuyển hóa xạ (tức là một homography): một trong hai cảnh là phẳng hoặc hai quan điểm đã được tạo ra bởi một camera xoay quanh tâm của nó.