Sử dụng Kinect để phát hiện các đối tượng trên sàn

Question

Cho phép nói rằng tôi có một kinect chỉ vào một tầng.

Nếu tôi đặt 3 hoặc 4 đối tượng trên sàn, làm thế nào tôi có thể xác định mặt phẳng mà các đối tượng đó đang bật?

Làm cách nào để phát hiện các đối tượng có màu sắc rực rỡ trên tầng đó?

Answer 1

Kinect trả về cho bạn một bản đồ ma trận đại diện cho khoảng cách của bất kỳ bề mặt nào đến cảm biến và theo sau pinhole camera model có thể sắp xếp từng đo độ sâu với giá trị RGB tương ứng. Tôi sẽ xem xét rằng bạn đã biết làm thế nào để tương quan từng pixel của ma trận độ sâu với X, Y, Z trên không gian và giá trị RGB của nó. Nếu không, bạn sẽ cần phải làm further research và hiểu cách tương quan âm thanh nổi được thực hiện giữa cảm biến độ sâu và máy ảnh RGB.

Bạn đã hỏi hai câu hỏi hoàn toàn khác nhau tại đây. Cách thứ nhất dễ dàng giải được với một số khái niệm hình học cơ bản, nhưng cần thiết để giải quyết khái niệm thứ hai trước tiên để tìm vị trí của đối tượng trên không gian.

Có một số cách tiếp cận để tìm các đối tượng có màu sáng. Nếu cảm biến của bạn sẽ ghi lại một cảnh tĩnh, bạn có thể sử dụng Background Subsctraction. Điều này sẽ tạo ra cho bạn một hình ảnh nhị phân đại diện cho các điểm ảnh với các giá trị khác nhau từ một mô hình nền đã được đào tạo trước đó. Vì đối tượng của bạn rõ ràng sẽ có màu sáng hơn nền, bạn có thể áp dụng đơn giản Thresholding Segmentation. Chỉ cần chuyển đổi RGB thành hình ảnh HSL và tìm đến các giá trị độ sáng cao hơn. Có một số phương pháp khác, nghiên cứu cho họ nếu những phương pháp đó không giải quyết được vấn đề của bạn. Sau cả hai phương pháp đó sẽ trả về cho bạn một hình ảnh nhị phân với các đốm màu. Bạn có thể sử dụng trung tâm của những đốm màu đó làm tọa độ ma trận của các đối tượng có màu sáng của bạn.

Với 3 trung tâm blobs A 'B' và C' bạn sẽ có thể tìm thấy những chiếc máy bay mà bạn đang tìm kiếm, như thể hiện trong hình dưới đây:

Giải thích: Một mặt phẳng có thể được biểu diễn như một điểm (vị trí) và một hướng (bình thường). Xem xét tất cả các đối tượng của bạn sẽ chính xác ở mặt phẳng bạn đang cố tìm, tất cả những gì bạn cần là 3 điểm, A, B, C sẽ đại diện cho một hình tam giác bên trong mặt phẳng đó. Tam giác này bình thường bằng (A - B) x (C - B) - tại đây x đại diện cho sản phẩm chéo - và giống như mặt phẳng. Vì vậy, máy bay của bạn sẽ là bất cứ ai trong số 3 điểm đó và tam giác đó bình thường. Nếu kích thước của đối tượng là đáng kể, bạn sẽ cần phải xem xét chúng để xác định vị trí mặt phẳng của bạn.