Tìm một khung hình thú vị trong video

Question

Có ai biết thuật toán mà tôi có thể sử dụng để tìm hình thu nhỏ đại diện "thú vị" cho video không?

Tôi đã nói 30 bitmap và tôi muốn chọn hình đại diện nhất làm hình thu nhỏ video.

Bước đầu tiên rõ ràng sẽ loại bỏ tất cả các khung màu đen. Sau đó, có lẽ tìm kiếm "khoảng cách" giữa các khung hình khác nhau và chọn một cái gì đó gần với trung bình.

Bất kỳ ý tưởng nào ở đây hoặc xuất bản các giấy tờ có thể giúp ích?

Answer 1

Nếu video chứa cấu trúc, tức là một số ảnh, sau đó là các kỹ thuật chuẩn để thu thập video liên quan đến (a) phát hiện bắn, sau đó (b) sử dụng khung đầu tiên, giữa hoặc thứ n để thể hiện từng ảnh. Xem [1].

Tuy nhiên, giả sử bạn muốn tìm một khung hình thú vị trong một dòng liên tục các khung được lấy từ một nguồn camera duy nhất. I E. một shot. Đây là vấn đề "phát hiện khung chính" được thảo luận rộng rãi trong các văn bản IR/CV (Thông tin truy xuất thông tin, máy tính Vision). Một số phương pháp minh họa:

• Trong [2] biểu đồ màu trung bình được tính cho tất cả các khung và khung chính là biểu đồ gần nhất. I E. chúng tôi chọn khung hình tốt nhất về phân phối màu của nó.
• Trong [3], chúng tôi giả định rằng độ tĩnh máy ảnh là một chỉ báo về tầm quan trọng của khung. Theo đề xuất của Giường, ở trên. Chúng tôi chọn các khung hình tĩnh bằng cách sử dụng luồng quang và sử dụng nó.
• Trong [4] mỗi khung được chiếu vào một số không gian nội dung chiều cao, chúng tôi tìm thấy các khung đó ở các góc của không gian và sử dụng chúng để thể hiện video.
• Trong [5] khung được đánh giá về tầm quan trọng bằng cách sử dụng độ dài và tính mới trong không gian nội dung.

Nói chung, đây là một lĩnh vực lớn và có rất nhiều cách tiếp cận. Bạn có thể xem các hội thảo học thuật như Hội nghị Quốc tế về Thu hồi Hình ảnh và Video (CIVR) để biết các ý tưởng mới nhất. Tôi thấy rằng [6] trình bày tóm tắt chi tiết hữu ích về sự trừu tượng video (phát hiện và tổng kết khung hình chính).

Đối với vấn đề "tìm tốt nhất của 30 bitmap", tôi sẽ sử dụng cách tiếp cận như [2]. Tính toán không gian biểu diễn khung (ví dụ: biểu đồ màu cho khung), tính toán biểu đồ để biểu diễn tất cả các khung và sử dụng khung có khoảng cách tối thiểu giữa hai khung (ví dụ: chọn số liệu khoảng cách phù hợp nhất với không gian của bạn. Mover's Distance).

1. M.S. Lew. Nguyên tắc truy xuất thông tin trực quan. Springer Verlag, 2001.
2. B. Gunsel, Y. Fu và A.M. Tekalp. Phân đoạn video theo thời gian phân cấp và đặc tính nội dung. Hệ thống lưu trữ và lưu trữ đa phương tiện II, SPIE, 3229: 46-55, 1997.
3. W. Wolf. Lựa chọn khung chính bằng phân tích chuyển động. Trong Hội nghị quốc tế về âm thanh, lời nói và xử lý tín hiệu IEEE, các trang 1228-1231, 1996.
4. L. Zhao, W. Qi, S.Z. Li, S.Q. Yang, và H.J. Zhang. Khai thác khung hình và truy xuất hình ảnh bằng cách sử dụng Dòng tính năng gần nhất. Trong IW-MIR, ACM MM, các trang 217-220, 2000.
5. S. Uchihashi. Video Manga: Tạo các bản tóm tắt video có ý nghĩa về ngữ nghĩa. Trong Proc. ACM Multimedia 99, Orlando, FL, Nov., các trang 383-292, 1999.
6. Y. Li, T. Zhang và D. Tretter. Tổng quan về kỹ thuật trừu tượng video. Báo cáo kỹ thuật, Phòng thí nghiệm HP, tháng 7 năm 2001.

Answer 2

Ồ, thật là một câu hỏi hay - tôi đoán bước thứ hai là loại bỏ các khung hình một cách lặp đi lặp lại khi có ít hoặc không có thay đổi nào giữa nó và người kế nhiệm. Nhưng tất cả những gì bạn đang thực sự làm ở đó là giảm bớt bộ khung ảnh có khả năng là thú vị. Làm thế nào chính xác bạn xác định "thú vị" là nước sốt đặc biệt tôi cho là bạn không có số liệu thống kê tương tác người dùng dựa vào như Flickr.

Answer 3

Giám đốc đôi khi sẽ nán lại trên một cảnh quay 'đẹp' hoặc đẹp đẽ để tìm kiếm phần 5 giây không thay đổi và sau đó loại bỏ những phần gần như đen?

Answer 4

Tôi nghĩ bạn chỉ nên xem các khung chính.

Nếu video không được mã hóa bằng cách sử dụng nén dựa trên khung chính, bạn tạo thuật toán dựa trên bài viết sau: Key frame selection by motion analysis.

Tùy thuộc vào việc nén video, bạn có thể có khung hình chính sau mỗi 2 giây hoặc 30 giây. Hơn tôi nghĩ bạn nên sử dụng thuật toán trong bài viết để tìm ra khung hình chính "nhất" trong số tất cả các khung chính.

Answer 5

Bạn đã yêu cầu giấy tờ vì vậy tôi đã tìm thấy một số. Nếu bạn không ở trong khuôn viên trường hoặc trên kết nối VPN đến trường, những giấy tờ này có thể khó tiếp cận.

PanoramaExcerpts: chiết xuất và đóng gói panoramas để duyệt phim

http://portal.acm.org/citation.cfm?id=266396

một này giải thích một phương pháp để tạo ra một đại diện keyframe phong cách comicbook.

Tóm tắt:

Bài viết này trình bày phương pháp để tự động tạo ra bản tóm tắt phim bằng hình ảnh mà resem- truyện tranh ble. Tầm quan trọng tương đối của các phân đoạn video được tính toán từ độ dài và tính mới của chúng. Phân tích hình ảnh và âm thanh được sử dụng để tự động phát hiện và nhấn mạnh các sự kiện có ý nghĩa. Dựa trên mức độ quan trọng này, chúng tôi chọn các khung hình chính có liên quan. Các khung hình chính được chọn có kích thước theo tầm quan trọng và sau đó được đóng gói hiệu quả thành một bản tóm tắt bằng hình ảnh. Chúng tôi trình bày một thước đo định lượng về cách tóm tắt nắm bắt các sự kiện nổi bật trong video và cho biết cách nó có thể được sử dụng để cải thiện tóm tắt của chúng tôi. Kết quả là một bản tóm tắt nhỏ gọn và trực quan làm hài lòng các sự kiện quan trọng về mặt ngữ nghĩa và phù hợp để in hoặc truy cập Web. Tóm tắt như vậy có thể được tăng cường hơn nữa bằng cách bao gồm các văn bản có nguồn gốc từ OCR hoặc các phương pháp khác. Chúng tôi mô tả cách các khoản tiền được tạo tự động được sử dụng để đơn giản hóa quyền truy cập vào một bộ sưu tập video lớn.

tự động khai thác của các khung hình chính đại diện dựa trên scenecontent

http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=751008

Tóm tắt:

Tạo chỉ số cho các bộ phim là một quá trình tẻ nhạt và tốn kém mà chúng ta tìm kiếm để tự động hóa. Trong khi các thuật toán cho việc tìm kiếm các ranh giới khung cảnh có sẵn, thì có rất ít công việc được thực hiện trên việc chọn các khung riêng lẻ để thể hiện chính xác cảnh đó. Trong bài báo này, chúng tôi trình bày các thuật toán mới để tự động lựa chọn các khung hình chính, dựa trên nội dung cảnh. Mô tả chi tiết của một số thuật toán được theo sau bởi một phân tích về cách con người cảm thấy các khung được lựa chọn đại diện cho cảnh. Cuối cùng, chúng tôi giải quyết cách các thuật toán này có thể được tích hợp với các thuật toán hiện có để tìm các ranh giới cảnh.

Answer 6

Cũng có thể có lợi cho các khung hình đẹp mắt về mặt thẩm mỹ. Tức là, hãy tìm các thuộc tính chung của nhiếp ảnh-- tỷ lệ khung hình, độ tương phản, cân bằng, v.v.

Thật khó để tìm thấy ảnh đại diện nếu bạn không biết mình đang tìm gì. Nhưng với một số phỏng đoán và gợi ý của tôi, ít nhất bạn có thể tìm ra thứ gì đó đẹp trai.

Answer 7

Tôi đã làm việc trong một dự án gần đây nơi chúng tôi đã xử lý video và chúng tôi đã sử dụng OpenCV để thực hiện việc nâng hạng nặng. Chúng tôi đã phải trích xuất khung, tính toán sự khác biệt, trích xuất khuôn mặt, vv OpenCV có một số thuật toán được xây dựng trong đó sẽ tính toán sự khác biệt giữa các khung hình. Nó hoạt động với nhiều định dạng video và hình ảnh khác nhau.