Tôi làm cách nào để thực hiện mã hóa và giải mã H.264 tăng tốc phần cứng để phát trực tuyến?

Question

Tôi có thể lấy dữ liệu khung RGBA từ máy ảnh và tôi muốn mã hóa dữ liệu ở định dạng H.264. Tôi đã sử dụng FFmpeg để mã hóa và giải mã video H.264, nhưng ở kích thước khung 640x480 thì nó quá chậm đối với nhu cầu của tôi.

Tôi muốn sử dụng tăng tốc phần cứng để tăng tốc độ mã hóa và giải mã, vì vậy tôi sẽ làm điều đó như thế nào?

Ngoài ra, tôi cần có thể phát video được mã hóa trên mạng và giải mã nó ở đầu bên kia. Điều này có thể giải quyết như thế nào?

Answer 1

Nếu bạn muốn mã hóa video và giải mã video H.264 tăng tốc phần cứng trên iOS, cách duy nhất để thực hiện là AVFoundation. Không sử dụng thư viện của bên thứ ba để mã hóa hoặc giải mã, bởi vì tất cả các thư viện này hiện đang bị ràng buộc CPU và chậm hơn nhiều so với những gì bạn nhận được từ AVFoundation. Một lý do để sử dụng bộ mã hóa hoặc bộ giải mã của bên thứ ba là nếu bạn đang làm việc với một định dạng không được hỗ trợ trong iOS theo mặc định.

Để giải mã được tăng tốc phần cứng, bạn sẽ muốn sử dụng một cá thể AVAssetReader (hoặc một trong các lớp trình phát để phát lại thuần túy). Với một AVAssetReader, tôi thường xuyên nhận được tốc độ phát lại 2X hoặc cao hơn để đọc video mã hóa H.264, do đó thiết bị iOS sử dụng một số tăng tốc phần cứng khá tốt cho điều đó.

Tương tự, đối với mã hóa được tăng tốc, bạn sẽ sử dụng AVAssetWriter. Có một số thủ thuật để nhận được AVAssetWriter để mã hóa ở tốc độ tốt nhất (cho vào khung BGRA, sử dụng vùng đệm pixel, sử dụng bộ đệm kết cấu iOS 5.0 nếu đọc từ OpenGL ES), mà tôi mô tả chi tiết trong phạm vi this answer.

Nếu bạn muốn xem một số mã sử dụng đường dẫn nhanh nhất mà tôi đã tìm thấy để mã hóa và giải mã nhanh hơn, bạn có thể xem khung nguồn mở GPUImage của mình, không giống như mã được liên kết bởi Anastasia. .