Kiểm tra tự động .NET cho các quy trình chạy dài

Question

Chúng tôi muốn thực hiện một số thử nghiệm tích hợp tự động của quy trình yêu cầu gửi dữ liệu đến nguồn bên ngoài và sau đó xác thực rằng dữ liệu đã được hiển thị chính xác trên trang web của họ.

Tuy nhiên, có thể mất vài giờ trước khi dữ liệu xuất hiện trên trang web.

Sự cố với NUnit hoặc MSTest truyền thống là thử nghiệm sẽ được giữ lại trong nhiều giờ chờ kết quả.

Tôi đã thấy PNUnit có thể được sử dụng - để chạy tất cả các thử nghiệm song song, nhưng nó không có vẻ là một giải pháp thanh lịch đối với tôi. Nếu có 1000 bài kiểm tra thì sao? Điều này sẽ không tạo ra vô số các tiến trình/luồng trên máy chủ? Và làm thế nào để theo dõi tất cả chúng.

Vì vậy, có ai đã giải quyết vấn đề này không? Bạn có phát triển một giải pháp hay có giải pháp nguồn mở cho điều này không?

Answer 1

Sự cố này có thể được giải quyết dễ dàng bằng cách tách chèn và xác minh dữ liệu thử nghiệm. Chỉ cần tải tất cả dữ liệu thử nghiệm có sẵn vào hệ thống, đợi vài giờ cho đến khi quá trình xử lý hoàn tất và sau đó thực hiện các kiểm tra xác minh.

Answer 2

Có vẻ như PNUnit sẽ là một giải pháp tốt. Nếu bạn đang lo lắng về "quá nhiều quy trình/chủ đề" trên máy chủ, chỉ cần tăng tốc độ kiểm tra bao nhiêu PNUnit có thể chạy cùng một lúc (nói, Max N); khi thử nghiệm hoàn thành, hãy lên lịch kiểm tra tiếp theo. Tôi không khẳng định PNUnit biết làm thế nào để làm điều này; bạn có thể phải triển khai tùy chỉnh này.

Answer 3

Có một cuộc thảo luận về chính xác vấn đề này trên NUnit-Thảo luận nhóm trên Google ngay bây giờ: http://groups.google.com/group/nunit-discuss/browse_thread/thread/645ecaefb4f978fa?hl=en

Tôi hy vọng điều này sẽ giúp :)

Answer 4

Martin, trước khi tôi nhận được để giải pháp của tôi, cho đơn vị thử nghiệm nó dường như với tôi rằng bạn sẽ muốn kiểm tra chỉ những gì bạn có thể kiểm soát. Ở trên là giống như những gì tôi gọi là thử nghiệm hồi quy. Tôi giả sử trang web 'của họ' là trang web của người khác. Tôi có thể hỏi điều gì sẽ xảy ra nếu bạn tuân theo các quy tắc của giao diện/tích hợp nhưng không có gì có được trên màn hình của họ, trong khi nó có thể là một vấn đề gì hoặc bạn có thể làm gì về nó? Hơn nữa, điều gì sẽ xảy ra khi họ thay đổi trang web hoặc thuật toán của họ? Bạn sẽ cần phải viết mã dựa trên những gì họ làm mà hút.

Điều đó nói rằng, như đã đề cập ở trên, bạn có thể tách các bài kiểm tra tải và kiểm tra dữ liệu xác minh. Tôi thú nhận tôi không biết gì về PNunit, nhưng chỉ đơn giản là ném chủ đề vào nó sẽ không giải quyết độ trễ 3 giờ cho mỗi bài kiểm tra khứ hồi.

nếu bạn cần chạy đồng bộ, bạn có thể tải tất cả dữ liệu trong ClassInitialize() rồi ngủ cho đến khi đã đến lúc xác minh và chạy thử nghiệm thực tế.

Nếu đó là tôi, tôi chỉ có một dự án thử nghiệm cho các bài kiểm tra tải và sau đó là một dự án để xác minh kết quả một vài giờ sau đó. Có nó đồng bộ không có vẻ như nó sẽ mua cho bạn nhiều lợi ích khác hơn là đảm bảo điều kiện tiên quyết vượt qua trước khi kiểm tra kết quả, mà có thể được xử lý theo những cách khác là tốt.