2009-02-04 22 views
8

Chúng tôi đang đối mặt với một sự lựa chọn để sử dụng IBM MQ trên SFTP để chuyển tệp. Tôi đã nghe những lợi thế của cách tiếp cận như vậy, nhưng tôi chưa bao giờ thấy bất cứ ai thực sự sử dụng nó cho một tập tin lớn.IBM MQ để chuyển tập tin

Vì vậy, câu hỏi chính: IMB MQ có thể xử lý việc chuyển các tệp lớn (tối đa 100 MB) đến mức nào? Nó ổn định? Đó là từ máy tính lớn đến máy chủ UNIX, nếu nó có vấn đề.

Cảm ơn rất nhiều.

Trả lời

8

Tôi đã sử dụng MQ với các tệp có kích thước tối đa 8GB, không có sự cố. Bạn phải phân bổ đủ không gian cho MQ để quản lý chúng, nhưng nó hoạt động.

+1

Cảm ơn rất nhiều! Đó là chính xác những gì tôi cần nghe. – user62564

5

Nhà cung cấp đã thực hiện Truyền tệp qua hệ thống nhắn tin như WebSphere MQ trong hơn 12 năm. Tôi đã không sử dụng sản phẩm của IBM. Tuy nhiên, tôi biết cho đến gần đây, IBM đã bán lại sản phẩm của Metastorm (dưới thương hiệu PM4Data) và chỉ mới bước vào thị trường với một sản phẩm thế hệ đầu tiên.

Tôi đã xem Metastorm Integration Manager xử lý các tệp có kích thước terabyte tất cả thời gian; chia nhỏ các thông điệp trên WebSphere MQ và thực hiện các xác nhận bộ đệm để không làm tràn hàng đợi thông báo hoặc phải thực hiện rất nhiều Quản trị MQ.

cân nhắc đáng giá khác của việc sử dụng hệ thống thư tín để chuyển file vs SFTP bao gồm:

  1. Pre và Post-di chuyển dữ liệu Xử lý - Là một mạng lưới giao thông, di chuyển SFTP dữ liệu (như có thể nộp các sản phẩm chuyển giao qua WebSphere MQ). Để thực hiện xử lý trước hoặc sau chuyển động, bạn phải tự mình viết, theo dõi, xử lý lỗi, vv Nhà cung cấp trưởng thành trong việc truyền tệp qua không gian nhắn tin cung cấp cơ sở hạ tầng cho bạn. Tùy thuộc vào ứng dụng của bạn, chúng cũng có thể giúp
  2. Đường kiểm tra - SFTP thường cung cấp nhật ký cấp hệ thống. Thông thường, các nhà cung cấp cung cấp tích hợp tệp qua MQ có khả năng kiểm toán lớn hơn, bao gồm Xử lý di chuyển trước và sau dữ liệu. Một số nhà cung cấp cũng cung cấp các hệ thống dựa trên web bảo mật để hiển thị một số tích hợp nhất định cho người dùng được ủy quyền.
  3. Xử lý ngoại lệ - SFTP sẽ cung cấp thông báo lỗi đồng bộ mà từ đó bạn mã hóa logic lỗi của mình. Các nhà cung cấp cung cấp khả năng tích hợp tệp tin trên MQ thường cung cấp khả năng ngoại lệ từ "đây là thông báo trên hàng đợi biểu thị sự cố đã xảy ra ... chúc may mắn" tích hợp sẵn với bảng điều khiển dựa trên web hoặc thậm chí hệ thống BPM.
  4. Điều trị truyền tệp dưới dạng dịch vụ - Thông thường, chuyển tệp là một phần của quy trình kinh doanh lớn hơn. Một số nhà cung cấp tận dụng điều này để chuyển đổi chuỗi tệp và thậm chí họ đã cộng tác với các quy trình tập trung vào con người để cung cấp khả năng hiển thị từ đầu đến cuối xung quanh ngữ cảnh của việc truyền tệp điểm-điểm. Ngoài ra, việc sử dụng các hệ thống nhắn tin để chuyển tệp giúp di chuyển một tổ chức đến một phương pháp tiếp cận theo thời gian thực, theo tin nhắn hơn.

Tôi hy vọng các chi tiết bổ sung sẽ cung cấp một số chi tiết trong đánh giá của bạn. Chúc may mắn!

+1

Cảm ơn bạn đã biết thông tin, nhưng hầu hết thông tin tôi đã nghe hoặc đọc. Tôi thực sự quan tâm đến câu hỏi mà tôi đã hỏi. – user62564

6

Bản thân MQ cung cấp thông tin liên lạc dựa trên tin nhắn giữa các chương trình. Bạn không thể sử dụng nó trực tiếp để chuyển các tập tin. Mọi người nói về "gửi tệp qua MQ" thường có nghĩa là họ sẽ tự viết các chương trình để đọc từ một tệp, gửi qua MQ, nhận từ MQ và ghi vào tệp khác. Điều này nghe có vẻ tầm thường lúc đầu nhưng nhanh chóng trở nên rất phức tạp nếu bạn muốn nó trở nên mạnh mẽ. Không được khuyến khích.

Điều bạn nên đang thực hiện nếu bạn muốn liên quan đến MQ trong việc truyền tệp của bạn đang sử dụng một trong các sản phẩm chuyển tệp nằm trên MQ. Có một số dịch vụ dành cho người lớn, mà tôi biết bên cạnh không có gì, cùng với một sản phẩm mới từ chính IBM ("Websphere MQ File Transfer Edition") đang được phát triển tích cực và gần đây đã công bố một phiên bản cập nhật (7.0.1).

Để trả lời câu hỏi cụ thể của bạn, tôi đã sử dụng WMQFTE để truyền tệp 1000GB từ máy AIX sang Windows, vì vậy tôi không nghĩ rằng tệp "100" lớn của bạn sẽ là vấn đề :-) . Tôi không tham gia với máy tính lớn nhiều nhưng nó là một nền tảng cốt lõi cho FTE.

+0

Điều bạn đang nói là đúng, tôi cũng thấy phiên bản Truyền tệp này. Tất nhiên nó sẽ là giải pháp tốt nhất. Thật không may, tôi phải làm việc trong môi trường khá cứng, nơi mà thậm chí tăng kích thước tối đa của tin nhắn MQ là một vấn đề khá lớn. Rất khó có thể cài đặt một sản phẩm mới sẽ được phê duyệt. Cảm ơn. – user62564

+0

@ to-be-no-one: Có lý do chính đáng để tăng MAXMSGL là một vấn đề lớn. Thật khó hoặc không thể điều chỉnh bất kỳ tin nhắn không đồng bộ nào để xử lý đồng thời các thông điệp rất lớn và rất nhỏ. Bạn thấy việc tăng MAXMSGL là giải pháp miễn phí và kết luận FTE ít có cơ hội hơn vì giá cả. Nhưng đối với tất cả những người dùng thông thường nhất, một sản phẩm như FTE thực sự hiệu quả về chi phí hơn là cố gắng thu thập các tệp 100MB thành các tin nhắn đơn trên một đường ống được điều chỉnh cho một thông điệp nhỏ hơn nhiều. Thông tin thêm về điều này ở đây: http://www.ibm.com/developerworks/websphere/techjournal/0804_mismes/0804_mismes.html –

0

Trong một trong những câu trả lời trước, có báo cáo kết quả followng:

dân nói về "việc gửi file qua MQ" thường có nghĩa là họ sẽ viết các chương trình tự để đọc từ một tập tin, gửi qua MQ , nhận được từ MQ và ghi vào một tập tin khác. Điều này nghe có vẻ tầm thường lúc đầu nhưng nhanh chóng trở nên rất phức tạp nếu bạn muốn nó trở nên mạnh mẽ. Không được khuyến khích.

Về lý thuyết sẽ tốt hơn nếu "gửi tệp qua MQ" vì bạn sẽ nhận được thông báo Xác nhận khi gửi (CoD) khi người nhận nhận (đọc) tệp từ hàng đợi. Một lợi ích khác sẽ là tệp sẽ tự động bị xóa khỏi hàng đợi khi người nhận nhận (đọc) nó từ hàng đợi.

Bạn có thể biết liệu MQFTE được cung cấp ở trên (hoặc tương tự) không?

+0

Có, có chức năng tương tự trong FTE mặc dù nó không phụ thuộc vào COD. Tùy thuộc vào cách chuyển nhượng được khởi động, người gửi có thể đợi cho đến khi hoàn thành hoặc có thể đăng ký một chủ đề để nhận thông báo trạng thái cho việc chuyển. –