Là echo nguyên tử khi viết các dòng đơn

Question

Tôi hiện đang cố gắng để có được một kịch bản để viết đầu ra từ các lệnh bắt đầu khác một cách chính xác vào một tệp nhật ký. Kịch bản sẽ viết các thông báo của chính nó vào tệp nhật ký bằng cách sử dụng echo và có một phương thức mà tôi có thể dẫn đường từ các chương trình khác.

Vấn đề chính là chương trình tạo đầu ra được khởi động ở chế độ nền, vì vậy chức năng của tôi thực hiện việc đọc có thể ghi đồng thời vào tệp logfile. Điều này có thể là một vấn đề? Echo luôn luôn chỉ viết một dòng duy nhất, vì vậy nó không phải là khó để đảm bảo nguyên tử. Tuy nhiên tôi đã nhìn vào google và tôi đã tìm thấy không có cách nào để chắc chắn rằng nó thực sự là nguyên tử.

Đây là kịch bản hiện nay:

LOG_FILE=/path/to/logfile 

write_log() { 
    echo "$(date +%Y%m%d%H%M%S);$1" >> ${LOG_FILE} 
} 

write_output() { 
    while read data; do 
    write_log "Message from SUB process: [ $data ]" 
    done 
} 

write_log "Script started" 
# do some stuff 
call_complicated_program 2>&1 | write_output & 
SUB_PID=$! 
#do some more stuff 
write_log "Script exiting" 
wait $SUB_PID 

Như bạn có thể thấy, kịch bản có thể viết cả về nó sở hữu cũng như vì sản lượng chuyển hướng. Điều này có thể gây ra havok trong tập tin?

Answer 1

echo chỉ là một trình bao bọc đơn giản xung quanh write (đây là cách đơn giản; xem phần chỉnh sửa bên dưới để biết chi tiết đẫm máu), vì vậy để xác định xem tiếng vọng có phải là nguyên tử hay không. Từ single UNIX specification:

Atomic/phi nguyên tử: A ghi là nguyên tử nếu toàn bộ số tiền viết bằng một hoạt động không được xen kẽ với các dữ liệu từ bất kỳ quá trình khác. Điều này rất hữu ích khi có nhiều nhà văn gửi dữ liệu đến một người đọc duy nhất. Các ứng dụng cần phải biết yêu cầu viết lớn đến mức nào có thể được mong đợi thực hiện nguyên tử. Tối đa này được gọi là {PIPE_BUF}. Thisvolume của IEEE Std 1003.1-2001 không nói liệu các yêu cầu viết có nhiều hơn {PIPE_BUF} byte là nguyên tử hay không, nhưng yêu cầu viết {PIPE_BUF} hoặc ít byte hơn sẽ là nguyên tử.

Bạn có thể kiểm tra PIPE_BUF trên hệ thống của mình bằng chương trình C đơn giản. Nếu bạn chỉ in một dòng đầu ra, đó không phải là quá dài, nó phải là nguyên tử.

Đây là một chương trình đơn giản để kiểm tra giá trị của PIPE_BUF:

#include <limits.h> 
#include <stdio.h> 

int main(void) { 
    printf("%d\n", PIPE_BUF); 

    return 0; 
} 

Trên Mac OS X, mà mang lại cho tôi 512 (các minimum allowed value cho PIPE_BUF). Trên Linux, tôi nhận được 4096. Vì vậy, nếu các dòng của bạn là khá dài, hãy chắc chắn rằng bạn kiểm tra nó trên hệ thống trong câu hỏi.

chỉnh sửa để thêm: Tôi quyết định kiểm tra the implementation of echo trong Bash, để xác nhận rằng nó sẽ in nguyên tử. Hóa ra, echo sử dụng putchar hoặc printf tùy thuộc vào việc bạn có sử dụng tùy chọn -e hay không. Đây là các hoạt động stdio đệm, có nghĩa là chúng điền vào một bộ đệm, và thực sự viết nó ra chỉ khi một dòng mới đạt được (trong chế độ dòng đệm), bộ đệm được điền (trong chế độ khối đệm), hoặc bạn rõ ràng tuôn ra đầu ra với fflush. Theo mặc định, một luồng sẽ ở chế độ đệm theo dòng nếu đó là một thiết bị đầu cuối tương tác và chặn chế độ đệm nếu đó là bất kỳ tệp nào khác. Bash không bao giờ đặt kiểu đệm, vì vậy đối với tệp nhật ký của bạn, nó nên mặc định để chặn chế độ đệm. Lúc đó end of the echo builtin, Bash calls fflush để xóa luồng đầu ra. Vì vậy, đầu ra sẽ luôn luôn được xả vào cuối echo, nhưng có thể được xả trước đó nếu nó không phù hợp với bộ đệm.

Kích thước của bộ đệm được sử dụng có thể là BUFSIZ, mặc dù nó có thể khác; BUFSIZ là kích thước mặc định nếu bạn đặt bộ đệm một cách rõ ràng bằng cách sử dụng setbuf, nhưng không có cách nào để xác định kích thước thực tế của bộ đệm của bạn. Cũng không có hướng dẫn di động cho những gì BUFSIZ là, nhưng khi tôi thử nghiệm nó trên Mac OS X và Linux, nó là hai lần kích thước của PIPE_BUF.

Điều này có nghĩa là gì? Vì đầu ra của echo là tất cả bộ đệm, nó sẽ không thực sự gọi write cho đến khi bộ đệm được lấp đầy hoặc fflush được gọi. Tại thời điểm đó, đầu ra phải được viết và đảm bảo nguyên tử tôi đã đề cập ở trên sẽ áp dụng. Nếu kích thước bộ đệm tiêu chuẩn lớn hơn PIPE_BUF thì PIPE_BUF sẽ là đơn vị nguyên tử nhỏ nhất có thể được viết ra. Nếu PIPE_BUF lớn hơn kích thước bộ đệm chuẩn, thì luồng sẽ ghi bộ đệm ra khi bộ đệm lấp đầy.

Vì vậy, echo chỉ được đảm bảo ghi nguyên tử chuỗi ngắn hơn nhỏ hơn PIPE_BUF và kích thước của bộ đệm đồ chuẩn, rất có thể là BUFSIZ. Trên hầu hết các hệ thống, BUFSIZ lớn hơn PIPE_BUF.

tl; dr: echo sẽ xuất dòng nguyên tử, miễn là các dòng đó đủ ngắn. Trên các hệ thống hiện đại, bạn có thể an toàn lên đến 512 byte, nhưng không thể xác định giới hạn một cách hợp lý.

Answer 2

Không có khóa tệp không tự nguyện, nhưng toán tử >> an toàn, toán tử> không an toàn. Vì vậy, thực hành của bạn là an toàn để làm.