cắt bỏ 100MB đầu tiên của một tập tin trong Linux

Question

tôi đề cập đến How can you concatenate two huge files with very little spare disk space?

Tôi ở giữa thực hiện như sau:

1. Cấp phát một tập tin thưa thớt về quy mô cộng lại.
2. Sao chép 100Mb từ cuối tệp thứ hai vào cuối tệp mới.
3. Cắt ngắn 100Mb vào cuối tệp thứ hai
4. Vòng 2 & 3 cho đến khi bạn hoàn tất tệp thứ hai (Với 2. sửa đổi đúng vị trí trong tệp đích).
5. Làm 2 4 nhưng với tệp thứ nhất.

Tôi muốn biết liệu có ai ở đó có thể "cắt ngắn" một tệp nhất định trong linux không? Việc cắt ngắn theo kích thước tệp, ví dụ: nếu tệp là 10GB, tôi muốn cắt bớt 100MB đầu tiên của tệp và để tệp đó còn lại 9,9 GB. Bất cứ ai cũng có thể giúp đỡ trong việc này?

Cảm ơn

Answer 1

Vui lòng đọc một cuốn sách lập trình Linux tốt, ví dụ: Advanced Linux Programming.

Bạn cần phải sử dụng Linux kernelsyscalls, xem syscalls(2)

Đặc biệt truncate(2) (cho cả cắt ngắn, và cho việc mở rộng một tập tin thưa thớt trên các hệ thống tập tin hỗ trợ nó), và stat(2) để đáng chú ý là có được kích thước tập tin.

Không có cách nào (di động hoặc hệ thống tập tin trung lập) để xóa byte ngay từ đầu (hoặc ở giữa) của tệp, bạn chỉ có thể cắt bớt một tệp ở cuối tệp.

Answer 2

Việc cắt đầu tệp là không thể với hầu hết các hệ thống tệp và không có API chung để thực hiện; ví dụ hàm truncate chỉ sửa đổi kết thúc của một tệp.

Mặc dù vậy, bạn vẫn có thể thực hiện với một số hệ thống tệp. Ví dụ như hệ thống tập tin ext4 thời gian gần đây có một ioctl mà bạn có thể tìm thấy hữu ích: http://lwn.net/Articles/556136/

Answer 3

trả lời, bây giờ điều này là thực tế với Linux kernel v3.15 (ext4/xfs)

Đọc ở đây http://man7.org/linux/man-pages/man2/fallocate.2.html

Mã thử nghiệm

#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 
#include <stdlib.h> 
#include <fcntl.h> 

#ifndef FALLOC_FL_COLLAPSE_RANGE 
#define FALLOC_FL_COLLAPSE_RANGE  0x08 
#endif 

int main(int argc, const char * argv[]) 
{ 
    int ret; 
    char * page = malloc(4096); 
    int fd = open("test.txt", O_CREAT | O_TRUNC | O_RDWR, 0644); 

    if (fd == -1) { 
     free(page); 
     return (-1); 
    } 

    // Page A 
    printf("Write page A\n"); 
    memset(page, 'A', 4096); 
    write(fd, page, 4096); 

    // Page B 
    printf("Write page B\n"); 
    memset(page, 'B', 4096); 
    write(fd, page, 4096); 

    // Remove page A 
    ret = fallocate(fd, FALLOC_FL_COLLAPSE_RANGE, 0, 4096); 
    printf("Page A should be removed, ret = %d\n", ret); 

    close(fd); 
    free(page); 

    return (0); 
} 

Answer 4

Nếu bạn có thể làm việc với các dòng ASCII chứ không phải byte, thì việc xóa các dòng đầu tiên của tệp là dễ dàng. Ví dụ: để xóa 100 dòng đầu tiên:

sed -i 1,100d /path/to/file 

Answer 5

Đây là câu hỏi khá cũ lúc này, nhưng đây là câu hỏi của tôi về nó.Trừ các yêu cầu cho nó được thực hiện với không gian hạn chế có sẵn, tôi sẽ sử dụng một cái gì đó tương tự như sau để cắt ngắn 100MB đầu tiên của một tập tin:

$ tail --bytes=$(expr $(wc -c < logfile.log) - 104857600) logfile.log > logfile.log.tmp 
$ mv logfile.log.tmp logfile.log 

Giải thích:

• này kết quả đầu ra cuối cùng nn byte của tệp (đuôi - byte).
• Số byte trong tệp đến đầu ra được tính bằng kích thước của tệp (wc -c < logfile.log) trừ 100Mb (expr $ (...) - 104857600). Điều này sẽ khiến chúng tôi nhỏ hơn 100Mb so với kích thước của tệp để lấy đuôi (ví dụ: 9.9Gb)
• Sau đó, đầu ra này sẽ xuất ra tệp tạm thời và sau đó chuyển về tên tệp ban đầu để thoát tệp bị cắt bớt.

Answer 6

loại bỏ tất cả nhưng 10000 dòng cuối cùng từ một tập tin

sed -i 1, $ (($ (wc -l < path/to/file) -10.000)) d path/to/file