bigdata

8Nhiệt

3Trả lời

R: Có thể thực hiện song song/tăng tốc độ đọc của 20 triệu hàng CSV cộng vào R không?

Sau khi CSV được tải qua read.csv, nó khá tầm thường khi sử dụng multicore, segue v.v. để phát xung quanh với dữ liệu trong CSV. Đọc nó trong, tuy nhiên, là khá thời gian chìm. Nhận ra nó tốt hơn để s

17Nhiệt

5Trả lời

Làm thế nào để trả lại số lượng lớn hàng từ mongodb bằng cách sử dụng máy chủ http node.js?

Tôi có cơ sở dữ liệu người dùng trong mongodb mà tôi muốn xuất qua giao diện REST trong JSON. Vấn đề là trong trường hợp xấu nhất, số lượng hàng trả về là hơn 2 triệu. Đầu tiên tôi đã cố gắng này var

6Nhiệt

3Trả lời

Tính toán phân tích kênh, bạn tính toán kênh như thế nào?

Giả sử rằng tôi theo dõi một 'sự kiện' mà người dùng thực trên một trang web, các sự kiện có thể có những điều như: trang web xem mục thêm vào giỏ hàng thanh toán trả cho đơn đặt hàng Hiện tại, mỗi sự

15Nhiệt

5Trả lời

Cách nhanh nhất để đặt chéo hai vectơ lôgic lớn trong R

Đối với hai vectơ hợp lý, x và y, dài> 1E8, cách nhanh nhất để tính toán các bảng chéo 2x2 là gì? Tôi nghi ngờ câu trả lời là viết nó trong C/C++, nhưng tôi tự hỏi nếu có điều gì đó trong R đã khá thô

5Nhiệt

1Trả lời

Kho dữ liệu tốt nhất cho dữ liệu lớn với số lượng lớn lần đọc và viết

Tôi cần lưu trữ khoảng 100 triệu bản ghi trên cơ sở dữ liệu. Khoảng 60-70% trong số họ sẽ bị xóa hàng ngày và số lượng hồ sơ tương tự được chèn hàng ngày. Tôi cảm thấy một cơ sở dữ liệu tài liệu như H

5Nhiệt

1Trả lời

sử dụng RavenDB để chèn số lượng lớn dữ liệu

Tôi đang cố gắng nhập một lượng lớn dữ liệu (luồng Twitter vào khoảng 20-25 tweet một giây) vào RavenDB để kiểm tra và thử nghiệm dữ liệu quy mô lớn. Tôi có một số mã được ghi dữ liệu khá tốt, nhưng s

8Nhiệt

5Trả lời

Làm thế nào để sản xuất số lượng lớn dữ liệu?

Tôi đang làm một số thử nghiệm với nutch và hadoop và tôi cần một lượng lớn dữ liệu. Tôi muốn bắt đầu với 20 GB, truy cập 100 GB, 500 GB và cuối cùng đạt tới 1-2 TB. Vấn đề là tôi không có số lượng dữ

14Nhiệt

2Trả lời

Chiến lược để đọc trong tệp CSV thành nhiều phần?

Tôi có tệp có kích thước vừa phải (4GB CSV) trên máy tính không có đủ RAM để đọc trong (8GB trên Windows 64 bit). Trong quá khứ tôi chỉ nạp nó lên một nút cluster và đọc nó, nhưng cluster mới của tôi

30Nhiệt

3Trả lời

tầm quan trọng của PCA hoặc SVD trong học máy

Tất cả thời gian này (đặc biệt trong cuộc thi Netflix), tôi luôn xem blog này (hoặc diễn đàn bảng thành tích), nơi họ đề cập đến cách áp dụng một bước SVD đơn giản trên dữ liệu đã giúp họ giảm thiểu s

36Nhiệt

5Trả lời

Gói khuyến nghị để xử lý tập dữ liệu rất lớn và học máy trong R

Có vẻ như R thực sự được thiết kế để xử lý các tập dữ liệu mà nó có thể kéo hoàn toàn vào bộ nhớ. Gói R nào được khuyến khích để xử lý tín hiệu và học máy trên các tập dữ liệu rất lớn mà không thể đượ