bigdata

6Nhiệt

4Trả lời

Cải thiện việc phân phối các giá trị hàm băm

Giả sử tôi có một số lượng rất lớn các chuỗi (giả sử 10 tỷ chuỗi ~ 50 ký tự mỗi chuỗi). Tôi muốn phân phối các chuỗi thành chính xác 10 nhóm. Mỗi nhóm nên chứa khoảng 10% các chuỗi. Với hàm băm() Tôi

12Nhiệt

3Trả lời

Kiến trúc Lambda - nguồn gốc của tên này là gì?

Tôi đã đọc Kiến trúc Lambda Dữ liệu Lớn của Manning (http://www.manning.com/marz/BD_meap_ch01.pdf) và vẫn không thể hiểu tại sao nó được đặt tên là 'Lambda'. Có phải là tên mã hay tên của hệ thống kiế

7Nhiệt

2Trả lời

Sử dụng Twitter Storm để xử lý dữ liệu nhật ký?

Chúng tôi có một số lượng lớn các ứng dụng được phân phối trên nhiều máy trong nhiều trung tâm dữ liệu. Trong suốt cả ngày, chúng tôi sẽ nhận được tín hiệu (nội bộ hoặc bên ngoài), điều này gây ra một

6Nhiệt

2Trả lời

tăng tốc độ xử lý tập hợp kết quả lớn bằng rmongodb

Tôi đang sử dụng rmongodb để lấy mọi tài liệu trong một bộ sưu tập cụ thể. Nó hoạt động nhưng tôi đang làm việc với hàng triệu tài liệu nhỏ, có khả năng 100M hoặc nhiều hơn. Tôi đang sử dụng phương ph

5Nhiệt

2Trả lời

thực hiện PCA trên tập dữ liệu rất lớn trong R

Tôi có tập huấn luyện rất lớn (~ 2Gb) trong tệp CSV. Tệp là quá lớn để đọc trực tiếp vào bộ nhớ (read.csv() khiến máy tính tạm dừng) và tôi muốn giảm kích thước của tệp dữ liệu bằng PCA. Vấn đề là (th

11Nhiệt

2Trả lời

Dữ liệu lớn như thế nào là "Bigdata"?

Số lượng dữ liệu đủ điều kiện để được phân loại là Bigdata? Với quy mô dữ liệu nào người ta có thể quyết định rằng đây là lúc để đi cho các công nghệ như Hadoop và sử dụng sức mạnh của máy tính phân t

7Nhiệt

3Trả lời

R gói ff ffsave 'zip' không tìm thấy

Reproduceable Ví dụ: library("ff") m <- matrix(1:12, 3, 4, dimnames=list(c("r1","r2","r3"), c("m1","m2","m3","m4"))) v <- 1:3 ffm <- as.ff(m) ffv <- as.ff(v) d <- data.frame(m, v) ffd <- ff

26Nhiệt

3Trả lời

Giải pháp tốt nhất cho việc tìm kiếm 1 x 1 triệu giao lộ được thiết lập? Redis, Mongo, khác

Xin chào tất cả và cảm ơn trước. Tôi mới tham gia trò chơi NoSQL nhưng nơi làm việc hiện tại của tôi đã giao nhiệm vụ cho tôi với các so sánh được thiết lập của một số dữ liệu lớn. Hệ thống của chúng

5Nhiệt

1Trả lời

Hadoop - Hive: Xóa dữ liệu cũ hơn số ngày được chỉ định

Tôi đang làm việc trên một dự án viễn thông, sử dụng Hadoop - hive để phân tích dữ liệu. Trong một ngày, chúng tôi sẽ nhận được hàng triệu hồ sơ. Sau khi được chỉ định không có ngày, chúng tôi cần xóa

36Nhiệt

1Trả lời

Làm cách nào để biết khi nào tập dữ liệu của tôi trong R sẽ quá lớn?

Tôi sẽ thực hiện một số phân tích logfile trong R (trừ khi tôi không thể làm điều đó trong R), và tôi hiểu rằng dữ liệu của tôi cần phải phù hợp với RAM (trừ khi tôi sử dụng một số loại sửa chữa như m