Gần đây mình có tính toán Disk cho ES, dưới đây là 1 số kiến thức mình tìm được

Giới hạn Disk của Elasticsearch là bao nhiêu?

Nhiều người lầm tưởng giới hạn Disk của ES chính là dung lượng ổ cứng.

Nhưng thực tế không phải như vậy. ES chạy trên JVM, và được giới hạn dung lượng dựa vào tham số

cluster.routing.allocation.disk.watermark.low parameter

https://www.elastic.co/guide/en/elasticsearch/reference/6.8/disk-allocator.html

Mặc định, tham số này 85%. Do đó, khi 1 node đạt giới hạn này thì các shard sẽ không thể được cấp phát thêm. Do đó, việc đánh index lên ES sẽ không thể thực hiện được

Vậy nên đừng thắc mắc khi 1 ngày ổ cứng vẫn free vài chục GB nhưng ES của bạn lại lăn ra chết

Vậy để tính build 1 server lưu 100 GB index ES, chúng ta cần 1 server có tối thiểu Disk là 118GB

ES Disk = Server Disk * 0.85

Triển khai ES với Cluster nhiều node

Công thức bê trên dùng để tính Disk cho 1 node. Vậy với trường hợp triển khai ES trên 1 cụm (Cluster) thì sao?

GIả sử chúng ta có 5 Node, thiết lập 5 Shard, 1 Replica.
Data được lưu trữ như sau

Điều này nghĩa là:

• 1 index được chia thành 5 phần chia đều trên 5 Node
• Mỗi phần sẽ có 1 bản sao

Giả sử:

• Mỗi Node có dung lượng ổ cứng là 100GB
• Mỗi Node có thể dùng 85GB để lưu trữ data ES
• Mỗi Node đang dùng 70GB để lưu data ES

Vậy thì khi 1 node của chúng ta gặp vấn đề:

• Giả sử Node 1 chết, Shard 0 và 2 sẽ biến mất
• Search vẫn đủ dữ liệu do có replica
• ES thực hiện rebuild lại dữ liệu để đảm bảo luôn có 1 Replical, tránh mất dữ liệu

Việc ES rebuild là rất tốt, tuy nhiên, lúc này Cluster chỉ còn 4 Server. Mỗi server sẽ phải gánh thêm 70/4 = 17/5 GB dữ liệu

Lúc này, mỗi Node sẽ phải lưu trữ 87 GB data ES, vượt qua ngưỡng 85GB. Điều này khiến 4 Node còn lại full và toàn bộ ES sẽ không thể thêm index

Do đó chúng ta cần thêm không gian trống đủ để môi node có thể tái phân bổ lại primary và replica từ node fail. Đây là công thức tính dung lượng tối đa để một node có thể an toàn:

(disk per node * .85) * (node count - 1 / node count)

Nếu chúng ta có nhiều hơn 1 Replica, thì công thức sẽ là

(disk per node * .85) * (node count - replica count / node count)

Đây là công thức đảm bảo ES vẫn sống sót khi có 1 Node chết.

Dựa vào những kiến thức ở trên, ta có thể tính toán Disk cho hợp lí cho server ES rồi

Tham khảo

http://svops.com/blog/elasticsearch-disk-space-calculations/