Clone Du Lieu Giua Hai Bucket Khac Nhau

Trong trường hợp chuyển môi trường S3 từ nhà cung cấp khác đến S3 của FPT Smart Cloud hoặc sử dụng song song giữa 2 môi trường S3, chúng ta có thể sử dụng công cụ Rclone hoặc s3sync để giúp quá trình clone dữ liệu được tiến hành thuận tiện hơn. Đặt trường hợp ta đang sử dụng S3 Site01 và có ý định sẽ chuyển qua S3 Site02 và muốn clone dữ liệu từ bucket ở Site01 qua Site02. Để thực hiện điều này, FPT Smart Cloud hướng dẫn thực hiện trên các hệ điều hành như sau:

Clone dữ liệu bucket với Linux

Bước 1: Tải và cài đặt công cụ Rclone:

Copysudo apt-get install rclone

Bước 2: Để tạo thư mục rclone chứa thông tin Site01 và Site02, tạo file rclone.conf theo đường dẫn ~/.config/rclone/rclone.conf > Edit file rclone.conf với nội dung sau: (Lưu ý ở mục provider có thể thay đổi tùy theo môi trường S3 sử dụng như AWS,…)

Copy[site01]

type = s3

provider = Other

env\_auth = false

access\_key\_id = 00d4701ee34ab6a0967b

secret\_access\_key = SevRaN+gCPbIC6VvUjXx74mhHkbg0ZuQTFpmYTsa

endpoint = https://s3-sgn09.fptcloud.com/

acl = private

 

[site02]

type = s3

provider = Other

env\_auth = false

access\_key\_id = XRRS541KWS8T9DMDRCFY

secret\_access\_key = gknj5RPmgifmr4Bc90euHF8GIaZEY7xJD6bVDm7D

endpoint = https://s3-hfx03.fptcloud.com/

acl = private

Kết quả: Bước 3: Tại Site02 thực hiện tạo 1 bucket không chứa dữ liệu. Bước 4: Kiểm tra bucket và dữ liệu ở 2 site thông qua Rclone. Bước 5: Thực hiện clone dữ liệu từ site01:bucket-site01 sang site02:bucket-site02 bằng cách:

Copy* Thực hiện lệnh với option –dry-run để đảm bảo không có error trong qua trình clone.

Copyrclone sync -Pv site01:bucket-site01 site02:bucket-site02 –dry-run

Sau khi chạy lệnh với option –dry-run không xuất hiện error > thực hiện chạy lệnh bỏ option –dry-run

Copyrclone sync -Pv site01:bucket-site01 site02:bucket-site02

Sau khi thực hiện thành công, khách hàng có thể kiểm tra lại dữ liệu và bucket ở 2 site thông qua rclone.