Airbyte cho phép bạn xây dựng đường dẫn dữ liệu và sao chép dữ liệu từ nguồn đến đích. Bạn có thể định cấu hình tần suất đồng bộ hóa dữ liệu, dữ liệu nào được sao chép và cách dữ liệu được ghi vào đích. Trong phần 2 của series hướng dẫn sử dụng airbyte chúng ta sẽ cùng tìm hiểu các chức năng của Airbyte
Thêm Sources (Nguồn Dữ Liệu)
Thiết lập một nguồn dữ liệu mới trong Airbyte là một quá trình nhanh chóng và đơn giản!
Bước 1: Truy cập tab Nguồn Dữ Liệu
Khi xem giao diện Airbyte, bạn sẽ thấy thanh điều hướng chính ở bên trái màn hình. Nhấp vào tab Sources để hiển thị danh sách tất cả các nguồn có sẵn.
Bước 2: Tìm kiếm và chọn nguồn dữ liệu
Bạn có thể sử dụng thanh tìm kiếm được cung cấp hoặc chỉ cần cuộn xuống danh sách để tìm nguồn bạn muốn sao chép dữ liệu.
Ví dụ: Sử dụng nguồn demo Faker
Nhấp vào thẻ Sample data (Faker) sẽ đưa bạn đến trang thiết lập của nó.
Bước 3: Cấu hình nguồn dữ liệu
Nửa bên trái của trang chứa một tập hợp các trường mà bạn phải điền.
- Tên Nguồn: Nhập tên bạn chọn để giúp bạn xác định phiên bản kết nối này. Theo mặc định, nó sẽ được đặt thành tên của nguồn (ví dụ: Dữ Liệu Mẫu (Faker)).
- Cài đặt: Mỗi kết nối trong Airbyte sẽ có bộ phương thức xác thực và các tham số cấu hình riêng.
Mỗi trình kết nối trong Airbyte sẽ có bộ phương thức xác thực và thông số có thể định cấu hình riêng. Trong trường hợp Dữ liệu mẫu (Faker), bạn có thể điều chỉnh số lượng bản ghi bạn muốn trả về trong dữ liệu Người dùng của mình và tùy ý điều chỉnh cài đặt cấu hình bổ sung. Bạn luôn có thể tham khảo hướng dẫn thiết lập được cung cấp từ nguồn của mình để biết hướng dẫn cụ thể về cách điền vào từng trường.
Bước 3: Thiết lập kết nối
Khi bạn đã điền vào tất cả các trường bắt buộc, hãy nhấp vào nút Set up source và Airbyte sẽ chạy kiểm tra để xác minh kết nối.
Thêm Destination (Điểm Nhận Dữ Liệu)
Điểm nhận dữ liệu là kho dữ liệu, hồ dữ liệu, cơ sở dữ liệu và công cụ phân tích mà bạn sẽ tải dữ liệu từ các nguồn đã chọn. Các bước thiết lập điểm nhận dữ liệu đầu tiên rất giống với thiết lập nguồn dữ liệu.
Bước 1: Truy cập tab Điểm Nhận Dữ Liệu
Sau khi đăng ký Airbyte Cloud hoặc đăng nhập vào triển khai Airbyte Open Source của bạn, hãy nhấp vào tab Destination trong thanh điều hướng ở bên trái bảng điều khiển.
Bước 2: Tìm kiếm và chọn điểm nhận dữ liệu
Bạn có thể sử dụng thanh tìm kiếm được cung cấp hoặc chỉ cần cuộn xuống danh sách để tìm điểm nhận bạn muốn sao chép dữ liệu.
Ví dụ: Sử dụng điểm nhận Google Sheets
Chọn Google Sheets từ danh sách điểm nhận.
Bước 3: Cấu hình điểm nhận dữ liệu
Với Airbyte Cloud
Ví dụ: chúng tôi sẽ thiết lập một bảng tính Google Trang tính đơn giản để di chuyển dữ liệu sang Trang tính Google. Chọn Google Trang tính từ danh sách đích đến. Thao tác này sẽ đưa bạn đến trang thiết lập đích.
Nửa bên trái của trang chứa một tập hợp các trường mà bạn sẽ phải điền vào. Trong trường Destination, bạn có thể nhập tên bạn chọn để giúp bạn xác định phiên bản này của trình kết nối.
Xác thực vào tài khoản Google của bạn bằng cách nhấp vào “Sign in with Google” và cấp quyền cho Airbyte. Vì đây là đích đến đơn giản của Google Trang tính nên chỉ có một trường bắt buộc nữa là Liên kết bảng tính. Đây là đường dẫn đến bảng tính có thể được sao chép trực tiếp từ trình duyệt của bạn.
Mỗi đích sẽ có tập hợp các trường bắt buộc riêng để định cấu hình trong quá trình thiết lập. Bạn có thể tham khảo hướng dẫn thiết lập được cung cấp cho điểm đến của bạn ở bên phải trang để biết chi tiết cụ thể về tính chất của từng trường.
Với Airbyte self Host
Ví dụ: chúng tôi sẽ thiết lập một tệp JSON đơn giản sẽ được lưu trên hệ thống cục bộ của mình làm đích.
Nửa bên trái của trang chứa một tập hợp các trường mà bạn sẽ phải điền vào. Trong trường Destination, bạn có thể nhập tên bạn chọn để giúp bạn xác định phiên bản này của trình kết nối. Theo mặc định, tên này sẽ được đặt thành tên Destination.
Vì đây là một tệp JSON đơn giản nên chỉ có một trường bắt buộc nữa là Đường dẫn đích. Đây là đường dẫn trong hệ thống tệp cục bộ của bạn nơi tệp JSON chứa dữ liệu của bạn sẽ được lưu. Trong ví dụ, nếu chúng tôi đặt đường dẫn đến /my_first_destination, tệp sẽ được lưu trong /tmp/airbyte_local/my_first_destination.
Mỗi đích sẽ có tập hợp các trường bắt buộc riêng để định cấu hình trong quá trình thiết lập. Bạn có thể tham khảo hướng dẫn thiết lập được cung cấp cho điểm đến của bạn ở bên phải trang để biết chi tiết cụ thể về tính chất của từng trường.
Thiết Lập Connection (Kết Nối)
Khi bạn đã chọn nguồn và đích, bạn sẽ có thể định cấu hình kết nối. Bạn có thể tham khảo trang này để biết thêm thông tin về từng cấu hình có sẵn. Đối với bản demo này, chúng tôi chỉ cần đặt Replication frequency thành khoảng thời gian 24 giờ và để các trường khác ở giá trị mặc định.
Tiếp theo, bạn có thể chuyển đổi luồng nào bạn muốn sao chép cũng như thiết lập chế độ đồng bộ hóa mong muốn cho từng luồng. Để biết thêm thông tin về bản chất của từng chế độ đồng bộ được Airbyte hỗ trợ, hãy xem trang này. Dữ liệu thử nghiệm của chúng tôi bao gồm ba luồng mà chúng tôi đã bật và đặt thành chế độ đồng bộ hóa Incremental – Append + Deduped
Nhấp vào Set up connection để hoàn tất kết nối đầu tiên của bạn. Đồng bộ hóa đầu tiên của bạn sắp bắt đầu!
Sau khi thiết lập xong kết nối, bạn sẽ tự động được chuyển hướng đến phần tổng quan về kết nối chứa tất cả các công cụ bạn cần để theo dõi kết nối của mình.
Dưới đây là tổng quan cơ bản về các tab và cách sử dụng chúng:
- Tab Status hiển thị cho bạn thông tin tổng quan về tình trạng đồng bộ hóa của trình kết nối.
- Tab Job History cho phép bạn kiểm tra nhật ký cho mỗi lần đồng bộ hóa. Nếu bạn gặp bất kỳ lỗi hoặc hành vi không mong muốn nào trong quá trình đồng bộ hóa, việc kiểm tra nhật ký luôn là bước đầu tiên hiệu quả để tìm ra nguyên nhân và giải pháp.
- Tab Replication cho phép bạn sửa đổi các cấu hình bạn đã chọn trong quá trình thiết lập kết nối.
- Tab Transformation cho phép bạn thiết lập các chuyển đổi sau đồng bộ hóa tùy chỉnh bằng cách sử dụng dbt.
- Tab Settings chứa các cài đặt bổ sung và tùy chọn xóa kết nối nếu bạn không muốn sử dụng nó nữa
Nếu bạn thích thú với chủ đề này có thể tìm đọc các phần tiếp theo của series Hướng dẫn sử dụng Airbyte tại đây
Nếu bạn thấy bài viết hay và hữu ích, bạn có thể tham gia các kênh sau của SmartData để nhận được nhiều thông tin hơn nữa:
