Lớp AI nền tảng được triển khai như thế nào trong 22 sản phẩm

Một câu hỏi thường gặp khi nói về hệ sinh thái 22 sản phẩm AI là: làm thế nào để 22 đội phát triển sản phẩm khác nhau dùng chung một lớp AI nền tảng, mà vẫn giữ được tốc độ phát triển và chất lượng đồng đều?

Câu trả lời nằm ở thiết kế kiến trúc. Tại ADA Group, mọi cuộc gọi tới ADA LLM (và sắp tới là ADA VIDEO) đều đi qua một API Gateway nội bộ. Lớp gateway này chịu trách nhiệm: định tuyến yêu cầu tới phiên bản mô hình phù hợp, gom các yêu cầu cùng loại để tối ưu chi phí inference, ghi log có giới hạn để gỡ lỗi, và áp dụng các bộ lọc nội dung cơ bản.

Thiết kế này có ba lợi ích thực tế.

Một, tối ưu chi phí. Khi 22 sản phẩm cùng gọi qua một gateway, ADA Group có thể gom yêu cầu theo lô (batching), tận dụng cache cho các prompt phổ biến và phân bổ tải để tối ưu công suất. Kết quả là chi phí trung bình mỗi cuộc gọi thấp hơn đáng kể so với việc mỗi sản phẩm tự gọi mô hình riêng.

Hai, swap mô hình an toàn. Khi có phiên bản LLM mới — dù là cải tiến từ chính ADA hay quyết định thử nghiệm mô hình mã nguồn mở của bên thứ ba — chỉ cần cập nhật cấu hình ở gateway. Toàn bộ 22 sản phẩm cùng được nâng cấp đồng thời, không cần đội phát triển sản phẩm phải tự xử lý phần hạ tầng.

Ba, đồng nhất chất lượng. Bộ lọc nội dung và chính sách an toàn được áp dụng tại một nơi duy nhất — đảm bảo người dùng cuối có trải nghiệm nhất quán bất kể họ đang dùng sản phẩm nào trong hệ sinh thái.

Cách thiết kế này không phải mới trên thế giới — các tập đoàn công nghệ lớn đều có pattern tương tự. Nhưng việc áp dụng ngay từ đầu cho một hệ sinh thái 22 sản phẩm tại Việt Nam là một quyết định kiến trúc có ý nghĩa dài hạn.