RAG là gì và khi nào nên dùng cho tài liệu nội bộ

RAG (Retrieval-Augmented Generation) cho phép LLM trả lời dựa trên tài liệu nội bộ mà không cần fine-tune lại model.

RAG so với fine-tuning

RAG cập nhật kiến thức dễ dàng hơn (chỉ cần thêm tài liệu vào index), trong khi fine-tuning phù hợp khi cần thay đổi hành vi model.

Chọn vector DB

pgvector phù hợp khi hệ thống đã dùng Postgres và quy mô dữ liệu vừa phải; vector DB chuyên dụng đáng cân nhắc khi cần scale rất lớn.