Case study: một hộp thư được phân loại bởi các đại diện AI tạm thời

Email vào là loại đầu vào nguy hiểm nhất mà một công ty xử lý: lừa đảo, tiêm lệnh, phần mềm độc hại. Chúng tôi muốn có AI phân loại — phân loại, tóm tắt, đề xuất hành động — mà không bao giờ chạy mô hình LLM trên email thô trong cơ sở hạ tầng của chúng tôi.

Thiết kế: mỗi email được phân loại bởi một đại diện LLM tạm thời bên trong một máy ảo chuyên dụng, được bảo vệ bởi năm lớp phòng thủ độc lập — xử lý đầu vào không sử dụng LLM, bộ phận ngăn chặn tiêm nhiễm với ẩn danh thông tin cá nhân và cách ly, danh sách cấm theo từng thuê bao, một máy ảo tách biệt chỉ chứa các công cụ được cho phép (không có shell, không có SMTP ra ngoài), và bộ phận bảo vệ giữa các thuê bao. Trong trường hợp phát hiện bất thường, máy ảo sẽ quay lại trạng thái sạch của bản sao.

Đã chạy trong môi trường sản xuất trên các hộp thư của công ty chúng tôi trong nhiều tháng kiểm thử liên tục. Máy chủ không bao giờ tiếp cận thư thô bằng mô hình, một email bị xâm nhập chỉ có thể làm hỏng điều gì đó vượt quá chính bản thân nó, và người vận hành sẽ thấy một hàng đợi được phân loại, tóm tắt thay vì hộp thư thô.