Sarvam Prism ra mắt ngày 3 tháng 11: model chọn đáp án trong 44 ms, điểm trung bình 71.8 theo số hãng tự đo

Ngày 3 tháng 11 năm 2026, Sarvam AI ra mắt Sarvam Prism, model chuyên chọn đáp án thay vì viết văn bản, với thời gian trung vị 44 ms và điểm trung bình 71.8, cả hai đều là số hãng tự đo. Mình đối chiếu ở blog gốc rồi, thấy Prism đáng thử qua API trước, khoan vội tự chạy, vì 44 ms chỉ là trung vị đo trên một GPU NVIDIA B200.

Sarvam Prism là model chỉ chọn một đáp án trong danh sách cố định, 44 ms là trung vị đo lần lượt trên một GPU B200, 71.8 là điểm trung bình ba chỉ số do hãng tự đo, dùng thử qua Sarvam Indus API hoặc weights trên Hugging Face theo Apache 2.0, tự chạy cần GPU hỗ trợ FP8 từ 120 GB trở lên.

Sarvam Prism nhận state, câu hỏi và đáp án cố định rồi trả xác suất trong một lần chạy

Prism chỉ chọn một đáp án có sẵn rồi trả xác suất, còn toàn bộ mục này là mô tả thiết kế do Sarvam công bố, chưa có kiểm chứng độc lập.

Đầu vào ba phần và một forward pass duy nhất

Đầu vào gồm state mô tả tình huống, question là câu hỏi cần quyết, và danh sách option cố định, toàn bộ chạy trong một forward pass duy nhất. Một scoring head nhỏ đọc hidden state rồi trả xác suất cho từng option, thay vì sinh token từng bước như model chat. Khối state và question được đọc theo cả hai chiều như một khối thống nhất, mỗi option chỉ nhìn khối đó cùng chính nó, chỉ token đáp án cuối cùng mới nhìn toàn bộ để so sánh các option. Cách đọc hai chiều này giúp tăng khoảng 3 điểm trên Jev Decision Index theo số hãng tự đo.

Điểm khác với cách gọi model sinh văn bản rồi bắt trả JSON

Cách phổ biến hiện nay là gọi model sinh văn bản, bắt trả JSON, rồi parse và kiểm tra định dạng, vừa tốn token vừa dễ vỡ định dạng. Prism thì trả thẳng xác suất cho đáp án có sẵn, hợp với việc lặp lại hàng nghìn lần trong pipeline. API chấp nhận một state cùng nhiều question trong một lần gọi, thuộc ba kiểu choice, yes_no và score, ví dụ score đo mức độ khó chịu của khách hàng từ bình tĩnh đến rất giận dữ, mỗi question hỗ trợ tối đa 131,072 token context theo mô tả thiết kế do hãng công bố.

Gốc Sarvam 105B và vị trí System One

Prism là bản LoRA fine-tune trên nền Sarvam 105B, cụ thể là bản 105B-10B theo cách gọi của hãng, kiến trúc MoE. Sarvam xếp Prism vào nhóm System One, kiểu phán đoán nhanh đối lập với suy luận chậm nhiều bước, trong khi TypeSafe đã khởi xướng category này trước đó một tháng với model Jev, lấy cảm hứng từ cách phân loại tư duy nhanh và chậm của Kahneman. Nền 105B đã mở từ tháng 3 năm 2026, train từ đầu tại Ấn Độ trên compute của IndiaAI Mission, pre-training 12T tokens, MoE 128 expert, weights trên Hugging Face và AIKosh theo Apache 2.0.

Điểm trung bình 71.8 và 44 ms là số hãng tự đo trên một GPU B200, kèm bảng đối thủ

Điểm số chỉ có nghĩa khi đọc kèm điều kiện đo, nên mình đọc bảng dưới đây đúng tinh thần đó, vì toàn bộ bảng vẫn là số Sarvam tự đo, chưa có bên thứ ba lặp lại độc lập.

Con số headline và cách đo

Điểm trung bình 71.8 trên ba chỉ số cùng thời gian trung vị 44 ms mỗi request trên một GPU NVIDIA B200 đều là số hãng tự đo. Hãng nói đây là model có điểm cao nhất trong nhóm dưới 100 ms trong tổng số 25 decision model hãng tự chạy thử, đồng thời thừa nhận có model điểm cao hơn tổng thể nhưng chậm gấp 2 đến 6 lần theo số hãng tự đo. Thời gian đo bằng cách gửi 1,000 request lần lượt, mỗi model chạy bằng inference code của chính nhà phát triển model đó, nên 44 ms là trung vị.

Điểm theo từng chỉ số và bảng đối thủ

Tất cả số liệu trong bảng đều là số hãng tự đo. Jev Decision Index là benchmark công khai gồm 37 benchmark, bản Artificial Analysis trong bảng hãng là bản Sarvam tự tái tạo có thay đổi. Hãng thay bài kiểm tra kiến thức riêng tư bằng câu hỏi khó tự chọn có thêm lựa chọn I don’t know, nên số 65.9 chưa phải điểm chính thức trên Artificial Analysis Decision Index gốc, còn benchmark tiếng Ấn Độ là nội bộ của Sarvam. Jev Decision Index gốc là board cộng đồng trên Hugging Face do tài khoản multimodalart xuất bản, không liên kết với TypeSafe, bản 0.4.1 dữ liệu ngày 22 tháng 10 năm 2026 có 229 dòng.

Trên board đó, Jev 1.14 đạt Full score 60.24 và public score 60.7. Từ bản 0.4 trở đi Full score lấy từ private tests nên người ngoài chưa tự kiểm tra lại phần này. Hai con số 196 ms của Jev 1.14 và 85 ms của Microsoft-Decision-1 là số hãng khác tự công bố vì hai model này chỉ có qua API. Trong khi đo từ cụm máy của Sarvam, Jev 1.14 mất 431 ms và Microsoft-Decision-1 mất 533 ms, nên hai loại số này chưa so sánh trực tiếp được với nhau.

Điểm mạnh nhất nằm ở câu hỏi khó có lựa chọn I don’t know

Theo hãng, điểm mạnh nhất của Prism nằm ở các câu hỏi khó trong bản tái tạo Artificial Analysis, nơi việc chọn I don’t know thay vì đoán bừa được thưởng điểm nhờ calibration tốt.

Calibration tốt và thứ tự đáp án ổn định là lý do doanh nghiệp dám tự động hoá, nhưng ngưỡng vẫn phải thử lại trên dữ liệu thật

Với mình, thứ giúp doanh nghiệp dám giao việc cho máy là xác suất model đưa ra có khớp với tỉ lệ sai thật hay không, và đáp án có đổi khi đổi thứ tự hiển thị hay không.

Ở mức tin cậy từ 90% trở lên, Prism sai ít hơn mức nó tự dự đoán

Hãng xét các đáp án có mức tin cậy từ 90% trở lên, so sánh tỉ lệ sai mà model dự đoán với tỉ lệ sai thật, trên tiếng Anh với 37 benchmark công khai gồm 226,088 câu hỏi, Prism dự đoán sai 3.3% nhưng sai thật chỉ 2.2% theo số hãng tự đo. Còn trên tiếng Ấn Độ với bộ benchmark dịch sang 10 ngôn ngữ Ấn Độ và Hinglish gồm 20,108 câu hỏi, Prism dự đoán sai 5.4% nhưng sai thật chỉ 4.4% theo số hãng tự đo. Hãng khẳng định Prism sai ít hơn mức dự đoán ở mọi ngưỡng từ 50% đến 95%, cả hai ngôn ngữ, theo số hãng tự đo.

Phần lớn đối thủ tự tin thái quá, sai thật cao hơn mức dự đoán, ở tiếng Anh là Decider v1.2 gấp 1.5 lần, Microsoft-Decision-1 gấp 1.8 lần, Jev 1.14 gấp 2.7 lần. Ở tiếng Ấn Độ là Clef gấp 3.9 lần, Decider v1.2 gấp 2.7 lần, Microsoft-Decision-1 gấp 3.3 lần, Jev 1.14 gấp 4.8 lần. Ngoại lệ là Clef ở tiếng Anh cũng thiếu tự tin như Prism, dự đoán 2.8% và sai thật 2.3%.

Thiếu tự tin ở mọi khoảng vẫn là lệch, và ngưỡng phải kiểm chứng lại

Điểm yếu do chính Sarvam và AlphaSignal cùng ghi là Prism thiếu tự tin ở mọi khoảng tin cậy được thử, nghĩa là tỉ lệ sai thật luôn thấp hơn mức model tự đánh giá. Hệ thống có thể chuyển cho người kiểm tra nhiều trường hợp thật ra model trả lời đúng, và ngưỡng đặt theo số hãng vẫn phải thử lại trên dữ liệu, nhãn và chi phí sai sót của chính ứng dụng. AlphaSignal ủng hộ ý tưởng nhưng đặt dấu hỏi vào điều kiện đo, còn hãng công khai chiều sai bất lợi cho mình thay vì giấu. Mình đồng tình với AlphaSignal ở chỗ chưa nên thần thánh hoá 44 ms.

Thứ tự đáp án ổn định và hai việc doanh nghiệp đo được ngay

Hãng chạy 2,000 câu hỏi, mỗi câu bốn lần xáo trộn và bốn lần giữ nguyên, Prism đổi đáp án ở 4.0% khi bị xáo trộn và 0.0% khi gửi lại y nguyên theo số hãng tự đo. Còn khi đưa các option về một thứ tự cố định trước khi chấm điểm rồi trả xác suất về theo tên gốc, Prism đổi 0 trong số 2,000 đáp án. Jev 1.14 còn đổi 5.6% ngay cả khi gửi lại y nguyên.

Bộ dữ liệu trace gồm 700 run, tương đương 1,770 câu hỏi, lấy từ AgentRewardBench, tau-bench, Who and When và TRAIL, nhãn đến từ chuyên gia hoặc kiểm tra tự động. Prism khoảng nửa giây mỗi run trên một GPU. Claude Haiku 5.5 qua API mất trung vị 2.5 giây mỗi run và tốn 0.64 USD cho 1,000 run, tất cả đều là số hãng tự đo. Prism hợp với phân loại ticket, routing model hoặc team, guardrail prompt, chấm trace theo rubric cố định, phân loại tài liệu và kiểm tra an ninh theo nhóm định sẵn. Prism chưa hợp với viết văn bản, trích xuất mở, giải thích lý do và suy luận nhiều bước phức tạp.

Bộ benchmark này xây dựng từ các lỗ hổng công bố từ tháng 7 năm 2026, gồm phân loại phishing, phát hiện prompt jailbreak và phân loại kiểu tấn công theo khung MITRE. Hãng nói sẽ công khai bộ eval này trong vài tuần tới, nên người ngoài chưa tự kiểm tra lại được. ANI chỉ đăng lại đúng các con số này, chưa thêm kiểm chứng độc lập.

Từ 664 ms xuống 44 ms nhờ FP8 và gom kernel, nhanh gấp 15.1 lần theo số hãng tự đo

Mọi bước tối ưu trong mục này đều là mô tả của hãng, chưa có bên thứ ba đo lại.

Điểm xuất phát 664 ms trên hai GPU B200 ở độ chính xác 16-bit

Điểm xuất phát là 664 ms mỗi request trung vị, chạy ở độ chính xác 16-bit trên hai GPU B200 theo số hãng tự đo. Mốc này cho thấy 44 ms là kết quả sau tối ưu serving.

Năm bước tối ưu và mức đánh đổi đo được

Năm bước tối ưu gồm chuyển weights sang FP8 để vừa một GPU, chạy cả 128 expert qua một grouped kernel, đóng gói forward pass thành CUDA Graph, gộp bước chuyển đổi FP8 vào trong expert kernel, và gộp adapter fine-tune vào weights. Kết quả trung vị còn 44 ms, nhanh gấp 15.1 lần so với điểm xuất phát theo số hãng tự đo, và theo hãng là chưa mất độ chính xác.

Mình chú ý bước chuyển sang FP8 trước vì nó chỉ làm thay đổi điểm Jev Decision Index 0.01 điểm theo số hãng tự đo. Còn cách tách attention thành hai phần giúp attention nhanh gấp 2.6 lần trên các request dài hơn 2,048 token theo số hãng tự đo. Hãng luyện tập bằng hai loss có trọng số ngang nhau, cross-entropy với 5% label smoothing và Brier loss. Hãng cho rằng hai lựa chọn này tạo ra calibration tốt. Đây là lý giải của hãng, chưa phải kết luận đã kiểm chứng độc lập.

Những cái bẫy dễ bỏ sót nhất khi đọc con số 44 ms

Mục này mình lấy phân tích thận trọng của AlphaSignal làm chất liệu chính, kèm thừa nhận của chính hãng, vì đợt research ngày 4 tháng 11 năm 2026 tìm trên Hacker News, Reddit và X chưa thấy bài thảo luận hay bình luận nào trích dẫn được.

Phân vị 95 là 420 ms và bài đo chỉ gửi lần lượt, chưa chạy đồng thời theo lô

Theo phân tích của AlphaSignal, phân vị 95 là 420 ms trên cùng một GPU B200, đo trên 1,000 request lấy ngẫu nhiên từ Decision Index công khai, gửi lần lượt chứ chưa chạy đồng thời theo lô. Tính ra thì 420 ms cao gần gấp 10 lần trung vị 44 ms, nên anh em cần đọc 44 ms như mức giữa. Hiện chưa có số liệu chạy đồng thời khi hàng trăm request dồn về cùng lúc.

Định dạng FP8 riêng không chạy ngay bằng tool phổ biến, và tự chạy cần GPU lớn

Định dạng FP8 riêng gồm float8_e4m3fn, một scale cho mỗi output row, activation scale theo từng token lúc chạy, embedding và normalization giữ ở bf16, router của MoE chạy ở fp32. Hệ quả thực tế quan trọng nhất, theo phân tích của AlphaSignal, là định dạng này chưa tương thích với AutoModelForCausalLM và các inference server thông dụng. Đội triển khai cần dùng implementation của Sarvam hoặc tự điều chỉnh serving stack. Điểm này Startup Fortune cũng nhắc lại. Tự chạy cần một GPU hỗ trợ FP8 với ít nhất 120 GB bộ nhớ khả dụng, ví dụ B200 hoặc H200, và khoảng 106 GB đĩa cho weights. Tài liệu nằm trên docs.sarvam.ai, nhưng blog ra mắt chưa đưa recipe fine-tune, kích thước dữ liệu tối thiểu hay chi phí GPU cho việc này.

Chỉ làm quyết định có giới hạn, và ba khoảng trống chưa kiểm chứng được

Model chỉ phù hợp quyết định có giới hạn với đáp án định trước. Muốn giải thích, nhãn mới hoặc câu trả lời tự do thì cần thêm một bước sinh văn bản riêng theo cảnh báo của AlphaSignal.

Ba khoảng trống ghi thẳng là chưa xác minh được, gồm chưa có bảng giá API công khai trên Sarvam Indus API trong các nguồn đã đọc nên bài này chưa tự đặt giá, chưa có kiểm chứng độc lập nào về 71.8 hay 44 ms tại thời điểm research, chưa có thử nghiệm trên tiếng Việt hay tiếng Đông Nam Á vì mọi số ngôn ngữ ngoài tiếng Anh đều là tiếng Ấn Độ. Chưa có phân tích lỗi sai cụ thể hay bảng chi phí vận hành trọn gói cho mỗi 1,000 quyết định.

ANI cùng các trang đăng lại như The Tribune, Lokmat Times và Geneva Times, và The Hindu Business Line ngày 4 tháng 11 năm 2026, chỉ đăng lại số liệu từ blog Sarvam để xác nhận mốc thời gian và độ phủ sóng, chưa dùng làm kiểm chứng độc lập. The Tribune còn ghi rõ nội dung lấy từ feed tổng hợp, chưa chịu trách nhiệm về độ chính xác.

Ai nên thử ngay qua API và weights mở, ai nên chờ kiểm chứng độc lập

Phần này mình gom số liệu thành quyết định thử hay chờ cho anh em.

Thử ngay khi pipeline agent đã tốn tiền cho việc chọn nhãn bằng model sinh văn bản

Thử ngay, theo cách mình đọc số liệu, gồm anh em đang chạy pipeline agent ở khối lượng lớn, đang tốn thời gian và tiền vì gọi model sinh văn bản chỉ để chọn một nhãn, và có khả năng thử qua API trước khi quyết định tự chạy. Cách thử nhẹ nhất là dùng qua Sarvam Indus API, hoặc lấy weights trên Hugging Face theo Apache 2.0 khi đã đủ GPU và chấp nhận chỉnh serving stack cho định dạng FP8 riêng. Việc thử ngay vẫn kèm điều kiện. Thử trên dữ liệu thật của chính đội, đo lại ngưỡng tin cậy thay vì áp thẳng số hãng, bật bước sắp xếp cố định trước khi chấm điểm, và đo cả phân vị 95 chứ chưa chỉ đo trung vị.

Chờ khi chỉ có nhu cầu chat đơn lẻ, thiếu GPU mạnh, hoặc cần giải thích kèm đáp án

Chờ gồm đội chỉ có nhu cầu chat đơn lẻ, đội chưa có GPU mạnh, đội cần giải thích kèm theo đáp án, hoặc đội đang chờ bên thứ ba kiểm chứng độc lập các con số của hãng. Với các đội này, Prism chưa thay được model sinh văn bản, và việc tự chạy sẽ tốn 120 GB GPU cùng công việc chỉnh serving stack mà chưa chắc đem lại lợi ích tương xứng. Sarvam dùng Prism trong nhà cho chấm trace agent, guardrail chống prompt injection, routing trong token factory và chấm kết quả trong speech-to-speech testing harness. Các use case hãng nêu là intent routing, model routing và document intelligence. Chờ ở đây là chờ cái cụ thể, kiểm chứng độc lập, bảng giá API, số chạy đồng thời và kết quả tiếng Việt.

Thử qua API trước, tự chạy sau, và đo lại ngưỡng trên dữ liệu của mình

Với anh em đang chạy pipeline agent khối lượng lớn, thử Sarvam Prism qua API trước, đo trung vị, phân vị 95 và ngưỡng tin cậy trên dữ liệu thật rồi mới tính tự chạy. Đội thiếu GPU mạnh, cần giải thích hay chỉ chat đơn lẻ thì chờ kiểm chứng độc lập và bảng giá API. Đừng áp thẳng 44 ms hay ngưỡng của hãng vào production khi chưa đo lại. Anh em nào thử rồi thì chia sẻ trải nghiệm thật, nhất là tốc độ khi chạy đồng thời và kết quả trên tiếng Việt.

Nguồn tham khảo

• Blog chính thức Sarvam về Sarvam Prism: sarvam.ai
• Phân tích của AlphaSignal về Sarvam Prism: alphasignal.ai
• ANI qua The Tribune về mốc ra mắt: tribuneindia.com
• Startup Fortune về góc nhìn thị trường: startupfortune.com
• The Hindu Business Line ngày 4 tháng 11 năm 2026: thehindubusinessline.com
• Blog chính thức Sarvam về Sarvam 30B và 105B: sarvam.ai
• Artificial Analysis Decision Index: artificialanalysis.ai
• SystemOneModels tổng hợp Jev benchmarks: systemonemodels.org