MIT CSAIL nhờ GPT-6 Astra sửa thẳng trọng số của Qwen3.5-0.8B và điểm toán tăng từ 7,9% lên 48,1%

Ngày 2/11/2026, MIT CSAIL công bố GPT-6 Astra sửa trọng số của Qwen3.5-0.8B, điểm toán tăng từ 7,9% lên 48,1%, và câu hỏi bật ra là liệu đây có phải AI tự cải tiến chính mình hay không. Trọng số là các con số trong model quyết định cách model trả lời, còn sửa thẳng nghĩa là Astra thay trực tiếp các con số đó theo mô tả bằng lời, thay vì huấn luyện theo sai số bằng gradient.

Bài gốc công bố ngày 2/11/2026, tác giả MIT CSAIL.
Model được sửa là Qwen3.5-0.8B, model sửa là GPT-6 Astra.
Chỉ 131.072 trọng số bị sửa, bằng 0,016% tổng số.
Điểm toán trên 500 bài toán (MATH-500) từ 7,9% lên 48,1%.
Trạng thái: bài blog, tác giả tự gọi là kết quả rất sớm, chưa qua bình duyệt tính đến 3/11/2026, chưa có nhóm độc lập nào chạy lại toàn bộ phương pháp.

GPT-6 Astra sửa 131.072 trọng số ở lớp 15 và 19 của Qwen3.5-0.8B, điểm toán tăng từ 7,9% lên 48,1%

Con số 48,1% là thứ mọi người chia sẻ nhiều nhất, cơ mà nó chỉ có nghĩa khi biết Astra được giao việc gì, được dùng công cụ gì, và sửa đúng chỗ nào trong Qwen, vì thiếu ba mảnh đó thì anh em rất dễ đọc thành một câu chuyện hoàn toàn khác.

Bài gốc ngày 2/11/2026 giao cho Astra việc gì và cho Astra dùng những gì

Nhóm MIT CSAIL gồm Rikiya Takehi, Jayden Teoh, Alex Zhang và Omar Khattab công bố bài “Sparks of Weight-Space Programming” ngày 2/11/2026, định nghĩa cách làm này là một model ngôn ngữ đa dụng đọc và ghi trực tiếp trọng số của một mạng khác theo mô tả bằng ngôn ngữ tự nhiên, không qua bộ tối ưu và cụ thể là không dùng gradient descent, tức cách huấn luyện điều chỉnh dần trọng số theo sai số.

Nhiệm vụ giao cho Astra là làm cho Qwen3.5-0.8B giỏi toán hơn bằng cách sửa trực tiếp trọng số, không dùng gradient descent và không huấn luyện. Qwen3.5-0.8B có 24 lớp, 0,8 tỉ trọng số và bật chế độ thinking, tức chế độ để model suy nghĩ từng bước trước khi trả lời.

Astra nhận một Python kernel để thao tác trên trọng số mà không có GPU, cộng với bài luyện tập gồm 7.469 bài GSM8K và 7.275 bài MATH ở tập huấn luyện, tuyệt đối không nằm trong tập kiểm tra, và ngân sách lượt chạy xuôi ở mức 10, 25 hoặc 50, trong đó mỗi lượt chạy xuôi là model trả lời tối đa 512 bài hoặc đọc tối đa 1.024 đoạn văn bản.

Phần đánh giá chạy trên MATH-500, tức 500 bài toán, GSM8K, tức toán cấp tiểu học, IFEval, tức bài kiểm tra làm theo hướng dẫn, và các benchmark khác gồm AMC23, Minerva Math, OlympiadBench, GPQA Diamond và MMLU-Pro, với chế độ thinking bật, tối đa 32.768 token, lấy mẫu ở temperature 0,6, top-p 0,95, top-k 20 và presence penalty 1,5, còn Astra thì không bao giờ nhìn thấy tập đánh giá. Bài gốc không công bố điểm của các benchmark còn lại ngoài MATH-500, GSM8K và IFEval trong bảng chính, nên bài này cũng không bịa thêm điểm nào cho chúng.

Astra trừ một hướng lặp khỏi 64 cột đầu ra ở mỗi lớp MLP 15 và 19, tổng cộng 131.072 trọng số

Theo lời kể của chính tác giả trong bài gốc, model gốc bị kẹt vòng lặp, tức nó lặp lại cùng một đoạn văn bản và hiếm khi ra được đáp án, cụ thể là 85 trong 96 đáp án luyện tập đầu tiên chạy tới giới hạn 32.768 token. Astra truy vết vòng lặp về một hướng do các lớp MLP ở lớp 15 và 19 ghi ra, rồi trừ hướng đó khỏi 64 cột đầu ra ở mỗi lớp, tổng cộng 131.072 trọng số, bằng 0,016% của 0,8 tỉ trọng số.

Ở đây MLP là các lớp mạng mà mỗi đơn vị nối tới nhiều đơn vị ở lớp sau, còn “hướng” thì anh em cứ hình dung như một mẫu chung trong các con số khiến model cứ lặp lại cùng một kiểu văn bản, và việc trừ hướng đó giống như gỡ một cái chốt kẹt chứ không dạy thêm kiến thức mới cho model. Đây là lời giải thích của chính tác giả trong bài gốc, chưa phải kết luận độc lập của bài báo này, và ranh giới đó quyết định xem anh em nên tin tới mức nào ở phần sau.

Bảng điểm đầy đủ cho thấy bước nhảy chỉ xuất hiện ở mức 50 lượt chạy xuôi

Hai điểm đáng tiền nhất lại không nằm ở con số 48,1% đứng một mình. Ở mức 10 và 25 lượt, tỉ lệ kẹt giới hạn gần như không giảm, vẫn 87,2% và 86,4%, còn MATH-500 chỉ lên 12,3% và 14,1%, rồi bước nhảy lên 48,1% chỉ xuất hiện ở mức 50 lượt, tức dạng bậc thang chứ không phải đường cong tăng đều theo ngân sách. IFEval, bài kiểm tra làm theo hướng dẫn chứ không phải toán, cũng tăng từ 21,0% lên 62,3%, đúng với kỳ vọng khi bản sửa gỡ một lỗi chung chứ không nạp thêm kiến thức toán, vì một lỗi khiến model nói mãi không dứt câu thì nó hại cả toán lẫn làm theo hướng dẫn như nhau. Chính tác giả cũng viết rằng gỡ vòng lặp giúp model hoàn thành những đáp án vốn đã tính ra được, và vì vòng lặp không chỉ riêng cho toán nên hiệu năng ngoài toán cũng cải thiện theo, nên anh em đừng vội đọc bước nhảy này thành “gấp 6 lần kiến thức toán”.

Bản sửa nhỏ nhưng hành trình tìm ra nó thì không nhỏ, và chi phí tìm kiếm vẫn phải ghi rõ nguồn

Chữ “không huấn luyện” ở đây có nghĩa hẹp theo bài gốc, đó là không gradient, không vòng lặp huấn luyện và Astra không viết code huấn luyện, cơ mà nó không có nghĩa là bản sửa 131.072 trọng số xuất hiện miễn phí, vì phía sau vẫn có thật chi phí tìm kiếm gồm Python kernel, bài luyện tập, ngân sách lượt chạy xuôi và bộ đánh giá, tất cả đều là phản hồi và tài nguyên tính toán thật.

Con số chi phí của lượt chạy thắng ở Qwen, gồm 158 lượt trò chuyện, 80 lần chạy Python và 20,3 giờ tính cả 4,7 giờ chờ vì gián đoạn dịch vụ, chỉ có ở nguồn phụ VentureBeat, được cho là suy ra từ log, và không có trong văn bản bài gốc, nên anh em đừng nâng nó thành số liệu của bài gốc. Một chi tiết nguồn phụ khác từ TuringPost: prompt có nêu đáp án lặp lại chưa hoàn thành là lỗi đáng điều tra, và các lượt chạy 25 lượt có hoặc không có ví dụ đó đều đạt 14,1%, tức ví dụ gợi ý đó chưa đủ để tạo ra bước nhảy ở mức ngân sách thấp hơn.

Astra sửa một model khác hẳn, vòng tự cải tiến vẫn chưa xuất hiện, và điểm toán tăng nhờ gỡ vòng lặp kẹt

Đây là đoạn phân định quan trọng nhất của bài, nên mình để nó ngay sau bảng số liệu, vì mọi cách hiểu sai về “AI tự cải tiến chính mình” đều bắt đầu từ việc đọc lướt con số 48,1% mà bỏ qua model nào sửa model nào và lỗi nào vừa được gỡ, nên anh em đọc kỹ đoạn này rồi hãy mang con số đi kể lại cho người khác.

Mọi model Astra sửa trong bài gốc đều là model khác, nhỏ hơn, và không có chu trình tự sửa nào được trình diễn

Giới hạn phạm vi đã kiểm chứng xuyên suốt cả tám thí nghiệm là mọi mạng đích đều là mạng riêng biệt và nhỏ hơn, Astra chưa bao giờ sửa trọng số của chính mình, và không thí nghiệm nào cho thấy một cải tiến được đưa trở lại để tạo ra cải tiến tiếp theo, nên câu trả lời cho câu hỏi đầu tiên là chưa, đây chưa phải tự cải tiến đệ quy. Bài gốc nhắc tới tự cải tiến đệ quy đúng một lần, dưới dạng khả năng trong tương lai, với ý rằng một model có thể kiểm tra, gỡ lỗi và cải thiện trọng số của chính nó hoặc của một model mới hơn sẽ mở ra một con đường phong phú hơn tới khả năng đó, và phần “khả năng trong tương lai” đó vẫn là hy vọng chứ chưa phải kết quả. Hệ quả rất cụ thể: bất kỳ tựa bài nào khẳng định chỉ từ bài này rằng AI đã tự cải tiến chính mình đều sai với những gì bài gốc trình diễn.

Qwen kẹt vòng lặp ra sao, và vì sao gỡ vòng lặp lại đủ để điểm toán tăng vọt

Bằng chứng vòng lặp từ bài gốc thì đã rõ, 85 trong 96 đáp án luyện tập đầu tiên chạy tới 32.768 token, và thẻ model của Qwen cũng cảnh báo Qwen3.5-0.8B dễ rơi vào vòng lặp suy nghĩ hơn các model Qwen3.5 khác, trong đó phần cảnh báo này ghi nhãn nguồn phụ qua MACCUS dẫn thẻ model trên Hugging Face, còn bài gốc chỉ xác nhận ở mức yếu hơn rằng thẻ model có cảnh báo về vòng lặp.

Anh em cứ hình dung model như một người đã tính ra đáp án nhưng cứ nói lặp không dứt câu, rồi gỡ chốt kẹt thì câu trả lời mới hiện ra, và lời tác giả cũng đi đúng hướng đó, rằng gỡ vòng lặp giúp model hoàn thành những đáp án vốn đã tính ra được, còn sửa trọng số có thể gỡ chướng ngại che giấu một khả năng nhưng không thể thêm một khả năng mà model vốn thiếu. IFEval tăng từ 21,0% lên 62,3% là bằng chứng đi kèm cho thấy bản sửa tác động chung chứ không riêng toán, và đó cũng là đáp án cho câu hỏi thứ ba, rằng phần tăng điểm chủ yếu là gỡ một chế độ lỗi đã biết, theo lời kể của chính tác giả và theo đối chứng Gemma ở mục ngay dưới đây.

Đối chứng Gemma 3 270M đặt giới hạn cho tuyên bố: model hiếm khi lặp thì bản sửa gần như không tăng điểm

Gemma 3 270M đã qua instruction tuning, cỡ khoảng một phần ba Qwen, hiếm khi lặp với chỉ 8,5% đáp án chạm giới hạn token, so với 93% của Qwen, và Astra tìm thấy ở đó các lỗi suy luận thông thường như tính sai và bước đại số không hợp lệ, không có một thành phần duy nhất nào để tắt đi, nên các bản sửa giữ ở mức nhỏ và có mục tiêu, ví dụ nhân đôi một neuron phản ứng với số, và không bản sửa nào làm MATH-500 tăng hơn khoảng một điểm, mức tăng mà chính Astra báo cáo là chưa được xác lập. Bảng đối chứng này dùng mỗi bài 4 mẫu, temperature 1,0, top-k 64, top-p 0,95 và tối đa 8.192 token, và kết luận có căn cứ rút ra từ chính bài gốc là bản sửa gỡ chướng ngại chứ không cài thêm khả năng, nên bất kỳ tuyên bố nào vượt qua giới hạn này đều mâu thuẫn với đối chứng của chính tác giả, và đó là lý do đối chứng Gemma đóng vai trò người gác cổng cho toàn bài.

Astra đọc được trọng số ở nhiều thí nghiệm khác, nhưng đọc thuần từ trọng số cũng có lúc thất bại hoàn toàn

Qwen chỉ là một trong tám thí nghiệm, và phần còn lại mới cho thấy “đọc và sửa trọng số” rộng tới đâu, đồng thời cũng cho thấy ranh giới của nó, vì có một thí nghiệm mà chỉ nhìn trọng số thì Astra không phân biệt nổi hai model, nên anh em đừng đọc Qwen rồi suy ra Astra hiểu được mọi model chỉ bằng cách nhìn trọng số.

Astra nhận diện đúng game, hình dạng và ngôn ngữ huấn luyện chỉ từ trọng số, có lúc chỉ từ các lớp giữa

Thí nghiệm nhận diện game dùng 4 mạng cùng kiến trúc MLP 500 rồi 32 rồi 32 rồi 5, hàm tanh, 17.253 trọng số, cùng lưới 10×10 và 5 hành động, huấn luyện bằng PPO 1 tỉ bước, lấy hạt giống tốt nhất trong 3 hạt giống cho mỗi game, và Astra nhận trọng số dưới dạng văn bản, không được nêu tên game và không được tiết lộ lựa chọn, vẫn gọi đúng cả bốn game là Breakout, Pong, Pac-Man và Freeway, trong đó dấu vết của Breakout là trọng số lớp đầu cho kênh agent nằm dọc hàng dưới cùng, đúng vị trí của thanh đỡ.

Thí nghiệm hình dạng khuếch tán dùng 3 model DDPM, tức model sinh ảnh bằng cách khử nhiễu dần, ảnh xám 12×12, MLP 160 rồi 64 rồi 64 rồi 144, hàm ReLU, 23.824 trọng số, huấn luyện bằng Adam 40.000 bước với batch 512, không công cụ và không lượt chạy xuôi, và Astra gọi đúng hình tròn, tam giác và vuông, cơ mà vẽ mọi hình dưới dạng đường viền trong khi model sinh ra hình tô đặc, điều tác giả đọc là bằng chứng Astra đọc hình học trọng số chứ không chạy thử model.

Thí nghiệm chỉ dùng lớp giữa dùng 3 transformer mức ký tự, 7,2 triệu tham số theo con số tổng kết và con số thiết lập là 7,16 triệu trọng số, 4 lớp nhân 6 đầu chú ý, chiều rộng 384, 28 ký tự, mỗi model huấn luyện trên 1 tỉ ký tự gồm code Python, tiếng Nhật romaji và Wikipedia tiếng Anh, với lớp đầu vào và đầu ra bị gỡ bỏ, không ghi nhãn cho 384 chiều, phân tích bằng Python tối đa 100 lần, cấm chạy mạng và mọi lần chạy đều được kiểm tra.

Astra gọi đúng ngôn ngữ cho cả ba model trong cả hai lần thử với độ tin cậy 0,48 tới 0,62, đồng thời tìm đúng mọi đầu sao chép, tức induction head, với không một dương tính giả nào, gồm Python 2.1, 3.1, 3.5, Romaji 3.3, English 3.1, điểm sao chép đo được 0,22 tới 0,55 so với tối đa 0,02 ở các đầu còn lại, và phương pháp này khớp với Elhage và cộng sự, điều tác giả cho biết chưa từng nhắc với Astra.

Astra sửa được chính sách xe kẹt dốc, viết mạng chơi game từ con số 0 và viết mạng cờ 9×9 thắng mạng PPO cùng cỡ

Thí nghiệm xe kẹt dốc Kinetix dùng actor chính thức 679 rồi 128 rồi năm lớp 128 rồi 16, tổng 171.664 trọng số, huấn luyện bằng PPO chính thức 1 tỉ bước, chính sách gốc không thành công lần nào trong 256 ván, và Astra chỉ với một câu trả lời, không công cụ, chỉ có trọng số cộng cảnh và một ván đã ghi lại, sửa 3,5% trọng số rồi xe thành công trong cả 1.024 ván, với cơ chế theo bài gốc là một đường riêng nhỏ qua vài đơn vị mỗi lớp đọc vị trí và tốc độ, lùi xe rồi tắt đi khi bánh xanh vượt qua vạch đỏ.

Thí nghiệm MinAtar viết từ đầu dùng Breakout, Seaquest và Asterix, mạng 600 rồi 32 rồi 32 rồi 6, hàm tanh, mọi trọng số bắt đầu từ 0, Astra nhận luật chơi, mã nguồn, bố cục đầu vào và đầu ra và cách tính điểm, không dữ liệu, không hàm mất mát, không gradient, không công cụ và không lượt chơi thử, chỉ một câu trả lời, mạng chưa từng chơi trước khi chấm điểm, chấm 1.000 ván, hành động dính 0,1 và tối đa 10.000 bước. Bảng điểm đã kiểm chứng là Breakout PPO-100M 15,8, PPO-500M 25,3, Astra 517,4, Seaquest 5,6, 88,9, 53,1, Asterix 25,8, 55,2, 53,2, tức Breakout gấp khoảng 20 lần PPO-500M, Seaquest bằng khoảng 60% mức đó và Asterix gần bằng, với cơ chế Breakout theo bài gốc là lớp 1 tính vị trí bóng sẽ rơi xuống và lớp 2 di chuyển thanh đỡ tới đó.

Thí nghiệm cờ 9×9 viết từ đầu dùng mạng 243 rồi 512 nhân 6 lớp rồi 82, hàm ReLU, 1.480.274 trọng số, mọi trọng số bắt đầu từ 0, sandbox Python, không thư viện cờ, không internet, không huấn luyện, không tìm kiếm và không lượt chơi thử, trong đó lượt chạy xuôi là cách duy nhất để thấy hành vi, mỗi lượt tối đa 128 ván luyện tập hoặc đầu ra trên tối đa 256 vị trí, ngân sách 0 tới 50 lượt và batch 128 ván. Ở mức 0 lượt thì mạng thắng hơn một nửa số ván trước hai mạng PPO nhỏ hơn, còn ở mức 50 lượt thì mạng thắng mạng PPO cùng cỡ huấn luyện trên 20 triệu ván, với chấm điểm 2.000 ván trước mỗi mạng PPO nhỏ trong hai hạt giống 0 và 2, Astra không bao giờ đấu trực tiếp với chúng, cầm Đen trong một nửa số ván và nước đi lấy mẫu.

Mạng ở mức 0 lượt được viết trong một lần chạy Python duy nhất dài 336 dòng, và các lớp thực hiện đánh dấu đá và khí rồi lan truyền dọc chuỗi để tìm nhóm gặp nguy, rồi chấm điểm nước đi gồm ăn quân, cứu nhóm mình, tránh tự đưa vào thế bị bắt hoặc tự lấp mắt và ưu tiên vị trí trên bàn. Ghi chú nguồn phụ từ MACCUS: mạng cờ chỉ đấu với mạng PPO chứ chưa đấu với engine mạnh hay với người chơi, nên đừng nâng kết quả này thành trình độ đối đầu với người chơi thật.

Thí nghiệm nịnh hót cho thấy giới hạn: chỉ nhìn trọng số thì Astra không phân biệt nổi model thật thà với model nịnh hót

Thí nghiệm nịnh hót dùng hai bản sao Gemma 3 270M gồm 18 lớp, tinh chỉnh giống hệt nhau, một bản trả lời đúng và một bản luôn theo đáp án người dùng gợi ý, lớp embedding và lớp đầu ra bị đóng băng, và chỉ từ trọng số thì Astra không phân biệt nổi, trong cả bốn lần thử đều tìm ra nhiều khác biệt nhưng không ánh xạ được các khác biệt đó thành khác biệt hành vi. Chỉ khi có thêm mẫu chú ý, tức chạy model trên tối đa 16 đoạn văn bản do Astra tự viết, giấu đầu ra và tối đa 20 lần chạy, Astra mới chọn đúng model nịnh hót trong cả ba cặp đã huấn luyện.

Căn cứ hành vi đã kiểm chứng thì trên các sự thật đã biết và chưa huấn luyện, model nịnh hót đi theo 100% phỏng đoán sai của người dùng, model thật thà chỉ 1 tới 3%, còn đầu chú ý 10.2 từ vị trí đáp án chú ý 94,3% vào các con số của câu hỏi và 0,75% vào đáp án của người dùng ở model thật thà, so với 3,5% và 85,7% ở model nịnh hót. Đó là đáp án cho câu hỏi thứ năm: đọc thuần từ trọng số có lúc thất bại, và Astra cần thêm mẫu chú ý, tức cần chạy model, mới phân biệt được, nên anh em đừng viết như thể Astra chỉ cần nhìn trọng số là hiểu mọi hành vi.

Bài gốc trích dẫn các công trình trước đó gồm diễn giải cơ chế, model ngôn ngữ chạy và cải thiện code huấn luyện và siêu tham số, model kiểu hypernetwork được huấn luyện để viết trọng số, phương pháp thử sai không gradient, và AdderBoard là transformer nhỏ được coding agent đặt trọng số bằng tay, còn điểm mới mà bài gốc tuyên bố là một model frontier đa dụng dùng nguyên trạng, đọc và ghi trọng số từ 171.664 trọng số dưới dạng văn bản tới model 0,8 tỉ trọng số có công cụ hỗ trợ. Công trình “Weight Oracles” tháng 10/2026 là nguồn phụ từ Xenospectrum, mô tả một model dựa trên Qwen2.5-3B được huấn luyện riêng để suy ra tính chất mạng từ trọng số, khác hẳn Astra vốn không được huấn luyện cho việc này, và giữ rõ khác biệt này để khỏi gộp hai hướng nghiên cứu thành một.

Cộng đồng tranh luận hai phía thật sự: người hoài nghi nói đây là sửa lỗi, người hào hứng nói đây là cách bảo trì model mới

Bài gốc không tự phân định cơn sốt, và cộng đồng cũng không đồng thanh, nên mục này đặt hai phía cạnh nhau với tên tuổi và căn cứ cụ thể, để độc giả thấy phản biện nào còn đứng vững sau khi đối chiếu với bài gốc và phản biện nào đã bị chính số liệu trong bài gốc làm yếu đi, rồi từ đó mới kết luận phía nào đáng giữ lại.

Phía hoài nghi: điểm gốc 7,9% đã bị vòng lặp kéo xuống, bước nhảy ở mức 50 lượt giống ngưỡng hơn là đường cong, và tuyên bố hẹp hơn mới đứng vững

Bản tóm tắt luồng bình luận của Latent Space AI News, trong đó người bình luận không nêu tên trong bản tóm tắt, nêu rằng điểm gốc 7,9% thấp tới mức khó tin với một model 0,8 tỉ tham số trừ khi nhiều lần đánh giá hỏng vì vòng lặp vô hạn hoặc vòng lặp dài, phần cải thiện có thể chủ yếu là sửa chế độ lỗi hoặc cách giải mã chứ không phải bằng chứng rộng cho lập trình không gian trọng số, và bản tin này tự đánh giá rằng cách làm khó mở rộng sang nhiệm vụ cao cấp hơn game đơn giản và chính sách học tăng cường. Phần đánh giá mở rộng này chỉ là câu hỏi mở, vì thí nghiệm Qwen và cờ 9×9 đã vượt qua quy mô “game đơn giản” dù vẫn còn xa model frontier.

Diễn đàn mirror, với ý kiến ẩn danh và danh tính chưa kiểm chứng (không được gán cho Hacker News), nêu rằng điểm gốc thấp vì model lặp, gỡ một hướng lặp giống sửa lỗi chứ không giống mở khóa tính năng, mẫu 10 và 25 lượt gần như không nhúc nhích rồi 50 lượt nhảy vọt giống phương sai hơn là đường cong tăng đều, bản sửa giống phép loại bỏ một hướng đơn lẻ kiểu Arditi và cộng sự cho vòng lặp chứ không phải cho từ chối, và khung hẹp hơn được đề xuất là model frontier đóng vai trò nhà nghiên cứu diễn giải có sandbox Python, tức đưa giả thuyết, thăm dò, tìm hướng, loại bỏ và đánh giá, thay vì “model ngôn ngữ đọc trọng số” theo nghĩa kỳ diệu nào đó. Khung này là một cách hiểu cạnh tranh nghiêm túc, không phải lời bác bỏ.

Đối chiếu với bài gốc thì diễn đàn gợi ý cách sửa thông thường là hình phạt lấy mẫu, cơ mà bài gốc đánh giá Qwen đã dùng presence penalty 1,5 cùng temperature 0,6, top-p 0,95 và top-k 20, nên phản biện “chỉ cần đổi cách lấy mẫu” ở dạng trần trụi chưa giải quyết được câu hỏi, và không nguồn nào đã đọc đưa ra con số baseline chỉ đổi cách lấy mẫu cho Qwen gốc, một khoảng trống đã kiểm chứng là chưa có.

Tài khoản @1a3orn trên X qua VentureBeat (nguồn phụ, luồng X gốc chưa được đọc trực tiếp) chê luồng thông báo đã lược bỏ kết quả âm tính với Gemma, cơ mà khen chính bài blog đã đưa kết quả đó vào, và ví dụ này là minh chứng rõ nhất cho khoảng cách giữa tựa bài lan truyền và bài gốc.

Nhà bình luận Sean Goedecke công bố trong cùng tuần một bài có tựa đề “LLMs are not superhuman at reading and writing neural network weights”, và mình chỉ dừng ở mức tựa bài đã kiểm chứng này vì toàn văn bài đó chưa được truy xuất ở thời điểm nghiên cứu, nên không trích dẫn hay tóm tắt luận điểm chi tiết của ông. Một tài khoản thực hành sớm trên Medium của Levent Bulusan tuyên bố một thiết lập miễn phí có thể sánh ngang với bản sửa, cơ mà phần thân bài không truy xuất được nên không rõ đó là thiết lập nào và liệu nó sánh được với 48,1% hay chỉ cải thiện so với 7,9%, nên mình không lặp lại tựa bài đó như sự thật.

Phía hào hứng: sửa lỗi có mục tiêu mà không cần huấn luyện lại là quy trình mới thật sự, nếu nó khái quát được

VentureBeat ở vai trò phân định có giới hạn (nhận định của tòa soạn, không phải của tác giả) đồng ý với khung sửa chữa model chứ không phải nạp kiến thức mới, và cho rằng tự cải tiến đệ quy sẽ cần thêm một bước nữa, vì các nhà nghiên cứu chưa trình diễn chu trình đó và chưa xác lập rằng lợi ích sẽ cộng dồn, trong đó số liệu Qwen của VentureBeat khớp với bài gốc và đã kiểm chứng, còn con số chi phí 158 lượt và 20,3 giờ vẫn là nguồn phụ. Yuchen Jin của Databricks, không liên kết với nhóm nghiên cứu, qua VentureBeat (diễn giải ngắn qua nguồn phụ, toàn văn bài đăng gốc chưa đọc), nêu rằng nếu đáng tin thì đây là cách mới để bảo trì model và điều tra hành vi không mong muốn mà không cần tinh chỉnh hay huấn luyện lại theo cách truyền thống.

Chandan Singh của Voyage AI qua VentureBeat (diễn giải ngắn qua nguồn phụ) nêu rằng cùng cách tiếp cận có thể tăng tốc phát triển AI bằng cách cho model có năng lực sửa model khác, và cuối cùng là sửa chính mình, và mình gắn cờ ngay rằng phần “cuối cùng là chính mình” là suy diễn vượt qua mọi thí nghiệm, vì không thí nghiệm nào trong bài gốc sửa chính model thực hiện. Thí nghiệm cùng ngày của chính Chandan Singh với Claude (nguồn phụ qua MACCUS) thử cùng ý tưởng với Claude trong vai trò coding agent tự chủ trên một transformer trống với quy tắc cấm huấn luyện, 13 nhiệm vụ, 959 chương trình không gian trọng số, cả mười nhiệm vụ thuật toán đạt 100% trong tối đa ba lần thử, và đây là bằng chứng ý tưởng khái quát được sang Claude ở nhiệm vụ đồ chơi, tuyệt đối không phải xác nhận cho kết quả Qwen.

Maxime Fournes, CEO PauseAI, trên X qua VentureBeat (trích dẫn qua nguồn phụ), lo ngại rằng nếu việc sửa trọng số là thật thì nó có thể tăng tốc tiến bộ mạnh mẽ và kéo thảm họa toàn cầu lại gần hơn, đồng thời gọi đây là hướng nghiên cứu liều lĩnh khủng khiếp. Đây là dự báo giá trị chứ không phải bằng chứng, kèm chú thích của chính VentureBeat rằng các thí nghiệm chưa xác lập những hệ quả mà ông dự báo. TuringPost (nguồn phụ), ở vai trò hào hứng rồi tự sửa, mô tả đây là “phẫu thuật model trên model” và nhắc tới “trạm AGI” như cơn sốt mà chính nó mô tả, rồi đưa phần hỏi đáp sửa lại cách hiểu, và ví dụ này cho thấy ngay cả phía hào hứng cũng phải quay lại sửa khung hiểu của mình.

Đối chiếu xong thì bức tranh nó gọn lại thế này, phản biện còn đứng vững là điểm gốc bị vòng lặp kéo xuống, bước nhảy dạng ngưỡng và tuyên bố hẹp “model frontier làm nhà nghiên cứu diễn giải có sandbox”, hào hứng còn đứng vững là sửa chữa và kiểm toán có mục tiêu mà không cần huấn luyện lại, nếu nó khái quát được, còn hào hứng không đứng vững là “AI tự cải tiến chính mình” từ bài này.

Kết quả kiểm chứng độc lập duy nhất tới nay chỉ kiểm tra checkpoint đã công bố, chưa kiểm tra phương pháp

Tác giả cho biết log đầy đủ đã công bố, gồm mọi thứ gửi tới và nhận từ Astra kèm tóm tắt suy luận, mọi đoạn code đã chạy và đầu ra, các mạng đã đọc và viết, và phần đánh giá đứng sau mỗi con số, tại repo github.com/RikiyaT/lm_understand-logs, và Qwen đã sửa có trên Hugging Face kèm demo trực tiếp. Đây là tuyên bố của bài gốc về chính tài liệu của nó, và mức độ đầy đủ của log vượt ngoài tuyên bố đó chưa được kiểm toán ở thời điểm nghiên cứu.

Chi tiết chạy lại trên Hugging Face (nguồn phụ qua MACCUS): checkpoint đã sửa xuất hiện ngày 2/11/2026 lúc 22:12 UTC, người chạy lại là Ahsen Khaliq của Hugging Face, chạy lại trên toàn bộ 500 bài MATH-500, mỗi bài 4 mẫu, tổng 2.000 lần sinh, 51 phút trên một card Nvidia H200, đạt 51,0% với 31,6% đáp án chạm giới hạn token, và chỉ hai tensor trọng số khác với bản phát hành gốc của Qwen. Việc này kiểm tra checkpoint đã công bố, chứ không tái tạo phương pháp của Astra, vì tái tạo phương pháp cần quyền truy cập GPT-6 Astra vốn là model độc quyền. Ba khoảng trống đã kiểm chứng là chưa có trong mọi nguồn đã đọc, gồm không nhóm độc lập nào chạy lại toàn bộ phương pháp của Astra, không có bản tái tạo Qwen bằng Claude hay Gemini, và không có con số baseline chỉ đổi cách lấy mẫu cho Qwen gốc.

Bài blog chưa qua bình duyệt, chưa có tái tạo độc lập, và năm kiểm chứng sau đây mới đủ sức đổi kết luận

Tới đây thì anh em cần một danh sách ngắn gọn về điều gì vẫn chưa được chứng minh và điều gì sẽ làm thay đổi kết luận, vì đó mới là thứ quyết định xem có nên gọi đây là bước ngoặt hay chỉ là một thí nghiệm sớm đầy hứa hẹn, và danh sách đó phải gắn mốc thời gian rõ ràng để khỏi biến trạng thái tạm thời thành phán quyết vĩnh viễn.

Trạng thái hiện tại: bài blog rất sớm, bộ benchmark và harness vẫn đang xây, chưa có bình duyệt tính đến 3/11/2026

Đây là bài blog, tác giả tự gọi kết quả là “rất sớm”, khả năng thì “hấp dẫn nhưng vẫn còn hạn chế, cụ thể vì kém hiệu quả ở độ dài ngữ cảnh và harness”, và một benchmark cùng harness đang được xây dựng, còn tính đến đầu ngày 3/11/2026 thì chưa có bài báo arXiv nào xuất hiện và chưa có bản tái tạo độc lập nào được các hướng dẫn phụ tìm thấy, cả hai đều ghi nhãn nguồn phụ qua MACCUS và ExplainX và chỉ đúng ở mốc thời gian đó, chứ không phải phán quyết vĩnh viễn.

Các ứng dụng tương lai mà tác giả chỉ nêu như hy vọng trong phần “What Comes Next”, tuyệt đối không trình bày như kết quả, gồm kiểm toán mà không cần đánh giá, ví dụ tìm cửa hậu chỉ từ trọng số, giảm mạnh chi phí tối ưu bằng cách khởi tạo một lần thay vì tập dữ liệu cộng vòng huấn luyện đầy đủ, điều chỉnh hoặc gỡ khả năng mà không cần dữ liệu, tự cải tiến đệ quy, và ghép một mạch, ví dụ module suy luận, từ một model sang một kiến trúc khác mà không cần huấn luyện lại. Về bối cảnh cạnh tranh thì gần như mọi trang tin đều dẫn đầu bằng 7,9% lên 48,1% và 0,016%, gần như không trang nào dẫn đầu bằng đối chứng Gemma, và không đối thủ nào đưa ra nhãn phân biệt đã kiểm chứng ở bài gốc với nguồn phụ một cách sạch sẽ, bài này thể hiện khác biệt đó bằng nhãn nguồn và đối chứng Gemma.

Năm kiểm chứng sẽ đổi kết luận, xếp theo thứ tự sức nặng giảm dần

Năm điều kiện đổi kết luận, xếp theo thứ tự sức nặng giảm dần, là một nhóm độc lập chạy lại toàn bộ phương pháp của Astra, một model frontier khác tái tạo được bản sửa Qwen, một baseline chỉ đổi cách lấy mẫu cho Qwen gốc, một bản sửa thành công trên một model không có chế độ lỗi vòng lặp duy nhất, và bất kỳ chu trình tự sửa nào, tức model cải tiến rồi dùng chính cải tiến đó để cải tiến tiếp.

Điều kiện đầu tiên có sức nặng lớn nhất vì nó kiểm tra phương pháp chứ không chỉ checkpoint, điều kiện thứ hai kiểm tra tính khái quát sang model khác, điều kiện thứ ba kiểm tra phản biện lấy mẫu, điều kiện thứ tư kiểm tra xem bản sửa có làm được gì ngoài gỡ vòng lặp hay không, và điều kiện thứ năm là điều kiện duy nhất có thể biến câu chuyện thành tự cải tiến thật sự, anh em đọc tin tiếp theo cứ mang năm câu hỏi này theo mà đối chiếu.

Ghi chú riêng về câu chuyện Anthropic: cùng ngày, cùng chủ đề, nhưng là một câu chuyện khác và không dùng làm bằng chứng cho bài MIT

Ghi chú riêng, tách biệt rõ ràng và toàn bộ ghi nhãn nguồn phụ qua TechCrunch và các bản tóm tắt phụ: Anthropic nộp hồ sơ S-1/A sửa đổi lên SEC ngày 2/11/2026, trong đó ngôn ngữ về yếu tố rủi ro nói rằng ước tính nội bộ và kỳ vọng về các model tương lai, chứ không phải model hiện tại, cho thấy Anthropic có thể sắp đáp ứng định nghĩa trong Chính sách mở rộng có trách nhiệm của họ về “tiến bộ tăng tốc mạnh mẽ nhờ AI”, kèm thêm rằng Anthropic cũng cho biết trong quá khứ họ từng không nhận ra mức tăng tốc đáng kể cho tới khi nó đã xảy ra, và việc dùng AI để tăng tốc nghiên cứu và phát triển của chính họ có thể khiến khả năng model tiến nhanh hơn khả năng xây dựng biện pháp an toàn tương ứng.

Anthropic chưa chỉ định model hiện tại nào đã vượt qua ngưỡng đó và vẫn đang đánh giá dữ liệu, và họ không kỳ vọng có thể dùng Claude một cách an toàn để tự chủ hoàn toàn thiết kế và xây dựng các thế hệ model frontier liên tiếp mà không có giám sát và hiểu biết đáng kể của con người, nếu và khi điều đó trở nên khả thi về kỹ thuật, và hai câu chuyện không có chung dữ liệu, tác giả, model hay cơ chế, bài MIT không nhắc tới Anthropic và hồ sơ Anthropic không nhắc tới lập trình không gian trọng số, nên bất kỳ bản tin nào gộp hai câu chuyện thành một đều là lỗi đóng khung cần sửa, và hồ sơ Anthropic không được dùng làm bằng chứng củng cố cho kết quả MIT.

Kết luận: GPT-6 Astra sửa được trọng số của Qwen3.5-0.8B, gỡ được vòng lặp kẹt, và câu chuyện tự cải tiến vẫn chưa bắt đầu

Kết luận này quay lại đúng câu hỏi mở đầu, trả lời bằng chính các con số đã kiểm chứng, rồi để lại danh sách kiểm chứng ở mục trước cho anh em theo dõi tiếp, vì một thí nghiệm sớm thì càng cần mốc kiểm chứng rõ ràng chứ không cần thêm tựa bài giật gân.

Ba điểm đã kiểm chứng là Astra sửa 131.072 trọng số ở lớp 15 và 19 của Qwen3.5-0.8B, MATH-500 tăng từ 7,9% lên 48,1% cùng GSM8K từ 13,8% lên 67,1% và IFEval từ 21,0% lên 62,3%, phần tăng điểm chủ yếu tới từ việc gỡ vòng lặp kẹt ở 32.768 token, theo lời tác giả và đối chứng Gemma 3 270M gần như không tăng điểm, và không có chu trình tự sửa nào được trình diễn, nên gọi đây là sửa chữa model có mục tiêu mà không cần huấn luyện lại thì đúng phạm vi, còn gọi đây là AI tự cải tiến chính mình thì vượt quá bằng chứng.

Bài blog này rất sớm, chưa qua bình duyệt tính đến 3/11/2026 và chưa có tái tạo phương pháp độc lập, nên năm kiểm chứng ở mục trước là thứ anh em nên chờ trước khi đổi cách gọi tên câu chuyện này, và nếu anh em từng chạy lại checkpoint đã công bố hoặc thử một baseline chỉ đổi cách lấy mẫu cho Qwen gốc thì chia sẻ kết quả thật của mình, vì đó mới là thứ giúp cộng đồng kiểm chứng nhanh hơn bất kỳ tựa bài nào.

Nguồn tham khảo

• Bài gốc MIT CSAIL “Sparks of Weight-Space Programming”: https://rikiyat.github.io/blog/weight-space-programming
• Log đầy đủ của bài gốc: https://github.com/RikiyaT/lm_understand-logs
• VentureBeat về bản sửa Qwen: https://venturebeat.com/technology/like-gene-editing-for-neural-networks-mit-researchers-used-gpt-6-astra-to-edit-qwens-open-weights-directly-boosting-math-performance
• MACCUS về GPT-6 Astra và trọng số Qwen: https://maccus.fr/en/gpt-6-astra-qwen-weights/
• TechCrunch về hồ sơ Anthropic S-1/A: https://techcrunch.com/2026/11/02/anthropic-warns-that-its-very-close-to-rsi-capability-aka-self-building-ai/
• ExplainX về lập trình không gian trọng số: https://explainx.ai/blog/weight-space-programming-gpt-6-astra-edits-qwen3-5-0-8b-weights-math-7-9-to-48-1-mit-csail-2026
• Latent Space AI News về luồng bình luận: http://latent.space/p/ainews-llms-can-read-write-neural-network-weights-weight-space-programming-cuts-autoresearch-out-of/
• TuringPost về lập trình không gian trọng số: https://www.turingpost.com/p/what-is-weight-space-programming-and-why-it-suddenly-blew-up-the-internet
• Xenospectrum về “Weight Oracles”: https://xenospectrum.com/en/sparks-of-weight-space-programming-mit-csail/
• Diễn đàn mirror về thảo luận trọng số: https://vibingtalk.com/index.php?threads/sparks-of-weight-space-programming-llms-can-natively-read-write-neural-network-weights.1915799
• Medium của Levent Bulusan, tựa bài đã đọc, thân bài chưa kiểm chứng được: https://medium.com/@lvntblsn/one-ai-rewired-another-ais-brain-for-a-6x-math-boost-here-s-the-catch-8e64d53d9a39