Microsoft 365 sập gần 2 ngày, Outlook và Copilot tê liệt từ đêm 12/11

Đêm 12/11, 23:17 giờ Việt Nam, vụ Microsoft 365 sập bắt đầu khi anh em mở Outlook thì mail không vào, lịch họp cũng trục trặc theo. Tới rạng sáng 13/11, Copilot và cả chục dịch vụ Microsoft 365 khác đứng hình theo, từ Teams, SharePoint tới OneDrive. Microsoft ghi mã EX1550543 rồi mở rộng thành MO1550821, và phải tới 14/11 mọi thứ mới hồi lại hẳn.

Tóm tắt nhanh
– Bắt đầu 16:17 UTC ngày 12/11, tức 23:17 giờ Việt Nam, mã EX1550543. Mở rộng thành MO1550821 lúc 01:26 giờ Việt Nam ngày 13/11.
– Đỉnh báo cáo Outlook trên Downdetector khoảng 130.000 theo AP và CNN, gần 140.000 toàn cầu theo BBC, lúc 01:00 giờ Việt Nam ngày 13/11. Báo cáo tới từ 74 quốc gia trong khoảng một giờ.
– Microsoft tuyên bố fully recovered và backlog mail xử lý xong lúc 03:51 UTC ngày 14/11, tức 10:51 giờ Việt Nam. End of impact 16:10 UTC ngày 13/11, tức 23:10 giờ Việt Nam, theo bản cập nhật cuối.
– Nguyên nhân sơ bộ nêu lúc 00:57 giờ Việt Nam ngày 14/11. Đó là lỗi trong một lần nâng cấp dung lượng mạng trước đó, lộ ra sau một lần thay đổi mạng gần đây.

Đêm 12 tháng 11 mở Outlook không vào được mail, rạng sáng 13/11 cả Microsoft 365 đứng hình

Mình đối chiếu thì hầu hết nguồn dùng mốc 16:17 UTC ngày 12/11, tức 23:17 giờ Việt Nam. Thông báo Exchange Online cuối lại ghi start 10:05 UTC, tức 17:05 giờ Việt Nam.

19 dịch vụ Microsoft liệt kê trong mã sự cố MO1550821

Tâm điểm là Exchange Online, mail đứng sau Outlook cho khách doanh nghiệp, trong 19 dịch vụ liệt kê. Trong đó có Teams, Copilot, SharePoint, OneDrive, Graph, Defender, Purview và Intune. Anh em không vào được mailbox qua Outlook web, desktop qua MAPI, mail mobile qua EAS và REST. Mail đến thì chậm. Azure thì không nằm trong danh sách 19 dịch vụ sự cố này.

Teams chỉ sập một phần trong khi lịch họp và lời mời thì tê liệt

Gọi, họp, chat nhóm và tin nhắn kênh của Teams phần lớn vẫn dùng được, cơ mà chỗ sập nằm ở lịch, lên lịch và sửa họp, lời mời, live và virtual event, đồng bộ contact, tạo và xóa kênh riêng hay chung.

Phải tách riêng sự cố Teams khác ở châu Mỹ, mã TM1550488, từ 21:45 tới 22:53 giờ Việt Nam ngày 12/11. Nguyên nhân là resource contention trong hạ tầng, sự cố này đã xong trước khi sự cố lớn bùng lên.

130 nghìn báo cáo Outlook và 74 quốc gia trong một giờ

Đỉnh báo cáo Outlook trên Downdetector khoảng 130.000 theo AP và CNN, gần 140.000 toàn cầu theo BBC, lúc khoảng 01:00 giờ Việt Nam ngày 13/11. Tới 01:25 giờ Việt Nam ngày 13/11 (1:25 p.m. giờ ET), Downdetector nhận gần 20.000 báo cáo về 5 dịch vụ Microsoft mỗi phút.

Báo cáo tới từ 74 quốc gia trong khoảng một giờ, tổng lũy kế hơn 7 triệu báo cáo tới 16:00 UTC ngày 13/11, tức 23:00 giờ Việt Nam, hơn 7,4 triệu theo Reuters. Downdetector đếm báo cáo do user tự gửi, chứ đó chưa phải số người bị ảnh hưởng.

Sập toàn cầu nhưng mỗi nơi mất mail một kiểu

Sập toàn cầu nghĩa là sự cố lan ra toàn cầu. Mọi user đều mất mail cùng lúc thì chưa đúng. User ở Mỹ, Anh, châu Âu, Úc, Nhật, Singapore, Ấn Độ, Brazil và Mexico đều xác nhận bị ảnh hưởng.

Hacker News ghi một công ty 15.000 nhân viên mất mail tới giờ thứ 8, một công ty toàn cầu có hơn 50 văn phòng ở Mỹ, châu Âu, châu Á và Trung Đông cũng bị ảnh hưởng.

Con số hơn 430 triệu người dùng app Microsoft 365 theo CNN và hơn 450 triệu paid commercial seats theo Amy Hood chỉ là quy mô nền tảng.

Lỗi nằm ở lần nâng cấp dung lượng mạng, server rớt health check rồi kéo nhau sập

Mình đọc log thì thấy một server chết kéo theo cả dây chuyền, anh em cứ hình dung tải dồn sang server còn lại rồi rớt nốt.

Health check fail đẩy tải sang server còn lại rồi quá tải secure connection

Lúc 02:18 giờ Việt Nam ngày 13/11, Microsoft ghi tổng traffic không tăng, tải tăng vì một số lượng lớn server bỗng dưng không còn khả dụng nên tải bị dồn sang server còn lại.

Lúc 02:43 giờ Việt Nam, server bị lỗi được xác định fail automated health check nên bị loại khỏi service. Lúc 07:00 giờ Việt Nam server vừa khôi phục lại ngừng đáp ứng ngay khi nhận traffic. Lúc 08:06 giờ Việt Nam Microsoft xác định process thiết lập secure connection bị quá tải.

Cascade là sập dây chuyền. Thundering herd là cả đàn request ùa vào cùng lúc khi server vừa mở lại. Mark Gregory ở RMIT ví cơ chế này với sự cố nhà mạng Optus ở Úc năm 2023. Một phần server pool lỗi thì khách bị đẩy sang nhóm còn lại nhỏ hơn, nhóm này quá tải rồi sập theo.

Rollback muộn gần 9 giờ, ba tiếng rưỡi đầu sau khi sập không tìm thấy thay đổi tương quan

Lúc 02:06 giờ Việt Nam ngày 13/11, Microsoft tạm dừng mọi deployment và thay đổi cấu hình.

Nhưng phải tới 08:06 giờ Việt Nam ngày 13/11 mới bắt đầu revert một thay đổi cấu hình mạng gần đây. Tức rollback chỉ bắt đầu gần 9 giờ sau mốc bắt đầu 16:17 UTC. Lúc 10:07 giờ Việt Nam Microsoft nói thay đổi mới không đi như mong đợi rồi chuyển sang hướng xử lý khác.

Điểm gợn trong log mà CyberKendra ghi lại: ba tiếng rưỡi đầu sau khi phát hiện sự cố, kỹ sư báo không tìm thấy thay đổi gần đây nào tương quan với lỗi. Câu hỏi vì sao rollback mất gần 9 giờ mới bắt đầu vẫn chờ post-incident report trả lời.

Khôi phục sau đó đi theo từng vùng. Patch cho component authentication và routing có kết quả tích cực lúc 07:29 UTC ngày 13/11, tức 14:29 giờ Việt Nam. Một phần châu Á-Thái Bình Dương hoàn tất lúc 11:04 UTC, tức 18:04 giờ Việt Nam. Châu Âu và Bắc Mỹ cải thiện trong khung 12:00-12:58 UTC, tức 19:00-19:58 giờ Việt Nam. Doug Madory ở Kentik quan sát độc lập rằng traffic đang quay lại sau khoảng 18 giờ downtime.

Nguyên nhân sơ bộ lúc 00:57 giờ Việt Nam ngày 14/11 vẫn chưa phải kết luận cuối cùng

Lúc 00:57 giờ Việt Nam ngày 14/11, Microsoft nêu nguyên nhân lần đầu khi báo broad recovery and stability. Câu đầy đủ của hãng: đây là lỗi kỹ thuật không liên quan tới cyber hay AI và agent.

Sự cố được đưa vào bởi một lỗi trong một lần nâng cấp dung lượng mạng trước đó, lộ ra sau một lần thay đổi mạng gần đây. Bộ trưởng Nội vụ Úc Tony Burke nói Microsoft ví sự việc với sự cố CrowdStrike 2024, một bản update lỗi chứ không phải tấn công. Đây mới là nguyên nhân sơ bộ, chưa phải kết luận cuối cùng, Microsoft chưa nói lần nâng cấp diễn ra khi nào, thay đổi nào làm lộ lỗi. Post-incident report thì chưa ra, bản preliminary dự kiến khoảng 17/11.

Microsoft phủ nhận tấn công mạng, thuyết DDoS của Dark Storm Team không khớp dữ kiện traffic

Trong lúc Microsoft chưa nêu nguyên nhân, đủ thuyết tấn công lan khắp mạng xã hội, cơ mà dữ kiện traffic kể chuyện khác hẳn đấy, anh em.

Patch Tuesday và lỗi Outlook bị khai thác vì sao không liên quan

Mình đối chiếu thì hãng phủ nhận nhiều lần. Hãng nói không có dấu hiệu cho thấy đây là kết quả của hoạt động độc hại hay tấn công mạng lúc 11:11 giờ Việt Nam ngày 13/11. Hãng nói không biết tới hoạt động độc hại nào lúc 12:46 giờ Việt Nam ngày 13/11.

Thuyết DDoS của nhóm hacktivist Dark Storm Team đăng availability checks cho địa chỉ web Outlook ngày 12/11. Tài khoản threat-intel VECERT gắn cờ nhưng dán nhãn alleged và unconfirmed, tức là bị cáo buộc và chưa xác nhận. Điểm phản bác mạnh nhất là DDoS thì traffic phải tăng vọt, trong khi Microsoft nói tổng traffic không tăng.

Đợt Patch Tuesday đó có lỗi spoofing Outlook đang bị khai thác mang mã CVE-2026-124194, CVE là mã định danh chung cho một lỗ hổng bảo mật đã biết. Advisory của Microsoft chưa nối lỗ hổng này với sự gián đoạn, gộp hai việc lại thành một nguyên nhân là vội.

Lệnh dừng bay của FAA trưa 13/11 cũng không liên quan tới Microsoft 365

FAA dừng bay toàn quốc trưa thứ Sáu 13/11 giờ ET vì communication issue ở các Air Route Traffic Control Centers. Microsoft nói chưa có dấu hiệu cho thấy lệnh ground stop toàn quốc của FAA liên quan tới bất kỳ dịch vụ Microsoft nào.

Khoảng trống hơn 25 giờ mới có nguyên nhân sơ bộ khiến người ta nghi ngờ

Hãng mới chỉ nói chưa có dấu hiệu và chưa biết tới hoạt động độc hại nào, chưa chứng minh tuyệt đối được rằng đây có phải tấn công hay không. Khoảng trống thông tin hơn 25 giờ mới có nguyên nhân sơ bộ chính là lý do người ta nghi ngờ, trên Hacker News có bình luận rằng chuyện fix health check trông giống broken automation hơn là tấn công.

Copilot Chat không tải được vì mất đường vào Exchange Online và Microsoft Graph

Copilot tê liệt vì mất đường vào mail, lịch và file, trong khi model AI phía sau vẫn chạy.

Copilot bản công việc trả lời mỏng, app consumer vẫn chạy

Bản công việc có thể không tải được hoặc không trả lời vì không với tới dữ liệu công việc như email, lịch và file. Anh em hỏi Copilot về mail hay lịch của mình thì nó trả lời mỏng hoặc im lặng hẳn. Mình thấy đây là điểm nhiều anh em hiểu lầm nhất, cứ tưởng AI tự sập.

MoneyControl ngày 13/11 dẫn trang status nói sự cố giới hạn ở sản phẩm doanh nghiệp. Nhưng Veon Media và WebProNews nói Outlook.com, OneDrive và Office for the web cũng không vào được.

Connector Claude lỗi hơn 4 tiếng rưỡi, ChatGPT cũng báo lỗi

Hệ lụy lan sang cả AI khác, ChatGPT cũng báo không hoạt động như mong đợi vì connector Microsoft. Status feed của Anthropic ghi sự cố connector Microsoft 365 từ 17:52 tới 22:23 UTC ngày 12/11, hơn 4 tiếng rưỡi, chưa có mục resolved. Lúc 00:52 giờ Việt Nam ngày 13/11, request tới mail, SharePoint, Teams chat và calendar qua connector có thể lỗi.

Model Claude và ChatGPT vẫn chạy, chỉ đường vào dữ liệu công việc bị cắt

Hãng nói đây là lỗi kỹ thuật không liên quan tới cyber hay AI và agent. AI gây sập thì chưa có bằng chứng, và AI cũng không tự sập, Copilot tê liệt vì không với tới được mail, lịch và file qua Exchange Online và Microsoft Graph.

Mail chỉ chậm chứ không mất, đừng reset mật khẩu hay dựng lại Outlook profile

Mình thấy đây là phần anh em cần nhớ nhất, mail chỉ chậm chứ không mất, xử lý sai lúc hoảng lại rắc rối hơn cả sự cố.

Timeout gửi mail kéo dài 48 giờ và backlog đã xử lý xong

Cửa sổ timeout gửi mail được kéo dài lên 48 giờ lúc 16:10 giờ Việt Nam ngày 13/11. Bản cập nhật cuối lúc 10:51 giờ Việt Nam ngày 14/11 xác nhận backlog mail đã xử lý xong và dịch vụ đã fully recovered.

Anh em không cần gửi lại mail trong cửa sổ sự cố. Chỉ khi người gửi nhận được bounce thì đó mới là dấu mail thật sự lỗi. Lỗi nằm ở server Microsoft nên reset mật khẩu hay dựng lại Outlook profile sẽ không giúp.

Kiểm tra mail chậm, lịch họp và form liên hệ sau khi hồi lại

Kiểm tra mail chậm từ 12 và 13/11, gọi điện cho khách hàng còn chờ, kiểm tra lịch vì lời mời và thay đổi họp trong lúc sự cố có thể chưa đi qua. Kiểm tra form liên hệ website và rà soát Defender quarantine, Safe Links và Purview DLP trong cửa sổ sự cố.

Mail phishing giả mã EX1550543 dọa xóa mail trong 24 giờ

Ngày 14/11, Microsoft Threat Intelligence xác nhận chiến dịch phishing ăn theo sự cố dùng đúng mã sự cố thật EX1550543. Mail giả mạo thông báo service health của M365, nói mail bị giữ trong lúc sự cố sẽ bị xóa trong 24 giờ nếu người nhận không bấm khôi phục.

Tiêu đề mẫu là Outage cộng mã 6 ký tự. Tên hiển thị người gửi là tiền tố riêng của tổ chức cộng Outage Notification hay Service Health. 3 domain gửi là moments-notice.com, planetmaison.com và newbooker.com.

Ước tính thiệt hại 7 tỷ USD và khoản SLA credit khoảng 2 USD mỗi user

Vụ sập này để lại một khoản tiền thật cho anh em dùng bản doanh nghiệp, đó là SLA credit, dù mỗi user nhỏ thôi.

26 triệu user thứ Năm, 51 triệu user thứ Sáu là ước tính của Anderson

7 tỷ USD là ước tính của Anderson Economic Group, một think tank, mình ghi rõ Microsoft chưa công bố số này. Chủ tịch Patrick Anderson nói có thể tới 26 triệu user ngày thứ Năm và 51 triệu user ngày thứ Sáu thực sự bị gián đoạn vận hành tới mức gây tổn thất kinh tế. NHS ở Anh hủy một số ca phẫu thuật.

Mức credit 25, 50 và 100 phần trăm, hạn claim 31/12/2026

Theo mình, hãng hứa 99,9 phần trăm uptime mỗi tháng cho Exchange Online, SharePoint Online và Teams. Dưới 99,9 phần trăm được 25 phần trăm, dưới 99 phần trăm được 50 phần trăm, dưới 95 phần trăm được 100 phần trăm phí dịch vụ bị ảnh hưởng.

Nếu toàn bộ user bị ảnh hưởng đủ 30 giờ thì uptime tháng 11 còn khoảng 95,8 phần trăm, rơi vào mức 50 phần trăm. Ước tính khoảng 2 USD mỗi user dựa trên giá Exchange Online Plan 1 khoảng 4 USD mỗi user mỗi tháng. Tức là 25 license khoảng 50 USD.

Credit không tự động, phải yêu cầu, chỉ tính phần phí của dịch vụ bị sập. Gói tiêu dùng và gói miễn phí hay trial không đủ điều kiện, credit là khoản trừ vào hóa đơn sau. Mua trực tiếp thì mở service request trong admin center kèm tenant ID, mua qua CSP thì đối tác nộp trong Partner Center.

Hạn 31/12/2026 mà LazyAdmin ghi là hạn Microsoft phải nhận claim qua kênh CSP, trong một tháng sau khi kết thúc tháng thanh toán xảy ra sự cố. Với kênh mua trực tiếp thì mở service request trong admin center, còn hạn riêng cho kênh này thì nguồn chưa ghi.

Kế hoạch làm việc 3 ngày không có mail cho lần sau

Lời khuyên thực tế nhất cho doanh nghiệp nhỏ không đủ tiền mua hệ thống dự phòng thì không phải mua thêm hệ thống, mà là viết trước quy trình làm việc 3 ngày không có mail.

Mail đã về đủ, còn mốc giờ kết thúc với nguyên nhân đầy đủ thì chờ báo cáo sau

Dịch vụ đã fully recovered, backlog mail đã xử lý xong, trang status hiện All products are operational vào trưa 14/11 giờ Việt Nam (06:41 giờ Anh, tức 13:41 giờ Việt Nam). Nhưng nguyên nhân đầy đủ, số user thật sự bị ảnh hưởng và bài học khôi phục vẫn nằm trong báo cáo chưa ra.

Bắt đầu từ 23:17 giờ Việt Nam ngày 12/11 với EX1550543, nguyên nhân sơ bộ lúc 00:57 giờ Việt Nam ngày 14/11 là lỗi nâng cấp dung lượng mạng, khôi phục xong lúc 10:51 giờ Việt Nam ngày 14/11. Mail chỉ chậm chứ không mất, Copilot bản công việc tê liệt vì mất đường vào Exchange Online và Microsoft Graph.

Còn giờ kết thúc, hồ sơ Microsoft vẫn mâu thuẫn. Nội dung bản cập nhật cuối ghi end of impact 16:10 UTC, tức 23:10 giờ Việt Nam ngày 13/11. Trường header MO1550821 ghi 04:10 UTC, tức 11:10 giờ Việt Nam, thông báo khôi phục cuối trên X lúc 06:09 UTC, tức 13:09 giờ Việt Nam ngày 14/11. Thời lượng vì vậy có nhiều cách đếm, 18 giờ theo BBC, khoảng 30 giờ theo Service Health, gần 38 giờ tính tới thông báo X cuối.

Anh em nào trải qua ngày 12 và 13/11 thì chia sẻ trải nghiệm thật của mình dưới bài.

Nguồn tham khảo

• Microsoft 365 Service Health qua Azure Blog
• Veon Media
• CNN
• TechCrunch
• Ookla Downdetector
• LazyAdmin SLA credit
• CyberKendra
• WebProNews
• Hacker News
• USA Today
• MoneyControl
• Ground Truth
• Wikipedia 2026 Microsoft outage
• NewsDrum