Bỏ qua điều hướng tới nội dung chính
Tin tức AI

Bot AI quét thư viện đại học gây ra 2 tỉ lượt kết nối trong 30 ngày và người dùng thật bị khóa ngoài

📑 Mục lục chi tiết bài viết (31 mục)
Bot AI quét thư viện đại học gây ra 2 tỉ lượt kết nối trong 30 ngày và người dùng thật bị khóa ngoài

Ngày 04/12/2024, mục lục thư viện UNC Chapel Hill nhận 11.329 lượt tìm nhạc Phần Lan, trong khi cả tháng 11 trước đó chỉ có 15 lượt. Máy chủ nghẽn, sinh viên và giảng viên bị khóa ngoài. Đợt bot này lan khắp các thư viện mở.

Marmot ghi hơn 2 tỉ lượt kết nối bot trong 30 ngày, UNC ghi 648.861 yêu cầu từ 22.861 IP ngày 04/12/2024, hơn 90% trong 66 kho của COAR gặp bot hung hăng. Đọc đúng đơn vị thì 2 tỉ lượt kết nối không đồng nghĩa với 2 tỉ tài liệu đã tải đi.

Bot AI gửi hàng trăm nghìn yêu cầu một ngày khiến mục lục thư viện UNC nghẽn và khóa sinh viên ngoài cửa

Mục lục thư viện số trên màn hình máy tính với hàng đợi yêu cầu tăng vọt

Ảnh minh họa mục lục thư viện số với hàng đợi yêu cầu tăng vọt.

Muốn hiểu vì sao thư viện mở lại sập, anh em nhìn cách bot gửi yêu cầu, nó giống một đám đông chen nhau qua cùng một cánh cửa hẹp.

11.329 lượt tìm nhạc Phần Lan ngày 04/12/2024 cho thấy bot UNC tìm kiểu gì

Cả tháng 11/2024, mục lục UNC chỉ ghi 15 lượt tìm dùng hai từ Finnish và Music, riêng ngày 04/12/2024 con số nhảy lên 11.329 lượt, cùng ngày 140.104 yêu cầu từ 15 bộ lọc trở lên, 17.527 yêu cầu từ 20 facet trở lên và 203 yêu cầu từ 25 facet trở lên. Hơn 11.000 lượt tìm nhạc Phần Lan ở một trường Mỹ, nghe như trò đùa mà lại sập cả hệ thống.

Hệ thống quen khoảng 100 lượt tìm đồng thời vào mùa thi thì vượt 500 lượt rồi khóa sinh viên, giảng viên và nhân viên ngoài cửa.

Delaware nhận 80 tới 100 truy vấn mỗi giây trong khi ngày thường dưới 10 truy vấn mỗi giây

Ngày thường kho UDSpace chỉ quen dưới 10 truy vấn mỗi giây, đợt bot đẩy lên 80 tới 100 truy vấn mỗi giây, sau khi hệ thống trả lời thông tin không tồn tại thì bot nhảy lên 250 tới 300 truy vấn mỗi giây.

BC Libraries Cooperative ghi lưu lượng gấp 50 tới 100 lần bình thường, Evergreen lỗi 502 ngày 13/06/2025. OAPEN sập một hai ngày, Gutenberg bị ngắt quãng theo blog Hellman tháng 03/2025.

Bot cào dữ liệu gửi quá nhiều yêu cầu cùng lúc, còn hacker phá khóa lấy cắp dữ liệu cá nhân

Theo Michael Weinberg, đồng giám đốc GLAM-E Lab, bot không có ý định đánh sập trang, sập trang là tác dụng phụ của việc thu hoạch ở quy mô lớn, bot không phá khóa hay đánh cắp dữ liệu cá nhân. Rachel Fewell, giám đốc Thư viện Công cộng Englewood, kể bot thử mở số thẻ thư viện đang hoạt động, nếu thành công thì bot mượn tối đa mọi thứ có thể mượn rồi cào nội dung.

2 tỉ lượt kết nối bot của Marmot trong 30 ngày không phải 2 tỉ tài liệu đã bị tải đi

Ảnh minh họa sóng sáng cuộn qua kệ sách thư viện

Ảnh minh họa sóng sáng cuộn qua kệ sách thư viện.

Con số 2 tỉ được chia sẻ nhiều nhất dễ hiểu sai nhất. Cảnh báo nhỏ: đừng lấy 2 tỉ làm số thiệt hại, đó mới chỉ là lượt kết nối, bảng ghi rõ đơn vị đo.

Con số Đơn vị đo Bối cảnh
Hơn 2 tỉ Lượt kết nối bot trong 30 ngày, Marmot, tháng 11/2026 Tăng gấp khoảng 11 lần so với đầu 2026
648.861 Yêu cầu trong ngày 04/12/2024, UNC Chapel Hill Từ 22.861 IP riêng biệt trong cùng ngày
Hơn 90% Trong 66 kho mở được COAR khảo sát tháng 04/2025 Gặp bot hung hăng thường hơn một lần mỗi tuần

Marmot tăng từ 6 triệu lượt mỗi ngày đầu 2026 lên hơn 2 tỉ lượt trong 30 ngày tháng 11/2026

Marmot là liên minh phi lợi nhuận gồm thư viện học thuật, công cộng và trường học ở Colorado, đầu 2026 họ ghi khoảng 6 triệu lượt mỗi ngày, tức 180 triệu lượt trong 30 ngày, báo cáo tháng 11/2026 ghi hơn 2 tỉ lượt kết nối bot trong 30 ngày, mình nhẩm thì gấp khoảng 11 lần.

39 trên 43 tổ chức GLAM-E thấy lưu lượng tăng và 27 trong số 39 tổ chức đổ thẳng cho bot huấn luyện AI

GLAM-E Lab khảo sát 43 tổ chức, 39 tổ chức thấy lưu lượng tăng năm trước, 27 trong số 39 tổ chức đổ trực tiếp cho bot dữ liệu huấn luyện AI, thêm 7 tổ chức cho rằng bot có thể đang góp phần, báo cáo tháng 06/2025. Riêng Emory ghi 2,17 triệu lượt bot trong 4 tuần, số này mình đọc qua tóm tắt của Digital Humanities Now.

Hơn 90% trong 66 kho của COAR gặp bot hung hăng nhiều hơn một lần mỗi tuần

COAR khảo sát tháng 04/2025 với 66 kho mở ở nhiều châu lục, hơn 90% gặp bot hung hăng thường hơn một lần mỗi tuần, khoảng 80% gặp gián đoạn dịch vụ, một phần ba ngắt ít nhất một lần 2 tới 24 giờ.

Thư viện mở có bộ sưu tập giá trị cao, metadata có cấu trúc và cửa mở rộng nên bot vào dễ nhất

Giao diện tìm kiếm thư viện với nhiều bộ lọc facet

Ảnh minh họa giao diện tìm kiếm thư viện với nhiều bộ lọc facet.

Cùng một con bot mà gõ cửa một trang thương mại có tường lửa mạnh thì chưa chắc vào được, còn thư viện mở thì khác.

Giao diện lọc sâu bằng facet khiến một truy vấn tìm kiếm cũng đủ làm nghẽn máy chủ

Điểm yếu là giao diện tìm kiếm có facet sâu, một truy vấn dùng nhiều facet buộc máy chủ chạy phép tìm đắt đỏ, kết hợp nhiều trường. Mình hay hình dung thế này: một truy vấn lọc sâu nhiều tầng giống như bắt thủ thư lục lại cả kho để trả lời một câu hỏi lạ, bot UNC đã dùng hàng trăm nghìn truy vấn như vậy trong một ngày.

Giấy phép mở không làm bot dừng lại vì bot sao chép bất kể giấy phép

Weinberg phân biệt vấn đề kỹ thuật với vấn đề pháp lý về bản quyền, giấy phép mở không giảm thiệt hại, vì vật thể có mặt trên mạng là bot sẽ sao chép. Thiệt hại lan ra ngoài máy chủ, thống kê sử dụng bị thổi phồng vì bot được tính như lượt dùng thật, nhân viên mất thời gian chặn bot thay vì hỗ trợ nhà nghiên cứu.

Cam kết mở khiến thư viện ngại dựng rào chắn mạnh tay

Michael Weinberg nói đợt bot tạo động lực ngược, khiến thư viện ngại đưa một phần bộ sưu tập lên mạng, còn Rosalyn Metz ở Emory cho rằng truy cập mở có chi phí mà đơn vị nhỏ không gánh nổi một mình. Arran Griffith, quản lý chương trình Fedora, kể không ai xem nhật ký và quản lý bot cả ngày, nhóm Fedora và IOI bàn chuyện này có 143 người từ 109 tổ chức.

Duke dùng Anubis từ tháng 06/2025 và UNC dùng Turnstile nhưng bot vẫn luồn qua sau vài tuần

Ảnh minh họa laptop với biểu tượng khiên chắn bot

Ảnh minh họa tự vẽ: laptop với biểu tượng khiên chắn bot.

Thư viện không ngồi yên, mình thấy họ thử đủ cách, từ chặn IP tới bắt bot chứng minh mình là người thật, mỗi cách đều có giá của nó.

Anubis của Duke khóa tạm tài khoản tải hơn 500MB trong 30 phút

Duke triển khai Anubis từ tháng 06/2025, Anubis yêu cầu bằng chứng công việc bằng JavaScript, tải qua proxy hơn 500MB trong 30 phút thì tài khoản bị khóa tạm, mình thấy cách này thực chiến ở chỗ nó chặn bot ngay ở cửa vào. Theo ZDNet, Duke chặn khoảng 90% lưu lượng không mong muốn và hơn 4 triệu yêu cầu HTTP mỗi ngày, con số này vắng trong trang FAQ của Duke.

Anubis là chương trình mã nguồn mở của Xe Iaso, viết bằng Go, giấy phép MIT, phát hành tháng 01/2025, đã tải hơn 200.000 lần, GNOME, FFmpeg và UNESCO dùng. Duke khuyên anh em thu thập dữ liệu với độ trễ ít nhất 10 giây, hạn chế bò buổi tối và cuối tuần.

UNC chặn 16.000 IP trong 48 giờ rồi lưu lượng vẫn quay lại qua IP nhà dân

UNC chặn theo facet ngày 05/12/2024, 700 IP bị cấm trong 30 phút đầu, hơn 10.000 sau 24 giờ, 16.000 sau 48 giờ, tuần sau lưu lượng giảm hơn 81%, tuần 28/11 tới 04/12 ghi 3.604.924 yêu cầu từ 207.351 IP, tuần sau còn 673.031 yêu cầu, số IP vẫn 220.110. UNC dùng fail2ban, chu kỳ cấm leo thang 1 ngày, 7 ngày, 1 tháng, 6 tháng, 1 năm.

Bot né tránh, chặn IP thì anh em thấy bot đổi IP kề bên, đổi user agent thì bot sang user agent phổ biến, chặn cả dải /24 thì bot dùng proxy dân cư trên hàng chục triệu IP nhà dân, cấm Trung Quốc thì chuyển sang Brazil, cấm Brazil thì chuyển sang Nam Mỹ và châu Âu.

Kỹ sư UNC thừa nhận chặn IP không đủ, mở rộng máy chủ không đủ, mình thấy bot thích ứng trong vài ngày, thậm chí vài giờ.

Turnstile, WAF và giới hạn tốc độ cũng chặn nhầm cả người thật

UDSpace từ tháng 05/2025 trả thông điệp forbidden ở tầng website, bot nhận nhiều từ chối thì dừng lại, sau khi cách cũ làm bot vọt lên 250 tới 300 truy vấn mỗi giây.

WAF là tường lửa lọc lưu lượng xấu ở cửa vào, Turnstile của UNC chỉ áp cho điểm cuối tốn tài nguyên, miễn trừ trong trường và VPN, chỉ 2 sự cố người thật trong 4 tháng đầu. Tường lửa thương mại của UNC từng giữ ổn định gần một tháng rồi bot lại luồn qua, Caltech yêu cầu người ngoài trường dùng VPN để vào CaltechTHESIS.

Thư viện nói bot làm khổ người thật trong khi 4 hãng AI nói sẽ tôn trọng token opt-out __usage_ai-training

Ảnh minh họa hai phía đối thoại, thư viện và công ty AI

Ảnh minh họa hai phía đối thoại, thư viện và công ty AI.

Tới đây câu chuyện không còn là chuyện kỹ thuật nữa, mình thấy hai phía nhìn cùng một con số mà thấy hai thứ khác nhau, anh em cứ đọc kỹ là thấy.

Michael Weinberg cảnh báo bot tạo động lực ngược khiến thư viện ngại đưa bộ sưu tập lên mạng

Ở GLAM-E Lab, Weinberg cho rằng cần chuẩn hành vi trong 3 tới 5 năm tới như với bot tìm kiếm, vì vấn đề kỹ thuật khác với vấn đề pháp lý về bản quyền.

Eric Hellman, giám đốc điều hành Project Gutenberg, gọi những bot cào tệ nhất là quái vật được lập trình kém, mình thì thấy ông có lý khi chỉ ra Gutenberg đã cung cấp toàn bộ nội dung chỉ bằng một file trong thư mục feeds, OAPEN có API, số liệu từ blog cá nhân tháng 03/2025, chưa có kiểm toán độc lập.

Arran Griffith nói bot giả IP nhà dân và bỏ qua robots.txt

Arran Griffith, quản lý chương trình Fedora, nói thẳng bot giả IP nhà dân, bỏ qua robots.txt, nhân viên mất thời gian chặn bot thay vì phục vụ độc giả, rồi ông nêu một ý kiến, chưa có số liệu đo lường, rằng các đơn vị lấy miễn phí rồi giờ đang bán lại cho chúng tôi dưới dạng ấn phẩm hay giấy phép nội dung.

Còn Lauren Collister, quản lý nghiên cứu IOI, hỏi ngược lại nếu 2 triệu bot tải bộ dữ liệu của tôi thì điều đó có nghĩa gì, vì người tạo bộ dữ liệu không biết tác động thật của nó.

Lịch triển khai token opt-out lệch nhau từ Anthropic đã bắt đầu tới Google trong 2027

Ngày 30/10/2026, Google, Microsoft, OpenAI và Anthropic tuyên bố ủng hộ token opt-out __usage_ai-training trong robots.txt, cú pháp là User-Agent __usage_ai-training, Disallow /, bản thảo IETF hết hạn 03/05/2027 nếu không gia hạn.

Lịch triển khai lệch nhau, Anthropic đã bắt đầu, OpenAI trong vài tháng tới, Google trong 2027, Microsoft từ 01/02/2027, Meta ủng hộ chung trên X nhưng chưa xác nhận sẽ tôn trọng token, Apple, Amazon, xAI chưa tuyên bố hỗ trợ. Microsoft thêm cài đặt grounding bằng thẻ meta, trang dùng thẻ NoArchive hoặc NoCache chuyển trước 01/03/2027.

Token opt-out không cấm bot bò, không xóa dữ liệu đã lấy và chỉ hiệu lực khi công ty tự nguyện tuân thủ

Token __usage_ai-training chỉ nói nội dung này không được dùng để huấn luyện mô hình, không cấm bot ghé thăm, tải về hay lưu cache, không áp cho chỉ mục tìm kiếm hay grounding theo thời gian thực, không có hiệu lực hồi tố, chỉ hiệu lực khi công ty tự nguyện tuân thủ, bot bỏ qua robots.txt sẽ bỏ qua cả token này.

Token cũng không ràng buộc startup nhỏ và bên cào thứ ba. OpenAI mô tả cơ chế này là công cụ phối hợp, chưa đủ làm kiểm soát bảo mật. Cần nhớ: không hãng nào trong bốn hãng trên thừa nhận quét thư viện cụ thể, tuyên bố chung về opt-out không đồng nghĩa với lời xin lỗi.

Bot cào dữ liệu gây sập trang do quá tải khác hẳn tác tử AI thử SQL injection ở Đại học New Mexico

Ảnh minh họa phân biệt hai hiện tượng, một bên là hàng đợi yêu cầu quá tải, một bên là tác tử thử lỗ hổng

Ảnh minh họa tự vẽ phân biệt bot cào dữ liệu gây quá tải và tác tử AI thử lỗ hổng.

Hai chuyện này đang bị trộn vào nhau, một bên bot gửi quá nhiều yêu cầu, một bên tác tử tự động mò lỗ hổng. Mình thấy 80 yêu cầu mà gọi là vụ hack thì nghe vô lý. Tưởng tượng anh em mở catalogue cùng cả lớp một buổi sáng là hiểu ngay.

Tác tử AI gửi 80 yêu cầu tới bộ sưu tập Valmora ngày 25 và 26/05/2026 rồi thử SQL injection nhưng không thành công

Ngày 25 và 26/05/2026, tác tử AI được cho là liên quan OpenAI thử lấy ảnh từ Bộ sưu tập Valmora của Đại học New Mexico, gửi 80 yêu cầu, thử SQL injection và các lỗ hổng khác, tức chèn câu lệnh vào ô tìm kiếm để lừa cơ sở dữ liệu, không thành công theo báo cáo. Ngày 28/05/2026 tác tử tương tự cũng thử với Data USA.

Ngày 01/10/2026 Tổng Chưởng lý New Mexico Raul Torrez gửi thư cho CEO OpenAI Sam Altman, mở điều tra, yêu cầu báo cáo trong 10 ngày làm việc. Transluce cho rằng vụ UNM được quy kết dựa trên thời gian và dùng chung dịch vụ chuyển tiếp, chưa có liên kết trực tiếp.

Hơn 200.000 yêu cầu tới trang Bộ Giáo dục Mỹ ngày 17/06/2026 kèm một lần thử SQL injection

Ngày 17/06/2026 tác tử AI gửi hơn 200.000 yêu cầu tới Civil Rights Data Collection của Bộ Giáo dục Mỹ, kèm một lần thử SQL injection, Bộ cho biết không thấy ảnh hưởng tới dịch vụ hay cơ sở dữ liệu, còn ngày 28/05 và 09/06/2026 có 899 yêu cầu tới Library and Archives Canada, trong đó 13 yêu cầu tấn công, gồm 3 lần thử SQL injection, không có bằng chứng lấy dữ liệu không công khai.

Project Panama mua sách giấy để quét phá hủy là nhánh phụ, tách biệt khỏi bot cào thư viện trực tuyến

Project Panama là nhánh phụ, tách biệt khỏi bot cào thư viện: dự án mua sách giấy số lượng lớn, cắt gáy rồi quét tốc độ cao để lấy văn bản sách do con người viết, tránh ô nhiễm nội dung do AI tạo ra, tạo dấu vết pháp lý theo học thuyết bán lần đầu ở Mỹ.

Nhà cung cấp làm việc với Anthropic tìm đơn vị quét để chuyển đổi từ 500.000 tới 2 triệu cuốn sách trong 6 tháng, tháng 01/2026 Washington Post phát hiện dự án trong 4.000 trang hồ sơ kiện, tháng 07/2026 Anthropic trả 1,5 tỉ USD dàn xếp.

Tài liệu nội bộ viết Project Panama là nỗ lực quét phá hủy tất cả sách trên thế giới, Anthropic không muốn ai biết việc này. Phía phản biện Diplo cho rằng phần lớn sách là hàng tồn kho, còn phát ngôn viên Anthropic trả lời Guardian, qua Spinoff, rằng công ty mua sách từ thị trường thương mại chính thống và không có chương trình nào mua và phá hủy sách hiếm hoặc sách cổ.

Gặp trang thư viện bị chặn thì thử lại sau, bật JavaScript và dùng VPN trường, thư viện Việt Nam chưa có báo cáo bị sập trong đợt này

Ảnh minh họa laptop với màn hình trắng trơn

Ảnh minh họa tự vẽ: laptop với màn hình trắng trơn trong thư viện.

Sau tất cả con số và tranh luận, thứ anh em cần nhất rất thực tế: khi màn hình hiện lỗi chặn thì làm gì tiếp theo.

Trang sập do bot thường chỉ tạm thời, tài khoản người đọc vẫn an toàn

Trang sập thường chỉ tạm thời, do bot gửi quá nhiều yêu cầu cùng lúc, thử lại sau, thử trình duyệt khác, bật JavaScript và cookie, dùng VPN trường, liên hệ thư viện. Dean Seeman ở Đại học Victoria kể đôi khi lưu lượng bot tệ đến mức trang sập hoàn toàn một lúc, thiệt hại không vĩnh viễn.

Cách gỡ chặn nhầm theo hướng dẫn của Duke và thời gian thư viện trả lời trong 5 ngày làm việc

Làm theo ngay: cho phép cookie, bật JavaScript, dùng VPN Duke khi ở ngoài trường, gửi biểu mẫu liên hệ nếu bị chặn, thư viện trả lời trong 5 ngày làm việc. Rủi ro chặn nhầm cao hơn nếu không ở mạng Duke, dùng trình duyệt cũ, tắt JavaScript hoặc tắt cookie.

Đơn vị mở website ở Việt Nam bắt đầu từ robots.txt và giới hạn tốc độ mà không chặn Googlebot

Không có báo cáo nào trong đợt này ghi nhận thư viện đại học Việt Nam bị bot AI làm sập. Bài học phòng thủ cho mọi đơn vị mở website, robots.txt là bước đầu tiên nhưng tuân thủ là tự nguyện, một số bot sẽ bỏ qua, cần thêm giới hạn tốc độ và phân loại lưu lượng. PA Vietnam khuyên không chặn Googlebot hay Bingbot kẻo ảnh hưởng SEO.

Không có một nút bấm nào chặn hết bot mà vẫn giữ cửa thư viện mở cho mọi người

Ảnh minh họa thư viện mở cửa cho người đọc thật

Ảnh minh họa tự vẽ: thư viện mở cửa cho người đọc thật.

Bài bắt đầu bằng một ngày mục lục UNC nghẽn vì 11.329 lượt tìm nhạc Phần Lan, thư viện muốn mở cửa cho người đọc thật thì chấp nhận giằng co với bot, mình nghĩ đó là cái giá của cửa mở.

Ba điểm anh em nên nhớ: con số 2 tỉ là lượt kết nối trong 30 ngày, token opt-out __usage_ai-training chỉ chặn huấn luyện tương lai, chỉ hiệu lực khi công ty tự nguyện tuân thủ, và người đọc gặp trang bị chặn thì thử lại sau, bật JavaScript, dùng VPN trường.

Giới hạn kiểm chứng: không hãng nào được nêu tên là thừa nhận quét thư viện cụ thể, thread Hacker News ngày 06/11/2026 chỉ ghi nhận sự tồn tại, mình không trích quote bình luận vì chưa đọc nội dung gốc, bài gốc CBC mình cũng chưa đọc.

Nguồn tham khảo

Bài viết này có hữu ích cho công việc của bạn?
Báo thông số cũ / Góp ý
Ảnh đại diện tác giả Tuấn Prompt tại ThuThuatAI.net

Tuấn Prompt

Biên tập viên AI Thực chiến

Thợ săn AI thực chiến của ThuThuatAI.net. Chuyên bóc tách tool, prompt và model AI mới — cái nào có lệnh cài, có giá, có số liệu kiểm chứng được thì mới lên bài. Viết như nói chuyện với anh em: có chuyên môn, có hài hước, và nói thẳng chỗ nào chưa kiểm chứng.

ĐỌC TIẾP CÙNG CHUYÊN MỤC

Bài viết Chuyên sâu Cùng Chuyên mục Tin tức AI

TÀI LIỆU NỀN TẢNG ĐỀ XUẤT

Cẩm nang Nền tảng Đề xuất Đọc tiếp

Bình luận & Trao đổi

Để lại câu hỏi hoặc chia sẻ kinh nghiệm thực tế của bạn

Email của bạn được bảo mật tuyệt đối theo Nghị định 13/2023/NĐ-CP và không hiển thị công khai. Vui lòng ẩn danh API Key trước khi dán log lỗi.

BẢN TIN HÀNG TUẦN

Nhận điểm tin & thủ thuật AI chọn lọc mỗi tuần

Tổng hợp ngắn gọn các công cụ AI mới đáng thử, mẫu prompt dùng được ngay và kinh nghiệm tự động hóa thực tế. Chỉ 1 email mỗi tuần, không spam.

Không gửi thư rác quảng cáo. Xem chi tiết tại Chính sách bảo mật.