Nhiều bộ bảo mật cải thiện bảo vệ trong thử nghiệm trong thế giới thực

Các nhà nghiên cứu tại AV-So sánh dựa trên công việc không mệt mỏi để kiểm tra sức mạnh bảo vệ của các bộ bảo mật theo cách gần nhất có thể với trải nghiệm của người dùng trong thế giới thực. Mỗi ngày, họ phải chịu gần hai mươi bộ phần mềm tấn công phần mềm độc hại thực tế, sử dụng một hệ thống tự động để ghi lại mức độ tốt của sản phẩm đối với thử nghiệm. Trong sáu tháng qua, họ đã trải qua hơn 3.000 trường hợp thử nghiệm. Kết quả nửa năm là một, và một số lượng sản phẩm ấn tượng đã được cải thiện kể từ báo cáo cuối cùng như vậy.

Tầm quan trọng của cỡ mẫu

Rõ ràng bằng trực giác rằng một thử nghiệm như thế này sẽ cho kết quả chính xác hơn với bộ mẫu lớn hơn, nhưng lần này, AV-So sánh đã giải thích rõ ràng về hậu quả của một bộ mẫu quá nhỏ. Một báo cáo riêng biệt đơn giản đưa ra số liệu thống kê và chúng có một chút ngạc nhiên.

Giả sử một sản phẩm cụ thể đã phát hiện 80 phần trăm trong số 10.000 mẫu phần mềm độc hại. Bây giờ giả sử bạn chọn chỉ mười mẫu ngẫu nhiên từ cùng một bộ sưu tập. Sử dụng biểu đồ của tất cả các kết quả có thể xảy ra, báo cáo chứng minh rằng việc đạt được cùng tỷ lệ phát hiện, tỷ lệ phát hiện cao hơn hoặc tỷ lệ phát hiện thấp hơn đều có khả năng gần như bằng nhau. Vâng, cắt giảm đến mười mẫu là một trường hợp cực đoan, nhưng nó chắc chắn làm cho điểm.

Phương pháp kiểm tra

Sử dụng các phương pháp tìm kiếm tự động và thủ công, nhóm nghiên cứu thu thập các URL độc hại trong thế giới thực mỗi ngày. Họ đặc biệt chọn kết hợp các liên kết trực tiếp đến các tệp phần mềm độc hại và các trang web tải xuống theo ổ đĩa. Trải qua từng mẫu từng ngày một, họ đồng thời hiển thị tất cả các sản phẩm cho một URL cụ thể và xem cách mỗi sản phẩm phản ứng. Nếu bất kỳ thành phần nào của bộ phần mềm chống lại phần mềm độc hại, đó là một thành công. Nếu phần mềm độc hại trượt qua và thiết lập vệ sinh, đó là một thất bại.

Đôi khi bộ phần mềm sẽ bật lên với thông báo rằng nó đã tìm thấy thứ gì đó, hỏi người dùng xem có nên chặn hay cho phép không. Đối với mục đích thử nghiệm, các nhà phân tích AV-So sánh luôn chọn cho phép hành động. Một sản phẩm bảo vệ thành công hệ thống mặc dù hành động này được ghi nhận đầy đủ; một sản phẩm cho phép hệ thống bị xâm phạm do người dùng lựa chọn sai một nửa tín dụng.

Khi một trường hợp thử nghiệm cụ thể được hoàn thành, tất cả các hệ thống thử nghiệm sẽ được tái tạo lại trạng thái tiền phần mềm độc hại, sẵn sàng cho trường hợp thử nghiệm tiếp theo.

Tích cực sai

Kết quả dương tính giả xảy ra khi phần mềm bảo mật chặn nhầm quyền truy cập vào tệp hoặc trang web hợp pháp. Rõ ràng bạn không muốn bộ bảo mật của mình xóa sạch các tệp hợp lệ hoặc tránh xa các trang web vô hại. AV-So sánh đã thử nghiệm mỗi sản phẩm với khoảng một nghìn tên miền được chọn ngẫu nhiên và khoảng một trăm chương trình mới và phổ biến. Đối với mục đích thử nghiệm, họ đã tải xuống từng chương trình từ trang web của nhà phát triển, không phải từ một cổng tải xuống.

Báo cáo lưu ý rằng phân tích bảo mật dựa trên danh tiếng và thống kê thường sẽ chặn hoặc cảnh báo về các chương trình và trang web hoàn toàn mới. Nó tuyên bố, "Mặc dù các kỹ thuật bảo vệ như vậy … giúp tạo ra điểm số cao … điều này cũng có thể dẫn đến việc phát hiện / chặn các tệp và URL vô tội / sạch chỉ vì chúng … quá mới." Norton, một người ủng hộ mạnh mẽ cho loại phát hiện này, không tham gia vào thử nghiệm so sánh AV.

Cải thiện nhiều

Hơn một nửa số sản phẩm có trong báo cáo hiện tại đạt điểm cao hơn so với phiên bản trước của báo cáo này. Vipre, McAfee và Fortinet đều thất bại trong lần trước, thậm chí không kiếm được TIÊU CHUẨN, điểm thấp nhất. Lần này, Fortinet và McAfee đã xếp hạng NÂNG CAO và Vipre đã đạt được TIÊU CHUẨN. Cả ba đều bị giảm xếp hạng do dương tính giả; chỉ dựa trên phát hiện McAfee và Fortinet sẽ xếp hạng ADVANCED +, xếp hạng cao nhất.

eScan đã nhảy từ TIÊU CHUẨN sang NÂNG CAO +, trong khi vẫn còn!, ESET và Trend Micro đã chuyển từ NÂNG CAO sang NÂNG CAO +. Một số người khác trước đây đã xếp hạng TIÊU CHUẨN đã quản lý xếp hạng NÂNG CAO trong thời gian này.

Bitdefender thường xuyên kiếm được điểm số cao nhất trên bảng trong các bài kiểm tra phòng thí nghiệm độc lập. Chỉ dựa vào phát hiện phần mềm độc hại, nó sẽ đánh giá ADVANCED +, như lần trước, nhưng các kết quả dương tính giả đã đánh bại nó xuống NÂNG CAO. Điều tương tự cũng xảy ra với F-Secure và BullGuard.

Thử nghiệm động toàn bộ sản phẩm AV-So sánh là một trong những thử nghiệm tốn nhiều công sức nhất mà tôi gặp phải. Sau đó, không có gì đáng ngạc nhiên khi phòng thí nghiệm dựa vào sự hỗ trợ của Đại học Innsbruck và từ chính phủ Áo. Đó là rất nhiều công việc, nhưng kết quả cuối cùng là một thử nghiệm gần đúng với mức độ sản phẩm sẽ bảo vệ người dùng trong thế giới thực.