Microsoft vượt trội so với symantec trong kiểm tra chống vi-rút

Trong thử nghiệm theo yêu cầu mới nhất từ ​​AV-So sánh, khá nhiều sản phẩm bị mất điểm do dương tính giả, xác định nhầm chương trình hợp lệ là phần mềm độc hại. Symantec và Microsoft đã chấm điểm giống nhau dựa trên việc phát hiện các mẫu phần mềm độc hại, nhưng Symantec bị mất điểm do dương tính giả. Mặc dù vậy, có nhiều chuyện hơn thế.

Quét theo yêu cầu

Thử nghiệm quét theo yêu cầu cho thấy mỗi sản phẩm được thử nghiệm có một bộ "mẫu từ những tuần / tháng trước đang / đang đánh vào người dùng trong lĩnh vực này". Các mẫu được phân tích sâu hơn để phân loại các tệp tương tự và giảm kích thước tập mẫu, do đó "mỗi lần bỏ lỡ được dự định đại diện cho một nhóm bị bỏ lỡ". Thử nghiệm đặc biệt này sử dụng 136.610 mẫu gần đây. Điểm ban đầu của sản phẩm là tỷ lệ phần trăm mẫu được phát hiện.

Đáng ngạc nhiên, Norton AntiVirus của Symantec đã chứng minh tỷ lệ phát hiện thấp nhất (trước khi xem xét dương tính giả), với 91, 2% phát hiện. Microsoft Security Essentials tăng cao hơn, phát hiện 92 phần trăm mẫu. Với 99, 9% được phát hiện, G Data AntiVirus đứng đầu danh sách. Một số người khác quản lý tốt hơn 99 phần trăm.

Sai tích cực

Các nhà nghiên cứu so sánh AV sử dụng một kỹ thuật phân cụm để xác định các điểm cắt tách biệt giữa NÂNG CAO + (xếp hạng hàng đầu) từ NÂNG CAO và NÂNG CAO từ TIÊU CHUẨN. Đó là điểm khởi đầu, nhưng một sản phẩm có nhiều (16 đến 50) dương tính giả sẽ mất một mức xếp hạng và một sản phẩm có rất nhiều (51 đến 100) sẽ mất hai. Bất kể xếp hạng ban đầu của nó là gì, nếu một sản phẩm hiển thị "rất nhiều" (hơn 100) dương tính giả, nó sẽ luôn nhận được xếp hạng không vượt qua của KIỂM TRA.

Chín trong số hai mươi sản phẩm được thử nghiệm bị mất một mức đánh giá do nhiều kết quả dương tính giả. Ít nhất không ai trong số họ có rất nhiều hoặc "điên nhiều" FP. Norton, bắt đầu với xếp hạng TIÊU CHUẨN, chìm xuống KIỂM TRA, cũng như AhnLab. Trong vòng tròn của người chiến thắng, với xếp hạng ADVANCED +, chúng tôi tìm thấy Avira, Bitdefender, BullGuard, F-Secure và Kaspersky. Nhấn vào đây để xem báo cáo đầy đủ.

Lưu ý rằng bạn sẽ không tìm thấy Microsoft được liệt kê trong phần giải thưởng. Lúc đầu, tôi nghĩ đây là một sự giám sát, nhưng Peter Stelzhammer, người đồng sáng lập AV-So sánh đã đặt tôi thẳng tiến. "Chúng tôi quyết định không liệt kê Microsoft trong Phần Giải thưởng nữa (và trong bất kỳ thử nghiệm nào nữa)", Stelzhammer giải thích, "vì tính năng bảo vệ bên ngoài của họ được bật trong Windows theo mặc định." Theo cách tương tự, AV-Test đã chọn coi điểm của Microsoft là điểm cơ bản tối thiểu.

Tích cực sai

Symantec trong nhiều năm đã hài lòng rằng một số lượng tích cực sai là không hữu ích. Các nhà nghiên cứu của Symantec khuyến nghị rằng bất kỳ xét nghiệm dương tính giả nào cũng bao gồm trọng số dựa trên mức độ phổ biến của tệp liên quan. Họ cho rằng hệ thống phân tích Norton Insight của họ loại trừ khả năng dương tính giả trên bất kỳ tệp nào ngoại trừ những tệp có tỷ lệ lưu hành thấp. Một tài liệu thứ cấp từ AV-So sánh cho thấy họ có thể đúng.

Phần phụ lục sai của Báo cáo theo yêu cầu liệt kê mọi tệp đơn lẻ mà mỗi sản phẩm được phát hiện nhầm là phần mềm độc hại, cùng với tên phần mềm độc hại được sử dụng và ước tính mức độ phổ biến. Họ đã xác định năm cấp độ, từ "có thể ít hơn một trăm người dùng" đến "có thể vài trăm nghìn (hoặc hàng triệu)."

Để xem, tôi chọn số lượng người dùng đại diện ở mỗi cấp, 50 người dùng cho cấp đầu tiên và gấp mười lần cho mỗi cấp cao hơn, với 500.000 người dùng các chương trình phổ biến nhất. Sau đó, tôi đã tính số lượng người dùng có thể bị ảnh hưởng bởi các kết quả dương tính giả của mỗi sản phẩm. Các kết quả, được hiển thị trong biểu đồ bên dưới, gợi ý cho tôi rằng AV-So sánh nên xem xét sử dụng phép tính FP có trọng số tương tự.

Trong biểu đồ này, các sản phẩm bị mất một mức xếp hạng do dương tính giả được hiển thị bằng chữ in nghiêng đậm. Tính toán có trọng số của tôi có Norton FP có khả năng ảnh hưởng đến 13.750 người dùng. Một số sản phẩm không nhận được dựa trên số lượng FP thực sự có hiệu ứng lớn hơn Symantec, bao gồm cả người chiến thắng Kaspersky và F-Secure.

Emsisoft có số lượng dương tính giả lớn nhất, 38 trong số đó. Thật kinh khủng, phải không? Nhưng không có mức nào trong hai mức độ phổ biến cao nhất, do đó, hiệu quả lý thuyết của nó ít hơn so với Sophos, với tổng số 6 FP, hoặc ESET, với 9 FP.

McAfee đã đạt được đánh giá NÂNG CAO trong bài kiểm tra cơ bản theo yêu cầu. Với 15 kết quả dương tính giả, chỉ thiếu con số sẽ khiến nó mất một mức xếp hạng. Tuy nhiên, tính toán có trọng số của tôi có khả năng ảnh hưởng đến hơn hai trăm nghìn người dùng, gần gấp 16 lần so với Norton.

Đây không phải là những con số trong thế giới thực, chỉ là một thử nghiệm tư duy để giúp hiểu mức độ phổ biến trong việc đo lường dương tính giả có nghĩa là gì. Sau khi trải qua bài tập này, tôi đã hy vọng rằng AV-So sánh sẽ tìm ra cách đưa yếu tố phổ biến vào các xét nghiệm dương tính giả của họ. Chỉ cần đếm số rõ ràng là không đủ.