Testowanie wyników detekcji "na żądanie" to standardowy sposób pomiaru skuteczności produktów AV. Stosowane jest przez największe firmy zajmujące się testowaniem antywirusów.
Jest bardzo czytelne i daje pewien liczbowy,
obiektywny wynik. Metodzie trudno cokolwiek zarzucić.
Całkowicie czym innym jest wyciąganie szerszych
wniosków na podstawie takich testów. A tu jest wyjątkowo łatwo o błąd.
Zacząć można od tego co się testuje. Często w zestawach testowanych plików znajdują się pliki uszkodzone, nie działające i nie będące w stanie zagrozić użytkownikowi.
Jeśli jakiś AV takich plików nie wykrywa nie znaczy, że jest gorszy
Mogą też być w nich pliki czyste, błędnie uznane przez testujących jako malware.
Tu potrzebna by była weryfikacji plików przez laby AV ;]
Ponadto detekcja zależy od wybranych ustawień i zależnie od nich może się znacząco różnić, a niektóre firmy AV używają dodatkowych technik przy skanowaniu plików np podczas ściągania z internetu.
Same AV są w stanie wykryć malware "na różnych poziomach". Np mogą zablokować wykryć skrypt/iframe przekierowujący na stronę z exploiem, zablokować dostęp do strony internetowej która serwuje exploit, wykryć plik exploita, zablokować jego działanie przez detekcję behawioralną (HIPS), wykryć plik który jest ściągany przez exploit lub zablokować go na poziomie HIPSa.
Wystarczy, żeby antywirus był w stanie przerwać ten łańcuszek a do infekcji nie dojdzie.
Liczy się też czas, jaki upływa od pojawienia się danego zagrożenia do przygotowania detekcji.
Reasumując - dobrze przeprowadzone testy on demand z weryfikacją próbek to nie "amatorszczyzna", ale dają jedynie wycinkową informację o testowanym produkcie