SafeGroup

adrian1877 napisał(a):Nie rozumiem dalej. Ale jak piszesz w ostatnim zdaniu -

Cytat: To nie procenty decydują wyniku końcowym całego testu, lecz wygrana w pojedynku.

Ale chyba procenty decydują o wygranym pojedynku? Czy się mylę.

Jeśli mogę wtrącić swoje trzy grosze to przede wszystkim dzięki za fajną zabawę (bo w ten sposób traktuję te testy). A o wygranej decydują procenty, lecz pojedynek między dwoma programami toczony jest tego samego dnia i aktualizacja również jest na ten sam dzień. Jeśli dobrze rozumiem to walka w grupie również będzie toczona tego samego dnia, na podstawie aktualizacji z tego właśnie dnia. Zatem o końcowym zwycięstwie zdecydują właśnie procenty lecz w nieco pośredni sposób Pozdrawiam

adrian1877 napisał(a):Nie rozumiem dalej. Ale jak piszesz w ostatnim zdaniu -

Cytat: To nie procenty decydują wyniku końcowym całego testu, lecz wygrana w pojedynku.

Ale chyba procenty decydują o wygranym pojedynku? Czy się mylę.

Chyba się pochlastam.

Jeden dzień:

Cytat: Siódme starcie:

ZoneAlarm Free Antivirus vs Panda Cloud Antivirus

1000 malware

Panda - 909/1000 = 90,9 %

ZoneAlarm - 455/1000 = 45,5 %


140 malware

Panda - 127/140 = 90,7 %

ZoneAlarm - 26/140 = 18,5 %

Do kolejnej rundy przechodzi Panda Could.

Jak widać jest jeden pojedynek, jedna aktualna paczka, parę minut skanowania i jeden zwycięzca.

Drugi dzień:

Ósme starcie:


174 malware

Ad-Aware - 156/174 = 89,6%

FortClient Lite - 145/174 = 83,3 %


246 malware

Ad-Aware - 202/246 = 82,1%

FortClient Lite - 186/246 = 75,6 %

Tak więc kolejną rundę zaliczy: Ad-Aware.


Inna paczka inne programy i aktualne aktualizacje.


Więc co ma piernik do wiatraka ?Jak widać wyżej dalej przechodzą dwa programy z wyższą wykrywalnością w dniu skanu. Tu np: Panda Could i Ad-Aware. Tak więc kolejne starcie to Panda Could vs Ad-Aware , gdzie to jest nowy dzień, nowa aktualizacja i nowe paczki i następny zwycięzca.

Jak teraz nie zrozumiecie to się poddaję.

Widocznie Ty nie rozumiesz prostych kwestii. Napiszę Ci najprościej jak umię bo inaczej nie potrafię i widzę upierasz się przy swoim , ale nie masz racji niestety cały czas.

Dzisiaj sprawdzasz3 aplikacje tak? Tak. i teraz te 3 programy mają bazę sygnatur z dzisiaj - tak. Tak. mają w niej np . malware o nazwie xx , xxy, xxyy - tak. Tak.
Jutro kolejne3 aplikacje - tak. Tak. I teraz przeczytaj uważnie. Po dobie zanim zaktualizujesz bazę jutro będą miały więcej malware w bazie bo zapewne użytkownicy prześlą próbki i dodadzą do bazy - tak. Tak. i te kolejne jutro 3 aplikacje będą miały próbkixx, xxy, xxyy i jeszcze xyz, xyzx itp.
Widzisz różnicę kolego? Zwiększasz szansę tych programów w stosunku do tych dzisiejszych bo one nie będą miały tych próbek niestety po upływie danego czasu. Przecież to proste i logiczne, co tu rozumieć?
Znaczenie tu ma właśnie aktualizacja programów w jednym dniu - szanse są równe i bez różnicy kiedy zrobisz pojedynek danej grupy - za tydzień , za miesiąc , za rok - proste. Tak. Proste - jak dla mnie.
No już cholercia prościej nie umię.

---

Dodano: 01 cze 2012, 21:19

Ma nie być nowych aktualizacji w kolejnym dniu i tyle. Żadnych aktualnych w kolejnym dniu przed testem danego obojętnie jakiego programu!!
Wszystkie w jednym dniu we wszystkich programach av i później je na off albo neta na off!! Teraz robisz testy , kiedy chcesz , jutro, za 2 dni , po miesiącu , podajesz wyniki.

andrzej76 mam wrażenie że traktujesz te testy zbyt całościowo. Przecież w tym teście nie ma znaczenie ze programy z następnego dnia mogą mieć większą wykrywalność, gdyż one rywalizują między sobą na innych paczkach wirusów i to wyłoniony z nich zwycięzca awansuje dalej, gdzie poddawany jest kolejnym testom. Programy testowane następnego dnia nie mają większych szans w stosunku do tych z dnia poprzedniego, gdyż one z nimi bezpośrednio nie rywalizują. Tu chodzi o rywalizację między programami a nie ich sumaryczna skuteczność. Tak przynajmniej ja to widzę.

promototo:

Ale dalej nie czaje :d co ma dzień 7 do 8? Chodzi mi o konkretny pojedynczy pojedynek - decyduje o nim ilość "%". A rożne AV mogą korzystać z tego samego silnika i po kilku dniach AV "a" o silniku "x" może mieć większą wykrywalność w AV "b" o silniku też "x".

Cytat: szanse są równe i bez różnicy kiedy zrobisz pojedynek danej grupy - za tydzień , za miesiąc , za rok - proste.

o tak, tak!

Ja Was nie czaję również

[quote="marsellus"] Ja Was nie czaję również

"Znaczenie tu ma właśnie aktualizacja programów w jednym dniu - szanse są równe i bez różnicy kiedy zrobisz pojedynek danej grupy - za tydzień , za miesiąc , za rok..."

Dzisiaj sprawdzam 3 aplikacje, baza sygnatur dzisiejsza, paczka malware dzisiejsza. Robię skan i programy np osiągają takie wyniki: xx - 90%, xxy - 70%, xxyy - 50 % . Więc dalej przechodzi program xx.

Jutro znowu sprawdzam 3 kolejne aplikacje: aa,bb,ccc , gdzie baza sygnatur jutrzejsza, paczka też. Wyniki aa - 80 %, bb - 40 %, ccc - 23% . Więc dalej awansuje program aa .

Pojutrze to samo, a aplikacje to pp,dd,eee . Gdzie wyniki to pp - 70%, dd - 60 %, eee - 30 % . Do kolejnej rundy przechodzi pp


A więc dalej przejdą:

xx - 90%
aa- 80%
pp- 70%


Tak więc w poniedziałek robię nowy skan tymi programami xx,aa,pp , z aktualizowanymi bazami i najnowszą paczką i nie będę brał pod uwagę ich wcześniejszych wyników pod uwagę. Tylko te co zrobię w poniedziałek.

Czy w piłce nożnej jeśli polska vs grecja wygra 2:0 , to czy w starciu polska vs rosjadodadzą polsce te wcześniejsze dwa gole ?

Moje podejście było by takie:

Zainstalowałeś wszystkie programy w jednym dniu.
Każdy z nich ma ileś tam tysięcy sygnatur w tym dniu.
Wyłączasz aktualki lub neta.
Nie pozwalasz by baza się zwiększała w tych programach ( dlaczego? - będzie niżej), każdy ma swoją daną ilość.
Robisz test i wyłaniasz wygranego który przechodzi dalej.
Najlepszy będzie przechodził dalej aż któryś z nich wygra Twój test.

Twoje podejście wg. mnie ;

Aktualizujesz 2 , 3 programy przed testem - pojedynkiem.
Pozwalasz na przyrost bazy sygnatur programu ,( bo gdyby był nie aktualizowany w momencie testu-pojedynkutylko raz po zainstalowaniu kilka dni wcześniej - nie ma takiej sytuacji) tym samym skuteczność wzrasta względem innych 2,3 programów gdzie test-pojedynek był robiony dzień, dwa wcześniej.
Pierwszy i drugi program w teście-pojedynku będzie miał o wiele tysięcy mniej sygnatur wirusów niż ten który prowadzi pojedynek na zaktualizowanej bazie np. po 4 dniach.

Paczki malware zmieniasz oczywiście.

Które podejście wg. Ciebie do testu jest rozsądniejsze? Moje czy Twoje? :crazy:

Andrzej czy Ty naprawdę nie kumasz jaka jest metodykatego testu??

andrzej76 napisał(a):Co do chmury - myślałem że ten moduł masz całkowicie wyłączony w programach - nie przeszkadza w testach on-demand ale poprawia wykrywalność programu o jakiś tam %. Do takich programów opierających się na tym należy Panda CA i Immunet - można je wyłączyć z takiego testu ale jeśli biorą w nim udział to w innych programach chmura - wyłączona bo program korzysta z dwóch rodzaju modułów , te programy tylko z jednego modułu - skanu i wykrywalności tylko poprzez chmurę.

Ale dlaczego wyłączac?
Przeciez kazdy program prezentuje soba dana ilosc warstw ochrony i na podstawie całości winien być oceniany.

alex1155 napisał(a):

andrzej76 napisał(a):Co do chmury - myślałem że ten moduł masz całkowicie wyłączony w programach - nie przeszkadza w testach on-demand ale poprawia wykrywalność programu o jakiś tam %. Do takich programów opierających się na tym należy Panda CA i Immunet - można je wyłączyć z takiego testu ale jeśli biorą w nim udział to w innych programach chmura - wyłączona bo program korzysta z dwóch rodzaju modułów , te programy tylko z jednego modułu - skanu i wykrywalności tylko poprzez chmurę.

Ale dlaczego wyłączac?
Przeciez kazdy program prezentuje soba dana ilosc warstw ochrony i na podstawie całości winien być oceniany.

Nadal się zgadzam z Andrzejem, dlaczego?

Przykładowo silnik heurystyczny programu "x" adaptuje się samoczynnie. Każda nowa sygnatura zwiększa skuteczność detekcji heurystycznej, gdyż silnik dostosowuje się do aktualnie pojawiających się zagrożeń. Każda kolejna aktualizacja programu zwiększa prawdopodobieństwo wykrycia nowego
zagrożenia. Ponieważ program AV w teście z ostaje zamrożony, jego skuteczność jest znacznie mniejsza niż programu na bieżąco aktualizowanego(również przez chmurę).

No tak,ale w praktyce tez tak często jest, a test przecież powinien realnie odwzorowywac szanse programu
Wiadomo, ze Avg z heurystyką w chmurze ma większe szanse na powstrzymanie nowego wirusa niz Avira , podobnie jak gdyby zablokowac dostep do neta ( ZA jak dobrze z własnych tesów tak potrafi) Pandzie Cloud Free , która w praktyce jest powalona na łopatki , a porównac toz Comodo czy Avastem, które mogą bronić się np. Sandboxem dodatkowo.( w przypadku real-time ofc)

alex1155 napisał(a):Przeciez kazdy program prezentuje soba dana ilosc warstw ochrony i na podstawie całości winien być oceniany.

To jaki to jest test on - demand czy real-time też? Może wszystko razem? Bo widzę nagłówek tylko - test darmowych programów zabezpieczających.

andrzej76 napisał(a):

alex1155 napisał(a):Przeciez kazdy program prezentuje soba dana ilosc warstw ochrony i na podstawie całości winien być oceniany.

To jaki to jest test on - demand czy real-time też? Może wszystko razem? Bo widzę nagłówek tylko - test darmowych programów zabezpieczających.

Niby skan na żądanie, ale warstwy ochrony w poszczególnych programach też moga tu namieszac. Tak wnioskuję.

alex1155 napisał(a):ale warstwy ochrony w poszczególnych programach też moga tu namieszac. Tak wnioskuję.

Dobrze wnioskujesz. Dlatego moja propozycja - silnikiem programu tylko skanujesz, resztę dodatków powinno się wyłączyć.

Ale jak wyżej - to nie mój test. Doceniam jednak chęci i czas jaki poświęca na test promototo.

Mój test polega na czymś takim, już inaczej nie potrafię wytłumaczyć:

[Aby zobaczyć linki, zarejestruj się tutaj]

Programy mają wszystko wyłączone, tylko te z chmurami mają je aktywne. Ale aktualizacje są zawsze aktualne.

mateusxzz napisał(a):Boże.. Andrzej, przecież jego metodyka testu jest bardzo, ale to bardzo logiczna i rozplanowana.
Ja bym się nie zgodził z Twoją metodyką testu na starych bazach nowych paczek...

I Andrzeju, zajrzyj do słownika, bo aż w oczy kuje... "byłaby" - nie "była by", "umiem" - nie "umię"...

Nic dodać nic ująć , ja się pod tym podpisuję .Mam wrażenie czasem , że Jurek wrócił na forum

Druga runda:

Pierwsze starcie:

Ad-awarevs Panda Coulsvs Immunet.

Ad-aware:

76 malware - 66/76 = 86,8 %
92 malware - 62/92 = 67,3 %
115 malware - 51/115 = 44,3 %
170 malware - 95/170 = 55,8 %

Średnia: 63,55 %


Panda Could:

76 malware - 66/76 = 86,8 %
92 malware - 71/92 = 77,1 %
115 malware - 31/115 = 26,9 %
170 malware - 55/170 = 32,3 %

Średnia: 55,77 %


Immunet:


76 malware - 54/76 = 71 %
92 malware - 77/92 = 83,6 %
115 malware - 36/115 = 31,3 %
170 malware - 95/170 = 55,8 %

Średnia: 60,42 %


A więc do finału awansuje Ad-aware.

Wydaje mi się, że obydwie metody mają swoje zalety ale metoda promoto jest wygodniejsza. Która bardziej prawidłowa to już spór bardziej akademicki chyba.