SafeGroup

Pełna wersja: Test Comodo Valkyrie
Aktualnie przeglądasz uproszczoną wersję forum. Kliknij tutaj, by zobaczyć wersję z pełnym formatowaniem.
Stron: 1 2
Dziś zrobiłem test ComodoValkyrie.
Zebrałem 150 bezpiecznych plików (głównie systemowych) a poza tym exeki z tych programów:

- ashampoo buring studio
- wtw
- Comodo Time Machine
- Expressivo
- FreeYouTubeToMP3Converter
- Comodo programs manager
- iSpy
- SpyShelter
- kilka sterowników.
oraz 200 plików malware - z ostatniej paczki tommyego.

Test miał na celu sprawdzenie jak ta analiza sypie FP i jaka jest jej wykrywalność nieznanych zagrożeń.

A więc wyniki:

TEST na BEZPIECZNYCH plikach:


Razem plików:150
Poprawnie oznaczonych przez Valkyrie: 148
Wynik : 98.66%

IMO to bardzo dobry wynik. Z rozpoznawaniem bezpiecznych plików mechanizmy Valkyri radzą sobie bardzo dobrze.


TEST na MALWARE:

W sumie złośliwych plików:200
Wykrytych przez Valkyrie: 170
Wynik : 85%

Jak dla mnie to też bardzo dobry wynik. Wykrywanie 85% nieznanego malware metodami heurystycznymi to całkiem niezły rezultat.

Valkyrie, temat na forum -

[Aby zobaczyć linki, zarejestruj się tutaj]

Testowanie na plikach systemowych, ech.
Wyzwaniem dla takiego automatu są legalne pliki pakowane komercyjnymi protektorami albo pliki mało popularne, które inne antywirusy wykrywają. Testowałem sobie z ciekawości Valkyrie i nie przekonałem się do tego systemu.
Co tu ma wykrywalność antywirusów do tego systemu?
Tu może być milion albo tylko jedna detekcja z komercyjnych AV a wynik Valkyrii będzie zawsze taki sam.
O to właśnie tutaj chodzi, wykrywanie malware 0 day.

Co do jakości - to ciągle faza BETA, więc nie ma co się za szybko rozczarowywać.
A co to jest AI_Detector_10 ? Skąd wiesz, że nie jest to wynik skanu z jednego z AV, albo nawet grupy AV?
Trochę głupie pytanie.
Skąd wiesz, że tłuszcz znajdujący się w mleku załamuje światło tak, że daje nam kolor biały, a nie, że producenci mleka dodają tam barwnika?

Tak samo jest tutaj - artificial intelligenceto znaczy sztuczna inteligencja. Nie ma tam żadnego silnika AV, badany jest kod pliku.

Podejrzenia bez podstaw - jak ja to lubię Smile
Ja nie wiem więc pytam, Ty nie wiesz a jednak odpowiadasz.
Możesz bezgranicznie wierzyć Comodo. Ja mam wątpliwości i swoją odpowiedzią ich nie rozwiałeś.

Fanatyzm - jak ja to lubięTongue
morphiusz wypada to dość dobrze choć co prawda nie były to już malware 0 day no ale nie oszukujmy się mechanizmy Valkyri radzą sobie gorzej od niektórych AV i wiem że to kiepskie porównanie bo metoda wykrywania różni się..No ale w końcu to beta więc nie ma co narzekać..
Ja za to lubię jak ktoś rzucatakimi oskarżeniami bez podstaw. Wink

Piotrex, detekcja 85% to lepiej niż nie jeden AV Tongue
Plusem tego jest to, że nie czy wirus został wypuszczony przed 1 sekundą czy masz już 2 lata Smile.

Przykład tej swieżynki

[Aby zobaczyć linki, zarejestruj się tutaj]


[Aby zobaczyć linki, zarejestruj się tutaj]

a tu przykład z threadexperta

[Aby zobaczyć linki, zarejestruj się tutaj]

jak widać korzysta z kilku silników skanujących więc w Valkyrie niektóre silniki to mogą być po prostu jakieś programy antyvirusowe Tongue
Wall
Ktos rzucil haslo, teraz beda to powtarzac
Proszę, tu wrzuciłem EICARA:

[Aby zobaczyć linki, zarejestruj się tutaj]


Żadna z czujek nie ma nic do powiedzenia, bo ani kod tego pliku nie jest złośliwy ani bezpieczny. To też niweluje teorię o silnikach AV, która nie wiem jakim cudem się zrodziła i mam nadzieję, że tutaj się kończy.
pierwsza kolumna statyczna detekcja 2 kolumna dynamiczna detekcja 3 kolumna zaawansowana heurystyka czyli to pierwsze to 17 jakis zwykłych skanerów nie wiadomo jakich
Taka informacja jeśli chodzi o Static Detection...

[Aby zobaczyć linki, zarejestruj się tutaj]

Eugeniusz

A ta Advanced Heurisitics to co? Po co w nieantywirusowej metodzie wykrywania złośliwego kodu używana jest heurystyka? Comodo próbuje korzystać z pomocy zaświatów?
Sam już nie wiem...
//Heh, wytłumaczyli tylko static, dobre Suspicious
Static masz, Dynamic masz, a Advanced nie jest dla śmiertelników Grin
Najlepiej jak by udostępnili kod źródłowy tego wszystkiego od razu do oceny przez ekspertów bezpieczeństwa safegroup...

Eugeniusz

morphiusz napisał(a):Static masz, Dynamic masz, a Advenced nie jest dla śmiertelników Grin

Hmm albo mam lewego Firefoksa, albo Comodo mnie cenzuruje. Na każdej z zakładek mam "żaróweczkę" z tym samym opisem, dotyczącym detekcji statycznej.
A tak w ogóle:
Panie Miłoszu, proszę mnie nie drażnić.
morphiusz napisał(a):przez ekspertów bezpieczeństwa safegroup...

To po co tu siedzisz? Jak Ci się coś nie podoba, to tam jest przycisk wyloguj.
To forum bardzo mi się podoba, dlaczego miałbym się wylogowywać? Smile
Tylko to gdybanie jest bez sensu, chyba dobrze, że działa?

Static to żaróweczka, dynamic to CIMA (

[Aby zobaczyć linki, zarejestruj się tutaj]

).

Eugeniusz

No to jeszcze heurystyka zostaje.
najlepiej było by zrobić zestawienie i analizę wyników z Valkyrie i Virustotal ale za dużo z tym roboty
Eugeniusz napisał(a):No to jeszcze heurystyka zostaje.

Pewnie masz rację co do tego, więc wysłałem im maila z zapytaniem, czy może dodadzą coś takiego.

Co do zestawiania VK i VT to imo nie za dobry pomysł, bo one działają zupełnie inaczej...
VK możemy sobie rozpoznawać świeże malware z 2-3 detekcjami na VT, nie muszę mówić, ze jeśli chodzi o starsze to VT jest jednak bardziej wiarygodne.
zord napisał(a):najlepiej było by zrobić zestawienie i analizę wyników z Valkyrie i Virustotal ale za dużo z tym roboty


Zebrałem dzisiaj 50 najnowszych malware z MLD i malc0de.
Testowałem Jotti scanner (20 skanerów) w zestawieniu z Valkyrie.
Za minimum od Jotti przyjąłem 50% detekcji (10 skanerów, 50% nie wydaje mi się, że to dużo).

Jotti wykrył 28/50 - 56%
Valkyrie wykryła 47/50 - 94%

3 pliki, które Valkyrie przeoczyła:

[Aby zobaczyć linki, zarejestruj się tutaj]

-

[Aby zobaczyć linki, zarejestruj się tutaj]

[Aby zobaczyć linki, zarejestruj się tutaj]

-

[Aby zobaczyć linki, zarejestruj się tutaj]

[Aby zobaczyć linki, zarejestruj się tutaj]

-

[Aby zobaczyć linki, zarejestruj się tutaj]


Jak widać 2 pierwsze pliki to obrazki i wydają się być czyste...

Podsumowując:
Jotti 28/48- 58,3%
Valkyrie 47/48 - ~98%
Stron: 1 2