Test skuteczności rozszerzeń do przeglądarek (AVLab)
#1
[Obrazek: test-rozszerzen-do-przegladarek.png]

Powyższe zestawienie ilustruje wyniki najnowszego testu pt. "Test rozszerzeń dla przeglądarek do ochrony przed szkodliwym oprogramowaniem" przeprowadzonego przez AVLab, które opublikowano wczoraj. Całość teoretyczną (warunki, metodologia, itp) znaleźć można na stronie laboratorium, mnie zainteresowały takie rzeczy:
- niezwykle zaskakujący...rzekłbym żenująco słaby...wynik bardzo popularnego rozszerzenia uBO, które jest polecane na praktycznie wszystkich forach we wszystkich językach...czy to wynika z jakości tych konkretnych zastosowanych filtrów, czy wuna jakiegoś wewnętrznego mechanizmu, który sobie zwyczajnie nie radzi w krytycznych sytuacjach
- w teście użyto głównie darmowe rozwiązania i choć nie mam pewności, to chyba tylko zwycięzca był w rozbudowanej wersji płatnej...tej informacji nie ma niestety wprost w omówieniu, choć owszem jest mowa, że są dwie wersje i że darmowa nie chroni przed pobieraniem plików szkodliwych...to która była tak naprawdę użyta i czy to mogło mieć wpływ na wynik w stosunku do konkurencji?

Tekst źródłowy (stamtąd też ilustracja)

[Aby zobaczyć linki, zarejestruj się tutaj]

"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#2
Cześć. Jest to wyjaśnione w zdaniu "Rozszerzenie w wersji bezpłatnej nie spełniało wymagań dotyczących skanowania pobieranych zagrożeń, dlatego na prośbę producenta przetestowaliśmy wersję komercyjną.".

Darmowa wersja chroni tylko przed phishingiem, a tutaj były pobierane szkodliwe pliki. Dlatego też musiała to być wersja komercyjna, ponieważ posiadała taką funkcjonalność. Jest to produkt dla firm i chociaż pozostałe rozszerzenia są za darmo, to szkoda byłoby pominąć to rozwiązanie.
Odpowiedz
#3
(30.11.2018, 11:23)ichito napisał(a):

[Aby zobaczyć linki, zarejestruj się tutaj]

- niezwykle zaskakujący...rzekłbym żenująco słaby...wynik bardzo popularnego rozszerzenia uBO, które jest polecane na praktycznie wszystkich forach we wszystkich językach...czy to wynika z jakości tych konkretnych zastosowanych filtrów, czy wuna jakiegoś wewnętrznego mechanizmu, który sobie zwyczajnie nie radzi w krytycznych sytuacjach
Można było spokojnie uzyskać 100% w uBO, wystarczyło dodać do filtrów domenę, z której pobierane były wirusy Grin A tak serio, ty chyba wynika z metodyki testowej, uBO z listami od blokowania malware blokuje żądania od znanych domen ze szkodnikami. Ewentualnie od zainfekowanych sieci reklamowych. Nie od nowych, nieznanych domen.
Trochę jakby wziąć AV bazujący tylko na sygnaturach, odpalić tylko malware którego nie ma w bazie sygnatur i dziwić się, że wyszło 0% ^^.
Człowiek, któremu zazdroszczą najlepszych pomysłów na sygnatury...
Odpowiedz
#4
(30.11.2018, 12:40)M\cin napisał(a):

[Aby zobaczyć linki, zarejestruj się tutaj]

(30.11.2018, 11:23)ichito napisał(a):

[Aby zobaczyć linki, zarejestruj się tutaj]

- niezwykle zaskakujący...rzekłbym żenująco słaby...wynik bardzo popularnego rozszerzenia uBO, które jest polecane na praktycznie wszystkich forach we wszystkich językach...czy to wynika z jakości tych konkretnych zastosowanych filtrów, czy wuna jakiegoś wewnętrznego mechanizmu, który sobie zwyczajnie nie radzi w krytycznych sytuacjach
Można było spokojnie uzyskać 100% w uBO, wystarczyło dodać do filtrów domenę, z której pobierane były wirusy Grin A tak serio, ty chyba wynika z metodyki testowej, uBO z listami od blokowania malware blokuje żądania od znanych domen ze szkodnikami. Ewentualnie od zainfekowanych sieci reklamowych. Nie od nowych, nieznanych domen.
Trochę jakby wziąć AV bazujący tylko na sygnaturach, odpalić tylko malware którego nie ma w bazie sygnatur i dziwić się, że wyszło 0% ^^.

Za tak słaby wynik ponoszą winę wbudowane listy, które nie zawierały informacji o nowych zagrożeniach. Praktyczna sytuacja: korzystasz z list z nadzieją, że ochronią cię przed nowymi zagrożeniami, ale jednocześnie nie chcesz korzystać ze skanera. I wtedy co? Ano to, co zostało podane w wynikach. Listy uBlocka Malvertising filter list by Disconnect​​​​​​​​​, Malware Domain List​​​​​, Malware domains, ​Spam404​​​​​​​​​, nie nadają się do ochrony przed malware, ale za to uBlock Origin to chyba najlepsza aplikacja do blokowania reklam i skryptów z własnymi filtrami. Zadaniem testu było coś udowodnić i chyba zostało to pokazane tj. listy wymienione w artykule do testu nie nadają się do blokowania złośliwych plików z domen, których nie ma na tych listach.

Właściwie czy ja to jest wina, że tych domen nie było w bazie filtrów? Nie autora rozszerzenia, ale firm, które skądś wymieniają się informacjami o IoC zagrożeń, w tym domen. Dlatego jak widzisz, ochrona bez monitorowania przesyłanego contentu w czasie rzeczywistym nie sprawdza się, ponieważ twórcy nie są w stanie nadążyć za aktualizowaniem i pobieraniem nieograniczonej ilości informacji o szkodliwych domenach.
Odpowiedz
#5
Test już kilka dni wywołuje sporo pytań i dziwnych komentarzy, a zwłaszcza w temacie zerowego wyniku uBO. Niektóre komentarze dość sensownie wyjaśniają, czemu tego dodatku tam...na liście testowanych...nie powinno być i szczerze powiedziawszy bywają dość przekonujące, aczkolwiek mam wątpliwości, czy reklamowanie go przez producenta...że blokuje strony ze szkodnikami...to nie jest tylko pusta reklama. Czy mogę spytać, czemu taki dobór testowanych aplikacji?
"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#6
Odbiór jest jaki jest. Każdy ma swoją opinię. uBlock Origin był testowany na domyślnych ustawieniach + wskazane filtry. Skoro oferuje ochronę przed malware, to został przetestowany. Autor uBlocka z pewnością wie, że jego program służy do czegos innego - do tego z czego jego soft jest popularny i polecany. Na pewno nie do ochrony przed malware. uBlock może blokować złośliwe domeny, ma ponad 10 mln pobrań dla Chrome i prawie 5 mln dla FF, więc dlaczego ktoś nie miał zweryfikować, jak chroni.
Odpowiedz
#7
Haha...takiej właśnie odpowiedzi oczekiwałem Grin Mam dokładnie takie samo podejście w tej materii - jeśli autor aplikacji coś oferuje i tym samym wpływa na decyzje użytkowników, to powinien liczyć się z tym, że kiedyś ktoś powie "sprawdzam". Nieistotne jest dla mnie tłumaczenie, że to nie takie próbki, że nie te mechanizmy i nie te sygnatury i co tam jeszcze chcieć...ludzie instalują ten dodatek bezkrytycznie i często przy tym wyłączają podobne funkcjonalności w swoich AV, wierząc, że mają super narzędzie, a tak naprawdę pozbawiają się pewnego zakresu ochrony na własne życzenie.
"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#8
Pojawiło się gdzie indziej, więc wrzucam, bo warto...to opis mechanizmu testowania opisany przez Adrian, który został mocno skrytykowany ze względu głównie na słaby wynik uBO
Cytat: Wytłumaczę to step by step.

1. Do honeypota trafia atak zawierający URL np. 

[Aby zobaczyć linki, zarejestruj się tutaj]

.
2. Wszystkie IoC są zapisywane w naszej bazie danych wirusów (wirusów jako plików, oraz adresów URL i adresów IP).
3. Przed testem wirus xxx.exe trafia do maszyny takiej samej jak z zainstalowanymi produktami ochronnymi, ale bez ochrony. Sprawdzamy, czy wirus jest w stanie zainfekować Windows 10. Jeśli tak, to.
4. Uruchamiamy wszystkie maszyny z produktami AV.
5. Po uruchomieniu we wszystkich maszynach w jednym czasie uruchamiana jest przegladarka chrome.exe 

[Aby zobaczyć linki, zarejestruj się tutaj]

. Otwiera się strona i pobierany jest plik.
6. Następnie obserwujemy co dzieje się z plikiem w systemie przed uruchomieniem i po uruchomieniu (w zależności, czy AV to zablokuje, czy nie). To zależy od rodzaju testu.
7. Z zebranych logów skrypt szuka informacji, czy Windows 10 został zainfekowany lub czy AV zablokował wirusa xxx.exe.
8. Informacje zapisywane są w osobnej bazie.

Tak więc malware nie jest pobierane z "mojej" strony, tylko z rzeczywistego złośliwego adresu WWW.

Mówiąc "obserwujemy", czy "sprawdzamy", mam na myśli to, że całą procedurą testów zajmują się algorytmy. Jest to w całości zautomatyzowane. Może kiedyś nagram wideo, w jaki sposób działa to wszystko od strony backendu.

[Aby zobaczyć linki, zarejestruj się tutaj]

"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#9
To jest raczej łopatoologiczny opis na luzie. Jeśli potrzebujecie oficjalnego opisu, co dzieje się step-by-step z technicznymi danymi, to mogę taki przygotować. Takie informacje dostają producenci, ale nie wiem czy byłby dobrze zrozumiany - czasami słychać komentarze, że zbyt technicznie - to nie publikujemy dokładnego procesu testowania ze zbędnymi dla czytelnika szczegółami.

W zasadzie, tak. Opublikuję coś takiego, aby uciszyć wszelkie niedopowiedzenia i przygotuję przykładowe raporty. Właściwie chciałem tego uniknąć, ponieważ cały ten algorytm jest częścią tego, co od jakiegoś czasu jest u nas na stronie w stopce, tj. CheckLab. Właśnie tam będą publikowane wszelkie szczegóły z testów. Obecnie kończymy już robić frontend. Poza tym wszystko jest gotowe.
Odpowiedz
#10
Adrian...to będzie Twoja decyzja, ale na Twoim miejscu nie robiłbym tego. Takie rzeczy laboratoria mają tylko dla siebie i były już podobne przykłady, które kończyły się pobieżnym zaledwie wyjaśnieniem. MRG ma swój np. model, który był niejednokrotnie krytykowany, a oni są nieustępliwi...dlatego niektórzy producenci nie biorą u nich udziału w testach. Myślę, że nie musisz być uległy wobec każdego, kto stawia zarzuty.
"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#11
(05.12.2018, 12:02)ichito napisał(a):

[Aby zobaczyć linki, zarejestruj się tutaj]

Adrian...to będzie Twoja decyzja, ale na Twoim miejscu nie robiłbym tego. Takie rzeczy laboratoria mają tylko dla siebie i były już podobne przykłady, które kończyły się pobieżnym zaledwie wyjaśnieniem. MRG ma swój np. model, który był niejednokrotnie krytykowany, a oni są nieustępliwi...dlatego niektórzy producenci nie biorą u nich udziału w testach. Myślę, że nie musisz być uległy wobec każdego, kto stawia zarzuty.

Mi nie chodzi o decyzję, ale o transparentność. Docelowo za kilka miesięcy te szczegóły i tak będą opublikowane online, więc zastanowię się, czy zrobić to już teraz, aby nie tłumaczyć każdemu z osobna, że nie ma w naszych testach złej woli, aby jakiś produkt pokazać w złym świetle. Sam korzystam z uBLocka i co, mam teraz go wywalić, bo słabo chroni przed malware? Nie do tego został zrobiony, ale ma takie funkcje, więc to zweryfikowaliśmy.

Ogólny algorytm postępowania jest publikowany w dobranej postaci, aby wyjaśnić konkretny test, bez podawania niepotrzebnych szczegółów. Czasami jest to bardziej szczegółowe, a czasami mniej. Producenci oczywiście mają dostęp do wszystkiego pod kątem technicznym, ale czytelnik raczej tego nie potrzebuje. Np. informacje skąd wiemy, że malware zostało wykryte i zablokowane przez skaner WWW, albo już w systemie przez sygnatury silnika AV, lub po uruchomieniu przez moduł HIPS, lub czy zostało uruchomione w piaskownicy, czy też połączenie zostało zablokowane przez firewall/IDS/IPS, a może przez jeszcze coś innego. Wiemy to z logów, które zbieramy i potem automatycznie analizujemy. Ale co i gdzie piszczy, to stanowi tajemnicę przedsiębiorstwa, więc to, co mogę podać, zostanie podane do publicznej informacji w odpowiednim czasie.

Tych informacji jest tak dużo, że trudno byłoby to upchać na AVLab, dlatego decyzja o drugim portalu świadczącym usługi bezpieczeństwa pod patronatem znanej marki AVLab, wydaje mi się słuszna. Pożyjemy, zobaczymy Smile

Na dodatkowe pytania odnośnie testu czy technikaliów chętnie odpowiem. Jeśli ktoś się z czymś nie zgadza, to porozmawiajmy na argumenty.
Odpowiedz
#12
OK...w takim razie czekamy na rozwój wypadków Smile
"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#13
Rozszerzenie Comodo coś zablokowało? "Są na świecie rzeczy które się fizjologom nie śniły." Grin
Odpowiedz
#14
(05.12.2018, 12:34)Blade napisał(a):

[Aby zobaczyć linki, zarejestruj się tutaj]

Rozszerzenie Comodo coś zablokowało? "Są na świecie rzeczy które się fizjologom nie śniły." Grin

Sprawdź sobie. Jest dużo publicznych feedów z phishingiem lub malware. Nie mam pewności, ale to chyba nie jest to samo rozszerzenie, co ochrona WWW na poziomie DNS (Comodo Secure DNS) w Comodo Internet Security. Trzeba byłoby poczytać i sprawdzić.
Odpowiedz
#15
Dzięki ichtio za cytat z PZD. Miałem zapytać o to samo, bo nie wystarczająco rozumiałem procedurę testową, ale ktoś mnie szczesliwie ubiegł Smile Teraz jest, przynajmniej dla mnie, wystarczająco jasno. Teraz niski wynik uBo wydaje się wręcz normalny. Nie spodziewałbym się, żeby domeny ataków były dodawane do filtrów w bardzo szybkim tempie.

@adrian.sc Jeżeli czegoś miałbym się przyczepić, to tylko tego, że nie było to wystarczająco jasno napisane w oryginalnym artykule. Raczej rozumiałem z niego, że w środowisku testowym, symulując ataki, w chromie pojawia się adres pokroju domenaadriana.com/atak1.
W sumie byłbym jeszcze ciekaw, na ile zmieni się wynik, jak zastosujemy listy filtrów z grupy "wielofunkcyjne", szczególnie MVPS Hosts. Nie spodziewam się dużego wzrostu wykrywalności, ale może chociaż nie zero Smile
Człowiek, któremu zazdroszczą najlepszych pomysłów na sygnatury...
Odpowiedz


Skocz do:


Użytkownicy przeglądający ten wątek: 2 gości