Συγκριτικά Τεστ

Τα τεστ αντιβιοτικών του Virus.gr έχουν κατηγορηθεί και σχολιαστεί πολλές φορές τα τελευταία χρόνια και, αφού διάβασα κάποιο άρθρο του Andreas Clementi πρόσφατα (http://www.av-comparatives.org/forum/index.php?page=Thread&threadID=753 - ο Andreas λέει ότι τα όσα αναφέρει δεν αντιπροσωπεύουν απαραίτητα δικές του απόψεις) αισθάνομαι την ανάγκη να απαντήσω ως εξής::

a) Τα προγράμματα δεν τεστάρονται όλα το ίδιο:
- κάποια προγράμματα είναι σε δοκιμαστική έκδοση και δεν έχουν πλήρεις δυνατότητες

Αυτό δεν ισχύει, όλα τα προγράμματα έχουν ΠΛΗΡΕΙΣ δυνατότητες ανίχνευσης (εκτός κι αναφέρεται κάτι άλλο από το virus.gr) κατά τη διάρκεια του τεστ

- κάποια προγράμματα έχουν διαφορετικές ρυθμίσεις από άλλα

Αυτό δεν ισχύει, όλα τα προγράμματα έχουν ΠΛΗΡΕΙΣ δυνατότητες ανίχνευσης (εκτός κι αναφέρεται κάτι άλλο από το virus.gr) κατά τη διάρκεια του τεστ

- τα προγράμματα δεν έχουν ανανεωθεί την ίδια εβδομάδα/μέρα/ώρα

Αυτό δεν ισχύει, όλα τα προγράμματα ανανεώνονται την ΙΔΙΑ ΗΜΕΡΑ με λίγες ώρες διαφορά, αυτό άλλωστε αναφέρεται και στα σχόλια του τελευταίου τεστ

b) Δείγματα:
- τα δείγματα επιλέγονταιβάσει των αντιβιοτικών προγραμμάτων Kaspersky, F-Prot, Nod32, Dr.Web, BitDefender και McAfee βάσει μοναδικού ονόματος ιού. Αυτό οδηγεί σε αποτελέσματα που ευνοούν το αντιβιοτικό Kaspersky και προγράμματα που έχουν στη βάση τους πολλές παραλλαγές ιών με διαφορετικό όνομα

Αυτό δεν ισχύει, τα δείγματα που χρησιμοποιούνται στα τεστ επιλέγονται βάσει περισσότερων από ένα αντιβιοτικών προγραμμάτων και δεν γίνεται να ευνοείται ένα συγκεκριμένο αντιβιοτικό

- οι πηγές των δειγμάτων είναι κυρίως άλλοι συλλέκτες ιών οι οποίοι χρησιμοποιούν κυρίως το Kaspersky για να συλλέγουν τα δείγματά τους, οπότε είναι επόμενο να ευνοείται το Kaspersky

Αυτό δεν ισχύει, τα δείγματα που χρησιμοποιούνται στα τεστ επιλέγονται βάσει περισσότερων από ένα αντιβιοτικών προγραμμάτων και δεν γίνεται να ευνοείται ένα συγκεκριμένο αντιβιοτικό

-Υπάρχουν πάρα πολλά δείγματα (παρότι λέγεται ότι έχουν αφαιρεθεί από τα τεστ) μέσα στα τεστ τα οποία είναι ανενεργά (δεν δουλεύουν ας πούμε, δηλαδή δεν πρόκειται για πραγματικούς ιούς) και αλλοιώνουν τα αποτελέσματα του τεστ.

Τα περισσότερα δείγματα συλλέγονται μέσα από το ιντερνετ και εξετάζονται ένα-προς-ένα, οπότε ουσιαστικά είναι σαν τα δείγματα που κατεβάζει κάποιος από τα email του ή σαν αυτά που κατεβάζει από σελίδες με παράνομο περιεχόμενο όπως warez-τα δείγματα ΔΕΝ ΕΠΙΛΕΓΟΝΤΑΙ από κάπου, αλλά συλλέγονται. Ακόμα όμως και αν αυτές οι κατηγορίες και ισχυρισμοί ήταν αλήθεια, αυτό ΑΥΤΟΜΑΤΑ θα σήμαινε πως και άλλες ιστοσελίδες που διεξάγουν συγκριτικά τεστ αντιβιοτικών, όπως και τεστ για false positives (εσφαλμένες αναγνωρίσεις αρχείων από αντιβιοτικά χωρίς αυτά να είναι πραγματικοί ιοί), δημοσιεύουν ΑΝΑΞΙΟΠΙΣΤΑ και ΕΠΙΣΦΑΛΗ αποτελέσματα, αφού ΤΟΣΑ ΠΟΛΛΑ αντιβιοτικά ανιχνεύουν "ΚΑΚΩΣ" τόσες ΧΙΛΙΑΔΕΣ ΔΕΙΓΜΑΤΩΝ ως ιούς ενώ αυτοί "δεν είναι ιοί". Επίσης, αυτό θα σήμαινε και για τα ίδια τα αντιβιοτικά πως είναι το ίδιο ΑΝΑΞΙΟΠΙΣΤΑ για τον ίδιο λόγο. Δεν σας φαίνεται λίγο περίεργο λοιπόν..; Σκεφτείτε το λίγο...

- τουλάχιστον μια εταιρεία αντιβιοτικού έχει λάβει όλη τη συλλογή του virus.gr και έχει πστοποιήσει ότι πολλά δείγματα είναι ανενεργά (δεν δουλεύουν)

Αυτό δεν ισχύει. Καμιά εταιρεία δεν έχει όλη τη συλλογή του virus.gr (τουλάχιστον όχι απ’ όσο γνωρίζω). Επομένως, δεν βλέπω πώς μπορεί να ισχύει αυτό

- υπάρχουν πολλά δείγματα που δουλεύουν σε λειτουργικό DOS

Αυτά τα δείγματα δεν πρόκειται να χρησιμοποιηθούν στα επόμενα τεστ, αυτό άλλωστε ήταν στα σχέδιά μου ήδη από το προηγούμενο τεστ

c) Διάφορα:
-Το Virus.gr δεν αποτελείται από ομάδα αλλά από ένα μόνο άτομο, ο οποίος είναι ένας συλλέκτης ιών και οι γνώσεις του δεν επαρκούν για να αναλύει δείγματα ιών

Αυτό είναι αλήθεια, με τη διαφορά ότι για την ανάλυση των δειγμάτων το virus.gr έχει τη βοήθεια άλλων ατόμων

Ο Α. Πετράκης φαίνεται να θέλει πραγματικά να δώσει τον καλύτερό του εαυτό στα τεστ που πραγματοποιεί αλλά τα τεστ θέλουν ακόμα βελτίωση στη μεθοδολογία τους. Όπως και να έχει, τα αποτελέσματα των τεστ είναι ενδιαφέροντα καθώς περιλαμβάνουν και αντιβιοτικά προγράμματα που συνήθως δεν περιλαμβάνονται σε άλλα τεστ

Αυτό επίσης αληθεύει, δεν είμαι επαγγελματίας αναλυτής ιών, αλλά αυτό δεν σημαίνει ότι τα αποτελέσματα του τεστ δεν αντιπροσωπεύουν τον ακριβή βαθμό ανίχνευσης κάθε αντιβιοτικού που τεστάρεται.

Όπως και να έχει, πιστεύω ότι το κάθε τεστ έχει τη δική του μεθοδολογία και δεν έχει νόημα να λέμε ότι ένα τεστ είναι σωστό και ένα άλλο είναι λάθος. Επομένως, θα πρότεινα αν κάποιος διαφωνεί με τη μεθοδολογία του Virus.gr απλά να επισκέπτεται και άλλες ιστοσελίδες που πραγματοποιούν τεστ αντιβιοτικών. Εμείς δεν πουλάμε ούτε κάνουμε διαφήμιση σε κάποια συγκεκριμένα αντιβιοτικά.
Αλλά αν κάποιος επιθυμεί να σχολιάσει τα τεστ μας και διαφωνεί με τα αποτελέσματά τους, να φέρεται σαν ΚΥΡΙΟΣ και να δημοσιεύει μια ερώτηση στην ενότητα ΦΟΡΟΥΜ της σελίδας μας, αντί να καταφέρεται σε άλλες ιστοσελίδες εναντίον της ΧΩΡΙΣ να έχει αποδείξεις και ΧΩΡΙΣ να μας δίνει την ευκαιρία να παραθέσουμε την δική μας άποψη. Αυτό δεν είναι ούτε ΔΙΚΑΙΟ ούτε ΗΘΙΚΟ.

Το τεστ πραγματοποιήθηκε μεταξύ 10 Αυγούστου-05 Σεπτεμβρίου 2009 σε Η/Υ Pentium Dual Core 2Ghz, 2048MB DDRAM-2 και σε λειτουργικό Windows XP Professional SP3.

Όλα τα προγράμματα που δοκιμάστηκαν είχαν τις τελευταίες εκδόσεις, αναβαθμίσεις και ενημερώσεις και χρησιμοποιήθηκαν όλες οι δυνατότητες κάθε προγράμματος, όπως heuristics κ.ά.

Δεν χρησιμοποιήθηκαν οι προεπιλεγμένες ρυθμίσεις των προγραμμάτων, αλλά οι ιδανικές για την μέγιστη προστασία του Η/Υ. Αυτό σημαίνει ότι κάποια προγράμματα ίσως ανιχνεύσουν εσφαλμένα κάποια αρχεία ως μολυσμένα.

Όλα τα προγράμματα που δοκιμάστηκαν ενημερώθηκαν στις 10 Αυγούστου 2009 μεταξύ 6.00πμ και 10.00πμ ώρα Ελλάδος.

Τα 562086 μολυσμένα δείγματα επιλέχθηκαν με βάση τα αρχεία αναφορών των "αντιβιoτικών" προγραμμάτων Kaspersky, F-Prot, Nod32, Dr.Web, BitDefender και McAfee και χαρακτηρίζονται ως «διαφορετικά», εννοώντας ότι τουλάχιστον 1 πρόγραμμα ονομάζει το κάθε δείγμα με διαφορετικό όνομα ιού.

Δεν χρησιμοποιήθηκαν ιοί MS-DOS.

Όλα τα μολυσμένα δείγματα είχαν προηγουμένως αποσυμπιεστεί.

Το τεστ πραγματοποιήθηκε μεταξύ 09-10 Απριλίου 2009 σε Η/Υ P4 3200MHz, 2048MB DDRAM και σε λειτουργικό Windows XP Professional SP3.

Όλα τα προγράμματα που δοκιμάστηκαν είχαν τις τελευταίες εκδόσεις, αναβαθμίσεις και ενημερώσεις και χρησιμοποιήθηκαν όλες οι δυνατότητες κάθε προγράμματος.

Δεν χρησιμοποιήθηκαν οι προεπιλεγμένες ρυθμίσεις των προγραμμάτων, αλλά οι ιδανικές για την μέγιστη προστασία του Η/Υ.

Όλα τα προγράμματα που δοκιμάστηκαν ενημερώθηκαν στις 09 Απριλίου 2009.

Για τις δοκιμές χρησιμοποιήθηκαν συγκεκριμένα τεστ HIPS (Host-based Intrusion Detection System) από την ιστοσελίδα www.testmypcsecurity.com. Οι δοκιμές δείχνουν την αποτελεσματικότητα των προγραμμάτων να ανιχνεύσουν αλλαγές στο λειτουργικό σύστημα και όχι την αποτελεσματικότητά τους απέναντι σε spyware προγράμματα. Σίγουρα πάντως τα προγράμματα με καλή κατάταξη στο τεστ αυτό έχουν μεγαλύτερες πιθανότητες να ανιχνεύσουν νέα spyware προγράμματα

Συνοπτικά αποτελέσματα

1. Drive Sentry έκδοση 3.3.0.4 - 84.00%

-.PCTools ThreatFire έκδοση 4.1.0.25 - 84.00%

3. Ashampoo έκδοση 2.05 - 80.00%

-.Paretologic Antispyware έκδοση 5.7 - 80.00%

5. Spy Emergency 2009 έκδοση 6.0.205 - 76.00%

6. Sunbelt CounterSpy έκδοση 3.1.2416 - 72.00%

7. Spyware Doctor Starter Edition έκδοση 6.0.1.440 - 68.00%

8. Spyware Terminator έκδοση 2.5.6.316 - 64.00%

9. RegDefend έκδοση 2.050 - 48.00%

10. Comodo BOClean έκδοση 4.27 - 28.00%

11. Spybot Search & Destroy έκδοση 1.6.2 - 24.00%

-.SpyHunter έκδοση 3.10.27 - 24.00%

13. Spy Cleaner Platinum έκδοση 3.7 - 16.00%

-.StopZilla έκδοση 5.0.0 - 16.00%

15. SpywareGuard έκδοση 2.2.0 - 8.00%

-.SuperAntispyware έκδοση 4.26.1000 - 8.00%

-.SpyRemover Pro έκδοση 3.0.4 - 8.00%

18. Ad-Aware Anniversary Edition έκδοση 8.0.3 - 4.00%

19. ScanSpyware έκδοση 3.9 - 0.00%

-.BPS Spyware & Adware Remover έκδοση 9.4.0.8 - 0.00%

-.Malwarebytes Antimalware έκδοση 1.36 - 0.00%

-.SpywareBlaster έκδοση 4.2 - 0.00%

ΑΝΑΛΥΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ΤΕΣΤ (σε μορφή συμπιεσμένου αρχείου .rar)

2002-05, 10-12 Μα'ί'ου

2002-11, 5-10 Νοεμβρίου

2003-05, 4-12 Μα'ί'ου

2003-10, 2-12 Οκτωβρίου

2004-08, 10-25 Αυγούστου

2005-04, 2-16 Απριλίου

2005-12, 14-22 Δεκεμβρίου

2006-03, 29-30 Μαρτίου

2006-08, 15-25 Αυγούστου

Εισαγωγή
- Γιατί τα τεστ μας ΔΙΑΦΕΡΟΥΝ από τα υπόλοιπα

Κατηγορίες
και σχόλια για τα τεστ του Virus.gr

Συγκριτικά
τεστ 2002 ως και 2006

2007-04,
23 Απριλίου-10 Μα'ί'ου

2008-06,
1-21 Ιουνίου

2009-04,
09-10 Απριλίου HIPS-AntiAntispyware

2009-08,
10 Αυγούστου-05 Σεπτεμβρίου (ΝΕΟ!!!)

Το τεστ πραγματοποιήθηκε μεταξύ 01-21 Ιουνίου 2008 σε Η/Υ P4 3200MHz, 2048MB DDRAM και σε λειτουργικό Windows XP Professional SP2.

Όλα τα προγράμματα που δοκιμάστηκαν είχαν τις τελευταίες εκδόσεις, αναβαθμίσεις και ενημερώσεις και χρησιμοποιήθηκαν όλες οι δυνατότητες κάθε προγράμματος, όπως heuristics κ.ά.

Δεν χρησιμοποιήθηκαν οι προεπιλεγμένες ρυθμίσεις των προγραμμάτων, αλλά οι ιδανικές για την μέγιστη προστασία του Η/Υ. Αυτό σημαίνει ότι κάποια προγράμματα ίσως ανιχνεύσουν εσφαλμένα κάποια αρχεία ως μολυσμένα.

Όλα τα προγράμματα που δοκιμάστηκαν ενημερώθηκαν στις 31 Μα'ί'ου 2008 μεταξύ 12.00πμ και 15.00μμ ώρα Ελλάδος.

Τα 246705 μολυσμένα δείγματα επιλέχθηκαν χρησιμοποιώντας το VS2000 με βάση τα αρχεία αναφορών των "αντιβιoτικών" προγραμμάτων Kaspersky, F-Prot, Nod32, Dr.Web, BitDefender και McAfee και χαρακτηρίζονται ως «διαφορετικά», εννοώντας ότι τουλάχιστον 1 πρόγραμμα ονομάζει το κάθε δείγμα με διαφορετικό όνομα ιού.

Δεν χρησιμοποιήθηκαν ιοί MS-DOS.

Όλα τα μολυσμένα δείγματα είχαν προηγουμένως αποσυμπιεστεί.

Τα αρχεία ελέχθηκαν για την σωστή επέκτασή τους με ειδικό πρόγραμμα εύρεσης τύπου αρχείων και είναι απολύτως διαφορετικά, βάσει checksum32 ΚΑΙ μέγεθος αρχείου.

Υπάρχει πιθανότητα, αν και μηδαμινή, κάποια από τα δοκιμαζόμενα δείγματα που χρησιμοποιήθηκαν για το τεστ να είναι εσφαλμένα αναγνωρισμένα ως ιοί από τα προγράμματα, καθώς τη χρονική στιγμή του τεστ δεν είχαν προηγουμένως δοκιμαστεί όλα τα δείγματα. Η διαδικασία του ελέγχου όλων των δειγμάτων είναι ακόμα σε εξέλιξη.

Το πρόγραμμα PER δεν δοκιμάστηκε διότι δεν υπήρχε διαθέσιμη δοκιμαστική έκδοση στην αγγλική γλώσσα.

Τα προγράμματα Command και Extendia AVK δεν δοκιμάστηκαν διότι δεν υπήρχαν διαθέσιμες δοκιμαστικές εκδόσεις.

Η λειτουργία Thorough mode δεν χρησιμοποιήθηκε στο VBA32 λόγω υπερβολικά αργής διαδικασίας ελέγχου των δειγμάτων.

Το πρόγραμμα A-Squared Anti-Malware είναι πρόγραμμα anti-trojan/anti-spyware, όχι αντιβιοτικό.

Το πρόγραμμα F-Prot δοκιμάστηκε μέσω της γραμμής εντολών του (επιλογές fpscan j:\avtest\trobo /adware /applications /output=fpscan_report.log /streams /maxdepth=4 /heurlevel=4) διότι το GUI του συνεχώς "κράσαρε".

Τα προγράμματα Kingsoft και ZondexGuard δεν δοκιμάστηκan διότι δεν μπορούσαν να κάνουν update της βάσης ιών τους.

Τα προγράμματα Windows Live OneCare , BKAV και MoonSecureAV δεν δοκιμάστηκan διότι συνεχώς "κράσαραν" κατά τον έλεγχο αρχείων.

Το πρόγραμμα AntiVir λέγεται πλέον Avira AntiVir.

Το πρόγραμμα Fire χρησιμοποιεί ακριβώς την ίδια μηχανή ελέγχου με το Solo.

Το πρόγραμμα Vexira χρησιμοποιεί ακριβώς την ίδια μηχανή ελέγχου με το VirusBuster.

Το πρόγραμμα BullGuard χρησιμοποιεί ακριβώς την ίδια μηχανή ελέγχου με το BitDefender free edition.

Το πρόγραμμα Avast Professional χρησιμοποιεί ακριβώς την ίδια μηχανή ελέγχου με το Avast free edition.

Το πρόγραμμα AVG Pro χρησιμοποιεί ακριβώς την ίδια μηχανή ελέγχου με το AVG Antivirus free edition ΣΥΝ την ανίχνευση rootkits.

Το πρόγραμμα A-squared Anti-Malware Professional χρησιμοποιεί ακριβώς την ίδια μηχανή ελέγχου με το A-squared free edition.

Το πρόγραμμα InVircible δεν δοκιμάστηκε διότι δεν υπήρχε ενσωματωμένη λειτουργία scanner-only.

Το πρόγραμμα V-Catch δεν δοκιμάστηκε διότι ελέγχει μόνο λογαριασμούς email.

DOS-ικά προγράμματα δεν δοκιμάστηκαν.

Χρησιμοποιήθηκαν οι εξής τύποι αρχείων.

SH, ELF, COM, EXE, PL, BAT, PRC, DOC, XLS, BIN, MDB, IMG, PPT, VBS, MSG, VBA, OLE, HTM, INI, SMM, TD0, REG, CLASS, HTA, JS, VI_, URL, PHP, WMF, HLP, XML, SCR, PIF, SHS, WBT, CSC, MAC, DAT, CLS, STI, INF, HQX, XMI, SIT.

Η κατηγοριοποίηση έγινε ως εξής :

File = BeOS, FreeBSD, Linux, Mac, Palm, OS2, Unix, BinaryImage, BAS viruses, MenuetOS.
Windows = Win.*.* viruses.
Macro = Macro, Multi και Formula viruses.
Malware = Adware, DoS, Constructors, Exploit, Flooders, Nukers, Sniffers, SpamTools, Spoofers, Virus Construction Tools, Droppers, PolyEngines, Rootkits, Packed.
Script = ABAP, BAT, Corel, HTML, Java, Scripts, MSH, VBS, WBS, Worms, PHP, Perl, Ruby, Python, WHS, TSQL, ASP, SAP, QNX, Matlab viruses.
Trojans-Backdoors = Trojan και Backdoor viruses.

Συνοπτικά αποτελέσματα

1. G DATA 2008 έκδοση 18.2.7310.844 - 99.05%

2. F-Secure 2008 έκδοση 8.00.103 - 98.75%

3. TrustPort έκδοση 2.8.0.1835 - 98.06%

4. Kaspersky έκδοση 8.0.0.357 - 97.95%

5. eScan έκδοση 9.0.742.1 - 97.44%

6. The Shield 2008 - 97.43%

7. AntiVir έκδοση 8.1.00.331 Premium - 97.13%

8. Ashampoo έκδοση 1.61 - 97.09%

9. Ikarus έκδοση 1.0.82 - 96.05%

10. AntiVir έκδοση 8.1.00.295 Classic - 95.54%

11. AVG έκδοση 8.0.100 Free - 94.85%

12. BitDefender 2008 έκδοση 11.0.16 - 94.70%

13. Avast έκδοση 4.8.1201 Professional - 93.78%

14. Nod32 έκδοση 3.0.650.0 - 93.36%

15. F-Prot έκδοση 6.0.9.1 - 91.87%

16. BitDefender έκδοση 10 Free - 91.32%

17. ArcaVir 2008 - 88.65%

18. Norman έκδοση 5.92.08 - 87.72%

19. Vba32 έκδοση 3.12.6.6 - 87.21%

20. McAfee Enterpise έκδοση 8.5.0i - 86.57%

21. McAfee έκδοση 12.0.177 - 86.39%

22. Rising AV έκδοση 20.46.52 - 85.87%

23. Norton 2008 - 83.34%

24. Dr. Web έκδοση 4.44.5 - 82.87%

25. Antiy Ghostbusters έκδοση 5.2.3 - 80.23%

26. VirusBuster έκδοση 5.002.62 - 77.19%

27. Outpost έκδοση 6.0.2294.253.0490 - 75.35%

28. V3 Internet Security έκδοση 2008.05.31.00 - 75.23%

29. ViRobot Expert έκδοση 5.5 - 74.50%

30. Virus Chaser έκδοση 5.0a - 73.65%

31. A-squared Anti-Malware έκδοση 3.5 - 71.66%

32. PC Tools έκδοση 4.0.0.26 - 69.82%

33. Trend Micro Antivirus+Antispyware 2008 έκδοση 16.10.1079 - 67.28%

34. Iolo έκδοση 4.325 - 63.98%

34. Panda 2008 έκδοση 3.01.00 - 61.41%

36. Sophos Sweep έκδοση 7.3.2 - 54.71%

37. ClamWin έκδοση 0.93 - 54.68%

38. CA Anti-Virus έκδοση 9.00.170 - 51.08%

39. Quick Heal έκδοση 9.50 - 47.97%

40. Comodo έκδοση 2.0.17.58 - 43.15%

41. Trojan Hunter έκδοση 5.0.962 - 31.39%

42. Solo έκδοση 7.0 - 21.10%

43. Protector Plus έκδοση 8.0.C03 - 20.14%

44. PCClear έκδοση 1.0.8.0 - 19.63%

45. AntiTrojan Shield έκδοση 2.1.0.14 - 14.74%

46. Trojan Remover έκδοση 6.6.9 - 13.49%

47. VirIT έκδοση 6.2.94 - 8.63%

48. True Sword έκδοση 4.2 - 3.42%

49. Abacre έκδοση έκδοση 1.4 - 0.00%

ΑΝΑΛΥΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ΤΕΣΤ (σε μορφή συμπιεσμένου αρχείου .rar)