Κεφάλαιο 8: Πολυμεταβλητή ανάλυση της διακύμανσης

Κεφάλαιο 8: Πολυμεταβλητή ανάλυση της διακύμανσης Σύνοψη Η τεχνική της Πολυμεταβλητής Ανάλυσης της Διακύμανσης (MANOVA) χρησιμοποιείται όταν σε ένα πειραματικό σχέδιο ερευνάται η επίδραση δύο ή περισσότερων κατηγορικών μεταβλητών, που εδώ έχουν την έννοια των παραγόντων, σε ένα πλήθος ποσοτικών μεταβλητών. Οι κατηγορικές νοούνται ως ανεξάρτητες μεταβλητές και οι ποσοτικές ως εξαρτημένες. Σκοπός της MANOVA είναι η ανεύρεση και στατιστική τεκμηρίωση της δράσης των κύριων παραγόντων και των αλληλεπιδράσεών τους και του μεγέθους της σημαντικότητας και της έντασης της σχέσης μεταξύ των εξαρτημένων μεταβλητών. Σε περίπτωση ύπαρξης στατιστικής σημαντικότητας, προβαίνουμε σε μεταβλητούς ελέγχους σημαντικότητας καθεμίας εξαρτημένης μεταβλητής προς ερμηνεία του αποτελέσματος. Στο κεφάλαιο αυτό αποπειράται λεπτομερής αναφορά ως προς τη μεθοδολογία της MANOVA, επισημαίνοντας τις περιπτώσεις προτίμησης της τεχνικής έναντι της απλής ανάλυσης διακύμανσης και αναλύοντας διεξοδικά ένα πειραματικό σχέδιο, το οποίο εύκολα αναπαράγεται σε εργαστηριακό χώρο, σχετικά με την επίδραση δύο παραγόντων σε δύο εξαρτημένες ποσοτικές μεταβλητές. Ως εφόδια προηγούμενης γνώσης απαιτούνται η ανάλυση της διακύμανσης ενός ή περισσότερων παραγόντων και ορισμένα διαγνωστικά κριτήρια, όπως της κανονικότητας και ομοιογένειας των δεδομένων. 8.1 Γενικά Η τεχνική της Πολυμεταβλητής Ανάλυσης της Διακύμανσης (Multivariate ANalysis Of VAriance-MANOVA) χρησιμοποιείται όταν σε ένα πειραματικό σχέδιο μελετούμε την επίδραση δύο ή περισσότερων κατηγορικών μεταβλητών, που εδώ έχουν την έννοια των παραγόντων, σε ένα πλήθος ποσοτικών μεταβλητών. Οι κατηγορικές νοούνται ως ανεξάρτητες μεταβλητές και οι ποσοτικές ως εξαρτημένες. Στην πραγματικότητα η ανάλυση της MANOVA αποτελεί προέκταση της απλής ανάλυσης της διακύμανσης (Analysis Of Variance-ANOVA) κατά την οποία μία μόνο μεταβλητή λαμβάνεται υπόψη σε συγκεκριμένο πειραματικό σχέδιο. H MANOVA ελέγχει διαφορές μεταξύ των διανυσμάτων των μέσων όρων, δηλαδή ταυτόχρονα όλων των εξαρτημένων μεταβλητών σε όλα τα επίπεδα των παραγόντων, χρησιμοποιώντας ως βάση τη μήτρα διακυμάνσεων-συνδιακυμάνσεων. Οι παράγοντες του σχεδίου μπορεί να είναι διασταυρωτικοί ή ιεραρχικοί, επιλέξιμοι ή τυχαίοι. Σκοπός της MANOVA είναι να προσδιορίσει αν κάποιες μεταβλητές απόκρισης (εξαρτημένες) μπορούν να επηρεαστούν από το χειρισμό επιλεγμένων ανεξάρτητων μεταβλητών και η ενέργεια αυτή στοχεύει στην ανεύρεση και στατιστική τεκμηρίωση της δράσης των κύριων παραγόντων και των αλληλεπιδράσεών τους και του μεγέθους της σημαντικότητας και της έντασης της σχέσης μεταξύ των εξαρτημένων μεταβλητών Αν ο έλεγχος F της ΜΑΝΟVA είναι στατιστικά σημαντικός, συμπεραίνουμε ότι κάποιες από τις ανεξάρτητες μεταβλητές ασκούν πραγματικά επίδραση σε κάποιες από τις εξαρτημένες. Σε δεύτερο στάδιο, και μόνο σε περίπτωση ύπαρξης στατιστικής σημαντικότητας, προβαίνουμε σε μονομεταβλητούς (univariate) ελέγχους F ατομικής σημαντικότητας (ΑΝΟVA) καθεμίας εξαρτημένης προς ερμηνεία του αποτελέσματος. Με άλλα λόγια, πρώτα επισημαίνουμε το γεγονός και στη συνέχεια μελετούμε εκείνες τις εξαρτημένες μεταβλητές που συνεισέφεραν στη σημαντικότητα κατά τη MANOVA. Το πειραματικό σχέδιο των παραγόντων Α και Β, ο πρώτος με 3 επίπεδα και ο δεύτερος με 2, ορίζει την προβολή των συνδυασμένων επιπέδων αυτών σε πίνακα της μορφής, Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 242

στον οποίο, σχηματίζονται 6 συνδυασμένα επίπεδα τα οποία αποτυπώνονται στα κελιά. Κάθε κελί περιέχει τον αριθμό των παρατηρήσεων (επαναλήψεων) που αντιστοιχούν σε κάθε συνδυασμένο επίπεδο. Η μήτρα αυτή αντιστοιχεί σε καθεμία ποσοτική μεταβλητή και επαναχρησιμοποιείται τόσες φορές όσες και οι μεταβλητές στη μελέτη. Με την παρουσία τριών παραγόντων (ο Γ με 2 επίπεδα), η μήτρα διαμορφώνεται με τη χρήση της αντιγραφής του προηγούμενου και της επικόλλησης ως εξής: και ο οποίος συνίσταται από 12 συνδυασμένα επίπεδα. Τα δεδομένα στο φύλο εργασίας εισάγονται ως μία στήλη για καθεμία μεταβλητή και μία στήλη για κάθε ένα παράγοντα. Πλήρης περιγραφική κάλυψη της MANOVA με πλήθος εφαρμογών παρέχεται από το σύγγραμμα του Stevens (2009) και του Σιάρδου (2005) και με οικολογικές προεκτάσεις από τους Warton & Hudson (2004). Διαφορές και ομοιότητες μεταξύ πολυμεταβλητών και ατομικών αναλύσεων ANOVA παρέχονται από τους Huberty & Morris (1989) και σε θέματα επεξεργασίας τροφίμων από τους Zotos et al (2001). Στο κεφάλαιο αυτό αποπειράται λεπτομερής αναφορά ως προς τη μεθοδολογία της MANOVA, επισημαίνοντας τις περιπτώσεις προτίμησης της τεχνικής έναντι της απλής ANOVA και αναλύοντας διεξοδικά ένα πειραματικό σχέδιο, το οποίο εύκολα αναπαράγεται σε εργαστηριακό χώρο, σχετικά με την επίδραση δύο παραγόντων σε δύο εξαρτημένες ποσοτικές μεταβλητές. 8.2 Χαρακτηριστικά της μεθόδου Σε γενικές γραμμές η μέθοδος ακολουθεί τα εξής βήματα υπολογισμών: 1. Δημιουργεί μία νέα εξαρτημένη μεταβλητή, τη χαρακτηριζόμενη κανονιστική μεταβλητή (canonical variable) οποία συντίθεται από το γραμμικό συνδυασμό όλων των εξαρτημένων με τέτοιο τρόπο ώστε να μεγιστοποιεί τη διαφορά απόκρισης αυτής μεταξύ των ομάδων (κατηγοριών) των ανεξάρτητων μεταβλητών, στη συνέχεια μια δεύτερη κανονιστική μεταβλητή λιγότερη σημαντική κοκ. 2. Ελέγχει αν η νέα μεταβλητή διαφέρει στατιστικά σημαντικά μεταξύ των ανεξάρτητων ομάδων. Ουσιαστικά, η MANOVA συνδυάζει μέρη της εφαρμογής των αναλύσεων της απλής διακύμανσης και της διακριτικής. Συγκεκριμένα, εξετάζει το αποτέλεσμα πολλών ανεξάρτητων μεταβλητών (κύριες δράσεις και αλληλεπιδράσεις), όπως συμβαίνει και στην ANOVA, επί ομάδας εξαρτημένων οι οποίες σχηματίζουν μία ή περισσότερες συνιστώσες, γνωστές στη διακριτική ανάλυση και ως χαρακτηριστικές ρίζες. Η δράση του κάθε παράγοντα (ανεξάρτητη μεταβλητή) Α, Β, κτλ. εκτιμάται ως το αποτέλεσμα αυτού στις χαρακτηριστικές ρίζες των εξαρτημένων, οι οποίες είναι ασυσχέτιστες μεταξύ τους, προσδοκώντας για τον ευκρινέστερο διαχωρισμό της απόκρισης των χαρακτηριστικών ριζών στις διάφορες ομάδες του κάθε παράγοντα. Η δράση της αλληλεπίδρασης των παραγόντων εκτιμάται με παρόμοιο τρόπο, απλώς αυτή ελέγχεται ως προς το αποτέλεσμά της στα συνδυασμένα επίπεδα των παραγόντων, πρώτης τάξης (ανά δύο) ή και ανώτερης. Σε κάθε παράγονται και αλληλεπίδρασή τους, οι χαρακτηριστικές ρίζες που δημιουργούνται είναι διαφορετικές. Διαδικασία εφαρμογής της MANOVA Η διαδικασία της MANOVA περιλαμβάνει δύο ομάδες στατιστικών ελέγχων. Η πρώτη ομάδα ελέγχει ταυτόχρονα όλες τις μεταβλητές (multivariate tests) κατά πόσο αυτές επηρεάζονται από τους παράγοντες του σχεδίου. Η δεύτερη εφαρμόζεται ως επακόλουθο της στατιστικής σημαντικότητας της πρώτης και ελέγχει ατομικά κάθε μεταβλητή το πώς αποκρίνεται (univariate tests). Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 243

(Α) Οι έλεγχοι πολυμεταβλητών περιλαμβάνουν τα κριτήρια στατιστικής σημαντικότητας των παραγόντων επί όλων των εξαρτημένων μεταβλητών και τις μήτρες διακυμάνσεων-συνδιακυμάνσεων Η και Ε. Κριτήρια ελέγχου της MANOVA Τέσσερα βασικά κριτήρια πολυμεταβλητότητας χρησιμοποιούνται ευρέως, οι εξισώσεις των οποίων περιγράφονται στον πίνακα 8.1. Τα κριτήρια αυτά ελέγχουν την ύπαρξη στατιστικά σημαντικών διαφορών των χαρακτηριστικών ριζών των εξαρτημένων μεταβλητών στα διάφορα επίπεδα των ανεξάρτητων: Έλεγχος Λ του Wilks. Υπό κανονικές συνθήκες επιλέγεται πρώτος διότι ανιχνεύει αν υπάρχουν διαφορές σε όλες τις χαρακτηριστικές ρίζες και προσεγγίζεται με το κριτήριο της κατανομής F. Όσο μικρότερη τιμή παίρνει τόσο μεγαλύτερη διασπορά τιμών παρατηρείται μεταξύ των ομάδων. Το κριτήριο αυτό δεν προτείνεται όταν υφίσταται κάποιο πρόβλημα, όπως συμβαίνει με την παρουσία μικρού αριθμού παρατηρήσεων του πειράματος (Ν), άνισων παρατηρήσεων στα συνδυασμένα επίπεδα και αδυναμία συμμόρφωσης με τις προϋποθέσεις εφαρμογής της μεθόδου (βλ. διαγνωστικά κριτήρια). Σε άλλη περίπτωση, επιλέγεται ο έλεγχος του Pillai. Έλεγχος Τ 2 του Hotelling, o οποίος επίσης ανιχνεύει διαφορές σε όλες τις ρίζες και ελέγχει τους παράγοντες συγκρίνοντάς τους μέσους όρους δύο μόνο επιπέδων τη φορά, και προσεγγίζεται επίσης με το κριτήριο της κατανομής F. Ίχνος V του Pillai. Ανιχνεύει διαφορές σε όλες τις ρίζες και, αντί του Wilks, όταν το δειγματοληπτικό μέγεθος είναι μικρό, το μέγεθος των επαναλήψεων διαφέρει στα κελιά και σε έλλειψη ομοιογένειας των συνδιακυμάνσεων. Μέγιστη ρίζα του Roy. Ελέγχει μόνο την πρώτη (και σημαντικότερη) χαρακτηριστική ρίζα και εμφανίζεται πολύ ισχυρός όταν αυτή συντίθεται από εξαρτημένες μεταβλητές που συσχετίζονται πολύ έντονα μεταξύ τους, επηρεάζεται όμως από την έλλειψη συμμόρφωσης στις προϋποθέσεις της MANOVA. Έχει το μειονέκτημα να μην προσεγγίζεται στατιστικά με το κριτήριο F. Τιμές των κριτηρίων F των ελέγχων μεγαλύτερες της οριακής ή καλύτερα πιθανότητες σφάλματος μικρότερες της πιθανότητας αναφοράς 0,05, δηλώνουν ότι παράγεται σημαντική στατιστικά πληροφόρηση για τυχόν επίδραση των παραγόντων στις μεταβλητές. Σε περιπτώσεις που οι τιμές σημαντικότητας p διαφέρουν μεταξύ τους, δηλαδή ισχύει σε κάποιους p>0,05 και σε άλλους p 0,05, τότε η εξαγωγή συμπερασμάτων επαφίεται στην κρίση του ερευνητή. Εύκολα συνάγεται ότι θα πρέπει υποχρεωτικά να ισχύει η εναλλακτική υπόθεση (p 0,05) στους ελέγχους πολυμεταβλητότητας (στατιστικά σημαντικοί) για να προχωρήσουμε στους ατομικούς ελέγχους των μεταβλητών, ειδάλλως, στο σημείο αυτό περατώνεται η επεξεργασία των στοιχείων και στην ουσία η διαδικασία της έρευνας. Υπολογισμοί των χαρακτηριστικών ριζών Οι μήτρες διακυμάνσεων-συνδιακυμάνσεων (για λόγους συντόμευσης θα αναφέρονται στο εξής με το δεύτερο όρο) περιγράφονται στον πίνακα 8.2 και είναι τρεις: 1. Η μήτρα συνδιακυμάνσεων Η των μεταξύ των επιπέδων αθροισμάτων των χιαστί γινομένων η οποία εκτιμά την ποσότητα της μεταβλητότητας η οποία διαχωρίζεται στα επίπεδα κάθε παράγοντα. Αυτή ονομάζεται επίσης και μήτρα της υπόθεσης του ελέγχου. Τα στοιχεία επί της διαγωνίου της μήτρας είναι τα ατομικά αθροίσματα κάθε παράγοντα για κάθε μεταβλητή και εκείνα εκτός της διαγωνίου, είναι τα αθροίσματα των χιαστί γινομένων. 2. Η μήτρα συνδιακυμάνσεων Ε των αθροισμάτων του σφάλματος μέσα στα επίπεδα κάθε παράγοντα και των χιαστών γινομένων. Τα στοιχεία επί της διαγωνίου είναι τα αθροίσματα του σφάλματος, ενώ τα εκτός αυτής είναι των χιαστί γινομένων. Μερικές φορές ελέγχεται και η μήτρα των υπολειμματικών συσχετίσεων η οποία εξάγεται από τη μήτρα Ε αντικαθιστώντας τα αθροίσματα του σφάλματος με τις υπολειμματικές συσχετίσεις των μεταβλητών. Τα επί της διαγωνίου στοιχεία αφορούν τις συσχετίσεις μεταξύ των υπολειμμάτων στις μεταβλητές και χαμηλές τιμές αυτών ειδοποιούν για την απρόσκοπτη εκτέλεση των ατομικών ελέγχων ANOVA για κάθε μεταβλητή. 3. Η μήτρα των χαρακτηριστικών ριζών και των διανυσμάτων η οποία ελέγχει αν οι μέσοι όροι των μεταβλητών διαφέρουν μεταξύ των επιπέδων των διαφόρων παραγόντων του πειραματικού σχεδίου. Η μήτρα προκύπτει ως το γινόμενο των μητρών συνδιακυμάνσεων. Η πρώτη ρίζα επεξηγεί περισσότερη ποσότητα της Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 244

ολικής διακύμανσης απ ότι η δεύτερη κοκ, έχει δηλαδή την ίδια ερμηνεία που διατυπώθηκε στην ανάλυση των κύριων συνιστωσών και τη διακριτική. Από τη μήτρα των διανυσμάτων των ριζών συγκρίνουμε τις τιμές για κάθε μεταβλητή. Υψηλές τιμές των διανυσμάτων σε κάποιες μεταβλητές σημαίνει ότι εκείνες μόνο παράγουν τις μέγιστες διαφορές στα επίπεδα των παραγόντων. Πίνακας 8.1. Εξισώσεις των κριτηρίων πολυμεταβλητότητας με τη σημειογραφία τους. Μέγεθος δράσης Η διαφορετική ισχύς της δράσης των στατιστικά σημαντικών ανεξάρτητων μεταβλητών ελέγχεται με το κριτήριο Λ ή το συντελεστή η 2 αναφορικά με τη MANOVA. Το κριτήριο αυτό αντανακλά το πηλίκο της διακύμανσης μέσα στις ομάδες για όλες τις χαρακτηριστικές ρίζες προς την ολική διακύμανση αυτών. Μεγαλύτερη τιμή σημαίνει σημαντικότερο αποτέλεσμα. Στους ατομικούς ελέγχους ANOVA ο όρος η 2 δείχνει το ποσοστό της διακύμανσης σε κάθε εξαρτημένη που επεξηγείται από τα διάφορα επίπεδα κάθε ανεξάρτητης. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 245

Πίνακας 8.2. Εξισώσεις των μητρών διακυμάνσεων-συνδιακυμάνσεων. (Β) Οι ατομικοί έλεγχοι εκκινούν με τον πίνακα της ανάλυσης της διακύμανσης των παραγόντων (ANOVA) χωριστά για κάθε μεταβλητή. Αν θεωρήσουμε ότι το πειραματικό σχέδιο αποτελείται από δύο παράγοντες Α και Β με 3 και 4 επίπεδα αντίστοιχα και 2 επαναλήψεις ανά συνδυασμένο επίπεδο τότε ο πίνακας της ANOVA θα είναι της μορφής: Κάθε παράγοντας ελέγχεται ως προς τη σημαντικότητά του επί της μεταβλητής, συγκρίνοντας τη δράση του ως πιθανότητα σφάλματος p με την πιθανότητα αναφοράς 0,05 (ή οποιαδήποτε άλλη υποδεικνύεται). Αν p 0,05 τότε τα επίπεδα του παράγοντα παράγουν μέσες τιμές της μεταβλητής που διαφέρουν στατιστικά σημαντικά μεταξύ τους. Τρία στατιστικά κριτήρια ελέγχουν το βαθμό της αξιοπιστίας της ανάλυσης: Η τυπική απόκλιση s της ανάλυσης, η οποία ισούται με, έχει τις ίδιες τιμές με τη μετρούμενη μεταβλητή και μετρά την απόσταση των τιμών από τις μέσες τιμές των επιπέδων των παραγόντων. Όσο μικρότερη η απόσταση τόσο επαρκέστερο το μοντέλο της ανάλυσης. Ο συντελεστής η 2 (GSS/ESS) ή επικρατέστερα R 2 ο οποίος περιγράφει το ποσοστό της μεταβλητότητας που επεξηγείται από το μοντέλο της ανάλυσης, λαμβάνει τιμές από 0 μέχρι 1 (ή 0-100%) και η αξία του αυξάνει ακόμα περισσότερο όταν τα επίπεδα κάποιων παραγόντων είναι ποσοτικά (π.χ. μηνιαίες μεταβολές). Στην περίπτωση αυτή, υψηλές τιμές του συντελεστή εκφράζουν έντονη γραμμική μεταβολή της μεταβλητής στα επίπεδα του παράγοντα. Ο διορθωμένος συντελεστής R 2 (1-ESS/TSS) χρησιμοποιείται αντί του προηγούμενου γιατί δεν επηρεάζεται δ από την παρουσία μικρού πλήθους παρατηρήσεων και επομένως παρουσιάζει μεγαλύτερη αξιοπιστία στην ερμηνεία των αποτελεσμάτων. Διαγνωστικά κριτήρια εφαρμογής της MANOVA Η μέθοδος μειονεκτεί στο γεγονός ότι απαιτείται η συμμόρφωση της με ένα πλήθος προϋποθέσεων που δεν είναι πάντα εύκολο να επιτευχθεί: Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 246

Μέγεθος δείγματος. Ο αριθμός των επαναλήψεων (n) σε κάθε συνδυασμένο επίπεδο των ανεξάρτητων μεταβλητών θα πρέπει να είναι μεγαλύτερος του αριθμού (p) των εξαρτημένων μεταβλητών (n>p). Κανονικότητα. Εξετάζεται συνολικά ως πολυμεταβλητή ή ατομικά. Η πολυμεταβλητή κανονικότητα διασφαλίζεται ευκολότερα όταν οι συνδυασμένες επαναλήψεις αριθμούν πάνω από 20-30 και ελέγχεται με την απόσταση του Mahalanobis (βλ. κεφάλαιο 6). Η κανονικότητα κάθε μεταβλητής ελέγχεται με το γράφημα των υπολειμμάτων έναντι των αρχικών στοιχείων. Τα σημεία στο γράφημα θα πρέπει να εμφανίζουν ισχυρή γραμμικότητα χωρίς καμπύλες στα άκρα της ευθείας (ένδειξη ασυμμετρίας), χωρίς τιμές απομακρυσμένες από την ευθεία (ακραίες τιμές) και χωρίς την ύπαρξη καμπυλότητας τύπου S κατά μήκος των σημείων (ένδειξη πολυωνυμικής τάσης). Η κανονικότητα προσδιορίζεται στατιστικά σημαντικά με τους ελέγχους Shapiro-Wilks, Kolmogorov-Smirnof, Anderson-Darling κ.ά., δεν διασφαλίζουν όμως απαραίτητα όλες οι ομαλώς κατανεμημένες ατομικές μεταβλητές και την ύπαρξη πολυμεταβλητής κανονικότητας. Επιπροσθέτως, χρησιμοποιείται το φυλλογράφημα (stem and leaf plot) με το οποίο διαπιστώνεται η ύπαρξη συμμετρίας της κατανομής για καθεμία εξαρτημένη μεταβλητή και η εμφάνιση ακραίων τιμών, το διάγραμμα κανονικής κατανομής των μεταβλητών και το διάγραμμα των υπολειμμάτων απόκλισης από την κανονικότητα (Σιάρδος, 2005). Ακραίες παρατηρήσεις. Η MANOVA παρουσιάζεται λίαν ευαίσθητη στην ύπαρξη ακραίων τιμών διότι μπορούν να αυξήσουν την πιθανότητα εμφάνισης σφάλματος τύπου Ι. Αυτές ελέγχονται κατ αρχήν με τη μορφή υπολειμμάτων ατομικά για κάθε μεταβλητή και ακολούθως συνολικά με την απόσταση Mahalanobis. Τιμές απόστασης μεγαλύτερης από την οριακή τιμή χ 2 που ορίζεται από τον αριθμό των εξαρτημένων μεταβλητών, πιστοποιούν την ύπαρξη ακραίων τιμών. Σε περίπτωση ανίχνευσης τέτοιων τιμών, συνιστάται η διαγραφή των αντίστοιχων παρατηρήσεων ή η χρήση μετασχηματισμών των στοιχείων. Συσχέτιση των εξαρτημένων μεταβλητών ή ομοιομορφία. Η MANOVA λειτουργεί άριστα όταν οι εξαρτημένες μεταβλητές συσχετίζονται μέτρια μεταξύ τους (συντελεστές συσχέτισης: 0,4-0,7). Η παρουσία λίαν ισχυρών συσχετίσεων μεταξύ κάποιων εξαρτημένων μεταβλητών δημιουργεί τεράστιο πρόβλημα διότι δύο ή περισσότερες μεταβλητές εμφανίζονται να έχουν τις ίδιες ιδιότητες και θεωρούνται περιττές (πλεονάζουσες). Σε υψηλή πολυσυγγραμικότητα, όπου οι συσχετίσεις εκκινούν από 0,8 κυρίως ή και 0,9, οι εξαρτημένες μειώνουν την στατιστική σημαντικότητα της ανάλυσης και θα πρέπει μία μεταβλητή από κάθε ισχυρό ζεύγος συσχέτισης να απομακρύνεται τη φορά. Από την άλλη πλευρά, ενδέχεται ο ερευνητής, εφόσον το επιθυμεί, να εφαρμόσει τον έλεγχο της MANOVA μία φορά σε όλες αυτές τις ισχυρά συσχετιζόμενες αντί να προβεί σχολαστικά και διαδοχικά σε μονομεταβλητούς ελέγχους της ANOVA. O έλεγχος συσχέτισης των εξαρτημένων μεταβλητών γίνεται με τον έλεγχο σφαιρικότητας του Bartlett. Ο έλεγχος αυτός βασίζεται στην ορίζουσα των σφαλμάτων της μήτρας συσχετίσεων των εξαρτημένων μεταβλητών. Ορίζουσα σχεδόν μηδενική δηλώνει ότι μία ή περισσότερες μεταβλητές μπορούν να εκφραστούν ως γραμμικές συναρτήσεις των άλλων και συνεπώς η υπόθεση ότι οι εξαρτημένες μεταβλητές είναι ασυσχέτιστες μεταξύ τους απορρίπτεται. Έτσι, στατιστική σημαντικότητα (p<0,05) κατά τον έλεγχο αυτόν δηλώνει ότι η μήτρα συσχετίσεων δεν είναι ταυτοτική, δηλαδή ότι οι εξαρτημένες μεταβλητές συσχετίζονται μεταξύ τους και συνεπώς η τεχνική της πολυμεταβλητής ανάλυσης της διακύμανσης μπορεί να είναι εφαρμόσιμη για τα δεδομένα. Άλλος τρόπος, περισσότερο αποτελεσματικός, ελέγχου της συσχέτισης των εξαρτημένων μεταβλητών είναι η εφαρμογή της ανάλυσης κύριων συνιστωσών της μήτρας των συντελεστών συσχέτισης των εντός των ομάδων τιμών. Εάν η ανάλυση κύριων συνιστωσών δείξει ότι μία από τις εξαρτημένες μεταβλητές μπορεί να εκφραστεί ως γραμμική σχέση των άλλων, τότε η μήτρα σφαλμάτων του αθροίσματος των τετραγώνων και των γινομένων των τιμών τους ανά δύο θα είναι ιδιάζουσα και έτσι δεν θα είναι δυνατή η απόκτηση αντίστροφης μήτρας. Ομοιογένεια της μήτρας διακυμάνσεων-συνδιακυμάνσεων. Εξετάζεται με τον έλεγχο F του κριτηρίου Μ του Box ο οποίος θα πρέπει να λαμβάνεται υπόψη με προσοχή διότι επηρεάζεται έντονα όταν σημειώνεται έλλειψη πολυμεταβλητής κανονικότητας και ειδικά στην παρουσία μεγάλου δειγματοληπτικού μεγέθους. Για το λόγο αυτόν μερικοί ερευνητές χρησιμοποιούν ως επίπεδο σημαντικότητας το p=0,001, ειδικά όταν τα μεγέθη των δειγμάτων είναι άνισα. Αντίθετα, η MANOVA επηρεάζεται λιγότερο όταν οι συνδυασμένες επαναλήψεις στα κελιά (επίπεδα) είναι ίσες. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 247

Ομοιογένεια των ατομικών διακυμάνσεων. Κάθε εξαρτημένη οφείλει να προβάλλει ίσες διακυμάνσεις στις ομάδες των ανεξάρτητων μεταβλητών και θα πρέπει να εξετάζεται ατομικά με τη χρήση ελέγχων ή και γραφικά. Όταν η προϋπόθεση αυτή παύει να ισχύει, τότε καταφεύγουμε στον έλεγχο Levene της ισότητας των διακυμάνσεων σε κάθε εξαρτημένη μεταβλητή χωριστά, μειώνοντας παράλληλα το επίπεδο στατιστικής σημαντικότητας από το 0,05 σε 0,025 ή ακόμα και σε 0,01 (Tabachnick & Fidell, 2006). Η ομοιογένεια ελέγχεται επίσης και με το γράφημα των υπολειμμάτων έναντι των μέσων τιμών των επιπέδων. Τα σημεία στο γράφημα θα πρέπει να έχουν διάσπαρτη κατανομή για να ισχύει η ομοιογένεια. Ως ακριβείς στατιστικοί έλεγχοι της ισότητας των διακυμάνσεων προτείνονται οι έλεγχοι Bartlett και Levene, ο πρώτος όμως μειονεκτεί όταν διαπιστώνεται έλλειψη κανονικότητας στα στοιχεία. 8.3 Χρήσεις της MANOVA Η χρήση της MANOVA σε πειράματα όπου μπορούμε να χειριστούμε κάποιες ανεξάρτητες μεταβλητές κατά βούληση παρουσιάζει σημαντικά πλεονεκτήματα έναντι της κλασικής ANOVA: α) H θεώρηση πολλών εξαρτημένων μεταβλητών σε ένα μοναδικό πείραμα παρέχει μεγαλύτερη πιθανότητα έκβασης ένας παράγοντας να βρεθεί πραγματικά σημαντικός. β) Μειώνει την πιθανότητα εμφάνισης του σφάλματος τύπου Ι που συχνότερα απαντάται στις ατομικές εφαρμογές ANOVA. γ) Μπορεί να ανιχνεύσει διαφορές εκεί που οι ατομικοί έλεγχοι της ANOVA αδυνατούν να το πράξουν. Από την άλλη πλευρά η χρήση της MANOVA θα πρέπει να γίνεται προσεκτικά διότι αποτελεί ένα πολύπλοκο στατιστικό εργαλείο οδηγώντας ενίοτε στη γένεση αμφιβολιών αν κάποια ανεξάρτητη μεταβλητή επιδρά σημαντικά σε κάποια εξαρτημένη. Μπορεί να μειώνει το συνολικό σφάλμα μέσα στις ομάδες, μειώνονται ωστόσο και οι βαθμοί ελευθερίας λόγω συμμετοχής των εξαρτημένων μεταβλητών και κατά συνέπεια το αποτέλεσμα να προκύπτει ως μη ιδιαίτερα αξιόπιστο. Επιπροσθέτως, οι εξαρτημένες οφείλουν να μην συσχετίζονται ισχυρά γιατί αλλιώς η είσοδος στον έλεγχο περισσότερων από μία δεν βελτιώνει σημαντικά την απώλεια που υφίστανται οι βαθμοί ελευθερίας. Στις περιπτώσεις αυτές συνιστάται η χρήση των ατομικών ελέγχων της ANOVA. Κατά κανόνα, η MANOVA επιλέγεται εποικοδομητικά στις ακόλουθες περιπτώσεις: Όταν αρκετές εξαρτημένες μετρούν διαφορετικές όψεις του ίδιου θεματικού περιεχομένου π.χ. διαφορετικοί τύποι ακαδημαϊκής επίδοσης (Μαθηματικά, Αγγλικά). Όταν εκτιμώνται μέτριας έντασης συσχετίσεις μεταξύ των εξαρτημένων μεταβλητών. Σε πολύ υψηλές συσχετίσεις δεν περισσεύει μεγάλο μέρος της διακύμανσης μετά την προσαρμογή της πρώτης εξαρτημένης προκειμένου να μελετηθεί με σοβαρότητα η δεύτερη. Σε εξαιρετικά χαμηλές συσχετίσεις η μέθοδος στερείται στατιστικής ισχύος διότι έτσι θυσιάζονται πολλοί βαθμοί ελευθερίας του ολικού σφάλματος SS. Σε αμφότερες τις περιπτώσεις ο ερευνητής προτείνεται να εφαρμόζει ατομικούς ελέγχους ANOVA, δηλαδή για κάθε μία εξαρτημένη να αναλογεί και μία ανεξάρτητη μεταβλητή. Όσο αυξάνει η πολυπλοκότητα της MANOVA τόσο αυξάνει και η αμφιβολία για την αξιοπιστία των αποτελεσμάτων της. Επομένως ο ερευνητής θα πρέπει να διασφαλίζει κάπως ότι έχει ορθά επιλέξει τη MANOVA. Στα πλεονεκτήματα της μεθόδου συγκαταλέγονται τα ακόλουθα: Ελέγχει το αποτέλεσμα της απόκρισης πολλών εξαρτημένων μεταβλητών από τη δράση πολλών ανεξάρτητων με μία μόνο εφαρμογή της μεθόδου. Οι ανεξάρτητες μεταβλητές μπορούν να επηρεάσουν κάποιες εξαρτημένες που εντάσσονται σε διαφορετικά θεματικά περιεχόμενα, π.χ. μία αντικαπνιστική εκστρατεία μπορεί να επηρεάσει ανατρεπτικά (θετικά) την παραγωγικότητα, την παρατεταμένη απουσία ενός εργατικού δυναμικού και τις ασφαλιστικές αποζημιώσεις. Αναφορικά με την επιστήμη τροφίμων, επιχειρούν να συνδέσουν θετικά τη μηχανική ελαστικότητα με την οργανοληπτική σκληρότητα ενός προϊόντος. Αποδίδει μεγαλύτερη ισχύ σημαντικότητας συγκριτικά με την ισχύ των ατομικών ελέγχων της ANOVA. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 248

Προάγει την ερμηνευτική αξία των αποτελεσμάτων συγκριτικά με τις μονομερείς ερμηνείες των ατομικών αποτελεσμάτων της ANOVA. Όταν στη MANOVA συμμετέχει μία ομάδα μη συσχετιζόμενων εξαρτημένων αυτή διασφαλίζει ότι καθεμία από αυτές θα παράγει και διαφορετικό θέμα ερμηνείας από τη δράση των ανεξάρτητων μεταβλητών. Στα μειονεκτήματα της μεθόδου επισημαίνονται τα εξής: Το αποτέλεσμα της διακριτικής ανάλυσης της MANOVA δεν εξηγείται πάντα με εύκολο τρόπο, διότι οι χαρακτηριστικές ρίζες χρησιμοποιούνται απλά για τον ευκρινέστερο διαχωρισμό των αποτελεσμάτων στις διάφορες ομάδες και όχι κατ ανάγκη στη δημιουργία αισθητής διαφοράς σε θεματικό περιεχόμενο. Δηλαδή, στη ΜΑΝΟVA κάθε αποτέλεσμα ελέγχεται με τη χρήση διαφορετικών χαρακτηριστικών ριζών για τον παράγοντα Α, Β και την αλληλεπίδρασή τους ΑxΒ. Χαμηλή ισχύς του ελέγχου της MANOVA μπορεί να σημαίνει μη στατιστικά σημαντικό αποτέλεσμα αλλά σημαντικό πιθανόν σε μία ή περισσότερες ατομικές ANOVA. Οι προϋποθέσεις που λαμβάνονται υπόψη είναι πολλές και γι αυτό το λόγο θεωρείται αρκετά δύσκολο να ισχύουν όλες ταυτόχρονα. Όταν οι σκόπελοι των μειονεκτημάτων μετά την εφαρμογή της MANOVA είναι πρόδηλοι και δεν αντιμετωπίζονται αποτελεσματικά, τότε οδηγούμαστε σε μία από δύο εναλλακτικές επιλογές: 1. Συνδυάζουμε ή απαλείφουμε κάποιες εξαρτημένες, ειδικά εκείνες με ισχυρές συσχετίσεις, οπότε παραμένουν προς ανάλυση μόνο οι ουσιώδεις. 2. Εφαρμόζουμε την ανάλυση των κύριων συνιστωσών (PCA) στις εξαρτημένες και εκτελούμε ατομικούς ελέγχους ANOVA στις παραγόμενες συνιστώσες οι οποίες εξορισμού δεν συσχετίζονται. Κάθε συνιστώσα αντανακλά τη δράση ορισμένων εξαρτημένων μεταβλητών σε αυτή και αναμένεται έτσι να αποφέρει διαφοροποιημένο στατιστικά σημαντικό αποτέλεσμα συγκριτικά από μία άλλη σε κάθε ατομική εφαρμογή της ANOVA. 8.4 Μελέτη περίπτωσης πολυμεταβλητής ανάλυσης της διακύμανσης (MANOVA) H στατιστική ανάλυση έγινε με τα προγράμματα ΜΙΝΙΤΑΒ 16.0 και STATISTICA 12.0. Το μικροβιακό φορτίο που περιέχει το γάλα προς κατανάλωση ερευνήθηκε πώς επηρεάζεται από τη δράση δύο παραγόντων, τη λιποπεριεκτικότητα με δύο επίπεδα (0% και 4%), και το χρόνο συντήρησης εκτός ψυγείου σε θερμοκρασία δωματίου με τρία επίπεδα (0, 12 και 24 ώρες). Το φορτίο μετρήθηκε ποσοτικά με δύο μεταβλητές, την ολική μικροβιακή χλωρίδα (OMX) και το χρόνο αναγωγής του κυανού του μεθυλενίου (ΚΜ) σε δευτερόλεπτα (sec) με τη χρήση προχοΐδας σε 18 φιάλες γάλακτος. Θεωρητικά αναμένεται ο χρόνος έκθεσης εκτός ψυγείου όπως και η αύξηση των λιπαρών να επιταχύνει την μικροβιακή ανάπτυξη αυξάνοντας τις τιμές ΟΜΧ και μειώνοντας το χρόνο αναγωγής του δείκτη. Το πειραματικό σχέδιο περιγράφεται στον πίνακα δύο παραγόντων με 2x3=6 συνδυασμένα επίπεδα και με 3 επαναλήψεις σε κάθε συνδυασμένο επίπεδο. Η μεταβλητή ΟΜΧ λογαριθμίστηκε λόγω έλλειψης ομοιογένειας στις διακυμάνσεις των επιπέδων των παραγόντων. Η ανάλυση της MANOVA έδειξε τα εξής αποτελέσματα: Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 249

(Α) Έλεγχοι σημαντικότητας των παραγόντων 1) Αμφότεροι παράγοντες Μήτρα συνδιακυμάνσεων Ε Τα στοιχεία επί της διαγωνίου είναι τα σφάλματα εντός των επιπέδων που αναπτύσσονται στις δύο μεταβλητές (72600 και 4,2 αντίστοιχα) Υπολειμματική μήτρα συσχετίσεων Τα στοιχεία εκτός της διαγωνίου δείχνουν τον υπολειμματικό συντελεστή συσχέτισης μεταξύ των δύο μεταβλητών. Ο συντελεστής έχει τιμή -0,54 η οποία θεωρείται μέτρια ικανοποιητική και δηλώνει ότι οι δύο μεταβλητές συσχετίζονται ασθενώς, πράγμα που είναι επιθυμητό για την ανάλυση της MANOVA. 2) Παράγοντας ΩΡΕΣ Κριτήρια πολυμεταβλητότητας Τα κριτήρια εμφανίζουν ακριβή πιθανότητα σφάλματος p μικρότερη του 0,05 (0,039 0,037 και 0,046) και δηλώνουν ότι υπάρχει στατιστικά σημαντική επίδραση του χρόνου συντήρησης εκτός ψυγείου στις δύο μεταβλητές. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 250

Μήτρα συνδιακυμάνσεων Η Τα στοιχεία επί της διαγωνίου εξάγουν τη μεταβλητότητα που αναπτύσσεται στις τρεις χρόνους συντήρησης στις δύο μεταβλητές. Ανάλυση των χαρακτηριστικών ριζών Η πρώτη ρίζα επεξηγεί το 89,8% της ολικής διακύμανσης των στοιχείων, ποσοστό υψηλό για την ερμηνεία των αποτελεσμάτων λαμβάνοντας υπόψη μόνο αυτή. Το διάνυσμα της πρώτης ρίζας έχει υψηλότερη τιμή στην ΟΜΧ (0,053) απ ότι στην ΚΜ (0,004), πράγμα που σημαίνει ότι οι μέσοι όροι της ΟΜΧ εμφανίζουν μεγαλύτερες διαφορές μεταξύ τους στα τρία επίπεδα του χρόνου συντήρησης συγκριτικά με την ΚΜ. 3) Παράγοντας ΛΙΠΟΣ % Κριτήρια πολυμεταβλητότητας Οι πιθανότητες ακριβούς σφάλματος p είναι όλες ίδιες (0,04) και μικρότερες του 0,05, άρα υπάρχει στατιστικά σημαντική ένδειξη ότι η διαφορετική λιποπεριεκτικότητα επιδρά στο μικροβιακό φορτίο. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 251

Μήτρα συνδιακυμάνσεων Η Τα στοιχεία επί της διαγωνίου εξάγουν τη μεταβλητότητα που αναπτύσσεται στις δύο περιεκτικότητες λίπους στις δύο μεταβλητές. Ανάλυση των χαρακτηριστικών ριζών Η πρώτη ρίζα επεξηγεί πλήρως την ολική διακύμανση (λ=1,000) και αυτή λαμβάνεται αποκλειστικά για την ερμηνεία των αποτελεσμάτων. Το διάνυσμα της πρώτης ρίζας έχει υψηλότερη τιμή στην ΟΜΧ συγκριτικά με την ΚΜ (0,016 έναντι 0,004), και συμπεραίνουμε ότι στην πρώτη μεταβλητή αναμένονται μεγαλύτερες διαφορές των μέσων όρων στα δύο επίπεδα λίπους. 4) Αλληλεπίδραση ΩΡΕΣ x ΛΙΠΟΣ % Κρίνοντας από τις ακριβείς πιθανότητες σφάλματος (p>0,05), προκύπτει ότι το αποτέλεσμα της αλληλεπίδρασης των δύο παραγόντων δεν είναι στατιστικά σημαντικό και δεν αναλύεται περαιτέρω. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 252

Μήτρα συνδιακυμάνσεων Η Τα στοιχεία επί της διαγωνίου εξάγουν τη μεταβλητότητα που αναπτύσσεται στην αλληλεπίδραση στις δύο μεταβλητές. Ανάλυση των χαρακτηριστικών ριζών Η ανάλυση των ριζών δεν ερμηνεύεται γιατί δεν διαπιστώθηκε σημαντική επίδραση της αλληλεπίδρασης. (Β) Ατομικοί έλεγχοι της ANOVA Οι παράγοντες έδειξαν ότι επηρεάζουν στατιστικά σημαντικά τις δύο εξαρτημένες μεταβλητές και για το λόγο αυτό η δράση τους αναλύεται ατομικά. Κρίνοντας από τις τιμές της πιθανότητας σφάλματος προκύπτει ότι χρόνος αναγωγής επηρεάζεται στατιστικά σημαντικά και από το χρόνο συντήρησης εκτός ψυγείου και από τα επίπεδα του λίπους (0,011 και 0,009), όχι όμως από την αλληλεπίδραση (0,361). Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 253

Ο συντελεστής R 2 εμφανίζεται αρκετά υψηλός (67,8%) δηλώνοντας έτσι ότι αναπτύσσεται καλή γραμμική μεταβολή του χρόνου αναγωγής με την αύξηση των τιμών των επιπέδων σε αμφότερους τους παράγοντες. Υπενθυμίζεται ότι τα επίπεδα των παραγόντων έχουν ποσοτική σχέση (0, 12, 24 ώρες και 0% και 4% λίπος). Το αποτέλεσμα αμφοτέρων των παραγόντων στη μικροβιακή χλωρίδα (logομχ) κρίνεται μη στατιστικά σημαντικό διότι η ακριβής πιθανότητα σφάλματος στα τρία κριτήρια είναι μεγαλύτερη του 0,05 και περατώνεται στο στάδιο αυτό η διαδικασία της περαιτέρω ανάλυσης. Στη συνέχεια προβαίνουμε στην καταγραφή των μέσων τιμών αμφοτέρων των μεταβλητών ανά επίπεδο παράγοντα και επιχειρούμε την ερμηνεία της διαφοροποίησης των μέσων είτε με γραφικό τρόπο (σύγκριση με βάση τα 95% όρια εμπιστοσύνης των μέσων) είτε με άλλες γνωστές μεθόδους σύγκρισης (έλεγχος του Tukey, SNK κ.ά.). Σχετικά με το χρόνο συντήρησης, ο χρόνος αναγωγής ΚΜ του αντιδραστηρίου (κυανό του μεθυλενίου), κρίνοντας από τις μέσες τιμές των επιπέδων, βαίνει συνεχώς μειούμενος με την πάροδο των ωρών αποκαλύπτοντας έτσι ότι υφίσταται αύξηση του μικροβιακού φορτίου στο γάλα. Επίσης, ο χρόνος αναγωγής είναι υψηλότερος σε λίπος γάλακτος 0% απ ότι σε λίπος 4% (238,9 έναντι 125,6 sec), άρα η αύξηση του λιποπεριεκτικότητας αυξάνει τη μικροβιακή ανάπτυξη. Το αποτέλεσμα της μεταβολής του ΚΜ λόγω της δράσης των δύο παραγόντων ελέγχεται και γραφικά όπως δείχνει το σχήμα 8.1. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 254

Σχήμα 8.1. Μεταβολή του χρόνου αναγωγής του Κ.Μ. σε δείγματα γάλακτος συντηρημένα μέχρι 24 ώρες εκτός ψυγείου και σε δύο επίπεδα λιποπεριεκτικότητας (0 και 4%). Οι κάθετες ευθείας παριστούν τα 95% όρια εμπιστοσύνης των μέσων τιμών υπολογισμένα από σφάλμα των ατομικών ANOVA. Η μικροβιακή χλωρίδα (logομχ) δεν ελέγχεται γιατί οι παράγοντες δεν εμφάνισαν στατιστικά σημαντικό αποτέλεσμα στην ανάλυση της ANOVA. Διαγνωστικά κριτήρια Τα γραφήματα της κανονικότητας των υπολειμμάτων (Σχ. 8.2) σε αμφότερες τις μεταβλητές έδειξαν γραμμική μεταβολή εξακριβωμένη και από τις τιμές του ελέγχου των Anderson-Darling (p>0,05) υποδεικνύοντας την ύπαρξη κανονικότητας στα στοιχεία. Οι έλεγχοι της ομοιογένειας των διακυμάνσεων ελέγχθηκαν χωριστά για κάθε μεταβλητή (έλεγχοι των Bartlett και Levene) αλλά και συνολικά για το σύνολο της MANOVA (έλεγχος Μ του Βox) υποδεικνύοντας ισότητα μεταξύ των διακυμάνσεων (p>0,05). Εναλλακτικά, τα γραφήματα της ομοιογένειας των υπολειμμάτων (Σχ. 8.2) έδειξαν επίσης διάσπαρτη κατανομή και άρα την ύπαρξη ομοσκεδασμού στις διακυμάνσεις των στοιχείων στις δύο μεταβλητές. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 255

Σχήμα 8.2. Γραφήματα κατανομής των υπολειμμάτων των στοιχείων στις δύο μεταβλητές. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 256

8.5 Βιβλιογραφία Huberty, C. J. & Morris, J.D. (1989). Multivariate analysis versus multiple univariate analyses. Psychological Bulletin, 105, 302-308. Stevens, J. (2009). Applied multivariate statistics for the social sciences. 5th Ed. Mahwah, NJ.: Lawrence Erlbaum. Tabachnick B.G. & Fidell L.S. (2006). Using multivariate statistics. Harper & Row, New York, 1008 p. Warton D.I. & Hudson H.M.(2004). A MANOVA statistic is just as powerful as distance-based statistics, for multivariate abundances. Ecology, 85, 858-874. Zotos A., Petridis D., Siskos E. and Gougoulias Ch. (2001). Production and quality assessment of an experimentally new hot smoked tuna (Euthynnus affinis) product. Journal of Food Science, 66, 1184-1190. Σιάρδος Γ. (2005). Μέθοδοι πολυμεταβλητής στατιστικής ανάλυσης. 3 η έκδ. Εκδόσεις Σταμούλη, Αθήνα, 447 σελ. 345. Ανάλυση Πολυμεταβλητων Τεχνικών, Εφαρμογές Περιπτώσεων 257