ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ EXECUTIVE MBA ΜΕΘΟΔΟΙ ΕΚΤΙΜΗΣΗΣ ΚΟΣΤΟΥΣ ΑΝΑΠΤΥΞΗΣ ΕΡΓΩΝ ΑΟΓΙΣΜΙΚΟΥ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ EXECUTIVE MBA ΜΕΘΟΔΟΙ ΕΚΤΙΜΗΣΗΣ ΚΟΣΤΟΥΣ ΑΝΑΠΤΥΞΗΣ ΕΡΓΩΝ ΑΟΓΙΣΜΙΚΟΥ Επιβλέπων Καθηγητής ΒΑΣΙΛΙΚΗ ΜΑΝΘΟΥ Αναπ. Καθηγήτρια Τμήματος Εφαρμοσμένης Πληροφορικής Πανεπιστημίου Μακεδονίας Διπλωματική Εργασία του ΕΥΑΓΓΕΛΟΥ ΣΑΚΕΛΛΑΡΗ Διπλωματούχου Χημικού Μηχανικού Πολυτεχνικής Σχολής Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης Ιανουάριος 200 5

2 Not everything that counts can be counted; not everything that can be counted counts. (Albert Einstein)

3 MBA Executive - Σακελλάρης Ευάγγελος Διπλωματική εργασία Εισαγωγή Η παράδοση ενός έργου λογισμικού στην ώρα του, εντός προϋπολογισμού και με το συμφωνημένο βαθμό ποιότητας είναι κρίσιμη για πολλές επιχειρήσεις. Για να διασφαλίσουν την επιχειρηματική φήμη και ανταγωνιστικότητά τους, οι επιχειρήσεις έχουν αναγνωρίσει τη μεγάλη σημασία της εκτίμησης του κόστους ανάπτυξης έργων λογισμικού. Ωστόσο, δεν γίνεται απόλυτα κατανοητός ο τρόπος εξαγωγής και ερμηνείας των προβλέψεων του κόστους ανάπτυξης λογισμικού. Αυτό συμβαίνει επειδή η εκτίμηση του κόστους ανάπτυξης οδηγεί στην πράξη σε πολλές δυσκολίες μέτρησης και εφαρμογής των μοντέλων. Αυτές οι δυσκολίες δεν αντιμετωπίζονται ικανοποιητικά από τις κοινές μεθόδους και μοντέλα προβλέψεων. Οι κλασικές στατιστικές μέθοδοι έχουν περιορισμένες ικανότητες ανάπτυξης μοντέλων όσον αφορά στα δεδομένα της πληροφορικής. Άλλες μέθοδοι παράγουν μοντέλα με μικρή ικανότητα ερμηνείας των αποτελεσμάτων και περιορισμούς στο χειρισμό της αβεβαιότητας, που περιορίζουν την αποδοχή και χρησιμότητα των μοντέλων πρόβλεψης. Επιπρόσθετα, η ανάπτυξη μοντέλων προβλέψεων κόστους λογισμικού είναι αντικείμενο κυρίως πολύ πρόσφατων ερευνητικών προσπαθειών, με αποτέλεσμα μικρή σχετικά βιβλιογραφική υποστήριξη καί έλλειψη επαρκών δεδομένων για την υποστήριξη της ακρίβειας των προτεινομένων μοντέλων. Στην εργασία αυτή, θα παρουσιαστούν συγκεντρωμένες οι επικρατέστερες προτεινόμενες μέθοδοι για την εκτίμηση του κόστους ανάπτυξης έργων λογισμικού, και θα επιχειρηθεί μια συγκριτική μελέτη και αξιολόγηση κάποιων από αυτές. Στο πρώτο κεφάλαιο παρουσιάζονται οι λόγοι που καθιστούν αναγκαία την ανάπτυξη μεθόδων εκτίμησης κόστους ανάπτυξης λογισμικού, γίνεται μια σύντομη ιστορική αναδρομή των μεθόδων που αναπτύχθηκαν, και αναφέρονται τα σημαντικότερα προβλήματα που παρουσιάζονται στη διαδικασία εκτίμησης του κόστους. Στο δεύτερο κεφάλαιο, παρουσιάζονται τα επικρατέστερα μέτρα εκτίμησης του μεγέθους των έργων. Το μέγεθος είναι συνήθως ο σημαντικότερος και συχνά ο μοναδικός οδηγός κόστους για την εκτίμηση κόστους έργων λογισμικού και γι αυτό, είναι πολύ σημαντική η δυνατότητα ακριβούς εκτίμησής του. Μέθοδοι Εκτίμησης Κόστους Ανάπτυξης Έργων Λογισμικού ι

4 MBA Executive - Σακελλάρης Ευάγγελος Διπλωματική εργασία Στο τρίτο, τέταρτο, πέμπτο και έκτο κεφάλαια γίνεται μια παρουσίαση των σημαντικότερων μεθόδων εκτίμησης κόστους ανάπτυξης λογισμικού που χρησιμοποιούνται σήμερα. Οι μέθοδοι έχουν ταξινομηθεί σε δύο μεγάλες κατηγορίες. Στην μία ανήκουν αυτές που δε βασίζονται σε μοντέλα και παρουσιάζονται στο κεφάλαιο 3. Η δεύτερη κατηγορία περιλαμβάνει τις μεθόδους που βασίζονται σε μοντέλα. Η κατηγορία αυτή είναι πολύ ευρεία, γι αυτό και υποδιαιρείται σε υποκατηγορίες ανάλογα με τη φύση των μοντέλων που χρησιμοποιούνται. Έτσι, το τέταρτο κεφάλαιο παρουσιάζει τις αλγοριθμικές μεθόδους, το πέμπτο κεφάλαιο τις στατιστικές μεθόδους και το έκτο κεφάλαιο τις μεθόδους machine learning. Τέλος, στο έβδομο κεφάλαιο γίνεται μια συγκριτική μελέτη μερικών από τις μεθόδους εκτίμησης που παρουσιάστηκαν στα κεφάλαια 4-6. Στην συγκριτική αυτή μελέτη συμμετέχουν έργα, στοιχεία για τα οποία έχουν συλλεχθεί και καταχωρηθεί σε μια βάση δεδομένων του ISBSG1. Για κάθε έργο επιχειρείται η εκτίμηση της προσπάθειας που απαιτήθηκε για την ανάπτυξή του και υπολογίζεται η απόκλιση από την πραγματική τιμή της. Η μέθοδος αξιολογείται με βάση το ποσοστό επιτυχίας της ή το σφάλμα εκτίμησης. 1 International Software Benchmarking Standards Group Μέθοδοι Εκτίμησης Κόστους Ανάπτυξης Έργων Λογισμικού 11

5 MBA Executive - Σακελλάρης Ευάγγελος Διπλωματική εργασία Περιεχόμενα 1 Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού Η αναγκαιότητα ανάπτυξης μοντέλων εκτίμησης κόστους Προβλήματα των μεθόδων εκτίμησης κόστους Περιορισμοί των μεθόδων εκτίμησης Επιλογή της κατάλληλης μεθόδου Δεδομένα για την τροφοδότηση του μοντέλου Ιστορική εξέλιξη Ταξινόμηση των μεθόδων εκτίμησης Μέτρα εκτίμησης του μεγέθους του έργου Γραμμές Κώδικα (Lines Of Code) Function Points (FP) Object Points Ελέγξιμες απαιτήσεις (Testable Requirements) Μέθοδοι εκτίμησης κόστους μη βασισμένες σε μοντέλα Εκτίμηση ειδικών Μέθοδος των Δελφών Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Η μέθοδος των Function Points Η μέθοδος COCOMO Η πρωτογενής μέθοδος COCOMO Η μέθοδος COCOMO II Η μέθοδος SLIM Η μέθοδος COBRA Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Στατιστικές Η μέθοδος των ελάχιστων τετραγώνων (OLS) Η μέθοδος RR Η μέθοδος stepwise ANOVA...61 Μέθοδοι Εκτίμησης Κόστους Ανάπτυξης Έργων Λογισμικού iii

6 MBA Executive - Σακελλάρης Ευάγγελος Διπλωματική εργασία 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Η μέθοδος των Τεχνητών Νευρωνικών Δικτύων (ΑΝΝ) Η μέθοδος της Επαγωγής με Κανόνες (Rule Induction) Η μέθοδος CART Η μέθοδος της Συλλογιστικής βασισμένη σε περιπτώσεις (CBR) Η μέθοδος των αναλογιών Η μέθοδος προσομοίωσης Bootstrap Συγκριτική μελέτη μεθόδων εκτίμησης Το σύνολο δεδομένων των έργων της μελέτης Η επιλογή των μεθόδων εκτίμησης Τα αποτελέσματα της ανάλυσης Συμπεράσματα Βιβλιογραφία Παράρτημα A : Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης Μέθοδοι Εκτίμησης Κόστους Ανάπτυξης Έργων Λογισμικού iv

7 ΚΕΦΑΛΑΙΟ Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού

8 Κεφάλαιο 1 Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού 2 Η εκτίμηση του κόστους ανάπτυξης λογισμικού θεωρείται πολύ πιο δύσκολη από την εκτίμηση κόστους άλλων κλάδων. Αυτό κυρίως συμβαίνει επειδή οι επιχειρήσεις λογισμικού συνήθως αναπτύσσουν νέα έργα κάθε φορά, σε αντίθεση με την παραγωγή του ίδιου προϊόντος πολλές φορές. Εξάλλου, η ανάπτυξη λογισμικού είναι μια ανθρωποκεντρική δραστηριότητα με εξαιρετική αβεβαιότητα για το αποτέλεσμα. Αυτό οδηγεί σε πολλές δυσκολίες στην εκτίμηση κόστους, και ιδιαίτερα στις αρχικές φάσεις του έργου. Οι δυσκολίες αυτές σχετίζονται με διάφορα ζητήματα μετρήσεων και μοντελοποίησης, όπως η διαθεσιμότητα έμπειρου και εξειδικευμένου προσωπικού για εκτιμήσεις, δυσκολίες στην εκτίμηση του μεγέθους του έργου, μεταβολές προδιαγραφών, άγνωστους παράγοντες κόστους, ανεπάρκεια ιστορικών δεδομένων άλλων έργων, ικανότητα εκτίμησης των μοντέλων σε έργα διαφορετικών περιοχών (κλάδων) κ.α.. Για να αντιμετωπιστούν αυτά και άλλα ζητήματα, σημαντική έρευνα έχει κατευθυνθεί στην καλύτερη κατανόηση της διαδικασίας ανάπτυξης λογισμικού και στην ανάπτυξη και αξιολόγηση μεθόδων, τεχνικών και εργαλείων εκτίμησης κόστους ανάπτυξης λογισμικού. 1.1 Η αναγκαιότητα ανάπτυξης μοντέλων εκτίμησης κόστους Η αύξηση στη ζήτηση υψηλής ποιότητας λογισμικού και οι αυξημένες επενδύσεις σε λογισμικό δείχνουν ότι το λογισμικό θα γίνει μια από τις βασικές αγορές σύντομα. Σύμφωνα με τη μελέτη του ΙΟΒΕ (Ιδρυμα Οικονομικών και Βιομηχανικών Ερευνών) (ΙΟΒΕ, 2002) ο μέσος ετήσιος ρυθμός ανάπτυξης λογισμικού στην Ελλάδα το διάστημα ήταν 17,3%. Στην Ευρώπη εξάλλου, σύμφωνα με έρευνα του ΕΙΤΟ (European Information Technology Observatory) (ΕΙΤΟ, 2000), ο μέσος ετήσιος ρυθμός ανάπτυξης το διάστημα ήταν 14,2%, ενώ περισσότερες από το 50% των εταιριών στη Γερμανία που 2 2 Συνήθως ως κόστος αναφέρεται η προσπάθεια που πρέπει να καταβληθεί για την ανάπτυξη του έργου εκφρασμένη σε κατάλληλες μονάδες (π.χ. ανθρωποημέρες, ανθρωπομήνες κλπ) και όχι αυτό καθαυτό το χρηματικό κόστος του έργου. Η προσπάθεια βέβαια, μπορεί πολύ εύκολα να μετατραπεί σε χρηματικό αντίστοιχο, και υπερτερεί στο ότι είναι περισσότερο διαχρονική (δεν επηρεάζεται από πληθωριστικές τάσεις κλπ). Στη συνέχεια του κειμένου, οποιαδήποτε αναφορά σε κόστος, θα έχει την έννοια της προσπάθειας, εκτός και αν διευκρινίζεται διαφορετικά. - 2-

9 Κεφάλαιο 1 Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού συμμετείχαν σε σχετική έρευνα (GfK, 2000), απάντησαν ότι τα έσοδα από την ανάπτυξη λογισμικού αντιστοιχούν στο 75% του συνολικού τζίρου τους. Ταυτόχρονα με την αύξηση της ζήτησης του λογισμικού, η διαφοροποίησή του και η πολυπλοκότητά του έχει αυξηθεί σε πολύ μεγάλο βαθμό. Αυτή η αύξηση οφείλεται σε μια ταχύτατα μεταβαλλόμενη αγορά με διαρκώς αυξανόμενες ανάγκες για λογισμικό με μεγαλύτερη λειτουργικότητα, υψηλότερη αξιοπιστία και απόδοση. Οι ομάδες ανάπτυξης θα πρέπει να αγωνίζονται να πετύχουν αυτούς τους στόχους, εκμεταλλευόμενες τις εκπληκτικές προόδους στις μεθόδους και τα εργαλεία ανάπτυξης. Επιπλέον, οι project managers θα πρέπει να εξασφαλίσουν ότι τα έργα θα παραδοθούν στην ώρα τους, μέσα στον προβλεφθέντα προϋπολογισμό και με ένα συμφωνηθέν επίπεδο ποιότητας. Ωστόσο, τα περισσότερα έργα λογισμικού σπάνια πετυχαίνουν αυτούς τους στόχους3. Οι προκλήσεις αυτές απαιτούν υποστήριξη στον τομέα της εκτίμησης κόστους, αφού οι περισσότερες επιχειρήσεις ανάπτυξης λογισμικού εργάζονται με σφιχτά χρονοδιαγράμματα και τελειώνουν τα έργα τους πέρα από τον προβλεπόμενο χρόνο παράδοσης και εκτός προϋπολογισμού. Η υποεκτίμηση έργων λογισμικού (τόσο όσον αφορά στο κόστος ανάπτυξης αλλά και όσον αφορά στον χρόνο παράδοσης) μπορεί να έχει δυσμενείς επιπτώσεις τόσο στην φήμη της επιχείρησης όσο και στην ανταγωνιστικότητά της και στην απόδοσή της. Από την άλλη μεριά, η υπερεκτίμηση μπορεί να οδηγήσει σε κακή απασχόληση πόρων και σε απώλεια ευκαιριών ανάληψης έργων λόγω μη ανταγωνιστικών προσφορών. Για την αποφυγή τέτοιων προβλημάτων, προβάλλεται η σημασία των μοντέλων κόστους. Τυπικές εφαρμογές μοντέλων κόστους είναι η εκτίμηση του κόστους του έργου, της διάρκειάς του, της «προσπάθειας» ανάπτυξης και του επιπέδου στελέχωσης. Ακριβείς 3 Σύμφωνα με έρευνα στις ΗΠΑ το 1994 (Standish Group 1995) που αφορούσε έργα από 365 επιχειρήσεις (με κύκλο εργασιών από 100 εκατομμύρια δολάρια μέχρι περισσότερα από 500 εκατομμύρια δολάρια), το 31,1% των έργων ματαιώθηκαν πριν την ολοκλήρωσή τους, ενώ το 52,7% ολοκληρώθηκαν με υπέρβαση προϋπολογισμού κατά 189%, με υπέρβαση χρόνου παράδοσης και λιγότερα χαρακτηριστικά και λειτουργίες από όσες είχαν αρχικά καθορισθεί. Μόλις το 16,2% των έργων ολοκληρώθηκε στην ώρα του, εντός προϋπολογισμού και με όλα τα χαρακτηριστικά καί λειτουργίες που είχαν αρχικά ζητηθεί. -3-

10 Κεφάλαιο Γ Εκτίμηση κόστους ανάπτυξης έργων Λογισμικοί) εκτιμήσεις είναι κρίσιμοι παράγοντες για τον καλύτερο προγραμματισμό των έργων αλλά και την παρακολούθηση της εξέλιξής τους. Έτσι, υπάρχει μεγάλη ανάγκη για την ανάπτυξη των κατάλληλων μεθόδων εκτίμησης κόστους ανάπτυξης λογισμικού. Ωστόσο, προκειμένου να αναπτυχθούν κατάλληλες μέθοδοι εκτίμησης θα πρέπει να γίνουν αντιληπτές οι δυσκολίες της εκτίμησης του κόστους ανάπτυξης του λογισμικού. 1.2 Προβλήματα των μεθόδων εκτίμησης κόστους Υπάρχουν αρκετά προβλήματα που σχετίζονται με τη διαδικασία εκτίμησης. Τα σημαντικότερα από αυτά αναφέρονται στη συνέχεια. Αν και πολλές μέθοδοι εκτίμησης έχουν αναπτυχθεί, η σωστή χρήση τους δεν είναι εύκολη και μπορεί να μην οδηγήσει πάντα σε ακριβείς εκτιμήσεις. Ένα ζήτημα είναι η υπερβολική εστίαση ερευνητών στην ανάπτυξη μοντέλων που βασίζονται στα δεδομένα (data-driven). Ωστόσο, οι εκτιμήσεις δεν έχουν μεγάλη αξία χωρίς κατανόηση της ακρίβειάς τους και της ευαισθησίας τους σε αβεβαιότητες και κινδύνους που σχετίζονται με το έργο. Η πραγματική αξία αυτών των μοντέλων είναι να βοηθήσουν τους ενδιαφερομένους να κατανοήσουν τις αλληλεπιδράσεις πολλών παραγόντων που επηρεάζουν τα κόστη και τα χρονοδιαγράμματα ανάπτυξης του λογισμικού. Μοντέλα που δεν μπορούν να εξηγήσουν και να δικαιολογήσουν τις εκτιμήσεις τους δεν γίνονται εύκολα αποδεκτά. Πολλές στατιστικές, data-driven μέθοδοι, παράγουν μοντέλα που είναι πολύ δύσκολο να ερμηνευτούν και επομένως οι ενδιαφερόμενοι για εκτιμήσεις δεν είναι πολύ πιθανόν ότι θα στηρίζονται σ αυτά. Εκτός όμως από τη δυνατότητα ερμηνείας αυτών των μοντέλων, οι μέθοδοι εκτίμησης θα πρέπει να χειριστούν διάφορους περιορισμούς που υπάρχουν στα δεδομένα της επιστήμης της Πληροφορικής, με αντίστοιχες επιδράσεις στην ακρίβεια εκτίμησης. Πολλές μέθοδοι εκτίμησης κόστους έχουν αναπτυχθεί από πολλούς επιστημονικούς τομείς όπως της στατιστικής, της τεχνητής νοημοσύνης και της διαχείρισης γνώσης, κάθε μια παρουσιάζοντας δυνάμεις και αδυναμίες και κάνοντας διάφορες υποθέσεις. Επίσης, αρκετά εμπορικά προγράμματα εκτίμησης κόστους -4-

11 Κεφάλαιο Γ Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού διατίθενται στην αγορά σήμερα (Charismatek Software Metrics, Quantitative Software Management, Softstar Systems, Fraunhofer IESE), αλλά και κάποια που αναπτύχθηκαν από πανεπιστήμια και διατίθενται δωρεάν (BRACE, Schofield C. Bournemouth University). Ωστόσο, δεν φαίνεται να υπάρχουν φανερά πλεονεκτήματα για την χρησιμοποίηση κάποιου εργαλείου ή κάποιας μεθόδου για την 7Γαροχή ακριβών εκτιμήσεων σε κάθε τομέα. Αυτή η κατάσταση δυσχεραίνει την απόφαση επιλογής καλύτερης μεθοδολογίας ή καλύτερου εργαλείου για μια δεδομένη περιοχή. Για να επιλέξει κανείς αποτελεσματικά μία ή περισσότερες μεθόδους εκτίμησης, είναι απαραίτητο να αξιολογήσει και να συγκρίνει τα χαρακτηριστικά τους και την αποτελεσματικότητά τους σε εκτιμήσεις περιοχών ενδιαφέροντος. Απαντώντας σε παρόμοιες προκλήσεις, πολλές διαφορετικές μελέτες που συγκρίνουν μεθόδους εκτίμησης κόστους ανάπτυξης λογισμικού έχουν γίνει στο παρελθόν (Finnie & Wittig 1997, Jorgensen 1995, Shepperd & Schofield 1997, Stensrud & Myrtveit 1998, Walkerden & Jeffery 1999). Παρόλα αυτά, πολύ περιορισμένες συστάσεις για την επιλογή μεθόδου μπορούν να εξαχθούν από αυτές τις μελέτες. Πιστεύεται ευρέως, ότι ομογενή δεδομένα που σχετίζονται με την επιχείρηση, αποτελούν μια καλή βάση για ακριβείς εκτιμήσεις κόστους. Συνήθως όμως αντιμετωπίζουμε έλλειψη δεδομένων που αφορούν κόστος και πόρους παρελθόντων έργων, επειδή η διαδικασία συλλογής δεδομένων είναι μια ακριβή και χρονοβόρα διαδικασία για μεμονωμένες επιχειρήσεις. Επιπλέον, οι εκτιμητές βασίζονται περισσότερο στην προσωπική τους μνήμη και σε άτυπες διαδικασίες παρά σε καταγεγραμμένα γεγονότα, πρότυπα ή αριθμητικούς κανόνες. Ακόμα και σε περιπτώσεις που είχαν καταγραφεί πραγματικά δεδομένα, λίγος ή καθόλου χρόνος είχε δοθεί για να καθορισθούν οι λόγοι τυχόν διαφορών ανάμεσα στα πραγματικά και στα προϋπολογισμένα δεδομένα. Το πρόβλημα της συλλογής δεδομένων λογισμικού έχει αντιμετωπιστεί στο παρελθόν με τα σύνολα δεδομένων πολλών επιχειρήσεων που συγκεντρώνονται από αντιπροσωπευτικές ομάδες διαφόρων κλάδων. Η συνεργασία των επιχειρήσεων να δημιουργήσουν σύνολα δεδομένων πολλών επιχειρήσεων παρέχει τη δυνατότητα για μειωμένα κόστη συλλογής δεδομένων, ταχύτερη διαδικασία συλλογής, και οφέλη από τη διανομή της πληροφορίας. - 5-

12 Κεφάλαιο Γ Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού Περιορισμοί των μεθόδων εκτίμησης Η ανάπτυξη αποτελεσματικών μεθόδων εκτίμησης κόστους είναι στο επίκεντρο των ερευνών τα τελευταία χρόνια. Ωστόσο, υπάρχουν ακόμα αρκετά ζητήματα που λαμβάνονται υπόψη είτε μερικώς είτε σχεδόν καθόλου από μεθόδους βασισμένες σε δεδομένα (data driven). Αυτά τα ζητήματα σχετίζονται με τους περιορισμούς των δεδομένων πληροφορικής. Τέτοιοι περιορισμοί είναι οι δυσκολίες στο να παίρνει κανείς σαν δεδομένο υποθέσεις οι οποίες πράγματι ισχύουν, η έλλειψη ακρίβειας στη διαδικασία συλλογής δεδομένων, οι αλληλεξαρτήσεις των διάφορων παραμέτρων-μεταβλητών και τα προβλήματα που σχετίζονται με μεταβλητές που λείπουν σε κάποια δεδομένα, όπως επίσης και η ύπαρξη μεταβλητών μη ποσοτικοποιημένων ή διακριτών τιμών (π.χ. γραφικό περιβάλλον εργασίας, περιβάλλον χαρακτήρων κλπ) (Briand et al. 1992). Επεξηγηματική ικανότητα των μοντέλων: Τεχνικές data driven βασισμένες στη στατιστική, είναι συνήθως δύσκολο να τις χειριστεί κανείς στην πράξη. Αυτό δυσχεραίνεται περισσότερο επειδή τα αποτελέσματά τους είναι δύσκολο να ερμηνευθούν, με αποτέλεσμα να αναγκάζονται οι εκτιμητές να βασίζονται στα αποτελέσματα των προβλέψεων και να θεωρούν τη διαδικασία πρόβλεψης σαν μαύρο κουτί. Αν και με τη χρήση μοντέλων παλινδρόμησης βελτιώθηκε η εικόνα τέτοιων μοντέλων, σύμφωνα με τους Stensrud κοα, Myrtveit (Stensrud & Myrtveit 1998) οι συμμετέχοντες στο πείραμα δεν πείστηκαν τελικά για τη χρησιμότητα τέτοιων μοντέλων. Ένα σημαντικό εμπόδιο που πρέπει να υπερπηδηθεί όταν εισάγονται στατιστικές τεχνικές είναι συνήθως ο ψυχολογικός παράγοντας. Η έλλειψη επεξηγηματικής ικανότητας οφείλεται συνήθως στην πολυπλοκότητα των παραγομένων μοντέλων. Όσο περισσότερες μεταβλητές εισάγονται στο μοντέλο, τόσο δυσκολότερη είναι η δυνατότητα ερμηνείας της πρόβλεψης. Συνήθως, είναι επιθυμητό να μπορεί να διακρίνει κανείς τους βασικούς παράγοντες από τις μεταβλητές που έχουν κάποια επίδραση μόνο στα πλαίσια άλλων παραγόντων. -6-

13 Κεφάλαιο Γ Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού Υποθέσεις για παραμέτρους του έργου: Συνήθως είναι πολύ δύσκολο να κάνει κανείς υποθέσεις που ισχύουν σχετικά με παραμέτρους του έργου (μεταβλητές) και τις κατανομές τους. Αυτό οφείλεται στον συχνά μικρό αριθμό δεδομένων και τη μεγάλη μεταβλητότητά τους. Λαμβάνοντας υπόψη αυτόν τον περιορισμό παραμετρικές μέθοδοι όπως η απλή μέθοδος παλινδρόμησης ελάχιστων τετραγώνων φαίνεται περιορισμένη (Olive 2004). Μια ιδανική μέθοδος μοντελοποίησης θα πρέπει ν αποφεύγει υποθέσεις σχετικά με σχέσεις ανάμεσα στις μεταβλητές. Αντιμετώπιση διαφορετικών τΰπω ν μεταβλητών έργων: Συνήθως, τα σύνολα δεδομένων πληροφορικής περιέχουν συνδυασμούς διαφορετικών τύπων παραμέτρων (με διακριτές τιμές και συνεχή μεγέθη). Οι κλασσικές μέθοδοι παλινδρόμησης περιορίζονται σε μεταβλητές συνεχείς κατά διαστήματα. Για να αναλύσει κανείς τέτοια δεδομένα αποτελεσματικά θα πρέπει οι μέθοδοι μοντελοποίησης να χειρίζονται ταυτόχρονα τόσο συνεχή όσο και διακριτές τιμές μεταβλητών στα μοντέλα τους. Ευρωστία σε ακραίες τιμές: Συχνά τα δεδομένα έργων πληροφορικής περιέχουν ακραίες τιμές (outliers) παρατηρήσεων. Αυτό μπορεί να συμβεί είτε λόγω έλλειψης ακρίβειας στη διαδικασία συλλογής, ή λόγω απρόβλεπτων γεγονότων στη διαδικασία ανάπτυξης, ή λόγω μεγάλων διακυμάνσεων από το ένα έργο στο άλλο. Για να πάρει κανείς ακριβή αποτελέσματα, θα πρέπει να μπορεί να διακρίνει ανάμεσα στις τυπικές και στις ακραίες τιμές. Γενικά, είναι επιθυμητό να χρησιμοποιούνται μέθοδοι που παρουσιάζουν ευρωστία στις ακραίες τιμές (Olive 2004). Διαφορετικές ισχυρές επιδράσεις μεταβλητών: Η επίδραση ενός οδηγού κόστους (cost driver) μπορεί να είναι πολύ διαφορετική, εξαρτώμενη από την περιοχή τιμών του. Αυτό μπορεί να έχει απρόβλεπτα αποτελέσματα στην ακρίβεια ενός μοντέλου. Οι κλασικές μέθοδοι παλινδρόμησης ωστόσο, υποθέτουν μια κατά μέσο όρο σταθερή επίδραση ενός -7-

14 Κεφάλαιο Γ Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού παράγοντα κόστους άσχετα με τις τιμές του (ομοσκεδαστικότητα). Αυτό το ζήτημα θα πρέπει να εξεταστεί καθορίζοντας σε ποιο τμήμα του διαστήματος τιμών ενός παράγοντα κόστους, αυτός επηρεάζει ισχυρά την μεταβλητή η οποία εκτιμάται. Προβλήματα με δεδομένα που λείπουν: Τα δεδομένα που λείπουν είναι ένα συνηθισμένο πρόβλημα στα δεδομένα και τις μετρήσεις πληροφορικής. Πολλοί λόγοι υπάρχουν για το φαινόμενο αυτό, όπως τα απαραίτητα δεδομένα δεν είχαν συλλεχάεί στην ώρα τους, ή χρονική πίεση στο έργο ακύρωσε τη διαδικασία συλλογής δεδομένων, ή απλά λόγω τεχνικών προβλημάτων. Ο ευκολότερος τρόπος είναι να αγνοήσει κανείς παρατηρήσεις με ελλιπή δεδομένα που όμως μπορεί να οδηγήσει σε απόρριψη μεγάλου αριθμού παρατηρήσεων των οποίων η συλλογή ήταν δαπανηρή ή περιείχαν χρήσιμες πληροφορίες. Ο χειρισμός ελλιπών δεδομένων χωρίς απόρριψη πολλών παρατηρήσεων είναι ένα επιθυμητό χαρακτηριστικό μιας μεθόδου μοντελοποίησης. Στοχαστικότητα προβλέψεων: Είναι επιθυμητό να δίνεται μια ένδειξη της αξιοπιστίας της πρόβλεψης βασισμένη στα υπάρχοντα δεδομένα. Αυτό επίσης βοηθά στην αξιολόγηση της απώλειας της πληροφορίας λόγω των ελλιπών δεδομένων των παρατηρήσεων. Έτσι χρειάζονται μοντέλα που παράγουν προβλέψεις μαζί με την πιθανότητα ή το βαθμό αβεβαιότητας κάθε πρόβλεψης Επιλογή της κατάλληλης μεθόδου Η ποικιλία των μεθόδων πρόβλεψης που υπάρχουν κάνει δύσκολη τη βέλτιστη επιλογή μιας μεθόδου για μια συγκεκριμένη περιοχή ενδιαφέροντος. Για να εκτιμήσει κανείς την καταλληλότητα μιας μεθόδου, θα πρέπει να γνωρίζει τις δυνάμεις και τις αδυναμίες της και να εκτιμήσει την απόδοσή της. Στις τρεις τελευταίες δεκαετίες, πολλές συγκριτικές μελέτες έχουν γίνει εξετάζοντας την ακρίβεια των μεθόδων πρόβλεψης. Τέτοιες μελέτες είναι πολύ σημαντικές αφού η απόφαση επιλογής μιας μεθόδου εκτίμησης εξαρτάται σε πολύ μεγάλο βαθμό από την ικανότητά της να παρέχει ακριβή αποτελέσματα. Παρόλη όμως την έντονη έρευνα,

15 Κεφάλαιο 1 Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού λίγα μόνο συμπεράσματα γενικού ενδιαφέροντος μπορούν να εξαχθούν. Οι βασικοί παράγοντες που οδηγούν σ αυτήν την κατάσταση είναι κυρίως οι: Πολλές μελέτες έχουν περιορισμένο εύρος με την έννοια ότι περιορίστηκαν σε μικρού ή μεσαίου μεγέθους σύνολα δεδομένων για τα οποία τα αποτελέσματα τείνουν να είναι μη καταληκτικά (Walkerden & Jeffery 1997). Σ αυτήν την περίπτωση, μερικές μέθοδοι εκτίμησης μπορεί να αποδειχθούν ακριβείς απλά κατά τύχη. Αυτά τα αποτελέσματα δεν αντιπροσωπεύουν τις περισσότερες περιπτώσεις. Οι μέθοδοι, σπάνια εξετάστηκαν με σύνολα δεδομένων πέρα από αυτά με τα οποία αρχικά προτάθηκαν (Chatzoglou & Macaulay 1996). Οι μέθοδοι δύσκολα αναπαράγονταν γιατί δεν είχαν αναφερθεί σε μια μορφή κατάλληλη για σύγκριση αποτελεσμάτων. Είναι πολύ σημαντικό να κάνει κανείς εκτενείς συγκρίσεις με μεγάλα σύνολα δεδομένων και να αναπαράγει τα αποτελέσματα έτσι ώστε να διασφαλίσει την αξιοπιστία τους. Οι έλεγχοι θα πρέπει να γίνονται τόσο με δεδομένα προερχόμενα από πολλούς οργανισμούς που διατίθενται σε τυποποιημένες διεθνείς βάσεις δεδομένων, όσο και σε δεδομένα που προέρχονται αποκλειστικά από την ίδια επιχείρηση. Σκοπός των ελέγχων είναι να βρεθεί η μέθοδος εκτίμησης που αποδίδει την υψηλότερη ακρίβεια προβλέψεων με δεδομένα πολλαπλών οργανισμών ή με δεδομένα της ίδιας της επιχείρησης από παρελθόντα έργα. Πέρα από την ακρίβεια των μοντέλων και εκτιμήσεων, άλλα σημαντικά κριτήρια επιλογής μεθόδου εκτίμησης όπως η πολυπλοκότητα, η επεξηγηματική ικανότητα της μεθόδου και άλλα πρακτικά ζητήματα, σπάνια αξιολογούνται στις διάφορες μελέτες. Κάθε μέθοδος έχει τις δυνάμεις και τις αδυναμίες της. Η εκτίμηση θα πρέπει να βασισθεί σε περισσότερες από μία μεθόδους. Αν αυτές δεν δώσουν κατά προσέγγιση ίδια αποτελέσματα, υπάρχουν ανεπαρκή δεδομένα για να πραγματοποιηθεί εκτίμηση. -9-

16 Κεφάλαιο 1 Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού Δεδομένα για την τροφοδότηση του μοντέλου Πιστεύεται, ότι δεδομένα της ίδιας της επιχείρησης παρελθόντων έργων, παρέχουν καλύτερη βάση για ακριβείς εκτιμήσεις κόστους. Αυτό συμβαίνει επειδή υπάρχουν κάποια πλεονεκτήματα στην περίπτωση αυτή, όπως: καλύτερος έλεγχος koil ομοιογένεια της διαδικασίας μετρήσεων, καλύτερη κατανόηση των μεθόδων μέτρησης και των παραμέτρων που χαρακτηρίζουν τα έργα, η δυνατότητα να χρησιμοποιηθούν προσαρμοσμένοι οδηγοί κόστους, και η ομοιογένεια των δεδομένων. Ωστόσο, συνήθως δεν υπάρχουν επαρκή διαθέσιμα δεδομένα από περασμένα έργα για να αναπτυχθούν μοντέλα που θα δώσουν αποτελέσματα με ικανοποιητική ακρίβεια. Εξάλλου, η συλλογή δεδομένων σε μια επιχείρηση θα πρέπει να δικαιολογηθεί, επειδή αποτελεί μια ακριβή και χρονοβόρα διαδικασία. Λόγω του μικρού αριθμού έργων που ολοκληρώνονται σε μια επιχείρηση το χρόνο, η συλλογή δεδομένων είναι μια διαδικασία που προχωράει με αργούς ρυθμούς. Έτσι, ο απαιτούμενος χρόνος για να συλλεχθεί ο όγκος των δεδομένων που απαιτούνται για μοντέλα βασισμένα σε στατιστικές μεθόδους για παράδειγμα, μπορεί να είναι απαγορευτικός. Εξάλλου μπορεί, μέχρι να συλλεχθούν τα απαιτούμενα δεδομένα, οι τεχνολογίες των παλαιότερων έργων να είναι πλέον ξεπερασμένες στην επιχείρηση, με αποτέλεσμα τα μοντέλα να μην είναι πλέον πλήρως αντιπροσωπευτικά των σύγχρονων πρακτικών. Είναι πολύ σημαντικό για τις επιχειρήσεις να αξιοποιούν τα δεδομένα των έργων τους για εκτιμήσεις κόστους. Όταν όμως τα δεδομένα είναι ανεπαρκή, ένα τοπικό μοντέλο δε μπορεί να χρησιμοποιηθεί και η επιχείρηση θα πρέπει να καταφύγει στη γνώμη ειδικών ή σε εξωτερικά αναπτυχθέν μοντέλο για τις εκτιμήσεις της. Δεδομένα προερχόμενα από πολλές επιχειρήσεις, που μοιράζονται τα δεδομένα των έργων που έχουν συλλεχθεί με έναν συνεπή τρόπο, μπορούν να αντιμετωπίσουν τα ζητήματα που αναφέρθηκαν παραπάνω. Ωστόσο, αντιμετωπίζουν και αυτά τα δεδομένα, τα δικά τους προβλήματα. Η συλλογή δεδομένων με συνεπή τρόπο μπορεί να αποβεί αρκετά δύσκολη στην πράξη και οι συμβιβαστικές τάσεις μπορεί να είναι πολύ διαφορετικές ανάμεσα στις επιχειρήσεις. Ωστόσο, παρέχεται ένα τυποποιημένο κανάλι συλλογής δεδομένων, τα δεδομένα συλλέγονται με ταχείς ρυθμούς και οι μέθοδοι συλλογής, ανάλυσης και διανομής έχουν μικρό κόστος. Αυτά -10-

17 Κεφάλαιο Γ Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού τα δεδομένα μπορούν να χρησιμοποιηθούν για σύγκριση της απόδοσης μιας επιχείρησης με ομοειδείς του ίδιου κλάδου, αλλά και για να παραμετροποιήσουν κατάλληλα τα μοντέλα πρόβλεψης ώστε να παραχθεί τελικά ένα μοντέλο προσαρμοσμένο στην επιχείρηση. Το αντικείμενο επομένως σ αυτήν την περίπτωση είναι να εξακριβωθεί αν δεδομένα έργων πολλαπλών επιχειρήσεων μιας συγκεκριμένης περιοχής ενδιαφέροντος, μπορούν να δώσουν κοστολογικά μοντέλα με ακρίβεια εφάμιλλη αυτής που δίνουν μοντέλα βασισμένα σε δεδομένα μιας επιχείρησης. 1.3 Ιστορική εξέλιξη Η μελέτη της εκτίμησης του κόστους ανάπτυξης Λογισμικού ξεκίνησε στα τέλη του αρχές 1960 με τις εργασίες των Norden και Nelson. Η σημαντικότερη όμως περίοδος ανάπτυξης μεθόδων εκτίμησης ήταν η δεκαετία του Οι περισσότερες από αυτές τις μεθόδους βασίζονταν σε στατιστική ανάλυση για να καθορίσουν οδηγούς κόστους που χρησιμοποιούνταν στη συνέχεια για να δώσουν σημειακές εκτιμήσεις (Putnam 1978). Στο σημείο αυτό έγινε σαφές, ότι υπάρχουν δυσκολίες στην επιλογή οδηγών κόστους από μια συνεχώς αυξανόμενη λίστα μεταβλητών, που θεωρούνταν ότι επηρεάζουν την προσπάθεια ανάπτυξης λογισμικού. Η πράξη έδειξε ότι οι πρώτες μέθοδοι, έδιναν ιδιαίτερη έμφαση στο μέγεθος του έργου, στους οδηγούς κόστους ή στη γνώμη των ειδικών αλλά ποτέ σε έναν συνδυασμό και των τριών αυτών (Conte et al. 1986). Επομένως ο Conte τόνισε την ανάγκη οι μέθοδοι να ενσωματώνουν έναν συνδυασμό αναλυτικών εξισώσεων, στατιστικής προσαρμογής δεδομένων και γνώμης ειδικών. Αυτές οι μέθοδοι λαμβάνουν υπόψη τους ρυθμίσεις στις ονομαστικές εκτιμήσεις των ειδικών. Η περισσότερο γνωστή μέθοδος αυτής της μορφής που προτάθηκε από τον Boehm (Boehm 1981) είναι η COCOMO (Constructive Cost Model). Παρέχει εξισώσεις που ενσωματώνουν το μέγεθος του συστήματος σαν τον κύριο οδηγό προσπάθειας. Η προβλεπόμενη προσπάθεια ανάπτυξης προσαρμόζεται για να ενσωματώσει την επίδραση 15 επιπλέον οδηγών κόστους. Άλλα παραδείγματα αυτού του τύπου μεθόδων είναι η SLIM (Putnam 1978) και η COPMO (Conte et al. 1986). -11-

18 Κεφάλαιο 1 Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού Τη δεκαετία του 80 παραμετρικές μέθοδοι που χρησιμοποιούνταν ευρέως, συγκρίθηκαν χρησιμοποιώντας σύνολα δεδομένων διαφόρων μεγεθών και περιβαλλόντων (Putnam 1978, Boehm 1981). Μερικά από τα βασικά συμπεράσματα ήταν ότι αυτά τα μοντέλα έχουν άσχημη απόδοση όταν εφαρμόζονται χωρίς προσαρμογή της παραμετροποίησης σε άλλα περιβάλλοντα (Conte et al. 1986). Η ανάπτυξη λογισμικού είναι μια πολύπλοκη δυναμική διαδικασία. Γνωρίζουμε ελάχιστα για τις πολύπλοκες και συνεχώς μεταβαλλόμενες σχέσεις που επηρεάζουν την παραγωγικότητα και εξηγούν τις μεταβολές της. Έτσι, στη δεκαετία του 90 αναπτύχθηκαν και αξιολογήθηκαν μη παραμετρικές μέθοδοι που βασίζονται σε αλγορίθμους «μηχανικής εκμάθησης» (machine learning) όπως τα Τεχνητά Νευρωνικά Δίκτυα (artificial neural networks) (Finnie & Wittig 1997, Jorgensen 1995), CART regression trees (Kitchenham 1998) και εκτίμηση βασισμένη στις αναλογίες (analogy-based estimation) (Shepperd & Schofield 1997). Εξάλλου, μέθοδοι που βασίζονται στη γνώμη ειδικών και μέθοδοι που συνδυάζουν την γνώμη ειδικών με ιστορικά δεδομένα έχουν ερευνηθεί και συγκριθεί. Παραδείγματα είναι η υποκειμενική εκτίμηση προσπάθειας (subjective effort estimation) (Stensrud & Myrtveit 1998) και η μοντελοποίηση βασισμένη στην εκμαίευση γνώσης ειδικών (modeling based on expert knowledge elicitation) (Briand et al 1998a). 1.4 Ταξινόμηση των μεθόδων εκτίμησης Δεν υπάρχει μια κοινά αποδεκτή ταξινόμηση των μεθόδων εκτίμησης. Υπάρχουν ερευνητές που περιλαμβάνουν στις προτεινόμενες κατατάξεις τους μοντέλα που βασίζονται σε εκτιμήσεις ειδικών σε ξεχωριστή κατηγορία, άλλοι που διακρίνουν μεταξύ ευρετικών, εμπειρικών και θεωρητικών μοντέλων και άλλοι διακρίνουν διακριτές κλάσεις αναλογιών, μοντέλων και ειδικών. Στην εργασία αυτή θα ακολουθήσουμε μια διαφορετική προσέγγιση. Θα κατατάξουμε τις μεθόδους σε δύο μεγάλες κατηγορίες. Στην πρώτη κατηγορία ανήκουν οι μέθοδοι που δεν βασίζονται σε κάποιο μοντέλο και αναφέροπαι κυρίως σε εκτιμήσεις ειδικών. Στην δεύτερη κατηγορία ανήκουν οι μέθοδοι που βασίζονται - 12-

19 Κεφάλαιο Γ Εκτίμηση κόστους ανάπτυξης έργων Λογισμικού σε μοντέλα. Η κατηγορία αυτή είναι πολύ ευρεία, και γι αυτό ακολουθεί διάσπασή της σε τρεις υποκατηγορίες: Στην πρώτη υποκατηγορία ανήκουν οι αλγοριθμικές μέθοδοι, στη δεύτερη υποκατηγορία οι στατιστικές μέθοδοι και στην τρίτη, μέθοδοι που βασίζονται σε τεχνικές εκμάθησης μηχανής (machine-learning). Επειδή το μέγεθος του έργου είναι ο βασικότερος οδηγός κόστους για τις περισσότερες μεθόδους εκτίμησης του κόστους, πριν την αναλυτική παρουσίαση των διαφόρων μεθόδων εκτίμησης, θα παρουσιαστούν μερικά από τα συχνότερα χρησιμοποιούμενα μέτρα εκτίμησης του μεγέθους του έργου. -13-

20 ΚΕΦΑΛΑΙΟ Μέτρα εκτίμησης του μεγέθους του έργου

21 Κεφάλαιο 2 Μέτρα εκτίμησης του μεγέθους του έργου Βασική παράμετρος της εκτίμησης του κόστους ενός έργου λογισμικού είναι η εκτίμηση του μεγέθους του. Φυσικά, μόνη η παράμετρος αυτή δεν αρκεί αφού η προσπάθεια που θα απαιτηθεί για την ανάπτυξη του έργου εξαρτάται και από πολλούς άλλους παράγοντες όπως ο κλάδος ή το αντικείμενο που θα καλυφθεί, η τεχνολογική κατεύθυνση του έργου, η γλώσσα προγραμματισμού και άλλοι. Προκειμένου να είναι εφικτή η σύγκριση ανάμεσα σε διαφορετικά έργα (ή ακόμη και μέσα στο ίδιο έργο σε τμήματά του), ο υπολογισμός της παραγωγικότητας μιας ομάδας κλπ, είναι απαραίτητος ο καθορισμός μέτρων εκτίμησης του μεγέθους. Σε αντίθεση με ότι συμβαίνει σε άλλους τομείς της επιστήμης ή της καθημερινής ζωής, στον κλάδο ανάπτυξης λογισμικού δεν υπάρχει ένα κοινά αποδεκτό μέτρο με το οποίο οι μηχανικοί λογισμικού να μετρούν αυτό που παράγουν. Τα μέτρα εκτίμησης του μεγέθους ενός έργου, αν και κατά κανόνα χρησιμοποιούνται στην εκτίμηση κόστους, έχουν σημαντικές εφαρμογές και σε άλλους τομείς όπως η μέτρηση της προόδου του έργου, η διαχείριση αλλαγών, η ανίχνευση του κινδύνου, και η εκτίμηση του ποσοστού του μέρους του έργου που έχει ολοκληρωθεί σε σχέση με τον προβλεπόμενο χρόνο ή προσπάθεια του ολοκληρωμένου μέρους. Τα πιο συχνά χρησιμοποιούμενα μέτρα εκτίμησης μεγέθους είναι οι γραμμές κώδικα LOC (lines of code ή πιο συχνά KLOC σε χιλιάδες LOC) (Johnson, Leung & Zhang), τα function points (FP) (Johnson, Leung & Zhang), kol τα object points (Jones 1998). Πρόσφατα, έχει προταθεί η χρήση των «ελέγξιμων απαιτήσεων» (testable requirements) σαν εναλλακτικό μέτρο. 2.1 Γραμμές Κώδικα (Lines Of Code) Το μέτρο αυτό μετράει τον αριθμό των γραμμών του κώδικα που χρειάστηκαν για την ανάπτυξη του έργου (Johnson, Leung & Zhang). Συνηθισμένη συντομογραφία του είναι LOC ή KLOC (χιλιάδες γραμμές). Μερικές φορές συναντάται με τη μορφή SLOC ή KSLOC (to S αντιστοιχεί στη λέξη source). Βασικό μειονέκτημα του μέτρου αυτού σε σχέση με την εκτίμηση κόστους, αποτελεί το γεγονός της αδυναμίας εκτίμησής του εκ των προτέρων, και είναι γνωστό μόνο εφόσον το έργο τελειώσει

22 Κεφάλαιο 2 Μέτρα εκτίμησης του μεγέθους του έργου Στα πλεονεκτήματά του συγκαταλέγεται η μεγάλη ευκολία υπολογισμού του (όχι όμως και εκτίμησης). Το μέτρο προτάθηκε όταν τα προγράμματα «γράφονταν» σε διάτρητες κάρτες, με αντιστοιχία μιας γραμμής κώδικα σε κάθε κάρτα. Στις σύγχρονες γλώσσας προγραμματισμού όμως, δεν υπάρχει σαφής αντιστοιχία εντολών προγραμματισμού και γραμμών κώδικα αφού μία εντολή μπορεί να γραφτεί σε πολλές γραμμές (διευκολύνεται η ευκολία ανάγνωσης του κώδικα έτσι), και πολλές εντολές μπορεί να γραφτούν σε μία γραμμή. Εξάλλου, υπάρχει μεγάλη εξάρτηση του αριθμού των γραμμών κώδικα, από την χρησιμοποιούμενη για το έργο τεχνολογία ανάπτυξης, το σχεδίασμά του συστήματος, τον τρόπο προγραμματισμού, και τον βαθμό ενσωμάτωσης σχολίων στον κώδικα και γενικότερα σημείων τεκμηρίωσης. Συστήματα που αναπτύχθηκαν σε διαφορετικές γλώσσες προγραμματισμού δε μπορούν να συγκριθούν εύκολα, και ο συμπαγής κώδικας «τιμωρείται» δίνοντας μικρότερες τιμές του μέτρου. Ωστόσο, παρά τα προβλήματα που αναφέρθηκαν, οι γραμμές κώδικα χρησιμοποιούνται συχνά από πολλές επιχειρήσεις που δραστηριοποιούνται στην ανάπτυξη λογισμικού κυρίως όμως σε άλλες εφαρμογές πέρα από αυτές της εκτίμησης του κόστους ανάπτυξης. 2.2 Function Points (FP) Σε αντίθεση με τις γραμμές κώδικα, τα Function Points (Johnson, Leung & Zhang) είναι ένα μέτρο της λειτουργικότητας που θα υλοποιηθεί, και είναι σχετικά ανεξάρτητο της τεχνολογίας που χρησιμοποιήθηκε για την ανάπτυξη του έργου. Τα FP βασίζονται στην εκτίμηση του μεγέθους του έργου μετρώντας εξωτερικά χαρακτηριστικά (εισόδους (inputs), εξόδους (outputs), εξωτερικές διεπαφές (external interfaces), αρχεία (files) και ερωτήματα (inquires)). Σε κάθε χαρακτηριστικό αποδίδεται ένας συντελεστής βαρύτητας με τον οποίο πολλαπλασιάζεται η μέτρηση προκειμένου να δώσει τα FP κάθε εργασίας. Τα FP του έργου προκύπτουν από το άθροισμα των FP των επιμέρους εργασιών. Το τελικό αποτέλεσμα μπορεί να - 16-

23 Κεφάλαιο 2 Μέτρα εκτίμησης του μεγέθους του έργου τροποποιηθεί (προσαρμοσμένο αποτέλεσμα - adjusted FP) πολλαπλασιάζοντας επί έναν συντελεστή που αντιστοιχεί στην πολυπλοκότητα του έργου. Στα πλεονεκτήματα του μέτρου αυτού συγκαταλέγεται και το γεγονός ότι μετράει το σύστημα από τη σκοπιά του χρήστη. Αν και τα FP αντιμετωπίζουν πολλά από τα προβλήματα που υπάρχουν στην υιοθέτηση των LOC και έχουν αναπτύξει ένα σημαντικό κοινό που τα ακολουθούν, ωστόσο έχουν και αυτά τα μειονεκτήματά τους. Στα μειονεκτήματα συγκαταλέγονται η δυσκολία επικοινωνίας και κατανόησής τους, το γεγονός ότι απαιτούν ειδική εκπαίδευση προκειμένου να υπολογισθούν, και το γεγονός ότι δεν αποδίδουν σωστά εργασίες με σημαντικό υπολογιστικό μέρος που απαιτούν πολλή προσπάθεια να αναπτυχθούν, αν και έχουν χαμηλό αριθμό των χαρακτηριστικών που η μέθοδος μετράει. Είναι επίσης πολύ υποκειμενικά (Johnson) (εξαρτώνται από αυτόν που κάνει την εκτίμηση) και είναι αδύνατη η αυτοματοποίηση του υπολογισμού τους. Επειδή η μέθοδος των Function Points χρησιμοποιείται και σαν μέθοδος εκτίμησης της προσπάθειας ανάπτυξης ενός έργου (απλοποιημένες περιπτώσεις), αναλύεται με μεγαλύτερη λεπτομέρεια στα επόμενα κεφάλαια που παρουσιάζουν τις μεθόδους εκτίμησης κόστους. 2.3 Object Points Τα Object Points (Jones 1998) είναι ένα εναλλακτικό μέτρο των Function Points που επίσης σχετίζεται με τη λειτουργικότητα, και εφαρμόζεται συνήθως όταν στην ανάπτυξη χρησιμοποιούνται γλώσσες τέταρτης γενεάς (). Τα object points δεν ταυτίζονται με την έννοια των κλάσεων αντικειμένων (object classes). Ο αριθμός των object points ενός προγράμματος είναι μια σταθμισμένη εκτίμηση του αριθμού των οθονών που παρουσιάζονται, του αριθμού των αναφορών που παράγονται και του αριθμού των τμημάτων που πρέπει να αναπτυχθούν σε γλώσσες τρίτης γενεάς (3GL) για να συμπληρώσουν και να υποστηρίξουν τον κώδικα

24 Κεφάλαιο 2 Μέτρα εκτίμησης του μεγέθους του έργου 2.4 Ελέγξιμες απαιτήσεις (Testable Requirements) Η «απαίτηση» ορίζεται ως μια κατάσταση ή ικανότητα που είναι απαραίτητη για ένα σύστημα προκειμένου να ικανοποιήσει τους αντικειμενικούς του σκοπούς. Ο ορισμός αυτός είναι σκόπιμα αρκετά ευρύς σε σχέση με το συνήθη ορισμό της απαίτησης. Με τον παραπάνω ορισμό περιλαμβάνονται εκτός από τις απαιτήσεις του χρήστη και άλλες κατηγορίες απαιτήσεων όπως οι απαιτήσεις τεχνικού σχεδιασμού, λειτουργικές κλπ. Το γλωσσάριο των προτύπων IEEE με την ορολογία του τομέα της Μηχανικής Λογισμικού (Software Engineering) (IEEE 1994) περιλαμβάνει ορισμούς έξι διαφορετικών τύπων απαιτήσεων: λειτουργικές (functional), σχεδίασης (design), υλοποίησης (implementation), διεπαφής (interface), απόδοσης (performance) και φυσικές (physical). Οι περισσότερες μεθοδολογίες καθορίζουν τη λειτουργικότητα σε ιεραρχικά επίπεδα, με αυξανόμενο βαθμό λεπτομέρειας σε κάθε επίπεδο. Το υψηλό επίπεδο είναι συνήθως μια βασική απαίτηση. Κάθε απαίτηση υψηλού επιπέδου, μπορεί να αναλυθεί σε ενδιάμεσες επόμενου επιπέδου απαιτήσεις. Κάθε τέτοιο επίπεδο, μπορεί στη συνέχεια να αναλυθεί σε νέες απαιτήσεις κ.ο.κ. Αυτό συνεχίζεται (συνήθως μετά από 3-4 επίπεδα) μέχρι η απαίτηση να είναι καθορισμένη με ακρίβεια. Η «ελέγξιμη απαίτηση» (Wilson 1995) είναι η απαίτηση που έχει αναλυθεί σε ένα τέτοιο επίπεδο που καθορίζεται επακριβώς και δεν μπορεί να υποδιαιρεθεί περαιτέρω σε χαμηλότερου επιπέδου απαιτήσεις. Τα κριτήρια αυτά σημαίνουν ότι μπορεί να γραφτεί μια διαδικασία ελέγχου (test case) που μπορεί να επαληθεύσει αν η απαίτηση έχει υλοποιηθεί ή όχι. Η έννοια των ελέγξιμων απαιτήσεων χρησιμοποιείται εδώ και χρόνια για τον έλεγχο της ποιότητας και της λεπτομέρειας των απαιτήσεων του συστήματος. Το νέο στοιχείο που εισάγεται εδώ, είναι ότι ο αριθμός των ελέγξιμων απαιτήσεων είναι ένα μέτρο του μεγέθους του συστήματος. Αυτό με τη σειρά του έχει πολλές πρακτικές εφαρμογές στη μέτρηση της διαδικασίας ανάπτυξης λογισμικού. Τα προβλήματα που σχετίζονται συνήθως με αυτό το μέτρο είναι: Η κατανόηση των απαιτήσεων: Οι απαιτήσεις του έργου είναι συχνά γενικές και ασαφείς. Αυτό μπορεί να κάνει δύσκολη την εκτίμηση του - 18-

25 Κεφάλαιο 2 Μέτρα εκτίμησης του μεγέθους του έργου μεγέθους του έργου με οποιοδήποτε μέτρο εκτίμησης του μεγέθους. Η διαδικασία μέτρησης με ελέγξιμες απαιτήσεις θα εστιάσει γρήγορα στα σημεία που δεν έχουν γίνει πλήρως κατανοητά ή δεν έχουν καλά προδιαγράφει. Αυτό εξάλλου δίνει έγκαιρα μηνύματα διόρθωσης των απαιτήσεων πριν προχωρήσει η ανάπτυξη. Η σχετικά μικρή διάρκεια που εφαρμόζεται το μέτρο (πολύ νέο μέτρο): Δεν υπάρχουν ακόμα στον κλάδο πολλά στοιχεία ή εμπειρία χρήσης αυτού του μέτρου. Όταν αναπτύσσεις έργα νέων τεχνολογιών, υπάρχει συχνά ο κίνδυνος υποεκτίμησης του μεγέθους επειδή κάποιοι τύποι απαιτήσεων δεν έχουν γίνει καλά αντιληπτοί ή δεν έχει εκτιμηθεί σωστά το μέγεθος τους. Με την αποκτούμενη εμπειρία, τέτοιοι τύποι απαιτήσεων μπορούν να αναλυθούν καλύτερα και να εκτιμηθεί το μέγεθος τους. -19-

26 ΚΕΦΑΛΑΙΟ 3 Μέθοδοι εκτίμησης κόστους μη βασισμένες σε μοντέλα

27 Κεφάλαιο 3 Μέθοδοι εκτίμησης κόστους μη βασισμένες σε μοντέλα Οι μέθοδοι που δε βασίζονται σε μοντέλα, αποτελούνται συνήθως από μία ή περισσότερες τεχνικές εκτίμησης και κάποιες προδιαγραφές για τον τρόπο εφαρμογής τους σε συγκεκριμένη περιοχή έργων. Απαιτούν συνήθως μεγάλη εμπλοκή ειδικών για να παράγουν εκτιμήσεις για κάθε νέο έργο. Αυτό είναι μη πρακτικό για πολλές επιχειρήσεις αφού οι ειδικοί συνήθως έχουν πολύ σφιχτά χρονοδιαγράμματα, περιορισμένο χρόνο και πολύ χαμηλή διαθεσιμότητα. Επιπλέον, ούτε η προσπάθεια που απαιτείται για την πραγματοποίηση της εκτίμησης ούτε η ακρίβεια της εκτίμησης μπορούν να βελτιωθούν από το ένα έργο στο άλλο, αφού δεν υπάρχει στην ουσία καμιά διαδικασία εταιρικής μάθησης ή βελτίωσης της εταιρικής γνώσης. Οι τεχνικές εκτίμησης που χρησιμοποιούνται στην περίπτωση αυτή είναι η top-down ή η bottom-up. Οι μέθοδοι περιλαμβάνουν εκτίμηση της προσπάθειας από έναν ή περισσότερους ειδικούς που εφαρμόζουν κάποια από αυτές τις τεχνικές. Στην top-down τεχνική, εκτιμάται η προσπάθεια για το σύνολο του έργου και στην συνέχεια κατανέμεται στα συστατικά ή τις επί μέρους δραστηριότητες του έργου. Στην bottom-up τεχνική, εκτιμάται η προσπάθεια για κάθε δραστηριότητα ξεχωριστά και υπολογίζεται η συνολική προσπάθεια ως το άθροισμα όλων των επιμέρους δραστηριοτήτων και συχνά περιλαμβάνει και μια επιπλέον «πάγια» επιβάρυνση για την ολοκλήρωση των επιμέρους λειτουργιών. 3.1 Εκτίμηση ειδικών Σύμφωνα με τη μέθοδο αυτή, συνήθως περισσότεροι του ενός ειδικοί, εκτιμούν απ ευθείας την προσπάθεια ανάπτυξης ενός έργου. Η εκτίμηση βασίζεται στην εμπειρία των ειδικών, την κατανόηση του νέου έργου και τις διαθέσιμες πληροφορίες σχετικά με το νέο και προηγούμενα έργα. Οι ειδικοί είναι άτομα έμπειρα στην ανάπτυξη λογισμικού και άτομα έμπειρα στην περιοχή εφαρμογής που είναι το αντικείμενο του έργου (application domain). Η διαδικασία είναι επαναληπτική μέχρι να καταλήξουν σε μια κοινά αποδεκτή εκτίμηση. Η εκτίμηση γίνεται από «συνεδρίαση» των ειδικών σαν ομάδα. Αυτό έχει μεν κάποια πλεονεκτήματα όπως την ισορροπία του ενθουσιώδους χαρακτήρα μερικών σε σχέση με την επιφυλακτικότητα άλλων, αλλά ενέχει και κινδύνους αφού -21-

28 Κεφάλαιο 3' Μέθοδοι εκτίμησης κόστους μη βασισμένες σε μοντέλα άτομα με ισχυρή προσωπικότητα μπορεί να επηρεάσουν άλλους και έτσι να κυριαρχήσει η άποψή τους. Μ αυτόν τον τρόπο, η άποψη κάποιων ειδικών μπορεί να εμπεριέχει σημαντική μεροληψία και το αποτέλεσμα υψηλή πιθανότητα σφάλματος. Αυτού του είδους τα προβλήματα αποφεύγονται με τη μέθοδο των Δελφών που αναφέρεται στη συνέχεια. 3.2 Μέθοδος των Δελφών Η μέθοδος των Δελφών (Delfi method) ανήκει στην ενότητα των μεθόδων εκτίμησης από ομάδα ειδικών αλλά προσπαθεί να ελαχιστοποιήσει τις διαπροσωπικές επιδράσεις μέσα στην ομάδα που θα μπορούσαν να καταστρέψουν την τελική εκτίμηση. Η τεχνική των Δελφών (Bia 2002) αναπτύχθηκε στην εταιρεία Rand το 1948 με σκοπό να προκόψει συναίνεση μιας ομάδας ειδικών χωρίς να έχουν τις αρνητικές συνέπειες των ομαδικών συνεδριάσεων. Η τεχνική αυτή υιοθετήθηκε στην εκτίμηση κόστους με τον ακόλουθο τρόπο: Ένας συντονιστής παρέχει σε κάθε ειδικό όλες τις διαθέσιμες πληροφορίες και τεκμηρίωση του έργου και των απαιτήσεων γι αυτό, μαζί με μια φόρμα για να γράψει τις εκτιμήσεις του. Κάθε ειδικός μελετά την τεκμηρίωση και ανώνυμα κάνει την εκτίμησή του. Ο ειδικός μπορεί να συμβουλευθεί το συντονιστή αλλά όχι κάποιον άλλο ειδικό. Ο συντονιστής ετοιμάζει και διανέμει μια περίληψη των εκτιμήσεων που έχουν γίνει μέχρι εκείνη τη στιγμή. Οι ειδικοί κάνουν έναν δεύτερο κύκλο ανώνυμων εκτιμήσεων, χρησιμοποιώντας τα αποτελέσματα του προηγούμενου γύρου. Σε περίπτωση που κάποια εκτίμηση διαφέρει πολύ από τις υπόλοιπες, μπορεί να ζητηθεί μια ανώνυμη δικαιολόγησή της από τον ειδικό που την έκανε. -22-

29 Κεφάλαιο 3 Μέθοδοι εκτίμησης κόστους μη βασισμένες σε μοντέλα Η διαδικασία επαναλαμβάνεται όσες φορές θεωρείται απαραίτητο, αποφεύγοντας ομαδικές συζητήσεις. Είναι δυνατόν, μετά από αρκετούς γύρους εκτιμήσεων, να μην υπάρξει συναίνεση. Στην περίπτωση αυτή, ο συντονιστής θα μελετήσει τις αιτίες αυτών των διαφωνιών και θα προσπαθήσει να επιλύσει τις διαφορές, προσθέτοντας μερικές φορές, νέες πληροφορίες. Είναι προφανές από τα παραπάνω, ότι είναι δυνατόν η διαδικασία να διαρκέσει αρκετό χρόνο μέχρι να επιτευχθεί συναίνεση. -23-

30 ΚΕΦΑΛΑΙΟ 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές

31 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Στην κατηγορία αυτή ανήκουν μέθοδοι που περιλαμβάνουν μια αλγοριθμική προσέγγιση που βασίζεται σε ιστορικά στοιχεία κόστους και που γενικά έχει βασικό οδηγό κόστους το μέγεθος του έργου λογισμικού. 4.1 Η μέθοδος τω ν Function Points Η μέθοδος των Function Points (FP) στην ουσία δεν αποτελεί μέθοδο εκτίμησης κόστους ενός έργου, αλλά μέθοδος εκτίμησης του μεγέθους του έργου που συνήθως είναι ο βασικότερος και συχνά ο μοναδικός οδηγός κόστους. Ωστόσο, συχνά χρησιμοποιείται για εκτίμηση κόστους, πολλαπλασιάζοντας το αποτέλεσμα της εκτίμησης του μεγέθους επί έναν συντελεστή που είναι η μέση προσπάθεια (ανθρωποχρόνος) ανά FP. Η τιμή του συντελεστή προκύπτει από παρελθόντα έργα των οποίων τα στοιχεία και η προσπάθεια έχουν καταγραφεί και για τα οποία εκτιμάται το μέγεθος τους με τη μέθοδο των Function Points. Η μέθοδος είναι πολύ απλή και εύκολη στη χρήση της και δεν απαιτεί ειδικό εργαλείο για την εφαρμογή της γι αυτό και προτιμάται σε αρκετές περιπτώσεις. Καλύτερα αποτελέσματα από αυτά που προκύπτουν από την απλή προσέγγιση του μέσου συντελεστή που αναφέρθηκε παραπάνω, μπορούν να εξαχθούν αν θεωρηθεί ότι η προσπάθεια είναι γραμμική συνάρτηση του μεγέθους όπως εκτιμάται μέσω των function points, οπότε με τη βοήθεια της μεθόδου των ελάχιστων τετραγώνων υπολογίζονται οι συντελεστές της ευθείας με την καλύτερη προσαρμογή στα δεδομένα. Στην πραγματικότητα όμως, το μέγεθος του έργου δεν αποτελεί τέλεια εκτιμήτρια της προσπάθειας, αλλά υπάρχουν και άλλοι παράγοντες με αποτέλεσμα σημαντικό συστηματικό σφάλμα (residual error), οπότε είναι πολύ σημαντικό να ανιχνεύονται οι παράγοντες που οδηγούν σε αποκλίσεις ανάμεσα στο εκτιμούμενο και στο πραγματικό μέγεθος της προσπάθειας. Αλλα μοντέλα που έχουν προταθεί και στηρίζονται σε ένα βασικό οδηγό κόστους έχουν την γενική μορφή (Johnson): Ε=Α + Β Sc -25-

32 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Όπου Ε η προσπάθεια, S ο βασικός οδηγός κόστους (FP), και A, Β, C σταθερές του μοντέλου εμπειρικά παραγόμενες. Η εκτίμηση αυτών των σταθερών μπορεί να γίνει με μεθόδους παλινδρόμησης. Μερικά από τα μοντέλα αυτής της μορφής είναι (Johnson): Μοντέλο Albrecht and Gaffney Ε=-12,39 + 0,0545 FP Μοντέλο Kamerer Ε= 60,62 + 7, FP3 Μοντέλο Matson, Barnett & MellichampE=585,7 + 15,12*FP Συνοπτικά, τα FP βασίζονται στην εκτίμηση του μεγέθους του έργου μετρώντας εξωτερικά χαρακτηριστικά. Σε κάθε χαρακτηριστικό αποδίδεται ένας συντελεστής βαρύτητας με τον οποίο πολλαπλασιάζεται η μέτρηση προκειμένου να δώσει τα FP κάθε εργασίας. Τα FP του έργου προκύπτουν από το άθροισμα των FP των επιμέρους εργασιών. Το τελικό αποτέλεσμα μπορεί να τροποποιηθεί (προσαρμοσμένο αποτέλεσμα - adjusted FP) πολλαπλασιάζοντας επί έναν συντελεστή που αντιστοιχεί στην πολυπλοκότητα του έργου. Τα εξωτερικά χαρακτηριστικά τα οποία μετέχουν στην ανάλυση function points είναι (Leung & Zhang, Johnson): Εξωτερικές είσοδοι (external Inputs) Αναφέρονται σε δεδομένα ή πεδία φορμών που εισάγονται στο σύστημα από τους χρήστες και περιγράφουν διακεκριμένα δεδομένα της εφαρμογής. Παραδείγματα είναι ονόματα αρχείων, επιλογές μενού, αρχεία εισόδου δεδομένων, πίνακες, φόρμες εισαγωγής δεδομένων, οθόνες, μηνύματα (εισόδου) κ\τ. Εξωτερικές έξοδοι (external outputs) Αναφέρονται σε δεδομένα που παράγονται από το σύστημα και παρέχονται στον χρήστη. Αποτελούν διακεκριμένα δεδομένα της εφαρμογής. Παραδείγματα είναι αρχεία και πίνακες (εξαγόμενοι), μηνύματα και αναφορές (reports) (όλη -26-

33 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές η αναφορά και όχι τα πεδία της) Εξωτερικά ερωτήματα (External Inquiries) Διαδραστικά ερωτήματα που απαιτούν απάντηση. Παραδείγματα είναι μηνύματα (prompts), διακοπές (interrupts) κ\τ. Εξωτερικές διεπαφές Αναφέρονται σε βιβλιοθήκες ρουτινών ή (external interfaces) προγράμματα με κατεύθυνση από και προς το σύστημα, προγραμματιστικές διεπαφές μεταξύ προγραμμάτων (μεταξύ συστημάτων) κ\π. Εσωτερικά αρχεία Αναφέρονται σε ομαδοποιήσεις δεδομένων που (Internal files) αποθηκεύονται εσωτερικά στο σύστημα. Παραδείγματα είναι οντότητες, εσωτερικά αρχεία ελέγχου, κατάλογοι, λογικά αρχεία του συστήματος. Τα βήματα για τον υπολογισμό του μεγέθους του έργου είναι: Μέτρηση ή εκτίμηση όλων των εμφανίσεων των παραπάνω χαρακτηριστικών στο σύστημα Ανάθεση σε κάθε εμφανιζόμενο χαρακτηριστικό ενός συντελεστή βαρύτητας ανάλογα με την πολυπλοκότητά του Πολλαπλασιασμός κάθε εμφάνισης χαρακτηριστικού επί τον συντελεστή πολυπλοκότητάς του και άθροιση των γινομένων για να προκύψει το function count. Ο αριθμός αυτός είναι ο μη διορθωμένος αριθμός function count UFC (unadjusted function count). Πολλαπλασιασμός του UFC επί έναν παράγοντα διόρθωσης που αποτελεί τον τεχνικό παράγοντα πολυπλοκότητας TCF (Technical Complexity Factor) ώστε να προκύψει τελικά ο αριθμός Function Points (FP). Ο TCF προκύπτει από τη «βαθμολόγηση» του έργου σε 14 διαφορετικούς παράγοντες-τομείς. TCF =0,65 + 0,01 ΣΥ), ϊ=4, Vj η βαθμολόγηση στον παράγοντα i -27-

34 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Οι δεκατέσσερις αυτοί παράγοντες είναι οι παρακάτω: Επικοινωνία Δεδομένων (Data Communications) Κατανεμημένες λειτουργίες (Distributed Functions) Απόδοση (Performance) Μεγάλη χρήση λειτουργικής παραμετροποίησης (Heavily used Operational Configuration) Ρυθμός κινήσεων (Transaction Rate) On-line Είσοδος δεδομένων (On-line Data Entry) On-line μεταβολές λογικών εσωτερικών αρχείων (On-line Update of Logical Internal Files) Πολύπλοκη διεπαφή (Complex Interface) Πολύπλοκη επεξεργασία (Complex Processing) Επαναχρησιμοποίηση κώδικα συστήματος (Reusability of System Code) Ευκολία εγκατάστασης (Installation Ease) Ευκολία λειτουργίας (Operational Ease) Ευκολία αλλαγών (Ease of Change) Πολλαπλά σημεία εγκατάστασης (Multiple Sites) Η βαθμολόγηση κάθε παράγοντα γίνεται σε μια κλίμακα από 0 έως 5 σύμφωνα με τα παρακάτω: 0-0 παράγοντας δεν υφίσταται ή δεν επηρεάζει το έργο 1 - Ασήμαντη επίδραση 2 - Μέτρια επίδραση 3 - Μέση επίδραση 4 - Σημαντική επίδραση -28-

35 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές 5 - Ισχυρή επίδραση Οι συντελεστές βαρύτητας των εξωτερικών χαρακτηριστικών, ανάλογα με την πολυπλοκότητα εξάλλου, δίνονται στον πίνακα 4.1.1: Πολυπλοκότητα Χαρακτηριστικό Μικρή Μεσαία Υψηλή (Low) (Medium) (High) Εξωτερικές είσοδοι Εξωτερικές έξοδοι Εξωτερικά ερωτήματα Εξωτερικές διεπαφές Εσωτερικά αρχεία Πίνακας 4.1.1: Συντελεστές βαρύτητας των εξωτερικών χαρακτηριστικών της μεθόδου FP ανάλογα με την πολυπλοκότητά τους (Johnson) Η ανάλυση Function Points είναι εξαιρετικά χρήσιμη για τα συστήματα TPS (Transaction Processing Systems) που αποτελούν τη βάση για τα περισσότερα M1S (Management Information Systems) έργα. Ωστόσο, δεν παρέχει ακριβείς εκτιμήσεις σε λογισμικό ελέγχου και εντολών (command and control software), συστημικό λογισμικό (system software) και ενσωματωμένα συστήματα (embedded systems). -29-

36 Κεφάλαιο 4' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Μια οθόνη από ένα εμπορικό εργαλείο4 που διευκολύνει την εφαρμογή της ανάλυσης FP σε μια επιχείρηση, παρουσιάζεται στην εικόνα Το εργαλείο έχει αναπτυχθεί από την Charismatek Software Metrics. Claisilv I ran taction Name 'Add Catalogue Item F unction Polntt Function Type External Input I 4 MultipFei T FSternal Output External Inguiry Not Classified Enhancement Type Add Change Delete Non Lmk Labels... Lmk No*»» Link Me*.. j Complexity Rating Method Rapid f' Record DEls/HMs * Automatically Derived Convert to Component... lnpiil Data Ε foment ί pes 7zzy \ >=ie File Types Referenced '1 Low 4 Low Avg - ϊ Η 2 Low Avg High Avg High High EH OK Caned Εικόνα 4.1.1: Οθόνη του εργαλείου Function Point WorkBench της Charismatek Software Metrics 4 Αναφορές στο κεφάλαιο αυτό και σε επόμενα κεφάλαια, σε εμπορικά εργαλεία που εφαρμόζουν ή στηρίζονται στις μεθόδους που αναφέρσνται, είναι καθαρά ενδεικτικές. Σε καμία περίπτωση δεν συνιστούν προτάσεις χρήσης ταυ αναφερόμενου εργαλείου ή με οποιοδήποτε τρόπο έχει αξιολογηθεί το αναφερόμενο εργαλείο ως το καλύτερο διαθέσιμο στην αγορά. -30-

37 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές 4.2 Η μέθοδος COCOMO Ο Boehm (Johnson, Boehm 1981) δημιούργησε ένα μοντέλο κοστολόγησης που το ονόμασε COCOMO (Constructive Cost Model), χρησιμοποιώντας δεδομένα από ένα μεγάλο σύνολο έργων στην TRW, μια εταιρεία συμβούλων στην Καλιφόρνια. Η μέθοδος COCOMO είναι ένα σχετικά ευθύ μοντέλο που βασίζεται σε εισόδους σχετιζόμενες με το μέγεθος του έργου και έναν αριθμό οδηγών κόστους που επηρεάζουν την παραγωγικότητα. Η αρχική μέθοδος COCOMO πρωτοδημοσιεύτηκε το 1981 (Boehm 1981). Από τότε ο Boehm και οι συνεργάτες του έχουν προτείνει ένα αναθεωρημένο μοντέλο που ονομάζουν COCOMO II που λαμβάνει υπόψη του τις τελευταίες αλλαγές στην τεχνολογία λογισμικού Η πρωτογενής μέθοδος COCOMO Η πρωτογενής COCOMO είναι μια συλλογή τριών μοντέλων: το Βασικό μοντέλο (Basic model) που εφαρμόζεται νωρίς στο έργο, το Ενδιάμεσο μοντέλο (Intermediate model) που εφαρμόζεται μετά τον καθορισμό των απαιτήσεων και το Προχωρημένο ή Λετπομερές μοντέλο (Advanced model or detailed model) mu εφαρμόζεται μετά το τέλος της σχεδίασης. Και τα τρία μοντέλα περιλαμβάνουν μια σχέση ανάμεσα στο μέγεθος του έργου (με την έννοια των γραμμών κώδικα) κoil της προσπάθειας ανάπτυξης (με την έννοια ανθρωπομηνών). Η γενική μορφή της εξίσωσης COCOMO έχει τη μορφή: Ε = a Sizeb EAF όπου Ε είναι η προσπάθεια σε ανθρωπομήνες, Size το μέγεθος του έργου σε χιλιάδες γραμμές κώδικα (KLOC), και EAF είναι ένας συντελεστής στάθμισης προσπάθειας (Effort Adjustment Factor) που έχει την τιμή 1 για το βασικό μοντέλο. Οι συντελεστές a και. b εξαρτώνται από το επίπεδο του μοντέλου (βασικό, ενδιάμεσο, προχωρημένο) και τον τύπο ανάπτυξης του έργου. Ο Boehm έχει ορίσει τρεις τύπους ανάπτυξης: -31-

38 ) Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Τον Οργανικό τύπο (organic mode) που αντιστοιχεί σε σχετικά απλά έργα στα οποία μικρές ομάδες εργάζονται με ένα σύνολο άτυπων προδιαγραφών. Συνήθως το περιβάλλον ανάπτυξης είναι πολύ γνωστό στις ομάδες αυτές και είναι ένα περιβάλλον στο οποίο έχει αρκετή εμπειρία η επιχείρηση. Τον ημι-αυτόνομο τύπο (semi-detached mode) που αντιστοιχεί σε ενδιάμεσα έργα στα οποία μικτές ομάδες πρέπει να εργάζονται με ένα σύνολο αυστηρών και λιγότερο αυστηρών προδιαγραφών (για παράδειγμα ένα σύστημα επεξεργασίας συναλλαγών με συγκεκριμένες απαιτήσεις για το υλικό και το λογισμικό του τερματικού). Στην ουσία είναι η μέση κατάσταση ανάμεσα στον οργανικό και τον ενσωματωμένο τύπο έργων. Τον ενσωματωμένο τύπο (embedded mode) που αντιστοιχεί σε έργα που πρέπει να λειτουργούν μέσα σε ένα πολύ στενό σύνολο περιορισμών (για παράδειγμα λογισμικό ελέγχου πτήσης σε ένα αεροσκάφος) Σε όλες τις περιπτώσεις, ο συντελεστής b είναι μεγαλύτερος της μονάδας, γεγονός που υπονοεί ότι η COCOMO υποθέτει αντίστροφες οικονομίες κλίμακας. Αυτό σημαίνει ότι για μεγάλα έργα, η παραγωγικότητα είναι σχετικά μικρότερη από αυτήν για μικρά έργα. Οι τιμές των συντελεστών καθορίστηκαν από ειδικούς. Η βάση δεδομένων της COCOMO (με 63 έργα) χρησιμοποιήθηκε για να ρυθμίσει τις τιμές που έδωσαν οι ειδικοί, αν και δεν χρησιμοποιήθηκε κάποια τεκμηριωμένη συστηματική διαδικασία. Το βασικό μοντέλο Η εξίσωση του βασικού μοντέλου είναι: Ε = α Sizeh Οι συντελεστές a κοα. b του βασικού μοντέλου δίνονται στον πίνακα

39 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Τύπος a b Οργανικός Ημι-αυτόνομος Ενσωματωμένος Πίνακας 4.2.1: Οι συντελεστές a κοα. b του βασικού μοντέλου COCOMO (Johnson) Το ενδιάμεσο μοντέλο Το ενδιάμεσο μοντέλο υπολογίζει την προσπάθεια ως συνάρτηση του μεγέθους του έργου και μιας ομάδας οδηγών κόστους. Η εξίσωση του ενδιάμεσου μοντέλου είναι: Ε = α Sizeb EAF όπου οι συντελεστές a κοα. b δίνονται στον πίνακα Τύπος a Β Οργανικός Ημι-αυτόνομος Ενσωματωμένος Πίνακας 4.2.2: Οι συντελεστές a κοα. b του ενδιάμεσου μοντέλου COCOMO (Johnson) -33-

40 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Ο συντελεστής στάθμισης EAF εξαρτάται από 15 οδηγούς κόστους και δίνει το μέγεθος της απόκλισης του έργου από το βασικό μοντέλο λόγω της επίδρασης αυτών των παραγόντων. Κάθε παράγοντας μοντελοποιείται από έναν πολλαπλασιαστή που είτε αυξάνει είτε μειώνει την ονομαστική προσπάθεια. Ο συντελεστής στάθμισης δίνεται από τον τύπο: EAF = Π EMt ι=1 όπου ΕΜ, ο πολλαπλασιαστής του οδηγού κόστους ϊ. Οι 15 οδηγοί κόστους ομαδοποιούνται σε τέσσερις κατηγορίες: προϊόν (product), υπολογιστής (computer), προσωπικό (personnel) και έργο (project). Κάθε παράγοντας βαθμολογείται σε μια κλίμακα 6 διαβαθμίσεων από τη χαμηλότερη ως την υψηλότερη σπουδαιότητα. Οι πολλαπλασιαστές κάθε παράγοντα για κάθε επίπεδο κατάταξης δίνονται στον πίνακα Το προχωρημένο μοντέλο Το προχωρημένο μοντέλο υπολογίζει την προσπάθεια ως συνάρτηση του μεγέθους του έργου και μιας ομάδας οδηγών κόστους που σταθμίζονται σύμφωνα με την φάση του κύκλου ζωής του έργου. Το προχωρημένο μοντέλο εφαρμόζει το ενδιάμεσο μοντέλο σε επίπεδο συστατικού και στη συνέχεια μια προσέγγιση βασισμένη στη φάση του κύκλου ζωής εφαρμόζεται για να συγκεντρώσει τις επιμέρους εκτιμήσεις και να καταλήξει στην τελική εκτίμηση. Οι τέσσερις φάσεις του κύκλου ζωής του έργου που χρησιμοποιούνται στο προχωρημένο μοντέλο της μεθόδου COCOMO είναι: Καταγραφή απαιτήσεων και σχεδιασμός προϊόντος (Requirements planning and product design - RPD), αναλυτικός σχεδιασμός (Detailed Design - DD), Προγραμματισμός και στοιχειώδης έλεγχος (code and unit test - CUT) και ολοκλήρωση και έλεγχος (integration and test - IT). Κάθε οδηγός κόστους υποδιαιρείται ανά φάση όπως το παράδειγμα του πίνακα

41 Κεφάλαιο 4' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Οδηγός κόστους Product Περιγραφή Very Low Low Nom inal Κατάταξη High Very High Extra High RELY Required software reliability DATA Database size CPLX Product complexity Computer TIME Execution time constraint STOR Main storage constraint VIRT Virtual machine volatility TURN Computer turnaround time Personnel ACAP Analyst capability AEXP Applications experience PCAP Programmer capability VEXP Virtual machine experience LEXP Language experience Project MODP Modem programming practices TOOL Software Tools SCED Development Schedule Πίνακας 4.2.3: Οι πολλαπλασιαστές της προσπάθειας ανάπτυξης λογισμικού (Johnson) I -35-

42 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Cost Driver Rating RPD DD CUT IT Very Low Low ACAP Nominal High Very High Πίνακας 4.2.4: Πολλαπλασιαστές προσπάθειας ικανότητας αναλυτή (Analyst Capability - ACAP) του προχωρημένου μοντέλου COCOMO (Johnson) Διαφοροποιήσεις της αρχικής μεθόδου COCOMO έχουν κατά καιρούς αναπτυχθεί για να αντιμετωπίσουν για παράδειγμα την προσπάθεια συντήρησης ή άλλες διαδικασίες ανάπτυξης διαφορετικές από τις παραδοσιακές διαδικασίες της μεθόδου καταρράκτη (waterfall process) Η μέθοδος COCOMO II Ενώ η πρωτογενής COCOMO αντιμετωπίζει σχετικά καλά έργα λογισμικού κατά παραγγελία, η COCOMO II είναι χρήσιμη για μια πολύ μεγαλύτερη ομάδα τεχνικών και τεχνολογιών. Η COCOMO II παρέχει υποστήριξη (Johnson) για επιχειρηματικό λογισμικό, αντικειμενοστραφές λογισμικό, λογισμικό που αναπτύσσεται με διαδικασίες ανάπτυξης σπειροειδείς ή εξελικτικές και λογισμικό που αναπτύσσεται χρησιμοποιώντας έτοιμες υπορουτίνες τρίτων κατασκευαστών. Η έρευνα για την COCOMO II ξεκίνησε το Η COCOMO II αποτελείται από ένα μείγμα τριών μοντέλων: το μοντέλο σύνθεσης της εφαρμογής (Application Composition model), το μοντέλο αρχικής σχεδίασης (Early Design model) και to μοντέλο μετά-αρχιτεκτονικής (post Architecture model). To πρώτο μοντέλο αναφέρεται στις προσπάθειες προτυποποίησης. Το μοντέλο αρχικής σχεδίασης εμπεριέχει έναν μικρό αριθμό οδηγών κόστους επειδή υπάρχουν ανεπαρκείς πληροφορίες για να υποστηρίξουν λεπτομερέστερης ανάλυσης εκτιμήσεις κόστους. Το μοντέλο post architecture τυπικά χρησιμοποιείται αφού η αρχιτεκτονική λογισμικού είναι καλά ορισμένη και πραγματοποιεί εκτιμήσεις για ολόκληρο τον - 36-

43 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές κύκλο ζωής της ανάπτυξης του έργου. Είναι μια λεπτομερής προέκταση του μοντέλου αρχικής σχεδίασης. Το μοντέλο σύνθεσης της εφαρμογής (application composition model) Το μοντέλο αυτό χρησιμοποιείται στη διαδικασία προτυποποίησης για να επιλύσει θέματα υψηλού κινδύνου όπως διεπαψές χρήστη, αλληλεπιδράσεις λογισμικού / συστήματος, απόδοση, ή τεχνολογική ωριμότητα. Για την εκτίμηση του μεγέθους χρησιμοποιούνται κυρίως τα object points σε αντίθεση με τις παραδοσιακές γραμμές κώδικα. Μια αρχική εκτίμηση του μεγέθους επιτυγχάνεται μετρώντας τις οθόνες, τις αναφορές και τα συστατικά τρίτης γενιάς που θα χρησιμοποιηθούν στην εφαρμογή. Κάθε αντικείμενο αξιολογείται σαν απλό, μέτριο ή δύσκολο ακολουθώντας τις οδηγίες κατάταξης του πίνακα κοα (Johnson). Αριθμός πινάκων δεδομένων Αριθμός περιεχομένων views Σύνολο <4 Σύνολο <8 Σύνολο 8+ <3 Απλό Απλό Μέτριο 3-7 Απλό Μέτριο Δύσκολο 8+ Μέτριο Δύσκολο Δύσκολο Πίνακας 4.2.5: Επίπεδα πολυπλοκότητας Object Points για οθόνες (Johnson) Αριθμός πινάκων δεδομένων Αριθμός περιεχομένων views Σύνολο <4 Σύνολο <8 Σύνολο 8+ <3 Απλό Απλό Μέτριο 3-7 Απλό Μέτριο Δύσκολο 8+ Μέτριο Δύσκολο Δύσκολο Πίνακας 4.2.6: Επίπεδα πολυπλοκότητας Object Points για αναφορές (Johnson) -37-

44 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Ο αριθμός κάθε κελιού σταθμίζεται σύμφωνα με τον πίνακα Οι συντελεστές στάθμισης αντιπροσωπεύουν τη σχετική προσπάθεια που απαιτείται για να υλοποιηθεί μια περίπτωση αυτού του επιπέδου πολυπλοκότητας. Οι σταθμισμένες περιπτώσεις αθροίζονται για να δώσουν έναν αριθμό object points. Object type Απλό Μέτριο Δύσκολο Οθόνη Αναφορά GL συστατικό Πίνακας 4.2.7: Συντελεστές στάθμισης για object points (Johnson) Στη συνέχεια, λαμβάνεται υπόψη η δυνατότητα επαναχρησιμοποίησης. Υποθέτοντας ότι r% των αντικειμένων θα επαναχρησιμοποιηθούν από προηγούμενα έργα, ο αριθμός των νέων object points (NOP) υπολογίζεται από τη σχέση: NOP = (object points) * (100-r) / 100 Ο ρυθμός παραγωγικότητας (PROD) καθορίζεται από τον πίνακα Η προσπάθεια επομένως μπορεί να εκτιμηθεί από τη σχέση: Ε = NOP / PROD Developers' experience and capability Very Low Low Nominal High Very High ICASE maturity and capability Very Low Low [Nominal High Very High PROD Πίνακας 4.2.8: Μέσοι ρυθμοί παραγωγικότητας (Johnson) Το μοντέλο αρχικής σχεδίασης Το μοντέλο αρχικής σχεδίασης χρησιμοποιείται για να αξιολογήσει εναλλακτικές αρχιτεκτονικές λογισμικού / συστήματος και έννοιες λειτουργίας. Για -38-

45 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές την εκτίμηση του μεγέθους χρησιμοποιείται ο μη διορθωμένος αριθμός function points (unadjusted function point count - UFC). Αυτή η τιμή μετατρέπεται σε αριθμό γραμμών κώδικα χρησιμοποιώντας πίνακες που δίνονται στη βιβλιογραφία, όπως ο πίνακας Η εξίσωση του μοντέλου αρχικής σχεδίασης είναι: Ε = α KLOC EAF όπου a μια σταθερά που προσωρινά τίθεται ίση με 2,45. Language Level Min Mode Max Machine language Assembly C RPGII C Visual C PowerBuilder Excel Πίνακας 4.2.9: Επίπεδα γλωσσών προγραμματισμού και εύρος αριθμού γραμμών κώδικα ανά function point (Johnson) Ο συντελεστής στάθμισης της προσπάθειας (EAF) υπολογίζεται όπως στην πρωτογενή μέθοδο COCOMO χρησιμοποιώντας τους 7 οδηγούς κόστους που παρουσιάζονται στον πίνακα Οι οδηγοί κόστους της αρχικής σχεδίασης προκύπτουν συνδυάζοντας τους οδηγούς κόστους της μετα-αρχιτεκτονικής φάσης που παρουσιάζονται στον πίνακα

46 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Οδηγός κόστους RCPX Περιγραφή Product reliability and complexity RUSE Required reuse RUSE Αντίστοιχοι συνδυασμένοι οδηγοί κόστους μ τα-αρχιτεκτονικής φάσης RELY, DATA, CPLX, DOCU PDIF Platform difficulty TIME, STOR, PVOL PERS Personnel capability ACAP, PCAP, PCON PREX Personnel experience AEXP, PEXP, LTEX FCIL Facilities TOOL, SITE SCED Schedule SCED Πίνακας : Οδηγοί κόστους αρχικής σχεδίασης (Johnson) Το μοντέλο μετα-αρχιτεκτονικής Το μοντέλο μετα-αρχιτεκτονικής χρησιμοποιείται κατά τη διάρκεια της πραγματικής ανάπτυξης και συντήρησης του έργου. Για την εκτίμηση του μεγέθους μπορούν να χρησιμοποιηθούν οι γραμμές κώδικα ή τα function points με συντελεστές για επαναχρησιμοποίηση λογισμικού. Το μοντέλο αυτό περιλαμβάνει 17 οδηγούς κόστους και 5 παράγοντες που καθορίζουν το επίπεδο κλιμάκωσης του έργου. Οι 5 αυτοί παράγοντες αντικαθιστούν τους τύπους ανάπτυξης (οργανικό, ημιαυτόνομο και ενσωματωμένο) της πρωτογενούς μεθόδου COCOMO (Johnson). Η εξίσωση του μοντέλου είναι: Ε = α KLOCb EAF όπου το a έχει την τιμή 2,55 και το b υπολογίζεται από τη σχέση: 5 0 = ^^. 1=1 πίνακα όπου το W είναι το σύνολο των 5 παραγόντων που παρουσιάζονται στον -40-

47 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Ο συντελεστής στάθμισης προσπάθειας (EAF - Effort Adjustment Factor) υπολογίζεται χρησιμοποιώντας τους 17 οδηγούς κόστους που παρουσιάζονται στον πίνακα Wi Ύπαρξη προηγούμενων αντίστοιχων έργων (Precedentedness) Ανάπτυξη/Ευελιξία (Development/Flexibility) Αρχιτεκτονική/Ανάλυση κινδύνου (Architecture/Risk Resolution) Συνοχή ομάδας (Team Cohesion) Ωριμότητα διαδικασίας (Process Maturity) Very Low Low Nominal High Very High Extra High Πίνακας : Παράγοντες κλιμάκωσης της COCOMO II (Johnson) -41-

48 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Οδηγός Περιγραφή Κατάταξη κόστους Very Low Low Nom inal High Very High Product Extra High RELY Required software reliability DATA Database size CPLX Product complexity RUSE Required Reusability DOCU Documentation ' Computer- Platform TIME Execution time constraint STOR Main storage constraint PVOL Platform volatility Personnel ACAP Analyst capability PCAP Programmer capability " PCON Personnel continuity AEXP Applications experience PEXP Platform experience Project TOOL Software Tools SITE Multisite Development SCED Development Schedule Πίνακας : Οδηγοί κόστους μετα-αρχιτεκτονικού μοντέλου (Johnson) " Ένα από τα διαθέσιμα εμπορικά εργαλεία που στηρίζεται στην COCOMO και. την COCOMO II είναι το Costar που παρουσιάζεται στην εικόνα To Costar αναπτύχθηκε από την Softstar Systems και παράγει εκτιμήσεις της διάρκειας ενός έργου, του επιπέδου στελέχωσης, της προσπάθειας και του κόστους του. -42-

49 Κεφάλαιο 4' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Εικόνα 4.2.1: Το εργαλείο Costar της Softstar Systems που κάνει εκτιμήσεις βασιζόμενο στη μέθοδο COCOMO & COCOMO II -43-

50 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές 4.3 Η μέθοδος SUM Ο Putnam ανέπτυξε ένα μοντέλο που ονομάζεται SLIM (Software Lifecycle Management) για να εφαρμόζεται σε έργα που ξεπερνούν τις γραμμές κώδικα. Το μοντέλο κατατάσσεται στην κατηγορία των μοντέλων περιορισμών (constraint model) που δίνουν τη σχέση με τον χρόνο, ανάμεσα σε δύο ή περισσότερες παραμέτρους προσπάθειας, διάρκειας ή επιπέδου στελέχωσης. Το μοντέλο του Putnam (Johnson, Putnam 1978), υποθέτει ότι η προσπάθεια για έργα λογισμικού κατανέμεται με τον ίδιο τρόπο με μια ομάδα καμπύλών Rayleigh. Σύμφωνα με τον Putnam, η στελέχωση αυξάνει ομαλά κατά τη διάρκεια του έργου και στη συνέχεια πέφτει απότομα κατά τη διάρκεια του ελέγχου αποδοχής. Το μοντέλο SLIM εκφράζεται ως δύο εξισώσεις που περιγράφουν τη σχέση ανάμεσα στην προσπάθεια ανάπτυξης και το χρονοδιάγραμμα. Η πρώτη εξίσωση που λέγεται «εξίσωση λογισμικού» (software equation), δηλώνει ότι η προσπάθεια ανάπτυξης είναι ανάλογη του κύβου του μεγέθους και αντιστρόφως ανάλογη της τέταρτης δύναμης του χρόνου ανάπτυξης. Η δεύτερη εξίσωση, η «εξίσωση συγκέντρωσης ανθρωποδύναμης» (manpower buildup equation), δηλώνει ότι η προσπάθεια είναι ανάλογη του κύβου του χρόνου ανάπτυξης. Η καμπύλη Norden-Rayleigh Η καμπύλη Norden-Rayleigh αντιπροσωπεύει την ανθρωποδύναμη ως συνάρτηση του χρόνου. Ο Norden παρατήρησε ότι η κατανομή Rayleigh αποτελεί μια πολύ καλή προσέγγιση της καμπύλης στελέχωσης για πολλά έργα ανάπτυξης υλικού υπολογιστών (hardware development projects). Η SLIM χρησιμοποιεί διαφορετικές καμπύλες Rayleigh για τη σχεδίαση και τον κώδικα, τον έλεγχο, συντήρηση και τη διαχείριση του έργου. Μια καμπύλη Rayleigh φαίνεται στο σχήμα

51 Κεφάλαιο 4' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Σχήμα 4.3.1: Μια καμπύλη Rayleigh (Johnson) Το κόστος (προσπάθεια) ανάπτυξης θεωρείται ότι καταλαμβάνει μόνο το 40% του συνολικού κόστους του κύκλου ζωής του έργου. Ο καθορισμός των προδιαγραφών δεν περιλαμβάνεται στο μοντέλο. Εκτίμηση κόστους χρησιμοποιώντας τη μέθοδο SLIM δεν αναμένεται να πραγματοποιηθεί μέχρι τη σχεδίαση και την συγγραφή του προγράμματος. Αρκετοί ερευνητές έχουν ασκήσει κριτική στη χρήση καμπύλών Rayleigh ως βάση για την εκτίμηση κόστους. Οι αρχικές παρατηρήσεις του Norden δεν βασίστηκαν στη θεωρία αλλά σε παρατηρήσεις. Τα δεδομένα του εξάλλου αναφέρονταν σε έργα υλικού. Δεν έχει δειχθεί ότι και τα έργα λογισμικού στελεχώνονται με παρόμοιο τρόπο. Τα έργα λογισμικού εμφανίζουν μερικές φορές μία πολύ γρήγορη συγκέντρωση ανθρωποδύναμης στο ξεκίνημα του έργου που δεν συμβαδίζει με τη SLIM. -45-

52 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Η «εξίσωση λογισμικού» (software equation) Ο Putnam χρησιμοποίησε εμπειρικά δεδομένα για να «βγάλει» την εξίσωση λογισμικού από τη βασική εξίσωση της καμπύλης Rayleigh. Η εξίσωση στην οποία κατέληξε είναι η εξής: Size = C\fEt* όπου C είναι ένας τεχνολογικός παράγοντας, Ε είναι η συνολική προσπάθεια του έργου σε ανθρωποχρόνια, και t είναι ο χρόνος μέχρι την παράδοση του έργου σε χρόνια. Ο τεχνολογικός παράγοντας είναι ένας σύνθετος οδηγός κόστους που σχετίζεται με 14 παράγοντες. Βασικά αντικατοπτρίζει: την ωριμότητα της συνολικής διαδικασίας και τις πρακτικές διοίκησης το κατά πόσο χρησιμοποιούνται καλές πρακτικές τεχνολογίας λογισμικού το επίπεδο των γλωσσών προγραμματισμού που χρησιμοποιούνται την κατάσταση του περιβάλλοντος λογισμικού τις ικανότητες και την εμπειρία της ομάδας ανάπτυξης λογισμικού την πολυπλοκότητα της εφαρμογής Οι συνιστώμενες τιμές από τον Putnam για τον τεχνολογικό παράγοντα C εξαρτώνται από τον τύπο του έργου και είναι (Bournemouth University, Putnam 1978): Real-time Embedded 1500 Batch Development 4894 Supported & Organised Η Εξίσωση Λογισμικού περιλαμβάνει μια τέταρτη δύναμη και επομένως έχει σημαντικές συνέπειες στην κατανομή πόρων σε μεγάλα έργα. Σχετικά μικρές -46-

53 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές παρατάσεις της ημερομηνίας παράδοσης μπορεί να έχουν ως αποτέλεσμα σημαντικές μειώσεις της προσπάθειας. Η «εξίσωση συγκέντρωσης ανθρωποδύναμης» (manpower buildup equation) Για να επιτύχει την εκτίμηση κόστους ο Putnam εισήγαγε την εξίσωση συγκέντρωσης ανθρωποδύναμης: Όπου D μια σταθερά που ονομάζεται επιταχυντής ανθρωποδύναμης, Ε η συνολική προσπάθεια του έργου σε χρόνια, και t ο χρόνος μέχρι την παράδοση του έργου σε χρόνια. Ο επιταχυντής ανθρωποδύναμης έχει τιμή 12,3 για νέο λογισμικό με πολλές διεπαφές και διαδραστικότητα με άλλα συστήματα, 15 για αυτόνομα συστήματα, και 27 για επαναϋλοποιήσεις υπαρχόντων συστημάτων. Χρησιμοποιώντας τις δύο παραπάνω εξισώσεις και λύνοντας ως προς την προσπάθεια προκύπτει: Ε = Η εξίσωση αυτή έχει ενδιαφέρον γιατί δείχνει ότι η προσπάθεια είναι ανάλογη του μεγέθους στην 9/7=1,286 περίπου, που είναι παρόμοια με τον συντελεστή του Boehm της μεθόδου COCOMO που παρουσιάστηκε στην παράγραφο 4.2 και παίρνει τιμές από 1,05 έως 1,20. Σύμφωνα με μελέτες, σε μικρά έργα, η μέθοδος δεν αποδίδει καλά (Bournemouth University), ωστόσο είναι κατάλληλη για έργα που ικανοποιούν τα παρακάτω κριτήρια: Μέγεθος κώδικα μεγαλύτερο από 5000 γραμμές -47-

54 Κεφάλαιο 4' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Προσπάθεια μεγαλύτερη από 1,5 ανθρωποχρόνια Περισσότερο από 6 ανθρωπομήνες ανάπτυξη Στην εικόνα παρουσιάζεται η οθόνη ενός εμπορικού εργαλείου που εφαρμόζει την μέθοδο SLIM για εκτιμήσας κόστους και στελέχωσης, και έχει αναπτυχθεί από την Quantitative Software Management (Quantitative Software Management). Εικόνα 4.3.1: Οθόνη από την οικογένεια εργαλείων SLIM της Quantitative Software Management -48-

55 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές 4.4 Η μέθοδος COBRA Η μέθοδος COBRA (COst estimation, Benchmarking and Risk Assessment) (Briand et al. 1998a) είναι μιαυβριδική μέθοδος που συνδυάζει την αλγοριθμική και την εμπειρική προσέγγιση στην εκτίμηση κόστους. Βασίζεται τόσο στην εμπειρία και τη γνώση ειδικών, όσο και σε ποσοτικοποιημένα δεδομένα έργων, ωστόσο δεν απαιτεί μεγάλο αριθμό δεδομένων παλαιότερων έργων. Ο πυρήνας της μεθόδου είναι η ανάπτυξη ενός μοντέλου εκτίμησης παραγωγικότητας που αποτελείται από δύο συνιστώσες. Η πρώτη συνιστώσα είναι ένα μοντέλο που παράγει μια εκτίμηση επιβάρυνσης κόστους (cost overhead). Η δεύτερη συνιστώσα είναι ένα μοντέλο παραγωγικότητας που εκτιμά την παραγωγικότητα βασισμένο στην επιβάρυνση κόστους. Το μοντέλο παρουσιάζεται σχηματικά στο σχήμα όπου φαίνεται και η υβριδική φύση του. Το μοντέλο εκτίμησης της επιβάρυνσης κόστους (cost overhead estimation model) βασίζεται στην γνώση και εμπειρία των ειδικών (πεπειραμένων project managers), ενώ η εξίσωση παραγωγικότητας προκύπτει από δεδομένων παλαιότερων έργων. Cost Overhead Σχήμα 4.4.1: Συνοπτική παρουσίαση του μοντέλου εκτίμησης COBRA (Briand et al. 1998a) To μοντέλο εκτίμησης της επιβάρυνσης κόστους Το μοντέλο εκτίμησης της επιβάρυνσης κόστους παίρνει ως είσοδο δεδομένα που χαρακτηρίζουν το έργο και προέρχονται από απαντήσεις σε σχετικά ερωτηματολόγια. Το μοντέλο προβλέπει την επιβάρυνση του κόστους του έργου που προκύπτει λόγω μη ιδανικών συνθηκών που σχετίζονται με αυτό. Η επιβάρυνση εκφράζεται σαν ένα ποσοστό πάνω από το κόστος ενός έργου σε βέλτιστες συνθήκες. -49-

56 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Αυτό το έργο αποκαλείται ονομαστικό έργο και αντιστοιχεί σε ένα υποθετικό ιδανικό έργο (π.χ. όλες οι απαιτήσεις και οι αντικειμενικοί στόχοι έχουν περιγράφει με σαφήνεια και έχουν γίνει κατανοητοί πλήρως, όλα τα μέλη της ομάδας έργου έχουν τις κατάλληλες ικανότητες για τον χειρισμό του συγκεκριμένου έργου κλπ). Τα πραγματικά έργα πάντα αποκλίνουν από αυτήν την ιδεατή κατάσταση, και σκοπός του μοντέλου εκτίμησης επιβάρυνσης είναι να εκτιμήσει το μέγεθος της απόκλισης. Αντικείμενο του μοντέλου εκτίμησης της επιβάρυνσης κόστους είναι η ανάπτυξη ενός μοντέλου αιτίου-αιτιατού (causal model). Το μοντέλο αυτό περιλαμβάνει τους σημαντικότερους οδηγούς κόστους που επηρεάζουν το συγκεκριμένο περιβάλλον ανάπτυξης και αναπτύσσεται με βάση την γνώση και την εμπειρία των ειδικών της επιχείρησης. Οι οδηγοί κόστους μπορεί να έχουν είτε θετική είτε αρνητική επίπτωση στην επιβάρυνση κόστους. Σαν παράδειγμα παρατίθεται στο σχήμα ένα μοντέλο αιτίου-οχτιοτού που παρήχθη σε μια μελέτη περίπτωσης εφαρμογής της μεθόδου COBRA στην Γερμανία (Briand et al. 1998a). Τομές μεταξύ των γραμμών υπονοούν αλληλεπίδραση ανάμεσα στους οδηγούς κόστους. Το σημείο + υπονοεί θετική επίδραση και το - αρνητική. Για να χρησιμοποιηθεί επιτυχώς το μοντέλο εκτίμησης της επιβάρυνσης κόστους, θα πρέπει τα έργα να μπορούν να χαρακτηριστούν με βάση τους παράγοντες του μοντέλου αιτίου-αιτιατού. Για τον σκοπό αυτό αναπτύσσεται ένα ερωτηματολόγιο. Κάθε παράγοντας του μοντέλου αιτίου-αιτιατού αποδομείται σε έναν αριθμό ορθογώνιων (δηλαδή ανεξάρτητων μεταξύ τους) μεταβλητών που μετρούν τον παράγοντα μέσω ερωτήσεων. Η ποιοτική πληροφορία του ερωτηματολογίου θα πρέπει στη συνέχεια να ποσοτικοποιηθεί. Αυτό γίνεται με την εμπλοκή των ειδικών. Η ποσοτικοποίηση είναι το ποσοστό της επιβάρυνσης κόστους πάνω από αυτό του ονομαστικού έργου και συνιστούν τους πολλαπλασιαστές επιβάρυνσης κόστους. Τα ποσοστά αυτά δίνονται για τις ακραίες τιμές της κλίμακας του ερωτηματολογίου για κάθε παράγοντα. Για παράδειγμα, αν υπάρχει σχέση ανάμεσα στην γνώση της περιοχής της εφαρμογής και της επιβάρυνσης του κόστους, θα χρειαζόταν να καθοριστούν τα ποσοστά επιβάρυνσης των ακραίων τιμών αυτής της μεταβλητής δηλαδή για την πολύ καλή γνώση και για την κατώτερη γνώση. Η πολύ καλή γνώση αντιστοιχεί στο ιδεατό έργο -50-

57 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές οπότε δεν έχει επιβάρυνση, επομένως θα πρέπει να καθοριστεί το ποσοστό για την κατώτερη γνώση μόνο. Έτσι, αν δοθεί ποσοστό 20%, σημαίνει ότι σε μια τέτοια περίπτωση, η επιβάρυνση κόστους είναι 120%. Εκτιμήσεις περισσοτέρων του ενός ειδικών συγκεντρώνονται και ενοποιούνται. I nderstanding and Consistency of Business Objectives for Ihe Project and Product Requirements Σχήμα 4.4.2: Παράδειγμα μοντέλου αιτίου-αιτιατού στην ανάπτυξη λογισμικού ενός Software house στη Γερμανία (Briand et al. 1998a) Λόγω της αβεβαιότητας εκτίμησης συγκεκριμένων τιμών για τους πολλαπλασιαστές κάθε παράγοντα, είναι προτιμότερο να χρησιμοποιηθούν κατανομές. Συνήθως είναι ευκολότερο να δίνονται από τους ειδικούς τρεις τιμές που αντιστοιχούν στην μικρότερη, πιθανότερη και μεγαλύτερη τιμή του πολλαπλασιαστή επιβάρυνσης οπότε χρησιμοποιούνται τριγωνικές κατανομές. Στο σχήμα

58 Κεφάλαιο 4' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές παρουσιάζονται παραδείγματα τριγωνικών κατανομών. Η μεταβλητότητα των κατανομών αντικατοπτρίζει την αβεβαιότητα στη γνώμη των αδικών. Τριγω/ική (0,10,20) Τριγωνική (0,20,35) Σχήμα 4.4.3: Παραδείγματα τριγωνικών κατανομών Τελικά, το μοντέλο καταλήγα σε ένα άθροισμα τριγωνικών κατανομών, μία για κάθε παράγοντα του μοντέλου αιτίου-αιτιατού. Για να μπορέσει να χρησιμοποιηθεί, απαιτούνται τεχνικές προσομοίωσης Monte Carlo για να κάνουν δαγματοληψίες των κατανομών και να καταλήξουν σε κατανομή πιθανότητας για την επιβάρυνση κόστους. Σημειακή εκτίμηση της επιβάρυνσης κόστους μπορεί να ληφθεί η μέση τιμή αυτής της κατανομής. Το μοντέλο ποφαγωγικότητας Το μοντέλο παραγωγικότητας προκύπτει από δεδομένα παλαιότερων έργων που απεικονίζουν τη σχέση ανάμεσα στην παραγωγικότητα και την επιβάρυνση κόστους. Το ιδανικό έργο παρουσιάζει τη μέγιστη παραγωγικότητα. Κάθε πραγματικό έργο που αποκλίνει από το ιδανικό ονομαστικό έργο θα έχει μικρότερη παραγωγικότητα. Ορίζουμε την παραγωγικότητα ως γραμμική συνάρτηση της επιβάρυνσης κόστους (ουσιαστικά το μοντέλο εκτίμησης επιβάρυνσης κόστους -52-

59 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές ορίστηκε έτσι ώστε αυτή η εξίσωση να είναι γραμμική) και επομένως ακολουθεί τη σχέση: Ρ - βο~ βι' co όπου Ρ η παραγωγικότητα, CO η επιβάρυνση κόστους (Cost Overhead), /3ο η παραγωγικότητα του ονομαστικού έργου και βι η μείωση της παραγωγικότητας ανά μονάδα επιβάρυνσης κόστους. Από τα παραπάνω προκύπτει ότι πρόκειται για μια απλή περίπτωση 2 μεταβλητών, οπότε δεν απαιτούνται για την εκτίμησή τους (συντελεστές β) πολλά δεδομένα. Αυτό είναι ένα σημαντικό πλεονέκτημα της μεθόδου COBRA έναντι άλλων μεθόδων. Δεν υπάρχει ουσιαστικός λόγος γραμμικής μοντελοποίησης της εξίσωσης παραγωγικότητας. Αν βρεθεί ότι κάποιο άλλο μοντέλο παρουσιάζει καλύτερη προσαρμογή των δεδομένων, μπορεί να χρησιμοποιηθεί αυτό. Εκτίμηση κόστους Έχει υποστηριχτεί ότι η ανάπτυξη λογισμικού παρουσιάζει οικονομίες ή αντίστροφες οικονομίες κλίμακας. Υποθέτοντας εδώ γραμμική σχέση ανάμεσα στην προσπάθεια ανάπτυξης και το μέγεθος του έργου, έχουμε: Effort = a Size 1 α~ β0-fr CO Καθώς απομακρυνόμαστε από το ιδανικό ονομαστικό έργο, ο συντελεστής a αυξάνει και επομένως η προσπάθεια αυξάνει υποδηλώνοντας ότι για το ίδιο μέγεθος έργου απαιτείται μεγαλύτερη προσπάθεια (χαμηλή παραγωγικότητα). Συνδυάζοντας τη σημειακή εκτίμηση του μοντέλου εκτίμησης της επιβάρυνσης κόστους, και τις τιμές των συντελεστών β του μοντέλου παραγωγικότητας προκύπτει σημειακή εκτίμηση της απαιτούμενης προσπάθειας

60 Κεφάλαιο 4' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Εκτίμηση κινδύνου κόστους (Cost Risk Assessment) Ο κίνδυνος κόστους εκφράζεται ως η πιθανότητα το κόστος να ξεπεράσει την προϋπολογισμένη τιμή ή οποιοδήποτε ποσοστό πάνω από τον προϋπολογισμό. Στο μοντέλο αυτό, η τιμή προϋπολογισμού Β μεταφράζεται σε αντίστοιχες τιμές α«και COb. Το πρώτο βήμα είναι να υπολογιστεί η πιθανότητα να έχουμε CO/α μεγαλύτερο από CObAib. Στη συνέχεια πρέπει να βρεθεί η μέγιστη ανεκτή πιθανότητα Ρμ ένα έργο να έχει χαμηλότερη παραγωγικότητα (Ι/α») από αυτήν που απαιτεί ο προϋπολογισμός. Αν ικανοποιείται η σχέση Ρ(α >αβ)>ρμ, τότε το έργο θεωρείται υψηλού κινδύνου και θα πρέπει να γίνουν διορθωτικές ή / και προληπτικές ενέργειες. Στο σχήμα δίνεται ένα παράδειγμα 3 έργων και 3 επιπέδων κινδύνων. Το πρώτο επίπεδο κινδύνου (Risk level 1) αντιστοιχεί σε έργα που δεν θα υπερβούν τον προϋπολογισμό τους, το δεύτερο επίπεδο κινδύνου (Risk level 2) σε έργα με μικρή υπέρβαση του προϋπολογισμού μέχρι +25% και το τρίτο επίπεδο κινδύνου (Risk level 3) σε έργα που θα ξεπεράσουν τον προϋπολογισμό κατά περισσότερο από 25%. Ένα συγκεκριμένο σύνολο προληπτικών ενεργαών θα πρέπει να έχει αντιστοιχηθεί σε κάθε επίπεδο κινδύνου με εξαίρεση το πρώτο. value Σχήμα 4.4.4: Επίπεδα εκτίμησης κινδύνου (Briand et al. 1998a) -54-

61 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Για να υπολογίσουμε την πιθανότητα η επιβάρυνση κόστους ενός έργου να είναι μεγαλύτερη από ένα συγκεκριμένο επίπεδο, κατασκευάζουμε την κατανομή αθροιστικής πιθανότητας της επιβάρυνσης κόστους του έργου (με βάση την προσομοίωση Monte Carlo). Σαν παράδειγμα, στο σχήμα έχει τεθεί ως μέγιστη αποδεκτή πιθανότητα Ρμ=0.2 για ένα έργο να έχει τιμή CO μέσα σε ένα επίπεδο κινδύνου. Για ένα έργο, μια τιμή CO πάνω από αυτή που αντιστοιχεί σε πιθανότητα Ρμ ενός επιπέδου κινδύνου, θα ενεργοποιήσει τις αντίστοιχες με το επίπεδο κινδύνου διορθωτικές ή προληπτικές ενέργειες. Στο παράδειγμα, το έργο a έχει μικρότερη από 20% πιθανότητα η επιβάρυνση κόστους του να υπερβεί την προϋπολογισμένη τιμή οπότε κατατάσσεται στο επίπεδο 1. Αντίθετα, το έργο 3 έχει πιθανότητα μεγαλύτερη από 20% να ξεπεράσει όχι μόνο την τιμή που αντιστοιχεί στον προϋπολογισμό αλλά και αυτήν που αντιστοιχεί σε 25% υπέρβαση του προϋπολογισμού και επομένως κατατάσσεται στο επίπεδο κινδύνου 3. Σύγκριση κόστους με παλαιότερα έργα (Cost benchmarking) Η σύγκριση αναφέρεται στο πώς συμπεριφέρεται ένα έργο σε σχέση με το τυπικό έργο της βάσης δεδομένων της επιχείρησης αναφορικά με την επιβάρυνση κόστους του. Η σύγκριση κόστους έχει παρόμοιες αρχές με την εκτίμηση του κινδύνου. Βασική διαφορά είναι ο τρόπος με τον οποίο ορίζονται τα επίπεδα CO/a. Γίνεται σύγκριση των τιμών της επιβάρυνσης κόστους (CO) του νέου έργου με τις τιμές αντιπροσωπευτικών ιστορικών έργων. Σκοπός είναι να εκτιμηθεί αν το νέο έργο είναι σημαντικά δυσκολότερο να αναπτυχθεί από το τυπικό ιστορικό έργο και επομένως να εμφανίσει μεγαλύτερη επιβάρυνση κόστους. Τέτοιες συγκρίσεις μπορεί να οδηγήσουν σε αποφάσεις σχετικά με τη στελέχωση του έργου, όρους της σύμβασης με τον πελάτη κλπ. Σε αναλογία με την εκτίμηση του κινδύνου, μπορούν να οριστούν τιμές της επιβάρυνσης κόστους που αντιστοιχούν στη μεσαία τιμή ( τυπικό έργο) ή στο 3 τεταρτημόριο των τιμών των ιστορικών έργων. Έτσι, μπορεί να υπολογιστεί η πιθανότητα το νέο έργο να κείται εκτός των περιοχών αυτών και επομένως να χαρακτηριστεί το επίπεδο δυσκολίας του άνω του μέτριου, άνω του μεγίστου κλπ. -55-

62 Κεφάλαιο 4 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Αλγοριθμικές Το Ινστιντούτο Fraunhofer (Fraunhofer IESE) έχει αναπτύξει και παρέχει ένα εργαλείο για την εκτίμηση κόστους και κινδύνου που βασίζεται στη μέθοδο COBRA και επίσης παρέχει υπηρεσίες για την εφαρμογή αυτών των τεχνολογιών εκτίμησης στην πράξη. -56-

63 ΚΕΦΑΛΑΙΟ 5 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Στατιστικές

64 Κεφάλαιο 5 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Στατιστικές Στην κατηγορία αυτή ανήκουν μέθοδοι που βασίζονται στην ανάλυση δεδομένων χρησιμοποιώντας στατιστικά μοντέλα. Οι μέθοδοι αυτές γενικά απαιτούν σχετικά μεγάλο πλήθος δεδομένων προκειμένου να δώσουν ασφαλή αποτελέσματα περιορίζοντας σημαντικά το στατιστικό σφάλμα. 5.1 Η μέθοδος των ελάχιστων τετραγώνων (OLS) Η μέθοδος των ελάχιστων τετραγώνων (Ordinary Least Squares Regression) υποθέτει μια συναρτησιακή σχέση που συνδέει μια εξαρτημένη μεταβλητή (προσπάθεια) με μία ή περισσότερες ανεξάρτητες μεταβλητές (οδηγοί κόστους). Η εξαρτημένη μεταβλητή είναι εκείνη που πρέπει να εκτιμηθεί. Οι ανεξάρτητες μεταβλητές είναι εκείνες που ασκούν κάποια επίδραση πάνω στην εξαρτημένη μεταβλητή. Η γενική γραμμική εξίσωση του μοντέλου σε μορφή μητρώων είναι (Xycoon College): y = Χβ + e όπου y είναι ένα στοχαστικό διάνυσμα Τ* 1, X ένα ντετερμινιστικό (εξωγενές) Τ*Κ μητρώο, β ένα Κ*1 διάνυσμα σταθερών παραμέτρων που θα πρέπει να εκτιμηθούν από το μοντέλο OLS, e ένα Τ*1 διάνυσμα θορύβου, Τ το πλήθος των παρατηρήσεων στο δείγμα και Κ το πλήθος των εξωγενών μεταβλητών που χρησιμοποιούνται στο δεξί μέρος της εξίσωσης. Επίσης υποθέτουμε ότι: r E(y) = Έ(Χβ) + E(e) = Χβ and ke[(y - E(y))(y - E(y))'] = E(e'e) = cr2it -58-

65 Κεφάλαιο 5 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Στατιστικές Η μέθοδος των ελάχιστων τετραγώνων προσαρμόζει τα δεδομένα έτσι ώστε να ελαχιστοποιείται το e e (το μέσο τετράγωνο των σφαλμάτων). Λύνοντας την εξίσωση X Xb=X y ως πpoςb προκύπτει: b = (XX)~'X'y όπου Χ Χ πρέπει να είναι ένα μη μοναδιαίο συμμετρικό μητρώο Κ*Κ. Προφανώς, η εκτιμήτρια της μεθόδου OLS είναι αμερόληπτη (E(b)=/3) που μπορεί εύκολα να αποδειχθεί αφού εξ ορισμού E(X e)=0 (εξωγενείς μεταβλητές). Αποδεικνύεται (βάσει του θεωρήματος Gauss-Markov) ότι η εκτιμήτρια αυτή είναι η καλύτερη γραμμική αμερόληπτη εκτιμήτρια. Η μέθοδος προϋποθέτει ότι οι ανεξάρτητες μεταβλητές είναι ανεξάρτητες μεταξύ τους, η μεταβλητότητα των σφαλμάτων είναι σταθερή3 (ομοσκεδαστικότητα των λαθών), ότι τα σφάλματα είναι ανεξάρτητα οποιασδήποτε από τις ανεξάρτητες μεταβλητές, και ότι έχει χρησιμοποιηθεί η κατάλληλη συναρτησιακή σχέση. Αν για παράδειγμα η συναρτησιακή σχέση που συνδέει την εξαρτημένη και τις ανεξάρτητες μεταβλητές είναι εκθετική, θα πρέπει πρώτα να εφαρμοσθεί στις εμπλεκόμενες μεταβλητές ο φυσικός λογάριθμος για να μετασχηματιστούν και στη συνέχεια να εφαρμοσθεί η γραμμική παλινδρόμηση. Η στατιστική σημαντικότητα είναι ένα μέτρο της πιθανότητας του αποτελέσματος να είναι «αληθές» (δηλαδή αντιπροσωπευτικό του πληθυσμού). Η τιμή ρ (p-value) είναι η πιθανότητα εσφαλμένης αποδοχής του αποτελέσματος ως ορθού. Όσο υψηλότερη είναι η τιμή p-value τόσο μεγαλύτερη πιθανότητα υπάρχει η παρατηρούμενη σχέση μεταξύ εξαρτημένης και ανεξάρτητων μεταβλητών να οφείλεται στην τύχη. Ειδικότερα, η p-value ενός από τους συντελεστές δείχνει την πιθανότητα να βρεθεί μη μηδενική τιμή αν η τιμή του πληθυσμού είναι μηδενική. 5 5 Αυτό σημαίνει ότι η μεταβλητότητα των σφαλμάτων δεν μεταβάλλεται ανάλογα με το διάστημα του πεδίου τιμών της μεταβλητής, ή με άλλα λόγια, η διαφορά ανάμεσα στην πραγματική και την εκτιμούμενη τιμή δεν μεταβάλλεται για τα διάφορα έργα. -59-

66 Κεφάλαιο 5 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Στατιστικές Συνήθως, μια τιμή 0,05 ή 0,01 επιλέγεται για το p-value σαν ένα αποδεκτό επίπεδο σφάλματος. Για να αξιολογηθεί η επεξηγηματική ικανότητα του μοντέλου, χρησιμοποιείται ο συντελεστής R ή η τιμή του στατιστικού μέτρου F που ορίζονται από τις σχέσεις: 2 _ SSRegr _ χ SSR SSTotal SSRegr e'e (y-iy)'(y-ty) e e adjusted R3 = 1 T-K (y-iy)'(y -iy) T-l F = T-K 1-R2 K-l όπου, το F ισχύει μόνο για τους συντελεστές β και όχι για τον σταθερό όρο. Η τιμή του R βρίσκεται στο διάστημα (0,1) και δηλώνει το ποσοστό της μεταβλητότητας των δεδομένων που εξηγείται από την γραμμή παλινδρόμησης. Η μέθοδος της παλινδρόμησης μπορεί να χειριστεί μόνο συνεχείς μεταβλητές αν και υπάρχουν τεχνικές για να χειριστεί και ονομαστικές ή κατηγοριοποιημένες τιμές. Επίσης, οι τεχνικές παλινδρόμησης είναι ευαίσθητες σε ακραίες τιμές στο υποσύνολο δεδομένων εκπαίδευσης. Αυτό μπορεί να οδηγήσει σε παραπλανητικές εξισώσεις πρόβλεψης που δεν αναπαριστούν πιστά τις τάσεις στα δεδομένα. Για να αποφύγει κανείς αυτό το πρόβλημα, είναι χρήσιμο να ανιχνεύονται και να απομακρύνονται ακραίες τιμές από το σύνολο των δεδομένων πριν εφαρμοσθεί σ αυτά η μέθοδος OLS. Όλα τα στατιστικά πακέτα λογισμικού διαθέτουν δυνατότητα υπολογισμών της μεθόδου παλινδρόμησης. Υποστηρίζονται συνήθως τόσο γραμμικές όσο και μη γραμμικές συναρτήσεις. Παραδείγματα τέτοιων εργαλείων είναι το SPSS (SPSS Inc.) και το Stata (Stata Corporation). -60-

67 Κεφάλαιο 5 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Στατιστικές 5.2 Η μέθοδος RR Οι βασικές αρχές πίσω από την μέθοδο παλινδρόμησης των ελάχιστων τετραγώνων ισχύουν επίσης και στην μέθοδο RR (Robust Regression). Αλλά, για να αντιμετωπιστεί το πρόβλημα των ακραίων τιμών, προτείνονται εναλλακτικές μέθοδοι ελαχιστοποίησης σε αντικατάσταση της μεθόδου ελαχιστοποίησης του τετραγώνου των λαθών που εφαρμόζεται στη μέθοδο OLS. Παραδείγματα τέτοιων εναλλακτικών μεθόδων είναι (Olive 2004) η LMS (Least Median of Squares) που ελαχιστοποιεί τον μεσαίο των τετραγώνων των σφαλμάτων, η LBRS (Least-squares of balanced relative errors) που ελαχιστοποιεί το άθροισμα των τετραγώνων των σταθμισμένων σχετικών σφαλμάτων, η LIRS (leastsquares of inverted balanced relative errors) που ελαχιστοποιεί το άθροισμα των τετραγώνων των αντίστροφων σταθμισμένων σχετικών σφαλμάτων κ.α. Η μέθοδος RR αποσκοπεί να είναι ανεπηρέαστη από ακραίες τιμές παρατηρήσεων και επομένως απευθύνεται σε ένα πολύ σημαντικό ζήτημα των δεδομένων των μηχανικών λογισμικού. Ωστόσο, είναι δύσκολο να εφαρμοσθούν μερικοί από τους εναλλακτικούς αλγόριθμους με κάποια συναρτησιακή σχέση και επομένως απαιτούν την ύπαρξη εργαλείων και συχνά μεγάλη υπολογιστική προσπάθεια. Ένα από τα εργαλεία που έχουν τη δυνατότητα να εφαρμόζουν robust regression είναι το Stata (Stata Corporation). 5.3 Η μέθοδος stepwise ANOVA Η μέθοδος stepwise ANOVA συνδυάζει την ANOVA με την μέθοδο παλινδρόμησης των ελάχιστων τετραγώνων και στοχεύει να άρει τα προβλήματα που σχετίζονται με ασύμετρα σύνολα δεδομένων (δεδομένα με ελλιπείς πληροφορίες) (Kitchenham 1998). Οι τιμές που μπορούν να πάρουν ονομαστικές ή κατηγοριοποιημένες μεταβλητές ονομάζονται επίπεδα (levels). Ένας συγκεκριμένος συνδυασμός μεταβλητών και επιπέδων, ονομάζονται κελιά (cells). Ένα ασύμμετρο σύνολο δεδομένων, έχει είτε άνισο πλήθος παρατηρήσεων σε διαφορετικά κελιά, είτε ένα πλήθος παρατηρήσεων σε κελιά που δεν είναι ανάλογο του πλήθους σε διαφορετικά επίπεδα της ίδιας μεταβλητής. Τα περισσότερα σύνολα δεδομένων των -61-

68 Κεφάλαιο 5' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Στατιστικές μηχανικών λογισμικού είναι ασύμμετρα με αποτέλεσμα πραγματικές επιδράσεις μεταβλητών να αποκρύπτονται και ψεύτικες επιδράσεις άλλων μεταβλητών να παρατηρούνται. Η ανάλυση μεταβλητότητας ANOVA (ANalysis Of VAriance) συνήθως αποφασίζει αν τα διαφορετικά επίπεδα μιας ανεξάρτητης μεταβλητής (για παράδειγμα ενός οδηγού κόστους), επηρεάζει την εξαρτημένη μεταβλητή (π.χ. προσπάθεια). Αν την επηρεάζουν, όλη η μεταβλητή έχει μια σημαντική επίδραση. Η ANOVA χρησιμοποιείται για ονομαστικές και κατηγοριοποιημένες τιμές. Η διαδικασία κατά βήματα (stepwise ANOVA) εφαρμόζει την ANOVA χρησιμοποιώντας μία ανεξάρτητη μεταβλητή κάθε φορά με τη σειρά. Ανιχνεύει την περισσότερο σημαντική μεταβλητή και απομακρύνει την επίδρασή της υπολογίζοντας τα σφάλματα (διαφορά ανάμεσα στην εκτιμούμενη και πραγματική τιμή). Στη συνέχεια, εφαρμόζεται και πάλι η ANOVA, χρησιμοποιώντας τις υπόλοιπες μεταβλητές στα σφάλματα. Η διαδικασία αυτή επαναλαμβάνεται μέχρι να ανιχνευθούν όλες οι σημαντικές μεταβλητές. Συνεχείς μεταβλητές μπορούν να συμπεριληφθούν σ αυτήν την διαδικασία. Η επίδρασή τους στην ανεξάρτητη μεταβλητή προκύπτει με τη βοήθεια της OLS. Το τελικό μοντέλο είναι μια εξίσωση με τους πιο σημαντικούς παράγοντες. Για παράδειγμα αν οι παράγοντες Αξιοπιστία (RELY - Reliability) με τρία επίπεδα και Αστάθεια προδιαγραφών (RVOL - Requirements volatility) με δύο επίπεδα είχε βρεθεί ότι είναι οι πιο σημαντικοί παράγοντες, το τελικό μοντέλο θα ήταν: Predicted Productivity-μι rely,i+ Μι rely,2+ Mi rely,3+ M2 rvol,i+ M2 rvol,2 όπου pk ανεξάρτητη μεταβλητή>,<επίπεδο> είναι η μέση τιμή παραγωγικότητας / σφάλμα της k-στής επανάληψης στην οποία ο οδηγός κόστους <ανεξάρτητη μεταβλητή> έχει την τιμή <επίπεδο>. Στο παράδειγμα, ο οδηγός κόστους RVOL ανιχνεύθηκε ως σημαντικός στην δεύτερη επανάληψη αφού είχε αφαιρεθεί η επίδραση του RELY. -62-

69 ΚΕΦΑΛΑΙΟ 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning

70 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Οι μέθοδοι αυτές προσομοιώνουν μερικά από τα χαρακτηριστικά του ανθρώπινου μυαλού που μας επιτρέπουν να λύνουμε εξαιρετικά πολύπλοκα προβλήματα σε ταχύτητες που ξεπερνούν την απόδοση ακόμα και των πιο γρήγορων υπολογιστών. Στην ουσία, οι μέθοδοι αυτές επιτρέπουν τη σύλληψη της ανθρώπινης γνώσης σε συγκεκριμένη και πολύ περιορισμένη περιοχή, και στη συνέχεια κάνοντας χρήση αυτής της γνώσης, βοηθούν στην λήψη αποφάσεων, δημιουργία προβλέψεων και γενικότερα εκτιμήσεις. Εναλλακτικός όρος που χρησιμοποιούνται για τις μεθόδους αυτές είναι «μέθοδοι τεχνητής νοημοσύνης». Ο όρος αυτός παραπέμπει σε νοήμονες μηχανές, αλλά κάτι τέτοιο δεν είναι ακριβές. Τα συστήματα τεχνητής νοημοσύνης βασίζονται στην ανθρώπινη εμπειρία, τη γνώση και σε συγκεκριμένα μοντέλα συλλογιστικής αλλά δεν εμφανίζουν την ανθρώπινη ευφυΐα. Δεν είναι σε θέση να παράγουν νέες και καινοτόμες λύσεις σε προβλήματα. Επεκτείνουν τις ικανότητες των ειδικών αλλά σε καμία περίπτωση δεν μπορούν να συλλάβουν την ευφυΐα τους (Laudon & Laudon 2000). Η ανθρώπινη νοημοσύνη είναι τεράστιας πολυπλοκότητας και ευρύτητας σε σχέση με αυτήν των υπολογιστών. Ένας βασικός παράγοντας που διακρίνει τους ανθρώπους είναι η ικανότητά τους να αναπτύσσουν συσχετίσεις και να χρησιμοποιούν μεταφορές και αναλογίες. Με την ικανότητά τους αυτή δημιουργούν νέους κανόνες, εφαρμόζουν παλιούς κανόνες σε νέες καταστάσεις και σε μερικές περιπτώσεις δρουν διαισθητικά ή ενστικτωδώς χωρίς κανόνες. Οι τεχνικές τεχνητής νοημοσύνης (artificial intelligence) ή μηχανικής εκμάθησης (machine learning) είναι εμπνευσμένες από τις ικανότητες αυτές των ανθρώπων και προσπαθούν να τις μιμηθούν. Τεχνικές Machine Learning έχουν χρησιμοποιηθεί με επιτυχία στην επίλυση πολλών δύσκολων προβλημάτων όπως η αναγνώριση ομιλίας, οπτική αναγνώριση κειμένου και άλλα. Πρόσφατα, τέτοιες τεχνικές έχουν προταθεί ως εναλλακτικοί τρόποι πρόβλεψης κόστους ανάπτυξης λογισμικού. Στη συνέχεια αναφέρονται μερικές από τις σημαντικότερες μεθόδους της κατηγορίας αυτής. -64-

71 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning 6.1 Η μέθοδος των Τεχνητών Νευρωνικών Δικτύων (ΑΝΝ) Τα τεχνητά νευρωνικά δίκτυα (ANN - Artificial Neural Networks) είναι πολυπληθή παράλληλα συστήματα εμπνευσμένα από την αρχιτεκτονική των βιολογικών νευρωνικών δικτύων, αποτελούμενα από απλές αλληλοσυνδεόμενες μονάδες (τεχνητοί νευρώνες). Ένας τυπικός βιολογικός νευρώνας (Stergiou & Siganos 1996), συλλέγει σήματα από άλλους νευρώνες μέσω ενός δικτύου λεπτών δομών που ονομάζονται δενδρίτες. Ο νευρώνας στέλνει προς τα έξω αιχμές ηλεκτρικής δραστηριότητας μέσω μιας μακριάς καί λεπτής προεξοχής που ονομάζεται άξονας η οποία διακλαδίζεται σε χιλιάδες κλάδους. Στην άκρη κάθε κλάδου, μια δομή που ονομάζεται σύναψη μετατρέπει τη δραστηριότητα του άξονα σε ηλεκτρικά ερεθίσματα που διεγείρουν ή αποτρέπουν δραστηριότητα στους συνδεδεμένους νευρώνες. Όταν ένας νευρώνας λάβει διεγερτική είσοδο που είναι αρκετά μεγάλη σε σχέση με τις αποτρεπτικές εισόδους του, στέλνει μια αιχμή ηλεκτρικής δραστηριότητας κατά μήκος του άξονά του. Η διαδικασία της μάθησης συμβαίνει, μεταβάλλοντας την αποτελεσματικότητα των συνάψεων έτσι ώστε να μεταβληθεί η επίδραση ενός νευρώνα στους άλλους. Στην εικόνα (Laudon & Laudon 2000) παρουσιάζεται ένα δίκτυο με δύο βιολογικούς νευρώνες ενώ στο σχήμα ένα τεχνητό δίκτυο δύο νευρώνων. Στο τεχνητό δίκτυο νευρώνων, οι βιολογικοί νευρώνες γίνονται υπολογιστικά στοιχεία (διακόπτες), οι δενδρίτες και οι άξονες γίνονται καλώδια, και οι συνάψεις γίνονται μεταβλητές αντιστάσεις που μεταφέρουν σταθμισμένες εισόδους (ρεύματα) που αντιπροσωπεύουν δεδομένα. Κατ αναλογία, οι τεχνητοί αυτοί νευρώνες προσομοιώνονται αλγοριθμικά, όπου οι αντιστάσεις είναι μεταβλητοί συντελεστές βαρύτητας (στάθμισης) και το υπολογιστικό στοιχείο μια συνάρτηση που αποτελεί τον κανόνα πυροδότησης (firing rule) (Σχήμα 6.1.2). Κάθε νευρώνας κατέχει γνώση που περιέχεται στις τιμές των συντελεστών στάθμισης των συνδέσεων. Μεταβάλλοντας την γνώση που είναι αποθηκευμένη στο δίκτυο ως συνάρτηση της εμπειρίας υπονοεί έναν κανόνα εκμάθησης για την μεταβολή των τιμών των συντελεστών στάθμισης. -65-

72 Κεφάλαιο 6' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Neuron Synapse Soma Axon Εικόνα 6.1.1: Δίκτυο δύο βιολογικών νευρώνων βδέλλας (Laudon & Laudon 2000) -66-

73 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Incoming Neural Activaiicns ;A,i Multiplied by IndivfcJua Connoclicn Weights (V/,j) Output ACtlVSlicn (Aj) Mohlphc by Indaldua C orwcll on Waighls Sui t Jo ot her Me.rans,fci vaionib.ipit) oi Meurcn j VV, Λ Σχήμα 6.1.2: Σχηματική αναπαράσταση της συνάρτησης πυροδότησης ενός νευρώνα (Stergiou & Siganos 1996) Η πληροφορία αποθηκεύεται στην μήτρα των συντελεστών στάθμισης W (Σχήμα 6.1.2). Εκμάθηση ή εκπαίδευση είναι ο καθορισμός των τιμών των συντελεστών στάθμισης. Η συμπεριφορά ενός νευρωνικού δικτύου εξαρτάται τόσο από τις τιμές των συντελεστών βαρύτητας όσο και από τη συνάρτηση πυροδότησης ή συνάρτηση ενεργοποίησης. Η συνάρτηση αυτή τυπικά ανήκει σε τρεις κατηγορίες: τη γραμμική συνάρτηση, τη συνάρτηση του επιπέδου ενεργοποίησης και τη σιγμοειδή συνάρτηση. Η πιο τυπική συνάρτηση (κυρίως για απλά δίκτυα με εξόδους 2 καταστάσεων) είναι η συνάρτηση με επίπεδο ενεργοποίησης (threshold). Κάθε νευρώνας υπολογίζει ένα σταθμισμένο άθροισμα των εισόδων του και παράγει ένα αποτέλεσμα στην έξοδο αν το άθροισμα ξεπερνά κάποια τιμή (threshold). Αυτή η τιμή εξόδου γίνεται διεγερτική (θετική) ή ανασταλτική (αρνητική) είσοδος σε άλλους νευρώνες του δικτύου. Η διαδικασία συνεχίζεται μέχρι να παραχθεί μία ή περισσότερες τιμές εξόδου του δικτύου. Αν και έχουν προταθεί μερικές διαφοροποιήσεις της λειτουργίας των νευρωνικών δικτύων, η παραπάνω είναι η βασική αρχή λειτουργίας και φιλοσοφία. -67-

74 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Στην γραμμική συνάρτηση, η τιμή των εξόδων είναι ανάλογη του σταθμισμένου αθροίσματος των εισόδων. Στην σιγμοειδή συνάρτηση, η τιμή της εξόδου μεταβάλλεται συνεχώς αλλά όχι γραμμικά σε σχέση με τις εισόδους. Οι σιγμοειδείς συναρτήσεις έχουν μεγαλύτερη ομοιότητα με τη λειτουργία των βιολογικών νευρώνων αλλά και οι τρεις συναρτήσεις δεν είναι παρά χονδρικές προσεγγίσεις της λειτουργίας των βιολογικών νευρώνων. Γραμμικές και σιγμοειδείς συναρτήσεις είναι περισσότερο κατάλληλες σε δίκτυα των οποίων οι έξοδοι μπορούν να πάρουν οποιεσδήποτε πραγματικές τιμές. Στην τυπική διαδικασία εκπαίδευσης (εκμάθησης), το δίκτυο αρχικοποιείται με τυχαίους συντελεστές βαρύτητας για τον υπολογισμό του σταθμισμένου αθροίσματος των εισόδων, και στη συνέχεια το δίκτυο μαθαίνει τις σχέσεις ενός συνόλου δεδομένων, τροποποιώντας τους συντελεστές βαρύτητας όταν αντιμετωπίζει ένα σύνολο τιμών εισόδου και τις αντίστοιχες τιμές εξόδου. Το σύνολο αυτό των δεδομένων είναι γνωστό ως σύνολο εκπαίδευσης (training set) και η διαδικασία, Διαδικασία Εκπαίδευσης του Δικτύου. Υπάρχουν πολλοί αλγόριθμοι που μπορούν να χρησιμοποιηθούν για την εκπαίδευση του δικτύου, κάθε ένας από τους οποίους ειδικεύεται σε μια περιοχή χρήσης. Βασικοί αλγόριθμοι (Smith) είναι: Perceptron Learning Rule σύμφωνα με τον οποίο οι συντελεστές στάθμισης μεταβάλλονται ανάλογα με τη διαφορά ανάμεσα στην επιθυμητή και την πραγματική τιμή εξόδου. Εφαρμόζεται σε απλά δίκτυα ενός επιπέδου Back-Propagated Delta Rule ο οποίος εφαρμόζεται σε δίκτυα με ενδιάμεσα επίπεδα «κρυμμένων» νευρώνων που παρεμβάλονται ανάμεσα στα επίπεδα εισόδου και εξόδου και βασίζεται στον απλό κανόνα Perceptron Learning Rule ή Delta Rule. Ο υπολογισμός των συντελεστών στάθμισης γίνεται ξεκινώντας από το επίπεδο εξόδου προς κάθε επίπεδο κρυμμένων νευρώνων ως το επίπεδο εισόδου. -68-

75 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Τυπική χρήση νευρωνικών δικτύων για την εκτίμηση κόστους χρησιμοποιεί αλγόριθμους back-propagation για την εκμάθηση των δικτύων και κάνει χρήση σιγμοειδών συναρτήσεων ενεργοποίησης. Τα νευρωνικά δίκτυα συνήθως πλεονεκτούν στην ακρίβεια των αποτελεσμάτων τους αλλά απαιτούν μεγάλο αριθμό περιπτώσεων στα υποσύνολα εκπαίδευσης και δεν είναι ξεκάθαρος ο τρόπος που έφτασαν στο αποτέλεσμα που αναφέρουν, δηλαδή έχουν χαμηλή επεξηγηματική ικανότητα του αποτελέσματος. Στην εικόνα παρουσιάζεται ένα από τα εμπορικά εργαλεία εκτίμησης που στηρίζονται στην τεχνική των νευρωνικών δικτύων. Το εργαλείο αυτό έχει αναπτυχθεί από την Alyuda Research Company (Alyuda Research Company). View Data Network Qjrxy Options Hdp Analyze - ^ * A&eprocess iv ϋ 0> * Train» Hie Te* *** y-sjuery J ' & Architecture Search ' Bit* Ard*ecture [ ] [1328 1] [13 1? 1J [ ] I» of Weights 1 Fitness 2S Test error Aka*e s crtcrton R-Squared l Icom- O.i ArcbAectire selected manual _ [13-5-1] arcntecture selectee hidden layers activation fund Output parameters: Error finrtkn: Sum-of-squai Activation function: Logetic [1323-1] Parameter Input activation FX Output error FX Output activation FX Logistic Logistic Sum-of-squares Analyst* Preprocessing Deslqn TraMsg Testing Query j J ^ [9:47:01 AM: Ar Juncture search completed. 3 *i Ready for tramkig Εικόνα Εργαλείο εκτίμησης της Alyuda Research Company βασισμένο στα νευρωνικά δίκτυα -69-

76 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning 6.2 Η μέθοδος της Επαγωγής με Κανόνες (Rule Induction) Η τεχνική αυτή είναι μια ιδιαίτερη όψη της επαγωγικής μάθησης κατά την οποία αλγόριθμοι παράγουν κανόνες ως αποτέλεσμα της μοντελοποίησης. Βασίζεται σε επαγωγικούς αλγόριθμους που δέχονται ένα σύνολο εκπαίδευσης που αποτελείται από περιπτώσεις για κάθε μία από τις οποίες περιγράφονται οι τιμές μιας παραμέτρου - χαρακτηριστικού και το αποτέλεσμα, και χτίζουν αυτόματα δέντρα αποφάσεων που θα ταξινομήσουν σωστά όχι μόνο όλες τις περιπτώσεις του συνόλου εκπαίδευσης αλλά και άγνωστες περιπτώσεις που ανήκουν σε ένα ευρύτερο σύνολο περιπτώσεων του οποίου αντιπροσωπευτικό δείγμα θεωρείται το υποσύνολο εκπαίδευσης. Επαγωγική μάθηση επομένως είναι η διαδικασία απόκτησης γενικών εννοιών από συγκεκριμένες περιπτώσεις - παραδείγματα. Αναλύοντας πολλές περιπτώσεις, είναι δυνατόν να παραχθεί μια γενική έννοια που προσδιορίζει το περιβάλλον παραγωγής. Για να παράγει το σύνολο κανόνων, η επαγωγική διαδικασία εξετάζει ένα τυχαίο ή αλγοριθμικά επιλεγμένο υποσύνολο περιπτώσεων που αναφέρεται ως υποσύνολο εκπαίδευσης. Στη συνέχεια, αυτοί οι κανόνες ελέγχονται για τις υπόλοιπες περιπτώσεις για να εκτιμηθεί πόσο καλά αντιπροσωπεύουν τα δεδομένα. Οι κανόνες μπορούν να θεωρηθούν ως δέντρα αποφάσεων (decision trees) στα φύλλα των οποίων περιέχονται οι προβλεπόμενες τιμές ή διαστήματα τιμών. Ένα πλεονέκτημα της επαγωγικής μάθησης σε σχέση με τα νευρωνικά δίκτυα είναι ότι οι κανόνες είναι φανεροί και επομένως μπορούν να διαβαστούν και να γίνουν κατανοητοί. Έτσι ο εκτιμητής μπορεί να καταλάβει την πρόβλεψη και οποιεσδήποτε υποθέσεις στις οποίες στηρίχθηκε. -70-

77 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning 6.3 Η μέθοδος CART Η μέθοδος CART (Classification And Regression Trees) είναι ένα παράδειγμα μεθόδου βασισμένη σε δεδομένα (data-driven). Η μέθοδος διακρίνει δύο τύπους δένδρων: τα δένδρα κατάταξης (classification trees) και τα δένδρα παλινδρόμησης (regression trees) (Breiman et al. 1998). Τα δένδρα κατάταξης χρησιμοποιούνται για να παράγουν προβλέψεις για κατηγοριοποιημένες μεταβλητές (παραμέτρους), ενώ τα δένδρα παλινδρόμησης χρησιμοποιούνται για να παράγουν προβλέψεις σε ένα συνεχές διάστημα ή κλίμακα. Επομένως, για την εκτίμηση του κόστους, τα δένδρα παλινδρόμησης είναι περισσότερο κατάλληλα να χρησιμοποιηθούν. Τα δένδρα παλινδρόμησης κατατάσσουν τα έργα σε σχέση με μια συγκεκριμένη μεταβλητή. Ένα δένδρο παλινδρόμησης είναι ένα σύνολο κανόνων της μορφής: «Αν (ισχύει η συνθήκη 1 και... και η συνθήκη η) τότε Ζ» που σχηματίζουν μια κλιμακωτή τμηματοποίηση του συνόλου δεδομένων που χρησιμοποιείται. Η εξαρτημένη μεταβλητή (Ζ) ενός δένδρου μπορεί να είναι για παράδειγμα η προσπάθεια ανάπτυξης ή η παραγωγικότητα. Κάθε κόμβος του δένδρου καθορίζει μια συνθήκη βασισμένη σε μία από τις επιλεγμένες μεταβλητές του έργου. Κάθε κλάδος αντιστοιχεί στις πιθανές τιμές αυτής της μεταβλητής. Τα δένδρα παλινδρόμησης μπορούν να χειριστούν ανεξάρτητες μεταβλητές που μετρούνται σε διαφορετικές κλίμακες. Η κατασκευή του δένδρου παλινδρόμησης γίνεται με την αναδρομική διαίρεση του συνόλου δεδομένων (αναδρομική δυαδική τμηματοποίηση) μέχρι να ικανοποιηθεί ένα κριτήριο τερματισμού. Τα βασικά στοιχεία για το χτίσιμο ενός δένδρου παλινδρόμησης είναι: Αναδρομική διαίρεση κάθε κόμβου ενός δένδρου με αποτελεσματικό τρόπο Απόφαση για το πότε το δένδρο είναι πλήρες - 71-

78 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Υπολογισμός σχετικών στατιστικών για κάθε τερματικό κόμβο που θα χρησιμοποιηθεί στις προβλέψεις Υπάρχουν πολλοί τρόποι καθορισμού των κριτηρίων διαίρεσης. Για παράδειγμα, η επιλογή της μεταβλητής που μειώνει περισσότερο το μέσο τετράγωνο του σφάλματος της εξαρτημένης μεταβλητής. Συνήθως, η διαίρεση δημιουργεί δύο τμήματα, αλλά υπάρχουν και άλλες προσεγγίσεις. Στο σχήμα παρουσιάζεται ένα παράδειγμα ενός δένδρου παλινδρόμησης που προέκυψε από την ανάλυση έργων της Ευρωπαϊκής Διαστημικής Υπηρεσίας (ESA) (Briand et al., 1998b). Κάθε τερματικός κόμβος παριστάνει τη μέση παραγωγικότητα των έργων που χαρακτηρίζονται από τη διαδρομή από τη ρίζα του δένδρου. Κάθε κόμβος έχει μια συνθήκη. Αν η συνθήκη είναι αληθής, τότε ακολουθείται η αριστερή διαδρομή. Στο πρώτο επίπεδο του δένδρου, τα έργα αρχικά υποδιαιρούνται με βάση το μέγεθος της ομάδας τους. Τα έργα των οποίων το μέγεθος της ομάδας τους είναι μικρότερο ή ίσο των επτά ατόμων, υποδιαιρούνται στη συνέχεια σύμφωνα με την κατηγορία τους. Για 29 έργα, το μέγεθος της ομάδας τους είναι μικρότερο ή ίσο με 7 άτομα, ενώ 27 έργα έχουν ομάδες με περισσότερα από 7 άτομα. Ακολουθώντας τον αριστερό κλάδο, έργα που ανήκουν στις κατηγορίες onboard systems ή simulators έχουν μέση παραγωγικότητα 0,35 KLOC/PM (χιλιάδες γραμμές κώδικα ανά ανθρωπομήνα) κ.ο.κ. TEAM <=7 Category = On Board OR Simulators Tool <= Nominal Σχήμα 6.3.1: Παράδειγμα δένδρου παλινδρόμησης από έργα της Ευρωπαϊκής Διαστημικής Υπηρεσίας (Fraunhofer IESE) -72-

79 Κεφάλαιο 6' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Ένα νέο έργο, μπορεί να ταξινομηθεί αρχίζοντας από την ρίζα του δένδρου και ακολουθώντας ένα κλάδο ανάλογα με την τιμή της αντίστοιχης μεταβλητής του έργου. Η διαδικασία συνεχίζεται μέχρι να φθάσουμε σε έναν τερματικό κόμβο. Για κάθε τερματικό κόμβο, βασιζόμενοι στα έργα που περιέχει, υπολογίζονται οι τιμές του μέσου, μεσαίας τιμής και των τεταρτημόριων της παραγωγικότητας. Οι τιμές αυτές μπορούν να χρησιμοποιηθούν είτε για σύγκριση του νέου έργου με παλαιότερα (benchmarking) και αιτιολόγηση των περιπτώσεων που σημειώνονται σημαντικές αποκλίσεις, είτε για ανάγκες πρόβλεψης (Briand et al. 1998b). Στην περίπτωση αυτή, θα πρέπει η κατασκευή του δένδρου να είναι τέτοια ώστε να χρησιμοποιούνται μόνο πληροφορίες που μπορούν να εκ τιμηθούν στο ξεκίνημα του έργου. Ένα εργαλείο που διευκολύνει την ανάλυση με classification και regression trees είναι το DTREG (Sherrod Phillip). Στις εικόνες και παρουσιάζονται δύο ενδεικτικές οθόνες αυτού του εργαλείου. DThH. Ir Nv.net/classification File Frli View help Run-analyse View-tree Charts Ώ Η "λ SIAIO» B Model Desgn = Project Parameters ============ Data Variables Project title: Iris variety classification Class labels Project file: C:\ttTREE\Test\Iris.dtr Vafedatioi/Prunng Target variable: Species Number of predictor variables: 4 Initial spit Tape of tree: Single tree Maxinun splitting levels: IB MicrU«rk'.atnn c-kt lype of analysis: Classification Missing data Splitting algorithm: Gini Variable weidits Priors settings: Egual bcore data Misclassification costs: Equal (unitary) TroeBoost Variable weights: Variables have egual weights EJ Results Mininun size node to split: 10 Generated tree Max. categories for continuous predictors: 208 B Analysis repcrt Use surrogate splitters for missing ualues: Ves Always compute surrogate splitters: Ves j~ Inpi± data Tree pruning and validation method: U-fold j~ Variables Number of folds: 10 j- Categories iree pruning criterion: Hlnlmun cost complexity (o.hb s.t.) Iree size 'Jodo spits Ready Γ- ^iscassificatidn i ill, < = Input data file: C:\PTREG\Tesl\Irls.cs* UC απο uani Number of uariahles (data colonns): 5 j Terminal nodes Number of data rows: 158 Variable hipurtame Total ueight for all rows: ISO Rows with missing target or weight values: 8 Rotas with missing predictnr unities: //. Εικόνα 6.3.1: Οθόνη από το εργαλείο DTREG -73-

80 Κεφάλαιο 6' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Εικόνα 6.3.2: Οθόνη από το εργαλείο DTREGreoh παρουσιάζει ένα δένδρο κατάταξης -74-

81 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning 6.4 Η μέθοδος της Συλλογιστικής βασισμένη σε περιπτώσεις (CBR) Η τεχνική αυτή ξεκίνησε από την αναλογική συλλογιστική (analogical reasoning) kol τον ρόλο προηγούμενων καταστάσεων στην εκμάθηση και την επίλυση προβλημάτων. Σύμφωνα με τη μέθοδο αυτή (Laudon & Laudon), περιγραφές προηγούμενων εμπειριών ειδικών που αποτελούν τις «περιπτώσεις» (cases), αποθηκεύονται σε βάσεις δεδομένων για μετέπειτα αναζήτηση και ανάκτηση, όταν ο χρήστης συναντήσει μια νέα περίπτωση με παρόμοιες παραμέτρους. Η CBR είναι κυκλική και αποτελείται από τέσσερα στάδια: S Ανάκτηση παρόμοιων περιπτώσεων (περιπτώσεων με παρόμοιες παραμέτρους) ^ Χρήση των παρόμοιων περιπτώσεων για εξεύρεση λύσης στο πρόβλημα S Αναθεώρηση της προτεινόμενης λύσης αν είναι απαραίτητο ^ Διατήρηση της λύσης για διαμόρφωση νέας περίπτωσης Στην βάση δεδομένων καταχωρούνται επίσης και περιπτώσεις με «αποτυχημένες» λύσεις μαζί με την εξήγηση της απόκλισης. Μία από τις μεθόδους που εμπίπτουν σ αυτήν την κατηγορία είναι και η μέθοδος των αναλογιών που αναφέρεται εκτενέστερα στην επόμενη ενότητα. Πλεονέκτημα των τεχνικών CBR έναντι των υπολοίπων ML τεχνικών (Bisio & Malabocchia 1995) είναι η αποτελεσματικότερη λειτουργία τους με μικρό αριθμό περιπτώσεων. Ο τρόπος εξάλλου με τον οποίο καταλήγει η μέθοδος στο αποτέλεσμα που δίνει είναι σχετικά φανερός στον εκτιμητή και κατανοητός αφού στα αποτελέσματα συμπεριλαμβάνεται και το υποσύνολο των παρόμοιων περιπτώσεων στις οποίες βασίστηκε ο υπολογισμός του αποτελέσματος

82 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning 6.5 Η μέθοδος των αναλογιών Η μέθοδος των αναλογιών είναι μια μορφή τεχνικής εκτίμησης βασισμένη σε περιπτώσεις (CBR). Για την εφαρμογή της μεθόδου είναι απαραίτητος ο χαρακτηρισμός των έργων με παραμέτρους - χαρακτηριστικά, και η ύπαρξη δεδομένων έργων για τα οποία είναι γνωστές οι τιμές αυτών των χαρακτηριστικών αλλά και του κόστους / προσπάθειας που τα έργα αυτά απαίτησαν. Τα έργα αυτά αποτελούν τη βάση δεδομένων των ιστορικών έργων του μοντέλου. Στη συνέχεια, θα πρέπει να χαρακτηριστεί το νέο έργο με βάση τα ίδια χαρακτηριστικά με αυτά της βάσης δεδομένων του μοντέλου. Η μέθοδος αναζητά στη βάση δεδομένων της μερικά παρόμοια έργα και με βάση το γνωστό κόστος αυτών εκτιμά το κόστος του νέου έργου (Schofield et al. 1996). Βασικό πρόβλημα στην όλη διαδικασία είναι η εύρεση των κατάλληλων χαρακτηριστικών για τα έργα της βάσης δεδομένων. Τα χαρακτηριστικά αυτά εξαρτώνται από τις πληροφορίες που είναι διαθέσιμες για τα έργα, και μπορεί να είναι συνεχείς μεταβλητές (διαστήματα, λόγοι ή απόλυτες τιμές), ή κατηγοριοποιημένες μεταβλητές (ονομαστικές ή διακριτές αριθμητικές). Όταν σχεδιάζεται ένα τέτοιο σύστημα, θα πρέπει με τη βοήθεια ειδικών να επιλέγονται εκείνα τα χαρακτηριστικά ενός έργου που πιστεύεται ότι είναι σημαντικά στην εκτίμηση ομοιότητας μεταξύ των έργων. Άλλο σημαντικό ζήτημα της μεθόδου είναι ο τρόπος εκτίμησης της ομοιότητας. Υπάρχουν πολλές προσεγγίσεις σ αυτό το θέμα και διάφορες μέθοδοι ευρετικές και μη έχουν προταθεί. Οι πιο δημοφιλείς είναι οι αλγόριθμοι κοντινότερου γείτονα (nearest neighbor algorithms) που στηρίζονται σε μέτρα απόστασης ή στο άθροισμα του τετραγώνου της διαφοράς κάθε μεταβλητής - χαρακτηριστικού. Το πιο γνωστό τέτοιο μέτρο απόστασης είναι η Ευκλείδειος απόσταση που έχει και μια ξεκάθαρη γεωμετρική έννοια ως την απόσταση δύο σημείων στον k-διάστατο Ευκλείδειο χώρο όπου k ο αριθμός των μεταβλητών - χαρακτηριστικών. Η σχέση που υπολογίζει την ευκλείδειο απόσταση του έργου i είναι: -76-

83 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning όπου di η απόσταση του άγνωστου έργου από το έργο i, Xy το χαρακτηριστικό j του έργου i, Tj το χαρακτηριστικό j του άγνωστου έργου, k ο αριθμός των χαρακτηριστικών και η ο αριθμός των έργων. Πριμ την συμμετοχή κάθε χαρακτηριστικού στις σχέσεις υπολογισμού των μέτρων, οι μεταβλητές κανονικοποιούνται (οι τιμές τους κυμαίνονται στο διάστημα 0..1) ώστε να έχουν τον ίδιο βαθμό επίδρασης και να μην επηρεάζεται η μέθοδος από την επιλογή διαφορετικών μονάδων μέτρησης. Η κανονικοποίηση γίνεται με την παρακάτω σχέση, όπου Xy η κανονικοποιημένη τιμή του χαρακτηριστικού j του έργου i και X y η αντίστοιχη πραγματική τιμή: x'u ~min(x'mj) \<,m<j max {χιν)- min (x»v) \<m< j l<m< j Προαιρετικά, μπορεί να χρησιμοποιηθεί ένας σταθμικός παράγοντας για κάθε χαρακτηριστικό που θα υποδηλώνει τη σημαντικότητά του σε σχέση με τα άλλα, και επομένως να υπολογιστούν τα αντίστοιχα σταθμισμένα μέτρα απόστασης. Εξ άλλου, ο σταθμικός αυτός παράγοντας θα μπορούσε να είναι τέτοιος ώστε να εκμηδενίσει τις τυχαίες διακυμάνσεις των μετρήσεων των χαρακτηριστικών έτσι ώστε μεταβλητές με μικρή μεταβλητότητα να επηρεάζουν την απόσταση περισσότερο από μεταβλητές με υψηλή μεταβλητότητα. Συνήθως σ αυτήν την περίπτωση, ως σταθμικός παράγοντας χρησιμοποιείται το αντίστροφο της τυπικής απόκλισης του χαρακτηριστικού. Η έννοια της ομοιότητας των έργων στην περίπτωση των μέτρων απόστασης είναι ταυτόσημη με την έννοια της μικρότερης απόστασης μεταξύ τους. Επομένως, μπορούμε να θεωρήσουμε παρόμοια (ανάλογα) με το νέο έργο, έναν συγκεκριμένο αριθμό ιστορικών έργων που έχουν τις μικρότερες αποστάσεις από το νέο έργο ανάμεσα σε όλα τα έργα της βάσης δεδομένων. Ο αριθμός των γειτονικών (ανάλογων) έργων αποφασίζεται εμπειρικά εκ των προτέρων και αποτελεί μια από τις παραμέτρους της μεθόδου, αναφέρεται δε, ως αριθμός αναλογιών. Για μικρό πλήθος -77-

84 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning έργων, ο αριθμός αναλογιών είναι συνήθως 1, 2 ή 3. Η εκτίμηση του κόστους τελικά προκύπτει με τον υπολογισμό ενός στατιστικού μέτρου εφαρμοζόμενο στα κόστη των ανάλογων έργων. Συνήθως, αυτό το στατιστικό μέτρο είναι η μέση τιμή του κόστους των ανάλογων έργων. Στην εκτίμηση μπορούν να χρησιμοποιηθούν οι τιμές κόστους των ανάλογων έργων απευθείας, ή να σταθμιστούν με κάποιον παράγοντα. Συχνά, ως παράγοντας στάθμισης χρησιμοποιείται η τιμή κάποιου άλλου χαρακτηριστικού του έργου. Από τα παραπάνω, προκύπτει ότι η μέθοδος έχει τρεις παραμέτρους: το μέτρο απόστασης για την εκτίμηση των ανάλογων έργων, τον αριθμό των αναλογιών και το στατιστικό μέτρο για την εκτίμηση του κόστους. Η ρύθμιση της μεθόδου έγκειται στον καλύτερο προσδιορισμό αυτών των παραμέτρων σε κάθε σύνολο ιστορικών έργων. Στα πλεονεκτήματα της μεθόδου αναφέρεται το γεγονός της αποδοχής από τους χρήστες των αποτελεσμάτων της μεθόδου γιατί είναι εύκολα κατανοητός ο τρόπος που καταλήγει η μέθοδος στο αποτέλεσμα, σε σχέση με άλλες τεχνικές με σειρά κανόνων ή νευρωνικά δίκτυα. Από την άλλη μεριά, υπάρχουν περιορισμοί στη χρήση της. Όπως αναφέρθηκε, το νέο έργο θα πρέπει να περιγράφει από τα ίδια ακριβώς χαρακτηριστικά με τα οποία περιγράφονται όλα τα άλλα έργα της βάσης δεδομένων. Στην περίπτωση εταιριών παραγωγής λογισμικού που ασχολούνται με έργα του ίδιου περίπου αντικειμένου δεν υπάρχει πρόβλημα, αλλά στην περίπτωση εταιριών που καλύπτουν ευρύ φάσμα πεδίων εφαρμογών ή χρησιμοποιούν εργαλεία κοί τεχνολογίες που μεταβάλλονται πολύ γρήγορα, υπάρχει δυσκολία στον χαρακτηρισμό των έργων και επομένως στην εφαρμογή της μεθόδου. Ένα μέρος από αυτά τα προβλήματα μπορεί να αντιμετωπιστεί με την χρησιμοποίηση κατηγοριοποιημένων χαρακτηριστικών που θα περιγράφουν τις διάφορες περιπτώσεις όπως π.χ. το περιβάλλον ανάπτυξης, τα εργαλεία κλπ. Έχει αποδειχθεί όμως από μελέτες (Shepperd & Schofield 1997), ότι η μέθοδος των αναλογιών δεν δίνει καλά αποτελέσματα σε περιπτώσεις με κατηγοριοποιημένα χαρακτηριστικά γιατί εξετάζει μόνο την ισότητα των χαρακτηριστικών (απόσταση 0 για την ίδια τιμή, 1 για διαφορετική τιμή) χωρίς άλλη διαβάθμιση. Για να αντιμετωπιστεί και αυτό το ζήτημα όσο το δυνατόν περισσότερο, έχει προταθεί η χρήση διωνυμικών (με τιμές 0 ή 1) -78-

85 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning μεταβλητών για κάθε περίπτωση διαφορετικής τιμής κατηγοριοποιημένου χαρακτηριστικού, αλλά έτσι αυξάνεται κατά πολύ ο αριθμός των διαστάσεων και δυσχεραίνεται η υπολογιστική διαδικασία. Εξάλλου, υπάρχουν ερευνητές που υποστηρίζουν ότι τα δεδομένα θα πρέπει να υποδιαιρεθούν σε ομάδες με ίδιες τιμές κατηγοριοποιημένων χαρακτηριστικών έτσι ώστε να υπάρχει μεγαλύτερη ομοιογένεια των έργων κάθε κατηγορίας που θα οδηγήσει σε καλύτερες προβλέψεις. Ωστόσο, η προσέγγιση αυτή θα οδηγήσει σε πολλές ομάδες με μικρό πλήθος έργων ανά κατηγορία που πιθανόν να είναι ανασταλτικός παράγοντας για εξαγωγή εκτιμήσεων. Ως μειονεκτήματα της μεθόδου έχουν επίσης αναφερθεί ότι θόρυβος ή άσχετα χαρακτηριστικά επηρεάζουν αρνητικά τα αποτελέσματα της μεθόδου, και ότι δεν λαμβάνει υπόψη της αλληλοσυσχετίσεις ανάμεσα στα χαρακτηριστικά (υψηλότερου βαθμού σχέσεις) που μπορεί να υπάρχουν σε μερικά συστήματα. Το πρώτο από τα παραπάνω μειονεκτήματα μπορεί να αντιμετωπισθεί με κατάλληλη ρύθμιση (calibration) της μεθόδου και την εύρεση του βέλτιστου υποσυνόλου χαρακτηριστικών. Εναλλακτικά μέτρα απόστασης Για την περίπτωση ποσοτικών χαρακτηριστικών έχουν προταθεί τα παρακάτω εναλλακτικά μέτρα απόστασης (Angelis & Stamelos 2000): Η απόσταση Manhattan ή city block: k Η απόσταση Minkowski: -79-

86 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning όπου λ ακέραιος αριθμός. Στην περίπτωση που λ=1, η απόσταση Minkowski είναι ταυτόσημη με την απόσταση Manhattan, ενώ για λ=2, δίνει την Ευκλείδειο απόσταση. Η απόσταση Canberra: \Yi-X»\ Yj +χυ Ο συντελεστής Czekanowski: 2Σηιίη(η,ΛΓ,) Σ(γι+Χ») Η απόσταση Chebychev ή «Μεγίστη» απόσταση: di =m2ix\yj-xij\ IS j<,k Για περιπτώσεις όπου τα χαρακτηριστικά δεν είναι ποσοτικές μεταβλητές αλλά υπάρχουν μικτά δεδομένα, οι Kaufman κοα. Rousseeuw πρότειναν τον συντελεστή ανομοιότητας (dissimilarity coefficient): 4=

87 Κεφάλαιο 6' Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning k d,= k y su) / j new 1 a v XtJ, Yj εί ναι συμπληρωμέ νες 0 διαφορετικά 1 αν Χν * Υ. 0 αν Χ0. = Yj, για κατηγοριοποιημένες μεταβλητές, για αριθμητική συνεχή μεταβλητή όπου Rj τα όρια (range) των τιμών της μεταβλητής. Για την εφαρμογή των παραπάνω ποσοτικών μέτρων απόστασης και σε περιπτώσεις με κατηγοριοποιημένα δεδομένα έχει προταθεί από τον Aha (Aha 1991) η χρήση ενός συντελεστή ανάλογου με τον συντελεστή Kaufmann-Rousseeuw, που παίρνει τιμές 0 για κατηγοριοποιημένες και ίδιες μεταβλητές, 1 για κατηγοριοποιημένες αλλά διαφορετικές μεταβλητές και την αντίστοιχη τιμή του μέτρου απόστασης που χρησιμοποιείται για αριθμητικές συνεχείς μεταβλητές (πχ ίση με το τετράγωνο της διαφοράς Xy-Yj αν χρησιμοποιείται η Ευκλείδεια απόσταση). Εναλλακτικά Στατιστικά μέτρα Όταν τα ανάλογα έργα επιλεγούν, θα πρέπει να υπολογιστεί κάποιο στατιστικό μέτρο θέσης βασισμένο στα κόστη αυτών των έργων, που θα αντιπροσωπεύει μια ικανοποιητική προσέγγιση του άγνωστου κόστους. Όταν φυσικά ο αριθμός των αναλογιών είναι μόνο δύο, η αριθμητική μέση τιμή (ή έστω η αντίστοιχη σταθμισμένη μέση τιμή) είναι η μοναδική εφικτή λύση. Εναλλακτικά, όταν ο αριθμός των ανάλογων έργων αυξάνει, θα μπορούσε κανείς να -81-

88 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning αντικαταστήσει τον μέσο με ένα άλλο στατιστικό μέτρο. Υπάρχει πληθώρα άλλων εναλλακτικών στατιστικών μέτρων στην βιβλιογραφία, και τα πιο γνωστά από αυτά είναι η διάμεσος (median), trimmed mean, η εκτιμήτρια του Tukey (Tukey s biweight estimator) και η εκτιμήτρια του Huber. Αυτά τα στατιστικά μέτρα έχουν την ιδιότητα να παραμένουν αναλλοίωτα από ακραίες τιμές που συχνά εμφανίζονται στα δεδομένα κόστους. Από την άλλη μεριά, μπορεί κανείς να θέλει να λάβει υπόψη του τις ακραίες αυτές τιμές, και τότε η μέση τιμή είναι καταλληλότερη. Συνιστάται πάντα να γίνεται πρώτα μια στατιστική ανάλυση στις τιμές κόστους των γειτονικών έργων, και στη συνέχεια να αποφασίζεται το καταλληλότερο στατιστικό μέτρο. Ρύθμιση της μεθόδου Είναι προφανές ότι η επιλογή του μέτρου απόστασης, ο καθορισμός του αριθμού των αναλογιών όπως επίσης και η επιλογή του καταλληλότερου στατιστικού μέτρου θέσης είναι εμπειρικά θέματα και απαιτούν σημαντικό πειραματισμό πριν την τελική απόφαση. Η μέθοδος Jackknife (Connor) είναι ένα πολύτιμο εργαλείο στην εκτίμηση του σφάλματος της διαδικασίας πρόβλεψης που χρησιμοποιείται για την εκτίμηση του κόστους ενός νέου έργου. Σύμφωνα με τη μέθοδο αυτή, σε κάθε βήμα ένα έργο αφαιρείται από τη βάση δεδομένων και τα υπόλοιπα έργα χρησιμοποιούνται ως βάση για την εκτίμηση της προσπάθειας αυτού του έργου (οι παράμετροι του μοντέλου παραμένουν σταθερές κατά την διάρκεια της διαδικασίας αυτής). Δύο κοινές εκτιμήσεις του σφάλματος πρόβλεψης που υπολογίζονται κατά τη διάρκεια της διαδικασίας jackknife, είναι το μέσο μέγεθος σχετικού σφάλματος (mean magnitude of relative error - MMRE) που ορίζεται σαν : MMRE = \Ei-Ei E, (όπου η εκτίμηση του κόστους και Ei το πραγματικό κόστος), και το ποσοστό των προβλέψεων που αποκλίνουν λιγότερο από 25% από την πραγματική τιμή και ονομάζεται Pred(25). -82-

89 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning Η ρύθμιση της μεθόδου περιλαμβάνει μια επαναληπτική διαδικασία κατά την οποία εφαρμόζονται διαδοχικά όλοι οι διαφορετικοί συνδυασμοί μέτρων απόστασης, αριθμού αναλογιών και στατιστικού μέτρου. Σε κάθε τέτοιο συνδυασμό εκτελείται η μέθοδος jackknife και υπολογίζεται μια τιμή MMRE ή Pred(25). Ο συνδυασμός που θα δώσει την μικρότερη τιμή MMRE ή την μεγαλύτερη τιμή Pred(25) (ανάλογα με πιο μέτρο αξιολόγησης επιλεγεί), είναι αυτός που αντιστοιχεί στις βέλτιστες τιμές παραμέτρων της μεθόδου. Ρύθμιση της μεθόδου μπορεί να γίνει και για τον προσδιορισμό του καλύτερου υποσυνόλου μεταβλητών με ανάλογο τρόπο. Σε κάθε βήμα της επαναληπτικής διαδικασίας σ αυτήν την περίπτωση εξετάζεται και ένας διαφορετικός συνδυασμός μεταβλητών ώστε να προκόψει ο βέλτιστος δηλαδή αυτός που δίνει το μικρότερο MMRE ή το μεγαλύτερο Pred(25). Η διαδικασία αυτή απαιτεί πολλούς υπολογισμούς αφού ο αριθμός των συνδυασμών είναι 2k -1 (για 10 μεταβλητές είναι δηλαδή 1023 συνδυασμοί, αλλά για 32 μεταβλητές είναι 4.3 δισεκατομμύρια συνδυασμοί περίπου). Φυσικά, οι 2 διαδικασίες ρύθμισης μπορούν να συγχωνευθούν ώστε να υπολογιστεί ταυτόχρονα το καλύτερο υποσύνολο μεταβλητών και οι καλύτερες παράμετροι του μοντέλου, αλλά αυτό απαιτεί ακόμα περισσότερους υπολογισμούς (η jackknife θα εκτελεστεί d*s*a*2k φορές6, και σε κάθε φορά θα υπολογιστεί η απόσταση καθενός από τα η έργα με κάθε ένα από τα υπόλοιπα η-1 έργα και θα εκτιμηθεί το κόστος τους). Λόγω της μεγάλης υπολογιστικής προσπάθειας που απαιτείται, η ρύθμιση της μεθόδου μπορεί να γίνει μόνο με τη χρήση κατάλληλου εργαλείου όπως το BRACE7 (Stamelos et al. 2001) που έχει τη δυνατότητα εκτιμήσεων και αυτόματης ρύθμισης τόσο με την απλή μέθοδο των αναλογιών όσο και με τη μέθοδο προσομοίωσης bootstrap που αναφέρεται στη συνέχεια. 6 ά=πλήθος μέτρων απόστασης, s: πλήθος στατιστικών μέτρων, 3=πλήθος αναλογιών, λ=πλήθος μεταβλητών, η=πλήθος έργων 7 To BRACE διατίθεται ελεύθερα μέσω του εργαστηρίου πληροφορικής του Γενικού τμήματος της Πολυτεχνικής Σχολής του ΑΠΘ (BRACE). Ανάλογο εργαλείο (ANGEL) για τη μέθοδο των αναλογιών και περιορισμένα μέτρα απόστασης διατίθεται από το Bournemouth University (Schofield Bournemouth University). -83-

90 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning 6.6 Η μέθοδος προσομοίωσης Bootstrap Η μέθοδος των αναλογιών όπως περιγράφηκε στην παράγραφο 6.5 (σελίδα 76) καταλήγει σε σημειακή εκτίμηση (point estimation) της ζητούμενης τιμής, δηλαδή μία μόνο τιμή που υπολογίζεται από ένα συγκεκριμένο δείγμα που προέρχεται από ένα πρακτικά άπειρο πληθυσμό με άγνωστα χαρακτηριστικά, δηλαδή τον πληθυσμό όλων των δυνατών έργων λογισμικού. Μια βασική ερώτηση είναι πόσο έγκυρη μπορεί να είναι η διαδικασία ρύθμισης και ποια είναι η ακρίβεια και αξιοπιστία της παραγόμενης εκτίμησης. Σ αυτές τις περιπτώσεις, είναι κοινή πρακτική να συμπληρώνουμε την τιμή της εκτιμήτριας με διάφορα μέτρα ακρίβειας από την κατανομή πιθανότητάς της. Επειδή όμως η κατανομή πιθανότητας μας είναι επίσης άγνωστη, περιοριζόμαστε στην χρήση της εμπειρικής κατανομής για να υπολογίσουμε το τυπικό σφάλμα, την μεροληψία, τα διαστήματα εμπιστοσύνης κλπ. Θα χρησιμοποιήσουμε μεθόδους προσομοίωσης προκειμένου να παράγουμε την εμπειρική κατανομή πιθανότητας. Η μέθοδος Bootstrap (Connor, Angelis & Stamelos 2000, Stamelos et al. 2003) είναι μια τεχνική προσομοίωσης που εφαρμόζεται με δύο μορφές: την παραμετρική και την μη παραμετρική. Η μη παραμετρική bootstrap βασίζεται εξ ολοκλήρου στην εμπειρική κατανομή χωρίς καμιά υπόθεση της κατανομής του πληθυσμού. Η παραμετρική βασίζεται στην υπόθεση ότι τα δεδομένα προέρχονται από μια θεωρητική κατανομή που προσεγγίζεται από ένα παραμετρικό μοντέλο. Η μη παραμετρική bootstrap εφαρμόζεται όταν έχουμε ένα τυχαίο δείγμα x=(xi,...,xn) που εξήχθη ανεξάρτητα από μια οικογένεια κατανομών της μορφής όπου θ μια άγνωστη παράμετρος. Έστω #=Τ(χ) μια συμμετρική συνάρτηση του δείγματος (ανεξάρτητη από τη σειρά του δείγματος). Η ιδέα είναι να πάρουμε ένα μεγάλο αριθμό Β των δειγμάτων από το χ με αντικατάσταση και να υπολογίσουμε το θj, j=l,2,...,b για κάθε ένα από αυτά τα δείγματα. Με τον όρο δειγματοληψία με αντικατάσταση εννοούμε τη διαδικασία κατά την οποία μια γεννήτρια τυχαίων αριθμών ανεξάρτητα επιλέγει ακεραίους ji,j2,...jn, καθένας από τους οποίους έχει τιμή στο διάστημα 1 και η με πιθανότητα 1/η. Αυτοί οι ακέραιοι καθορίζουν ποια μέλη του x=(xi,...,xn) επιλέγονται για να συμμετέχουν στο νέο τυχαίο δείγμα. Μια - 84-

91 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning προφανής συνέπεια αυτής της μεθόδου δειγματοληψίας είναι, ότι σε κάθε νέο δείγμα, υπάρχουν σημεία που εμφανίζονται περισσότερες από μία φορές ενώ άλλα δεν εμφανίζονται καθόλου. Σκοπός της μεθόδου είναι να μετρήσει την μεταβλητότητα του θ γύρω από το θ, μελετώντας την κατανομή του θ/ γύρω από το θ. Τα πιο κοινά μέτρα ακρίβειας που μπορούν να υπολογιστούν από τα λεγάμενα bootstrap δείγματα (bootstrap samples) είναι το τυπικό σφάλμα, η μεροληψία και τα διαστήματα εμπιστοσύνης. Η μέθοδος bootstrap εφαρμόζεται όχι μόνο σε συστήματα μιας μεταβλητής αλλά και σε συστήματα πολλών μεταβλητών όπως είναι συνήθως οι περιπτώσεις εκτίμησης του κόστους ανάπτυξης έργων λογισμικού που έχουν περισσότερους του ενός οδηγούς κόστους. Τα σημεία που δίνουν τα δείγματα bootstrap είναι τα έργα της βάσης δεδομένων. Αφού η στατιστική επαγωγή που βασίζεται στην μη παραμετρική bootstrap εξαρτάται μόνο από τα διαθέσιμα δείγματα, χωρίς καμιά υπόθεση για πη μορφή της κατανομής του πληθυσμού, η μέθοδος είναι ιδιαίτερα χρήσιμη όταν τα ιστορικά δεδομένα είναι λίγα, και εμπεριέχουν ανομοιογενή δεδομένα Μέτρα ακρίβειας Ένα τυπικό μέτρο ακρίβειας είναι το τυπικό σφάλμα (Standard error) που υπολογίζεται από τη σχέση: SE = Ε' = Β όπου Ε η εκτίμηση κόστους του νέου έργου όπως υπολογίστηκε με τη μέθοδο των αναλογιών στο αρχικό σύνολο δεδομένων, ^η εκτίμηση κόστους του νέου έργου με την ίδια μέθοδο αλλά πάνω στο b-οστό δείγμα bootstrap, b=l,2,...,b και Β το πλήθος των δειγμάτων Bootstrap. Ένα άλλο γνωστό μέτρο ακρίβειας είναι η μεροληψία της εκτιμήτριας που υπολογίζεται από την σχέση: -85-

92 Κεφάλαιο 6 Μέθοδοι εκτίμησης κόστους βασισμένες σε μοντέλα - Machine Learning BIAS = Ε* -Ε Ένας απλός κανόνας για την ακρίβεια της εκτιμήτριας είναι ότι θα πρέπει: BIAS SE <0.25 σε αντίθετη περίπτωση η εκτίμηση θεωρείται υπερεκτίμηση (Bias>0) ή υποεκτίμηση (Bias<0). Το πιο χρήσιμο όμως για όλα τα μέτρα είναι το διάστημα εμπιστοσύνης. Η σημειακή εκτίμηση Ε δεν είναι παρά μια εικασία της πραγματικής τιμής του κόστους του νέου έργου. Αυτή η εκτίμηση θα πρέπει πάντα να συνοδεύεται από ένα επάνω και κάτω όριο μαζί με ένα επίπεδο πιθανότητας. Ένα α% διάστημα εμπιστοσύνης για την εκτίμηση Ε μπορεί να υπολογιστεί από τα δείγματα bootstrap από : α%α όπου α το επίπεδο σημαντικότητας, και Έ(*_α)/2, *1+α)/2είναι τα 100 και 100 αντίστοιχα percentile points όλων των E*b. Ο στόχος των διαστημάτων εμπιστοσύνης είναι να μας δώσουν ένα διάστημα εκτιμήσεων που αποτελείται τόσο από μια αισιόδοξη όσο και από μια απαισιόδοξη πρόβλεψη του μεγέθους του κόστους. Πέρα από τα μέτρα ακρίβειας που περιγράφηκαν, είναι συχνά χρήσιμο να απεικονίζεται γραφικά όλη η κατανομή των εκτιμήσεων E*h, b=l,2,...,b που υπολογίστηκαν από τα Β bootstrap δείγματα. Για τον σκοπό αυτό μπορούν να χρησιμοποιηθούν διάφορες τεχνικές όπως boxplots, ιστογράμματα κλπ

93 ΚΕΦΑΛΑΙΟ Συγκριτική μελέτη μεθόδων εκτίμησης

94 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης Στο κεφάλαιο αυτό επιχειρείται η σύγκριση των αποτελεσμάτων εκτίμησης κόστους μερικών από τις μεθόδους εκτίμησης που παρουσιάστηκαν στα προηγούμενα κεφάλαια. Ένα βασικό ζήτημα που απασχολεί τους αναλυτές κόστους αφορά στην επιλογή της σωστότερης τεχνικής μοντελοποίησης. Εδώ λοιπόν, γίνεται μελέτη των αποτελεσμάτων εκτίμησης κόστους που έδωσαν τρεις κοινές τεχνικές μοντελοποίησης κόστους με δεδομένα έργων που προέρχονται από ένα διεθνές σύνολο δεδομένων πολλών επιχειρήσεων, που συλλέχθηκαν από το International Software Benchmarking Standards Group (ISBSG) και αναφέρονται σε επιχειρηματικό λογισμικό. Ένα δευτερεύον ερώτημα που απασχολεί όσους χρησιμοποιούν μεθόδους εκτίμησης, είναι η ανάγκη ρύθμισης των παραμετρικών μεθόδων. Η ρύθμιση αυτή δεν είναι πάντα εύκολη και δεν υποστηρίζεται πάντα από τα διαθέσιμα εργαλεία. Στις περιπτώσεις που δεν υποστηρίζεται από τα εργαλεία, η υπολογιστική διαδικασία που απαιτείται είναι εξαιρετικά πολύπλοκη και χρονοβόρα καί συνήθως αποθαρρύνει τους αναλυτές κόστους. Θα επιχειρηθεί λοιπόν χρήση κάποιων μεθόδων χωρίς ρύθμιση των παραμέτρων τους, με αυθαίρετες επιλογές τιμών τους, αλλά και με αυτόματη ρύθμισή τους, ώστε να φανεί αν υπάρχει σημαντική απόκλιση των αποτελεσμάτων. 7.1 Το σύνολο δεδομένων τω ν έργων της μελέτης Τα δεδομένα έχουν συλλεχθεί από το ISBSG. To ISBSG είναι ένας διεθνής μη κερδοσκοπικός οργανισμός που ιδρύθηκε το 1997 και έχει σκοπό να βοηθήσει την διοίκηση των πόρων της πληροφορικής τεχνολογίας, τόσο επιχειρήσεων όσο και του κυβερνητικού τομέα, παρέχοντας και αξιοποιώντας δημόσιες πηγές γνώσεων τεχνολογίας λογισμικού που έχουν συλλεχθεί με τυποποιημένες διαδικασίες, έχουν επαληθευθεί, είναι πρόσφατες και αντιπροσωπευτικές των σύγχρονων πρακτικών (ISBSG). Το πλήθος των έργων στη βάση δεδομένων ξεπερνάει τα 1000 έργα. Κάθε έργο χαρακτηρίζεται από τις μεταβλητές - χαρακτηριστικά που αναφέρονται στον πίνακα

95 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης Για λόγους ομοιογένειας, ώστε να μπορούν να εξαχθούν πιο γενικά συμπεράσματα, επιλέχθηκαν τα έργα στα οποία η μέτρηση των Function Points είχε γίνει με την ίδια τεχνική μέτρησης και τα ίδια πρότυπα. Επίσης, επιλέχθηκαν τα έργα με την ίδια μέθοδο καταγραφής της προσπάθειας. Αυτό περιόρισε τον αριθμό των έργων, και επίσης αφαίρεσε μερικές από τις μεταβλητές (αφού πλέον τα χαρακτηριστικά αυτά δεν διαφοροποιούσαν τα έργα που απέμειναν). Επειδή, στα χαρακτηριστικά που αναφέρονται στα CASE Tools, υπήρχαν πάρα πολλά έργα με ασυμπλήρωτες τιμές ή ακόμη και έργα με τιμές Δεν γνωρίζω, εξαιρέθηκαν αυτές οι μεταβλητές από τα χαρακτηριστικά του έργου. Εξαιρέθηκε επίσης η μεταβλητή σχετικά με τη Βάση Δεδομένων επειδή δεν διαφοροποιούνταν τα έργα ως προς αυτό το χαρακτηριστικό (όλα χρησιμοποιούσαν ΒΔ). Στις τεχνικές ανάπτυξης υπήρχαν πολλαπλές επιλογές σε κάθε έργο, γεγονός που δυσχεραίνει την ανάλυση, οπότε και αυτή η μεταβλητή εξαιρέθηκε. Το σύνολο των μεταβλητών / χαρακτηριστικών των έργων με βάση τα οποία έγινε η μελέτη αναφέρονται στον πίνακα Στη συνέχεια, αφαιρέθηκαν από τη βάση τα έργα με ελλιπείς τιμές στα χαρακτηριστικά που απέμειναν και έτσι προέκυψαν 187 έργα που τελικά συμμετείχαν στην μελέτη. Όλα αυτά τα έργα με τις τιμές των χαρακτηριστικών τους αναφέρονται στο παράρτημα Α. -89-

96 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης Χαρακτηριστικό Περιγραφή Function Points Value Adjustment Factor Count Approach FP Standards Counting Technique Work Effort Recording Method Resource Level Max Team Size Development Type Function Points (FP) Συντελεστής προσαρμογής FP Μέθοδος μέτρησης FP Πρότυπα μέτρησης Function Points Τεχνική μέτρησης Προσπάθεια ανάπτυξης Μέθοδος καταγραφής (της προσπάθειας) Επίπεδο στελεχών Μέγιστο μέγεθος ομάδας ανάπτυξης Τύπος ανάπτυξης (Νέο έργο, βελτιώσεις υπάρχοντος, Εκ νέου ανάπτυξη υπάρχοντος) Development Platform Language Type Πλατφόρμα ανάπτυξης (PC, MainFrame) Τύπος (επίπεδο) γλώσσας ανάπτυξης (2GL, 3GL, Primary Language DBMS Used Programming κλπ) Βασική γλώσσα προγραμματισμού Ένδειξη αν χρησιμοποιείται σύστημα διαχείρισης βάσης δεδομένων Upper CASE Tool Used Lower CASE Tool Used Development Techniques Organization Type Business Area Type Application Type Χρήση ανωτέρου επιπέδου εργαλείου CASE Χρήση βασικού επιπέδου εργαλείου CASE Τεχνικές ανάπτυξης Τύπος οργανισμού (επιχείρησης) Τύπος επιχειρηματικής εφαρμογής Τύπος εφαρμογής Πίνακας 7.1.1: Χαρακτηριστικά έργων συνόλου δεδομένων ISBSG -90-

97 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης Χαρ ακτή ριστικό Τύπος Τιμές - Σχόλια Function Points (FP) Αριθμητική Συνεχής Value Adjustment Factor (VAF) Αριθμητική Συνεχής, 0-1 Work Effort (WE) Αριθμητική Συνεχής, Ανθρωποώρες Resource Level (RL) Αριθμητική Διακριτές τιμές (ordinal) Max Team Size (MTS) Αριθμητική Ακέραιες τιμές Development Type (DT) Κατηγοριοποιημένη Enhancement,, Redevelopment Development (DP) Platform Κατηγοριοποιημένη, MR, PC Language Type (LT) Programming Language (PL) Business Area Type (BAT) Κατηγοριοποιημένη Κατηγοριοποιημένη Κατηγοριοποιημένη 2GL, 3GL,, ApG 2GL, ACCESS, C, C++, CLIPPER, COBOL, COBOL II, IDEAL, NATURAL, EASYTRIEVE, ORACLE, PL/I, POWERBUILDER, SQL, TELON, VISUAL BASIC, RALLY, OTHER, OTHER ApG Accounting, Banking, Engineering, Financial (Excluding Banking), Insurance, Inventory, Legal, Logistics, Manufacturing, Personnel, Sales, Telecommunications, R&D, Other Πίνακας 7.1.2: Επιλεγμένα χαρακτηριστικά έργων ανάλυσης -91-

98 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης 7.2 Η επιλογή των μεθόδων εκτίμησης Η μελέτη αυτή έγινε με ένα υποσύνολο των μεθόδων εκτίμησης κόστους που αναφέρθηκαν στα κεφάλαια 4 έως 6. Βασικό κριτήριο επιλογής των μεθόδων ήταν η δυνατότητα αυτοματοποίησης: Η διαδικασία εξαγωγής αποτελεσμάτων είναι μια έντονα υπολογιστική διαδικασία, και επομένως απαιτεί την ύπαρξη εργαλείων ώστε να αυτοματοποιηθεί σε μεγάλο βαθμό. Επιπλέον, τέτοια εργαλεία θα πρέπει είτε να είναι διαθέσιμα ήδη λόγω της χρήσης τους και σε άλλες εφαρμογές (όπως για παράδειγμα στατιστικά πακέτα λογισμικού) είτε να διατίθενται ελεύθερα ή με κάποιους περιορισμούς στη χρήση τους. Έτσι επιλέχθηκαν η μέθοδος OLS, η μέθοδος των αναλογιών και η μέθοδος bootstrap. Το εργαλείο που χρησιμοποιήθηκε για τους υπολογισμούς με τη μέθοδο OLS ήταν το στατιστικό πακέτο SPSS (SPSS Inc), ενώ για τις άλλες δύο μεθόδους, χρησιμοποιήθηκε το εργαλείο BRACE (BRACE). Μέθοδος OLS Χρησιμοποιήθηκε παλινδρόμηση ελάχιστων τετραγώνων πολλών μεταβλητών προσαρμόζοντας τα δεδομένα σε ένα γραμμικό μοντέλο που εκτιμά την προσπάθεια. Επειδή η μέθοδος αυτή δεν μπορεί να αντιμετωπίσει κατηγοριοποιημένες μεταβλητές, προστέθηκαν ψευδομεταβλητές με αριθμητικό περιεχόμενο αντίστοιχο με κάθε διακριτή τιμή των κατηγοριοποιημένων μεταβλητών. Έγινε αρχικά ανάλυση με τη μέθοδο χρησιμοποιώντας όλες τις μεταβλητές (αναφέρεται στα αποτελέσματα ως OLS). Στη συνέχεια, ακολουθήθηκε διαδικασία stepwise για τον εντοπισμό των σημαντικότερων μεταβλητών (μεταβλητές με σημαντική επίδραση στην εξαρτημένη μεταβλητή) με επίπεδο σημαντικότητας α=0,05 (αναφέρεται στα αποτελέσματα ως stepwise OLS). Μέθοδος αναλογιών Όπως έχει αναφερθεί, η βασική ιδέα της μεθόδου των αναλογιών είναι η εύρεση των ιστορικών έργων που είναι περισσότερο όμοια με το έργο προς εκτίμηση. Βασικά ζητήματα είναι η επιλογή του κατάλληλου μέτρου απόστασης, η επιλογή των -92-

99 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης περισσότερο σημαντικών μεταβλητών που χαρακτηρίζουν τα έργα, και η απόφαση για τον αριθμό των ανάλογων έργων από τα οποία θα προκόψει η εκτίμηση (αριθμός αναλογιών). Για τους υπολογισμούς χρησιμοποιήθηκε το εργαλείο BRACE τον υποστηρίζει όλα τα μέτρα απόστασης αλλά και τα στατιστικά μέτρα που αναφέρθηκαν στο κεφάλαιο 6. Για να φανεί αν υπάρχει σημαντική διαφορά στη χρήση αυθαίρετων παραμέτρων και ρύθμισης της μεθόδου, η μέθοδος χρησιμοποιήθηκε πολλαπλές φορές, κάθε φορά με διαφορετικές παραμέτρους. Κάθε διαφορετική παραμετροποίηση αναφέρεται στους πίνακες των αποτελεσμάτων με διαφορετικά ονόματα. Έτσι, το όνομα Analogy-1 αναφέρεται στη μέθοδο των αναλογιών, με μέτρο απόστασης την Ευκλείδειο απόσταση, στατιστικό μέτρο την μέση τιμή και αριθμό αναλογιών 1. Αντίστοιχα Analogy-2 και Analogy-3 αναφέρονται στη μέθοδο των αναλογιών με τα ίδια μέτρα απόστασης και στατιστικό αλλά αριθμό αναλογιών 2 και 3 αντίστοιχα. Στις τρεις αυτές περιπτώσεις, συμμετέχουν το σύνολο των μεταβλητών των έργων σαν ανεξάρτητες μεταβλητές (πλην προφανώς της προσπάθειας που είναι η εξαρτημένη μεταβλητή). Το όνομα Analogy-FP αναφέρεται στη μέθοδο των αναλογιών με μέτρο απόστασης την Ευκλείδειο απόσταση, στατιστικό μέτρο σταθμισμένη μέση τιμή με συντελεστή στάθμισης το συντελεστή προσαρμογής (value adjustment factor) και αριθμό αναλογιών 1 αλλά με ανεξάρτητες μεταβλητές μόνο τα Function Points. Τέλος, τα ονόματα Analogy-Best-MMRE καί Analogy-Best-Pred25 αναφέρονται στη μέθοδο των αναλογιών ρυθμισμένη κατάλληλα (παράμετροι και υποσύνολα μεταβλητών) ώστε να δίνει τις βέλτιστες τιμές MMRE καί Pred(25) αντίστοιχα. Μέθοδος Bootstrap Η μέθοδος Bootstrap στην ουσία είναι μια μέθοδος προσομοίωσης που συνδυάζεται με τη μέθοδο των αναλογιών για παροχή εκτιμήσεων με διαστήματα εμπιστοσύνης και όχι απλές σημειακές εκτιμήσεις. Για τους υπολογισμούς χρησιμοποιήθηκε το εργαλείο BRACE. Οι τιμές που χρησιμοποιήθηκαν στη σύγκριση ήταν οι αντίστοιχες μέσες τιμές των κατανομών που προέκυπταν. Η μέθοδος bootstrap αναφέρεται με τα ονόματα Bootstrap-MMRE καί Bootstrap-Pred25 που αντιστοιχούν στη μέθοδο Bootstrap κατάλληλα ρυθμισμένη (παράμετροι και -93-

100 Κεφάλαιο 7' Συγκριτική μελέτη μεθόδων εκτίμησης υποσύνολα μεταβλητών) ώστε να δίνει τις βέλτιστες τιμές MMRE καί Pred(25) αντίστοιχα. Κριτήρια αξιολόγησης Ένα συνηθισμένο κριτήριο για την αξιολόγηση των μοντέλων εκτίμησης κόστους είναι το μέγεθος του σχετικού σφάλματος MRE (Magnitude of Relative Error). Για κάθε εκτίμηση, υπολογίζεται το MRE, και τελικά η μέση τιμή του, το MMRE8. Μια σιωπηρή παραδοχή πίσω από την επιλογή του μέτρου αυτού σαν ένδειξη της ακρίβειας εκτίμησης είναι το γεγονός ότι το σφάλμα είναι ανάλογο του μεγέθους του έργου, δηλαδή, μια υπερεκτίμηση 10 ανθρωπομηνών για ένα έργο 10 ανθρωπομηνών είναι πολύ σημαντικότερη από την ίδια υπερεκτίμηση για ένα έργο 100 ανθρωπομηνών. Ένα ακόμη συμπληρωματικό του MRE μέτρο που χρησιμοποιείται ευρέως σαν κριτήριο αξιολόγησης και που χρησιμοποιήθηκε επίσης στη μελέτη αυτή είναι το PRED(25). Γενικά, το PRED(l) (πρόβλεψη σε επίπεδο 1 - prediction at level 1) είναι το ποσοστό των προβλέψεων που έχουν MRE μικρότερο ή ίσο με 1. Έτσι το PRED(25) είναι το ποσοστό των εκτιμήσεων με μικρότερη από 25% απόκλιση από την πραγματική τιμή. Για τον υπολογισμό του MRE και την αξιολόγηση των μεθόδων εκτίμησης, χρησιμοποιήθηκε η μέθοδος jackknife (Connor) σύμφωνα με την οποία, κάθε φορά εξάγεται από τη βάση δεδομένων ένα από τα έργα, θεωρείται ως έργο προς εκτίμηση και εκτιμάται με βάση τα δεδομένα των υπολοίπων έργων. Αυτό επαναλαμβάνεται μέχρι να καλυφθεί το σύνολο των έργων. 7.3 Τα αποτελέσματα της ανάλυσης Στον πίνακα παρουσιάζονται τα βασικά στατιστικά μεγέθη του συνόλου δεδομένων των έργων της μελέτης. Τα σχήματα έως παρουσιάζουν το 8 Ο τύπος υπολογισμού του MMRE έχει αναφερθεί στο κεφάλαιο

101 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης σχετικό πλήθος των έργων για κάθε διακριτή τιμή των κατηγοριοποιημένων μεταβλητών. Μεταβλητές N Minimum Maximum Mean Std. Deviation Function Points , ,475 Value Adjustment Factor ,29 1,0199,09280 Summary Work Effort , ,849 Resource Level ,77 1,176 Max Team Size ,64 8,202 Valid N (listwise) 187 Πίνακας : Βασικά στατιστικά μεγέθη των μεταβλητών του συνόλου δεδομένων των έργων της μελέτης Development Type Enhancement Re-development Σχήμα 7.3.1: Κατανομή των έργων κατά Τύπο Ανάπτυξης -95-

102 Κεφάλαιο 7' Συγκριτική μελέτη μεθόδων εκτίμησης Development Platform MR PC Σχήμα 7.3.2: Κατανομή των έργων κατά Πλατφόρμα Ανάπτυξης Language Type 2GL 3GL Ο ApG Σχήμα 7.3.3: Κατανομή των έργων κατά Τύπο Γλώσσας Ανάπτυξης Primary Programming Language Π 2GL Ο ACCESS DC I CLIPPER COBOL COBOL II I IDEAL NATURAL ORACLE I POWERBUILDER RALLY SQL I VISUAL BASIC Other Other ApG o+ EASYTREVE PL/I TELON Σχήμα 7.3.4: Κατανομή των έργων κατά Βασική γλώσσα προγραμματισμού -96-

103 Κεφάλαιο 7' Συγκριτική μελέτη μεθόδων εκτίμησης Σχήμα 7.3.5: Κατανομή των έργων κατά Επιχειρηματική περιοχή Στον πίνακα παρουσιάζονται και συγκρίνονται τα αποτελέσματα της αξιολόγησης των εκτιμήσεων των μεθόδων που εξετάστηκαν. Όπως είναι φανερό από τον πίνακα, η μέθοδος παλινδρόμησης υστερεί σημαντικά σε σχέση με τις μεθόδους των αναλογιών ακόμη και σε σχέση με τις μη ρυθμισμένες μεθόδους αναλογιών. Αυτό μπορεί ίσως να εξηγηθεί από το γεγονός ότι το σύνολο δεδομένων περιείχε πολλές κατηγοριοποιημένες μεταβλητές, και η μέθοδος παλινδρόμησης δεν μπορεί να χειριστεί ικανοποιητικά μεταβλητές αυτού του είδους. Σε τέτοιες περιπτώσας είναι προτιμότερο να εφαρμόζεται η μέθοδος CART για να ταξινομήσει τα έργα σε κατηγορίες ανάλογα με τις τιμές των κατηγοριοποιημένων μεταβλητών και στη συνέχεια να εφαρμοσθεί η μέθοδος παλινδρόμησης στα δεδομένα των «φύλλων» των δένδρων που προέκυψαν. Έτσι, τα δεδομένα θα παρουσιάζουν μεγαλύτερη ομοιογένεια και τα αποτελέσματα θα είναι περισσότερο ακριβή. Από τον πίνακα επίσης γίνεται φανερή η ανάγκη ρύθμισης των μεθόδων αναλογιών πριν τη χρήση τους. Πράγματι, υπάρχουν σημαντικές αποκλίσεις στα αποτελέσματα των μεθόδων με τις αυθαίρετες παραμέτρους σε σχέση με εκείνα των μεθόδων που ρυθμίστηκαν, όπως άλλωστε ήταν αναμενόμενο. Οι σχετικά κοντινές τιμές αποτελεσμάτων που έδωσε η Analogy-Ι σε σχέση με τη βέλτιστη Analogy-best- -97-

104 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης MMRE, οφείλεται στο γεγονός ότι στη βέλτιστη τιμή αντιστοιχεί συμπτωματικά αριθμός αναλογιών ίσος με ένα, ωστόσο λόγω του διαφορετικού μέτρου απόστασης και του υποσυνόλου μεταβλητών υπάρχει σημαντική απόκλιση. Γενικά, τα αποτελέσματα φανερώνουν ότι οι παράγοντες που εξετάστηκαν σ αυτήν τη μελέτη αν και γενικά επηρεάζουν το κόστος, δεν είναι σε θέση να εξηγήσουν ένα μεγάλο μέρος της μεταβλητότητας της προσπάθειας. Τα αποτελέσματα του MMRE από πρακτικής άποψης δεν είναι καθόλου ικανοποιητικά παρόλο τον μεγάλο αριθμό μεταβλητών που εξετάστηκαν και την συνέπεια των μεθόδων συλλογής. Οι καλύτερες εκτιμήσεις δόθηκαν από τη μέθοδο των αναλογιών όπου η μέση απόκλιση ήταν της τάξης περίπου του 90%. Πιθανόν η ανομοιογένεια των έργων του συνόλου να είναι τέτοια που να αλλοιώνει τα αποτελέσματα, ή να λείπουν και άλλοι σημαντικοί παράγοντες που επηρεάζουν το κόστος οπότε θα πρέπει τα έργα να μελετηθούν και να ερευνηθεί η ύπαρξη τέτοιων παραγόντων. Επίσης, πιθανόν να υπάρχουν ακραίες τιμές που επηρεάζουν το αποτέλεσμα οπότε κάποιο άλλο μέτρο όπως ο διάμεσος του MRE να έδινε καλύτερα αποτελέσματα. Μέθοδος MMRE % Pred(25)% OLS 492,79 21,39 Stepwise OLS 479,94 19,25 Analogy-1 162,40 19,79 Analogy-2 208,20 14,97 Analogy-3 225,40 15,50 Analogy-FP 308,86 10,69 Analogy-Best-MMRE 88,91 21,93 Analogy-Best-Pred25 125,89 30,48 Bootstrap-MMRE 95,92 23,45 Bootstrap-Pred25 112,47 32,80 Πίνακας 7.3.2: Αποτελέσματα κριτηρίων αξιολόγησης των διαφόρων μεθόδων για το σύνολο των έργων -98-

105 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης Προκειμένου να ερευνηθεί η αποτελεσματικότητα των μοντέλων σε περισσότερο ομοιογενές σύνολο δεδομένων, περιορίστηκε το αρχικό σύνολο ώστε να συμπεριληφθούν στην ανάλυση έργα που προέρχονται από το τραπεζικό επιχειρηματικό τομέα (που ήταν ο πολυπληθέστερος στο πλήρες σύνολο δεδομένων), η πλατφόρμα ανάπτυξης να είναι τα mainframes (), ο τύπος της γλώσσας προγραμματισμού να είναι 3GL και να πρόκειται για νέα έργα (new development). To σύνολο δεδομένων που προέκυψε περιείχε 17 έργα και τα αποτελέσματα ήταν σαφώς πολύ καλύτερα. Τα αποτελέσματα της ανάλυσης αυτού του συνόλου δεδομένων παρουσιάζονται στον πίνακα Όπως φαίνεται από τον πίνακα, οι εκτιμήσεις όλων των μοντέλων έχουν βελτιωθεί σημαντικά (ως προς το MRE), αλλά την εντυπωσιακότερη βελτίωση παρουσιάζει η μέθοδος παλινδρόμησης. Αυτό επιβεβαιώνει την αδυναμία της μεθόδου σε κατηγοριοποιημένα δεδομένα. Μέθοδος MMRE % Pred(25)% OLS 83,59 23,53 Analogy-Best-MMRE 46,17 29,40 Analogy-Best-Pred2 5 56,00 35,29 Bootstrap-MMRE 54,28 37,50 Bootstrap-Pred25 55,28 37,50 Πίνακας 7.3.3: Αποτελέσματα κριτηρίων αξιολόγησης των διαφόρων μεθόδων για το υποσύνολο των έργων (τραπεζικός τομέας, νέα έργα, mainframes, 3GL) Στον πίνακα παρουσιάζονται οι βέλτιστες παράμετροι και το βέλτιστο υποσύνολο9 μεταβλητών που χαρακτηρίζουν τα έργα για κάθε περίπτωση ρύθμισης των μεθόδων και αναφέρεται στο σύνολο των έργων. Στον πίνακα παρουσιάζονται οι βέλτιστες παράμετροι και υποσύνολο μεταβλητών που 9 Ο όρος βέλτιστο υποσύνολο αναφέρεται στο υποσύνολο των μεταβλητών που έχουν την περισσότερο σημαντική επίδραση στο κόστος (προσπάθεια). -99-

106 Κεφάλαιο 7 Συγκριτική μελέτη μεθόδων εκτίμησης αντιστοιχούν στο υποσύνολο των δεδομένων. Η Stepwise OLS έδωσε καλύτερο υποσύνολο μεταβλητών τις FP, MTS km RL. Μέθοδος Μέτρο Αναλο Στατ. Μεταβλητές απόστασης γίες μέτρο Analogy-Best-MMRE Canberra 1 Σ.Μ.Τ Analogy-Best-Pred25 Canberra 3 Διάμεσος FP, VAF, RL, MTS, DT, DP, LT, ΒΑΤ FP, VAF, RL, MTS, LT Bootstrap-MMRE Canberra 1 Μ.Τ." FP, VAF, MTS, DP Bootstrap-Pred25 Canberra 1 Μ.Τ. FP, VAF, MTS, DP, LT Πίνακας 7.3.4: Βέλτιστες παράμετροι ρύθμισης μεθόδων αναλογιών (σύνολο έργων) Μέθοδος Μέτρο Αναλο Στατ. Μεταβλητές απόστασης γίες μέτρο Analogy-Best-MMRE Chebychev 2 Σ.Μ.Τ. FP, MTS Analogy-Best-Pred25 Chebychev 1 Μ.Τ. FP, MTS Bootstrap-MMRE Chebychev 1 Σ.Μ.Τ. FP, MTS Bootstrap-Pred25 Chebychev 1 ΜΤ. FP, VAF, MTS Πίνακας 7.3.5: Βέλτιστες παράμετροι ρύθμισης μεθόδων αναλογιών (υποσύνολο έργων) 10 Σταθμισμένη μέση τιμή με συντελεστή στάθμισης το VAF 11 Μέση Τιμή

107 Κεφάλαιο Τ Συγκριτική μελέτη μεθόδων εκτίμησης 7.4 Συμπεράσματα Αυτή η μελέτη έδειξε ότι οι στατιστικές μέθοδοι όπως η μέθοδος παλινδρόμησης δεν έχουν ικανοποιητική συμπεριφορά σε περιπτώσεις που οι εξεταζόμενες μεταβλητές που χαρακτηρίζουν τα έργα δεν έχουν συνεχείς αριθμητικές τιμές. Η αδυναμία ικανοποιητικού χειρισμού των κατηγοριοποιημένων μεταβλητών που πολύ συχνά χαρακτηρίζουν τα έργα λογισμικού οδηγεί στην ανάγκη χρησιμοποίησης άλλων τεχνικών όπως η μέθοδος CART (classification and regression trees) και εφαρμογή των στατιστικών τεχνικών στα έργα των «φύλλων» των δένδρων στα οποία τα δεδομένα παρουσιάζουν υψηλή ομοιογένεια και είναι απαλλαγμένα από τις κατηγοριοποιημένες μεταβλητές που τα χαρακτηρίζουν (αυτές έχουν ληφθεί υπόψη στη διαδικασία ταξινόμησης). Διαπιστώθηκε επίσης, ότι τεχνικές που βασίζονται στις αναλογίες παρουσιάζουν σχετικά καλά αποτελέσματα, αν και οι μέσες τιμές των μέτρων αξιολόγησης σ αυτή τη μελέτη δεν κρίνονται πολύ ικανοποιητικές για το σύνολο των έργων. Αυτό καθιστά ίσως περισσότερο επιτακτική την ανάγκη συμπλήρωσης των εκτιμήσεων με μέτρα της στοχαστικότητας και διαστήματα εμπιστοσύνης των εκτιμήσεων (όπως κάνει η μέθοδος bootstrap) καθώς επίσης και χρησιμοποίησης τεχνικών που κάνουν και ανάλυση του κινδύνου (όπως πχ η μέθοδος COBRA). Ωστόσο, όταν τα δεδομένα παρουσιάζουν μεγάλη ομοιογένεια (όπως στην περίπτωση του υποσυνόλου των έργων που μελετήθηκε), τα αποτελέσματα είναι πολύ ικανοποιητικά. Φάνηκε, όπως ήταν αναμενόμενο, ότι είναι πολύ σημαντική η ρύθμιση των παραμετρικών μεθόδων με βάση τα δεδομένα παρελθόντων έργων, προκειμένου vol προκόψουν περισσότερο ακριβή αποτελέσματα. Διαπιστώθηκε επίσης μικρή διαφοροποίηση ανάλογα με το μέτρο αξιολόγησης που χρησιμοποιήθηκε για τη ρύθμιση των μεθόδων. Έτσι, η ρύθμιση δίνει άλλα αποτελέσματα αν ο στόχος είναι η μικρότερη μέση απόκλιση από την πραγματική τιμή και άλλα αποτελέσματα αν ο στόχος είναι η μεγιστοποίηση του ποσοστού των έργων με απόκλιση μικρότερη από 25%. Θα πρέπει λοιπόν ο αναλυτής κόστους να καθορίσει τι τον ενδιαφέρει περισσότερο

108 ΒΙΒΛΙΟΓΡΑΦΙΑ

109 Βιβλιογραφία [1] Aha D.W., Case-Based Learning Algorithms, Proc. DAPRA Case- Based Reasoning Workshop, Morgan Kaufmann, 1991 [2] Alyuda Research Company, Neural Networks Software for Data mining Experts, htm accessed 05/01/2005 [3] Angelis L., Stamelos I., A simulation tool for efficient Analogy Based Cost Estimation, Empirical Software Engineering, Vol. 5, Issue 1, p35-68 March 2000 [4] Bia Alesandro, DiCoMo: A cost estimation model for digitization projects, Biblioteca Virtual Miguel de Cervantes, University of Alicante, htm accessed 30/09/2004 [5] Bisio R., Malabocchia F., Cost Estimation of Software projects through Case Based Reasoning, Proc. Ist Inti. Conf. on Case-Based Reasoning Research and Development, Springer-Verlag, 1995 [6] Boehm B.W., Software Engineering Economics, Prentice-Hall, Englewood Cliffs, NJ, 1981 [7] Bournemouth University, Putnam s SLIM, www ecfc.unel. com/cost/slim, htm accessed 30/09/2004 [8] BRACE, el/showproduct.aspx?id=68 accessed 10/10/2004 [9] Breiman L., Friedman, Olshen, Stone, Classification and Regression trees, CRC Press LLC, 1998 (reprint - original Chapman & Hall 1984) [10] Briand L.C., Basili V.R., Thomas W.M., A Pattern Recognition Approach for Software Engineering Data Analysis, IEEE Transactions on Software Engineering, vol. 18, no. 11, , November 1992 [11] Briand L.C., Emam El K., Bomarius F., COBRA: A Hybrid Method for Software Cost Estimation, Benchmarking and Risk Assessment, Proc. of the 20th International Conference on Software Engineering, , April 1998a [12] Briand L.C., Emam El K., Wieczorek I., A Case study in Productivity Benchmarking: Methods and Lessons Learned, Proc. ESCOM- ENCRESS 98 Project Control For 2000 and Beyond, 4-14, 1998b [13] Charismatek Software Metrics, Function Point Workbench, public 1/html/fpw brochure.htm accessed 15/01/2005 [14] Chatzoglou D., Macaulay L.A., A review of existing models for project planning and estimation and the need for a new approach

110 Βιβλιογραφία International Journal of Project Management, vol. 14, no. 3, , 1996 [15] Connor Edward, The Bootstrap, Jackknife, Randomization, and other non-traditional approaches to estimation and hypothesis testing, San Fracisco State University, http ://userwww. sfsu.edu/~efc/classes/ bio!71o/bools/boots.htm accessed 30/09/2004 [16] Conte S.D., Dunsmore H.E., V.Y. Shen, Software Engineering Metrics and Models, The Benjamin/Cummings Publishing Company Inc, 1986 [17] David Olive, Applied Robust Statistics, Southern Illinois University, June 2004, 09/01/2005 [18] EITO, European Information Technology Observatory, Statistical Outlook, 2000 [19] Finnie G.R., Wittig G.E., Deshamais J-M., A Comparison of Software Effort Estimation Techniques: Using Function Points with Neural Networks, Case-Based Reasoning and Regression Models, Journal of Systems and Software, Vol 39, no. 3, , December 1997 [20] Fraunhofer Institute for Experimental Software Engineering (IESE), Cost Estimation, Risk Assessment and Benchmarking Tool, iese. fraunhofer,de accessed 04/01/2005 [21] GfK Marktforschung GmbH, Fraunhofer Institut fur Experimentelles Software Engineering (IESE), Fraunhofer Institut fur Systemtechnik und Innovationsforschung (ISI), Analyse und Evaluation der Software Entwicklung in Deutschland, Niimberg, Dezember 2000 [22] Institute of Electronics Engineers, Inc., IEEE Standards Collection, 1994 Edition [23] INCOSE (International Council on Systems Engineering), SE Tool Taxonomy - Cost estimating tools, incose.org/ ProductsPubs/products/SEtools/tooltax/costesttools.html accessed 15/01/2005 [24] ISBSG International Software Benchmarking Standards Group, htlp://ww\v. isbsu.org [25] Johnson Kim, Software Cost Estimation: Metrics and Models, Department of Computer Science, University of Calgary, Canada, htlp://sem.ucalgaiy,.ca/courses/seng/621/w98/johnsonk/cosl.htm accessed 05/10/2004 [26] Jones, Capers, Sizing Up Software, Scientific American, December

111 Βιβλιογραφία [27] Jorgensen M., Experience with the Accuracy of Software Maintenance Task Effort Prediction Models, IEEE Transactions on Software Engineering, vol. 21, no. 8, , August 1995 [28] Kitchenham B., A procedure for analyzing Unbalanced datasets, IEEE transactions on Software Engineering, vol. 24, no. 4, , 1998 [29] Langley P., Simon H., Applications of machine learning and rule induction, (Report) 1995, Documents.asp?ArgVal=457 accessed 12/01/2005 [30] Leung H., Zhang, Software Estimation, Fan Department of Computing, The Hong Kong Polytechnic University, hup://yvww.cs.ulk.edu/~sprowell/ papers/software-cost-estimation.pdf accessed 05/10/2004 [31] Laudon K., Laudon J., Management Information Systems, 6th edition, Prentice Hall, 2000 [32] Putnam L., A general empirical solution to the Macro Software Sizing and estimating Problem, IEEE Transactions on Software Engineering, vol. 4, no. 4, , 1978 [33] Quantitative Software Management, [34] Schofield C., Shepperd M., and Kitchenham B., Effort estimation using Analogy, Proc. 18th Int'l Conf. Software Engineering, Berlin 1996 [35] Schofield C., Bournemouth University, Automated Project Cost Estimation Using Analogies - The ANGEL Project, ecfc.u-net.com/cost/angel.htm accessed 15/01/2005 [36] Shepperd M., Schofield C., Estimating Software Project Effort Using Analogies, IEEE Transactions on Software Engineering, vol. 23, no. 12, , December 1997 [37] Sherrod Phil., DTREG: Classification and Regression Trees for Data Mining and Modeling, Software Tool, wvvdlreg. com accessed 22/01/2005 [38] Smith L., An Introduction to Neural Networks, Centre for Cognitive and Computational Neuroscience, Department of Computing and Mathematics, University of Stirling, NNIntro/InvSlides html accessed 05/01/2005 [39] Softstar Systems, w.soflstarsvstems. com [40] SPSS Inc, SPSS Statistical Software Release 11, spss.com [41] Stamelos Ioannis, Lefteris Angelis, Maurizdo Morisio, Evaggelos Sakellaris, George L. Bleris, Estimating the development cost of custom software. Information and Management, vol.40 n.8, p , September

112 Βιβλιογραφία [42] Stamelos I., L. Angelis, E. Sakellaris. BRACE: BootstRap based Analogy Cost Estimation, Proc. 12 th European Software Control Metrics, pp (2001) [43] The Standish Group International Inc., Sample Research: The CHAOS Report, research/index, php accessed 30/10/2004 [44] Stata Corporation, Stata Statistical Software Release 8, hllp:/v\\\\w stata. com [45] Stensrud E., Myrtveit I., Human Performance Estimation with Analogy and Regression Models, Proc. The 5th METRICS 98 Symposium, ,1998 [46] Stergiou Ch., Siganos D., Neural Networks, Imperial College London, Department of Computing, ic. ac.uk/~nd/ surprise 96/ ioumal/vol4/csl 1/report, html. accessed 05/01/2005 [47] Walkerden F., Jeffery D.R., Software Cost Estimation: A Review of Models, Process, and Practice, Advances in Computers, vol. 44, , 1997 [48] Walkerden F., Jeffery D.R., An empirical study of Analogy-Based Software Effort Estimation, Empirical Software Engineering, vol. 4, no. 2, , June 1999 [49] Wilson, Peter B., Testable Requirements - An alternative Software Sizing Measure, The Journal of the Quality Assurance Institute, October 1995 [50] Xycoon College, Ordinary Least Squares for Multiple Regression, accessed 09/01/2005 [51] IOBE (Ιδρυμα Οικονομικών και Βιομηχανικών Ερευνών), «Η αγορά Λογισμικού στην Ελλάδα», Κλαδική μελέτη, Ιούλιος

113 ΠΑΡΑΡΤΗΜΑ A Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης

114 Παράρτημα A Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης Business Area Type Banking Inventory Other Banking Inventory Primary Programming Language EASYTRIEV E PL/I IDEAL COBOL Language Type Development Platform 1 G ω 1 > a Max Team Size Resour ce Level Summary Work Effort Value Adjustment Factor Function Points ISBSG Project ID O 3GL 3GL 3GL MR % < I Banking Banking Banking Financial (excluding Banking) Logistics Banking Financial (excluding Banking) Other Manufacturing Banking I TELON COBOL COBOL I 3GL 3GL MR ! Enhancement PL/I CLIPPER COBOL 3GL 3GL PC OTHER NATURAL COBOL COBOL POWERBUIL DER 3GL 3GL G 6 a a 0 ;> b 1 & Sales Financial (excluding Banking) Manufacturing Banking Manufacturing Legal Banking PC COBOL o TELON I/Td NATURAL COBOL 3GL 3GL ApG 3GL 3GL MR MR Enhancement Enhancement Enhancement <N CO o Os VO 00 in m VO m <N in VO VO ' ' VO , , , o <o , ,00 T3- Γ I , , , <N <N , , , , ,03 VO m o ,90 o , , ,00 0, , OV O Oo

115 Παράρτημα A Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης Business Area Type Personnel Telecommunications Financial (excluding Banking) Primary Programming Language COBOL OTHER ApG Language Type 3GL Development Platform I i I ApG PC PL/I PL/I Other Engineering Research & Development SQL 3GL 3GL MR Enhancement Enhancement Enhancement! & Max Team Size Resour ce Level Summary Work Effort Value Adjustment Factor Function Points ISBSG Project ID m r- CO CO CO l.io I I 09 0,94 o , , Other Legal Accounting Personnel OTHER NATURAL NATURAL PL/I OTHER TELON 3GL ApG 25 Enhancement Insurance Financial (excluding Banking) Engineering Engineering Research & Development Γ- VO PL/I SQL ACCESS 3GL MR PC 26 CM Other Insurance Manufacturing Other Manufacturing Engineering Accounting Banking Manufacturing CLIPPER OTHER ApG TELON OTHER ApG OTHER OTHER ApG OTHER COBOL COBOL COBOL ApG ApG ApG ApG 3GL 3GL 3GL PC MR MR Enhancement CM Enhancement Re-development 24 CM (N <N CM CM CM , , I 00 CS , , , ! 198 0,94 Oh CM CD ! 1,07 CM O , I 0,92 ON OO o' , , , s Enhancement , CO , CO , ,

116 Παράρτημα A Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης

117 Παράρτημα A Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης Primary Programming CG Language Type Development Platform Max Team Size Resour ce Level Summary Work Effort Value Adjustment Factor Function Points ISBSG Project ID Banking Banking Logistics Accounting Other Banking Personnel O Jj NATURAL EASYTRIEV E OTHER PL/I NATURAL COBOL RALLY PL/I VISUAL BASIC COBOL Enhancement 352 o CN CO GL 3GL MR MR Re-development Enhancement LZL 1, o <N CO «/"> CN 32 m Banking Financial (excluding Banking) Engineering Inventory 3GL Banking Personnel Banking Banking COBOL ACCESS CLIPPER EASYTRIEV E ACCESS NATURAL COBOL EASYTRIEV E 3GL MR PC PC Enhancement 3GL PC s Enhancement Enhancement Banking Financial (excluding Banking) Banking Other Logistics Financial (excluding COBOL COBOL OTHER υ NATURAL 3GL 3GL 3GL MR MR MR Enhancement Enhancement (N 00 CN o 1 1 tn Ό Os CO Os CO "3- CN CO CN CN TT CN o 00 o' , ! 1, , o CD , ,02 CN , o' o <3 Os , i 00 o' 3 ^r CO 00 cc O CN , ,00 ZL \ o" , o CD

118 Παράρτημα A Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης Business Area Type Banking) 0β.3 3 ν ϊ J!>f 3 Ο OD do ω & -J Η Development Platform & H G ω 8 O- o > δ Max Team Size Resour ce Level Summary Work Effort Value Adjustment Factor Function Points ISBSG Project ID Other Other Other Legal Other COBOL POWERBUIL DER VISUAL BASIC COBOL II POWERBUIL DER NATURAL 3GL PC 3GL MR Legal Manufacturing Banking Engineering Other Financial (excluding Banking) Financial (excluding Banking)! O % < MR MR Re-development Enhancement G u 8 Q, o 13 uq z TELON OTHER COBOL ApG 3GL G a> Gh G 13 Q PC ACCESS PC Sales Sales PL/I ACCESS NATURAL OTHER ApG Insurance Banking O 3GL ApG 3GL 1 PC MR PC Re-development m»n r- r- ΓΟ 00 <N 00 CM CM CO <N , , , Banking Manufacturing Banking Other Financial (excluding Banking) POWERBUIL DER OTHER ApG COBOL NATURAL POWERBUIL DER ApG 3GL PC Enhancement CM CM rr 1010 Ολ , , , , , , ,93 Os cn 1, in oo O* <n ^r n 00 VO , m CD , , , Enhancement 580 1,00 I'' m CM MR 00 o m Os <o

119 Παράρτημα A Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης

120 Παράρτημα A Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης Business Area Type Primary Programming Language EASYTRIEV E Language Type Development Platform f ' s > δ Max Team Size Resour ce Level Summary Work Effort Value Adjustment Factor Function Points ISBSG Project ID Banking Engineering Legal.1 m Other Banking Other Banking Banking Research & Development SQL OTHER OTHER OTHER COBOL NATURAL FELON COBOL 3GL ApG 3GL MR PC 2537 o CD 2 L6SLZ , , a 5 s 6 _o 73 C Q * u o' 1463 o <N MR Enhancement , VO 00 0, Enhancement Other Banking Insurance Other ACCESS POWERBUIL DER COBOL COBOL ORACLE ACCESS PC 3GL 3GL PC MR Enhancement «r\ VO <N VO <N 108 1, , , r- O , , Telecommunications Financial (excluding Banking) Legal Banking Research & Development Other Financial (excluding Banking) Telecommunications Accounting PC Enhancement <N ,87 ro , NATURAL NATURAL COBOL 3GL Enhancement Enhancement o ' 553 1, , o CD ACCESS OTHER ApG POWERBUIL DER COBOL OTHER ApG ApG PC r- h ολ On 3GL ApG MR MR Enhancement r- </N CNJ 7816 O , Enhancement ,87 r- ON 1,

121 Παράρτημα A Το σύνολο δεδομένων ίων έργων της συγκριτικής μελέτης Business Area Type Legal Other Financial (excluding Banking) Primary Programming Language NATURAL OTHER ω 00 oo O δ Development Platform 1 g l > a Max Team Size ll 11 Summary Work Effort Value Adjustment Factor Function Points Enhancement , Insurance Banking Engineering PL/I COBOL II COBOL ACCESS VISUAL BASIC 3GL 3GL 3GL s PC Telecommunications 1 Banking Legal Banking Other o m o u Legal Legal Manufacturing Research & Development ORACLE COBOL ORACLE NATURAL NATURAL PL/I 3GL 3GL 3GL PC Enhancement MR MR Enhancement Enhancement Enhancement Enhancement 00 <N t"" r_h' Γ" ro 1 1 <N (N CO , ISBSG Project ID O 0, ,12 <N ON On , ACCESS PL/I 3GL PC Enhancement Sales Financial (excluding Banking) Other Engineering COBOL OTHER ApG C++ 3GL ApG 3GL MR Enhancement 53 (N <N 170 1, , I , , , , , ,91 On ,05 O Enhancement , I Other Banking Banking Banking I ORACLE TELON COBOL EASYTRIEV E I % < 3GL PC MR Enhancement <N <N m , I CO o\ o' 230 I ,00 Os CO , ,

122 Παράρτημα A Το σύνολο δεδομένων των έργων της συγκριτικής μελέτης Primary Programming Business Area Type Engineering ACCESS Language Type Development Platform H 1 1 I Max Team Size Resour ce Level Summary 1 W ork Effort Value Adjustment Factor Function Points ISBSG Project ID PC m 599 1,