Αλγόριθµοι Ταξινόµησης

Σχετικά έγγραφα
Αλγόριθµοι Ταξινόµησης

Αλγόριθμοι ταξινόμησης

Διάλεξη 10: Αλγόριθμοι Ταξινόμησης II

Διάλεξη 09: Αλγόριθμοι Ταξινόμησης I

Διδάσκων: Κωνσταντίνος Κώστα Διαφάνειες: Δημήτρης Ζεϊναλιπούρ

Διδάσκων: Παναγιώτης Ανδρέου

Διδάσκων: Παναγιώτης Ανδρέου

Διάλεξη 19: Αλγόριθμοι ΤαξινόμησηςII. Διδάσκων: Παναγιώτης Ανδρέου

Διδάσκων: Κωνσταντίνος Κώστα Διαφάνειες: Δημήτρης Ζεϊναλιπούρ ΕΠΛ 035 Δομές Δεδομένων και Αλγόριθμοι για Ηλ. Μηχ. και Μηχ. Υπολ.

ΠΛΗ111. Ανοιξη Μάθηµα 9 ο. Ταξινόµηση. Τµήµα Ηλεκτρονικών Μηχανικών και Μηχανικών Υπολογιστών Πολυτεχνείο Κρήτης

Διάλεξη 09: Αλγόριθμοι Ταξινόμησης I

Quicksort. Πρόβλημα Ταξινόμησης. Μέθοδοι Ταξινόμησης. Συγκριτικοί Αλγόριθμοι

Αλγόριθμοι Ταξινόμησης Μέρος 2

Αλγόριθµοι και Πολυπλοκότητα

Διαίρει-και-Βασίλευε. Αλγόριθµοι & Πολυπλοκότητα (Χειµώνας 2011) Διαίρει-και-Βασίλευε 2

Δοµές Δεδοµένων. 11η Διάλεξη Ταξινόµηση Quicksort και Ιδιότητες Δέντρων. Ε. Μαρκάκης

ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου,

Quicksort [Hoare, 62] Αλγόριθµοι & Πολυπλοκότητα (Χειµώνας 2011) Quicksort 1

p

Επιμέλεια διαφανειών: Δ. Φωτάκης Τροποποιήσεις-προσθήκες: Α. Παγουρτζής. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Αλγόριθµοι και Πολυπλοκότητα

Ταξινόμηση με συγχώνευση Merge Sort

Quicksort. ημήτρης Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Εθνικό Μετσόβιο Πολυτεχνείο

Quicksort. Επιμέλεια διαφανειών: Δ. Φωτάκης Μικροαλλαγές: Α. Παγουρτζής. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

ΔΟΜΕΣ ΔΕΔΟΜΕΝΩΝ. Ταξινόµηση Mergesort Κεφάλαιο 8. Ε. Μαρκάκης Επίκουρος Καθηγητής

Κατ οίκον Εργασία 2 Σκελετοί Λύσεων

ιαίρει-και-βασίλευε ημήτρης Φωτάκης Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο

ΔΟΜΕΣ ΔΕΔΟΜΕΝΩΝ. Ταξινόµηση Quicksort Κεφάλαιο 7. Ε. Μαρκάκης Επίκουρος Καθηγητής

Σχεδίαση και Ανάλυση Αλγορίθμων

Quicksort. ιδάσκοντες: Σ. Ζάχος,. Φωτάκης Επιμέλεια διαφανειών:. Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Δομές Δεδομένων. Δημήτρης Μιχαήλ. Ταξινόμηση. Τμήμα Πληροφορικής και Τηλεματικής Χαροκόπειο Πανεπιστήμιο

Πρόβληµα Επιλογής. Αλγόριθµοι & Πολυπλοκότητα (Χειµώνας 2011) Επιλογή 1

Εισ. Στην ΠΛΗΡΟΦΟΡΙΚΗ. Διάλεξη 7 η. Βασίλης Στεφανής

Αλγόριθµοι και Πολυπλοκότητα

Αλγόριθµοι και Πολυπλοκότητα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

Δοµές Δεδοµένων. 10η Διάλεξη Ταξινόµηση. E. Μαρκάκης

Δομές Δεδομένων & Αλγόριθμοι

5. Απλή Ταξινόμηση. ομές εδομένων. Χρήστος ουλκερίδης. Πανεπιστήμιο Πειραιώς Σχολή Τεχνολογιών Πληροφορικής και Επικοινωνιών Τμήμα Ψηφιακών Συστημάτων

Merge Sort (Ταξινόμηση με συγχώνευση) 6/14/2007 3:04 AM Merge Sort 1

Επιλογή. Πρόβλημα Επιλογής. Μέγιστο / Ελάχιστο. Εφαρμογές

Ταξινόμηση. Σαλτογιάννη Αθανασία

Δομές Δεδομένων & Αλγόριθμοι

Άπληστοι Αλγόριθµοι (CLR, κεφάλαιο 17)

ΕΠΛ231 Δομές Δεδομένων και Αλγόριθμοι 4. Παραδείγματα Ανάλυσης Πολυπλοκότητας Ανάλυση Αναδρομικών Αλγόριθμων

Επιλογή. Επιμέλεια διαφανειών: Δ. Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Εθνικό Μετσόβιο Πολυτεχνείο

ίκτυα Ταξινόµησης (CLR κεφάλαιο 28)

Σχεδίαση Αλγορίθμων -Τμήμα Πληροφορικής ΑΠΘ - Εξάμηνο 4ο

Ταξινόμηση κάδου και ταξινόμηση Ρίζας Bucket-Sort και Radix-Sort

Διάλεξη 17: O Αλγόριθμος Ταξινόμησης HeapSort

Προγραµµατισµός 1 Ταξινόµηση - Αναζήτηση

Αναδροµή. Σε αυτήν την (βοηθητική) ενότητα θα µελετηθούν τα εξής : Η έννοια της αναδροµής Υλοποίηση και αποδοτικότητα Αφαίρεση της αναδροµής

Διάλεξη 04: Παραδείγματα Ανάλυσης

Δομές Δεδομένων και Αλγόριθμοι

Προχωρημένες έννοιες προγραμματισμού σε C

Διάλεξη 04: Παραδείγματα Ανάλυσης Πολυπλοκότητας/Ανάλυση Αναδρομικών Αλγόριθμων

Διαίρει-και-Βασίλευε. Διαίρει-και-Βασίλευε. MergeSort. MergeSort. Πρόβλημα Ταξινόμησης: Είσοδος : ακολουθία n αριθμών (α 1

Σχεδίαση και Ανάλυση Αλγορίθμων

auth Αλγόριθμοι - Τμήμα Πληροφορικής ΑΠΘ - Εξάμηνο 4ο

Επιλογή. ημήτρης Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Εθνικό Μετσόβιο Πολυτεχνείο

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ. ΘΕΩΡΗΤΙΚΗ ΑΣΚΗΣΗ 2 ΛΥΣΕΙΣ Γραμμικές Δομές Δεδομένων, Ταξινόμηση

Εργαστήριο 2: Πίνακες

Κατ οίκον Εργασία 3 Σκελετοί Λύσεων

Ταχεία Ταξινόμηση Quick-Sort

ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ. Δομές Δεδομένων. Ιωάννης Γ. Τόλλης Τμήμα Επιστήμης Υπολογιστών Πανεπιστήμιο Κρήτης

Στην ενότητα αυτή θα µελετηθούν τα εξής θέµατα:

Εργαστηριακή Άσκηση 1

Αλγόριθµοι και Πολυπλοκότητα

Ταξινόµηση. Παύλος Εφραιµίδης. οµές εδοµένων και

8. Σωροί (Heaps)-Αναδρομή- Προχωρημένη Ταξινόμηση

Επιλογή. ιδάσκοντες: Σ. Ζάχος,. Φωτάκης Επιμέλεια διαφανειών:. Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Αλγόριθμοι Ταξινόμησης Bubble Sort Quick Sort. Αντρέας Δημοσθένους Καθηγητής Πληροφορικής Ολυμπιάδα 2012

Αναδρομικές Σχέσεις «ιαίρει-και-βασίλευε»

Δομές Δεδομένων και Αλγόριθμοι

Αλγόριθμοι και Πολυπλοκότητα

Ταξινόμηση. Παύλος Εφραιμίδης. Δομές Δεδομένων Ταξινόμηση 1

Διδάσκων: Παναγιώτης Ανδρέου

ΗΥ240 - Παναγιώτα Φατούρου 2

Tυχαιοποιηµένοι Αλγόριθµοι (CLR, κεφάλαιo 8.3 και 10)

Δοµές Δεδοµένων. 9η Διάλεξη Ταξινόµηση - Στοιχειώδεις µέθοδοι. Ε. Μαρκάκης

Ο αλγόριθμος Quick-Sort. 6/14/2007 3:42 AM Quick-Sort 1

Προγραµµατιστικές Τεχνικές

Στην ενότητα αυτή θα µελετηθούν τα εξής θέµατα:

Προγραμματισμός Ι (ΗΥ120)

Στοιχεία Αλγορίθµων και Πολυπλοκότητας

Εισαγωγή στους Αλγορίθμους

ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ. Δομές Δεδομένων. Ιωάννης Γ. Τόλλης Τμήμα Επιστήμης Υπολογιστών Πανεπιστήμιο Κρήτης

Διδάσκων: Παναγιώτης Ανδρέου

Κεφάλαιο 4. Διαίρει και Βασίλευε (Divide and Conquer) Χρησιµοποιήθηκε υλικό από τις αγγλικές διαφάνειες του Kevin Wayne.

Εισαγωγή στην Ανάλυση Αλγορίθμων

ΔΟΜΕΣ ΔΕΔΟΜΕΝΩΝ Φ Ρ Ο Ν Τ Ι Σ Τ Η Ρ Ι Ο 1 : ΤΑΞΙΝΟΜΗΣΗ Δ Ρ Ι Τ Σ Α Σ Η Λ Ι Α Σ Υ Π Ο Ψ Η Φ Ι Ο Σ Δ Ι Δ Α Κ Τ Ο Ρ Α Σ

Διδάσκων: Παναγιώτης Ανδρέου

Διάλεξη 22: Δυαδικά Δέντρα. Διδάσκων: Παναγιώτης Ανδρέου

Κατ οίκον Εργασία 1 Σκελετοί Λύσεων

ιαφάνειες παρουσίασης #4

ΑΛΓΟΡΙΘΜΟΙ Άνοιξη I. ΜΗΛΗΣ

ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ

Heapsort Using Multiple Heaps

Ελάχιστα Γεννητορικά ένδρα

Ουρές Προτεραιότητας: Υπενθύμιση. Σωροί / Αναδρομή / Ταξινόμηση. Υλοποίηση Σωρού. Σωρός (Εισαγωγή) Ορέστης Τελέλης

Transcript:

Αλγόριθµοι Ταξινόµησης Στην ενότητα αυτή θα µελετηθούν τα εξής επιµέρους θέµατα: Οι αλγόριθµοι ταξινόµησης SelectionSort, InsertionSort, Mergesort, QuickSort, BucketSort Κάτω φράγµα της αποδοτικότητας Αλγορίθµων Ταξινόµησης και δένδρα αποφάσεων ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-1

Αλγόριθµοι ταξινόµησης οθέντων µιας συνάρτησης f (ordering function) και ενός συνόλου στοιχείων x 1, x2,..., x n η ταξινόµηση συνίσταται στη µετάθεση των στοιχείων ώστε να µπουν σε µια σειρά x, x,..., x η οποία να ικανοποιεί ή f ( x k 1 k ) 1 f k 2 ( x k 2 ) k n... f ( x k n ) f ( x k 1 ) f ( x k 2 )... f ( x k n ). Θα εξετάσουµε αλγόριθµους ταξινόµησης µε κύριο γνώµονα την αποδοτικότητά τους (χρόνος εκτέλεσης, χρήση µνήµης). ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-2

Ταξινόµηση µε Επιλογή (Selection Sort) Η ταξινόµηση µε επιλογή βασίζεται στα ακόλουθα τρία βήµατα: 1. επιλογή του ελάχιστου στοιχείου 2. ανταλλαγή µε το πρώτο στοιχείο 3. επανάληψη των βηµάτων 1 και 2 για τα υπόλοιπα στοιχεία. Το ελάχιστο µεταξύ i στοιχείων µπορεί να βρεθεί µε τη χρήση ενός while-loop, σε χρόνο Ο(i). Άρα ο χρόνος εκτέλεσης του Selection Sort είναι n 1 i= 1 i = O( n 2 ) ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-3

ιαδικασία Selection Sort void SelectionSort(int A[],int n){ int k; int temp; for (int i=1; i<n; i++){ k=i; for (j = i+1; j <= n; j++) if A[j]<A[k] k=j; temp = A[i]; A[i] = A[k]; A[k] = temp; } } ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-4

Παράδειγµα Selection Sort Θέση 1 2 3 4 5 6 Αρχική Τιµή 34 8 64 51 32 33 Με i=1 8 34 64 51 32 33 Με i=2 8 32 64 51 34 33 Με i=3 8 32 33 51 34 64 Με i=4 8 32 33 34 51 64 Με i=5 8 32 33 34 51 64 ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-5

Ταξινόµηση µε εισαγωγή (Insertion Sort) Η ταξινόµηση µε εισαγωγή εισάγει ένα-ένα τα στοιχεία του συνόλου που εξετάζεται, στη σωστή τους θέση. Στη φάση i: 1. υποθέτουµε πως ο πίνακας A[1..(i-1)] είναι ταξινοµηµένος, 2. εισάγουµε το στοιχείο Α[i] στην ακολουθία Α[1..(i-1)] στη σωστή θέση, 3. µετακινώνταςόλαταστοιχείαπουείναιµεγαλύτερα του Α[i] µια θέση δεξιά. Έστω µια ταξινοµηµένη ακολουθία από i στοιχεία. Ένα στοιχείο µπορεί να εισαχθεί στη σωστή του θέση µέσα στην ακολουθία σε χρόνο Ο(i). Άρα ο χρόνος εκτέλεσης του Insertion Sort είναι n 1 i= 1 i = O( n 2 ) ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-6

ιαδικασία Insertion Sort void ΙnsertionSort(int A[], int n){ int temp; for (int i=2; i<=n; i++){ temp=a[i]; for (int j=i; (j > 1)&&(temp < A[j-1]); j--) A[j]=A[j-1]; } } A[j]=temp; ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-7

Παράδειγµα Insertion Sort Θέση 1 2 3 4 5 6 Αρχική Τιµή 34 8 64 51 32 21 Με i=2 8 34 64 51 32 21 Με i=3 8 34 64 51 32 21 Με i=4 8 34 51 64 32 21 Με i=5 8 32 34 51 64 21 Με i=6 8 21 32 34 51 64 ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-8

Σύγκριση Insertion Sort και Selection Sort Ο αλγόριθµος Selection sort απαιτεί Ο(n²) βήµατα (δεν είναι δυνατή η γρήγορη έξοδος από τους βρόχους), έτσι η βέλτιστη περίπτωση είναι η ίδια µε τη χείριστη περίπτωση. Στον αλγόριθµο Insertion Sort, είναι δυνατό να βγούµε από το δεύτερο βρόχο γρήγορα. Στη βέλτιστη περίπτωση (ο πίνακας είναι ήδη ταξινοµηµένος), ο χρόνος εκτέλεσης είναι της τάξης Ο(n). Παρά τούτου, το Selection Sort είναι πιο αποδοτικό αν κρίνουµε τους αλγόριθµους µε βάση τον αριθµό των µετακινήσεων (swaps) που απαιτούν: το selection sort απαιτεί Ο(n), µετακινήσεις, το insertion sort, απαιτεί Ο(n²) µετακινήσεις (στη χείριστη περίπτωση όπου ο αρχικός πίνακας είναι ταξινοµηµένος σε φθίνουσα σειρά). ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-9

Ταξινόµηση µε Συγχώνευση (Merge sort) Η ταξινόµηση µε συγχώνευση είναι διαδικασία διαίρει και βασίλευε (divide and conquer, δηλ. αναδροµική διαδικασία όπου το πρόβληµα µοιράζεται σε µέρη τα οποία λύνονται ξεχωριστά, και µετά οι λύσεις συνδυάζονται.). Χρόνος Εκτέλεσης: Ο(n log n). Απαιτεί τη χρήση βοηθητικού πίνακα, αλλά είναι εύκολα κατανοητή και υλοποιήσιµη διαδικασία. Περιγραφή του Mergesort 1. Μοιράζουµε τον πίνακα στα δύο. 2. Αναδροµικά ταξινοµούµε τα δύο µέρη. 3. Συγχωνεύουµε τα αποτελέσµατα των πιο πάνω αναδροµικών ταξινοµήσεων. Παρατηρούµε ότι κατά την i-οστή κλήση της αναδροµικής διαδικασίας, κοµµάτια µεγέθους 2 i είναι ταξινοµηµένα. Άρα το Merge Sort χρειάζεται να κληθεί log n φορές µέχρις ότου να ταξινοµηθεί ολόκληρος ο πίνακας. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-10

Παραδείγµατα διαδοχικών κλήσεων εδοµένο Εισόδου: 34 57 28 3 15 8 26 73 Μετά την πρώτη εκτέλεση του Μergesort 34 57 3 28 8 15 26 73 Μετά τη δεύτερη εκτέλεση του Μergesort 3 28 34 57 8 15 26 73 Μετά την τρίτη εκτέλεση του Μergesort 3 8 15 26 28 34 57 73 ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-11

Ηδιαδικασία συγχώνευσης ύο ταξινοµηµένες λίστες µπορούν να συγχωνευθούν σε µία ταξινοµηµένη λίστα σε χρόνο γραµµικό ως προς το άθροισµα των µεγεθών των δύο λιστών. Η διαδικασία απαιτεί τη χρήση βοηθητικού πίνακα. Μπορούµε να χρησιµοποιούµε τον ίδιο βοηθητικό πίνακα temp για όλες τις κλήσεις του ΜergeSort. Μετά από τις δύο αναδροµικές κλήσεις του Μergesort στον αρχικό πίνακα Α, τα δύο µισά του πίνακα είναι ταξινοµηµένα. Αντιγράφουµε τα δύο µισά στο βοηθητικό πίνακα temp, και τα συγχωνεύουµε πίσω στον Α. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-12

Παράδειγµα εκτέλεσης Μerge (Συγχώνευσης) Οι αρχικοί πίνακες και οι αρχικοί δείκτες : *13 17 20 36 *14 16 28 33 Συγκρίνουµε τα στοιχεία που δείχνονται από τους δείκτες, διαλέγουµε και τυπώνουµε το µικρότερο και προχωρούµε το δείκτη αυτού: 13 *17 20 36 *14 16 28 33 Οutput:13 Επαναλαµβάνουµε µέχρις ότου τα στοιχεία του ενός πίνακα εξαντληθούν οπότε τυπώνουµε τα υπόλοιπα στοιχεία του άλλου πίνακα: 13 *17 20 36 14 *16 28 33 Οutput: 13, 14 13 *17 20 36 14 16 *28 33 Output: 13, 14, 16 13 17 *20 36 14 16 *28 33 Output: 13, 14, 16, 17 13 17 20 *36 14 16 28 *33 Output: 13, 14, 16, 17, 20, 28 Output: 13, 14, 16, 17, 20, 28, 33, 36 ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-13

ιαδικασία Merge Sort void MergeSort(int A[], int temp[],int l, int r){ if (l==r) return; int mid = (l+r)/2; Mergesort(A, temp, l, mid); Mergesort(A, temp, mid+1, r); } int i, j, k; for (i=l; i<= r; i++) temp[i] = A[i]; for ( i=l,j=mid+1,k=l; i<=mid && j<=r && k<=r; k++) if (temp[i]<temp[j]) A[k]= temp[i]; i++; else A[k]= temp[j]; j++; for ( ; i <= mid ; i++, k++ ) A[k] = temp[i]; for ( ; j <= r ; j++, k++ ) A[k] = temp[j]; ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-14

Παράδειγµα Merge Sort εδοµένο Εισόδου: 1 2 3 4 5 6 7 8 36 20 17 13 28 14 23 15 l=1, r=8, mid = 4 Μετά από την εκτέλεση των Mergesort(Α,temp,1,4) και Mergesort(A, temp, 5, 8) 1 2 3 4 5 6 7 8 13 17 20 36 14 15 23 28 Μετά από την αντιγραφή ο πίνακας temp περιέχει τα ίδια στοιχεία όπως ο Α Μετά από την εκτέλεση των τελευταίων τριών for-βρόχων ο Α περιέχει 1 2 3 4 5 6 7 8 13 14 15 17 20 23 28 36 ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-15

Μερικά Σχόλια Ηαντιγραφή και η συγχώνευση παίρνουν χρόνο Ο(n). Στη χείριστη περίπτωση ο χρόνος εκτέλεσης ικανοποιεί: 1. Βάση της αναδροµής Τ(0) = Τ(1) = 1 2. Αναδροµική περίπτωση Τ(n) = 2 T(n/2) + n Άρα ο χρόνος εκτέλεσης είναι Θ(n log n). Μπορούµε να µειώσουµε την ανάγκη αντιγραφής (από τον Α στον temp) µε την ανταλλαγή των ρόλων των δύο πινάκων σε διαδοχικές κλήσεις της διαδικασίας Mergesort. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-16

Κάτω φράγµα για αλγόριθµους ταξινόµησης Ξέρουµεπως το πρόβληµα ταξινόµησης µπορεί να λυθεί σε χρόνο Ο(n log n) (Heap Sort και Merge Sort). Υπάρχει πιο αποδοτικός αλγόριθµος ταξινόµησης; Θα δείξουµε πως κάθε αλγόριθµος ταξινόµησης είναι Ω(n log n). Ως µονάδα µέτρησης αποδοτικότητας θα χρησιµοποιήσουµε τον αριθµό συγκρίσεων που απαιτεί κάποιος αλγόριθµος. Υποθέτουµε ότι κάθε στοιχείο του πίνακα που θέλουµε να ταξινοµήσουµε είναι διαφορετικό από όλα τα άλλα. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-17

Σειριακή διάταξη στοιχείων και ταξινόµηση Ησυµπεριφορά ενός αλγόριθµου ταξινόµησης εξαρτάται µόνο από τη σχετική σειρά µεταξύ των στοιχείων που ταξινοµούµε και όχι από τα συγκεκριµένα στοιχεία. ηλαδή: αν Α και Β είναι δύο πίνακες τέτοιοι ώστε για κάθε i και j, A[i] < A[j] αν και µόνο αν Β[i] < B[j], τότε ο αριθµός των βηµάτων (όπως και ο αριθµός των συγκρίσεων) που θα εκτελέσει κάποιος αλγόριθµος µε δεδοµένο εισόδου Α θα είναι ο ίδιος µε τον ανάλογο αριθµό που θα εκτελέσει µε δεδοµένο εισόδου Β. Άρα, η σειριακή διάταξη των στοιχείων του δεδοµένου εισόδου Α, Α[1],Α[2],,Α[n], έχει κύρια σηµασία. Υπάρχουν n! διαφορετικές τοποθετήσεις n ξεχωριστών στοιχείων. Άρα υπάρχουν n! διαφορετικά δεδοµένα εισόδου. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-18

Ανάλυση Αλγόριθµων Ταξινόµησης Θα περιγράψουµε τη συµπεριφορά ενός αλγόριθµου ως ένα δένδρο αποφάσεων (decision tree). Στη ρίζα επιτρέπονται όλες οι διαφορετικές σειρές των στοιχείων. Ας υποθέσουµε πως ο αλγόριθµος συγκρίνει τα δύο πρώτα στοιχεία Α[1] και Α[2]. Τότε το αριστερό παιδί του δένδρου αντιστοιχεί στην περίπτωση Α[1] < Α[2] και το δεξί παιδί της ρίζας στην περίπτωση Α[2] < Α[1]. Σε κάθε κόµβο, µια σειρά στοιχείων είναι νόµιµη αν ικανοποιεί όλες τις συγκρίσεις στο µονοπάτι από τη ρίζα στον κόµβο. Τα φύλλα αντιστοιχούν στον τερµατισµό του αλγόριθµου και κάθε φύλλο περιέχει το πολύ µια νόµιµη σειρά στοιχείων. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-19

b<c ένδρο αποφάσεων για 3 στοιχεία a<b<c a<c<b c<a<b a<b a<b<c a<c<b b<a<c b<c<a c<a<b c<b<a b<a b<a<c b<c<a c<b<a c<b b<c c<b a<b<c a<c<b c<a<b b<a<c b<c<a c<b<a a<c c<a a<c c<a a<c<b c<a<b b<a<c b<c<a ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-20

Κάτω φράγµα Έστω P ένας αλγόριθµός ταξινόµησης, και έστω T το δένδρο αποφάσεων του P µε δεδοµένο εισόδου µεγέθους n. Ο αριθµός των φύλλων του Τ είναι n! Το ύψος του Τ είναι ένα κάτω φράγµα του χείριστου χρόνου εκτέλεσης του αλγόριθµου P. Ένα δυαδικό δένδρο ύψους d έχει το πολύ 2 d φύλλα. Άρα το Τ έχει ύψος το λιγότερο log n! Συµπέρασµα: P Ω(log n!) = Ω(n log n). H µέση περίπτωση είναι επίσης n log n. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-21

Αλγόριθµος Quick Sort Πρακτικά, ο πιo γρήγορος αλγόριθµος. Στη χείριστη περίπτωση ο αλγόριθµος Quick Sort είναι Ο(n²). Τέτοιες περιπτώσεις όµως έχουν µικρή πιθανότητα. Έχουµε µάλιστα ότι: Στη µέση περίπτωση ο αλγόριθµος είναι Ο(n log n). Τα περισσότερα συστήµατα χρησιµοποιούν το Quick Sort (π.χ. Unix). Όπως και το Merge Sort, παράδειγµα αλγόριθµου διαίρει και βασίλευε. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-22

Περιγραφή του Quick Sort Aν το δεδοµένο εισόδου περιέχει 0 ή 1 στοιχεία δεν κάνουµε τίποτα. ιαφορετικά, αναδροµικά: 1. διαλέγουµε ένα στοιχείο p, το οποίο ονοµάζουµε το άξον στοιχείο (the pivot) και το αφαιρούµε από το δεδοµένο εισόδου. 2. χωρίζουµε τον πίνακα σε δύο µέρη S1 και S2, όπου το S1 περιέχει όλα τα στοιχεία του πίνακα που είναι µικρότερα από το p, και το S2 περιέχει τα υπόλοιπα στοιχεία (όλα τα στοιχεία που είναι µεγαλύτερα από το p). 3. Καλούµε αναδροµικά τον αλγόριθµο στο S1, και παίρνουµε απάντηση το Τ1, και στο S2, και παίρνουµε απάντηση το Τ2. 4. Επιστρέφουµε τον πίνακα Τ1, p, T2. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-23

Παράδειγµαεφαρµογής του Quicksort 72 12 1 34 3 50 28 6 5 22 91 73 χωρίζουµε µε pivot το 28 12 1 72 3 6 28 34 50 5 22 91 73 Quicksort Quicksort 1, 3, 5, 6, 12, 22 34, 50, 72, 73, 91 Αποτέλεσµα: 1, 3, 5, 6, 12, 22, 28, 34, 50, 72, 73, 91 ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-24

ΟΑλγόριθµος Quicksort void Quicksort(int A[], int i, int j){ if (j-i<=1) return; int pivotindex = FindPivot(A, i, j); int pivot = A[pivotIndex]; swap(a, pivotindex, j); int k = partition (A, i, j-1, pivot); swap(a, k, j); Quicksort(A, i, k-1); QuickSort(A, k+1, j); } όπου η διαδικασία FindPivot(A,i,j) βρίσκει και επιστρέφει τη θέση του άξονα του Α[i j] και η διαδικασία partition (A,i,j-1,pivot), χωρίζει τον πίνακα Α[i j-1] έτσι ώστε Α[i..k-1] να περιέχει στοιχεία < pivot, A[k j-1] να περιέχει στοιχεία >pivot, και επιστρέφει την τιµή k. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-25

ιαδικασία FindPivot(A, i, j) Η αποδοτικότητα του αλγόριθµου βασίζεται στην επιλογή του µεσαίου στοιχείου (άξονα), pivot. Το pivot θα πρέπει να χωρίσει τον πίνακα Α, περίπου, σε δύο µισά. Ιδανικά, το pivot θα θέλαµε να είναι ακριβώς το µεσαίο των στοιχείων. Από την άλλη, πρέπει να µπορούµε να βρίσκουµε το pivot γρήγορα, σε χρόνο Ο(1). Πρώτη προσπάθεια: διαλέγουµε το πρώτο στοιχείο. Κακή επιλογή γιατί συχνά το δεδοµένο εισόδου είναι σχεδόν ταξινοµηµένο. Κατά συνέπεια, τα δύο µέρη θα διαφέρουν κατά πολύ ως προς τον αριθµό των στοιχείων τους, και ο αλγόριθµος θα είναι συχνά της τάξης Ο(n²). Καλύτερη επιλογή, το στοιχείο που βρίσκεται στη µέση του πίνακα: int FindPivot(int A[],int l,int r){ return ((l+r)/2); } ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-26

ιαδικασία Partition(A, l, r, p) Με δεδοµένο εισόδου τον πίνακα Α[l r], και pivot p, θέλουµε να χωρίσουµε τον πίνακα σε δύο µέρη ως προς το p. To πιο πάνω πρέπει να επιτευχθεί χωρίς τη χρήση δεύτερου πίνακα. Βασική Ιδέα: 1. Επαναλαµβάνουµε τα εξής µέχρις ότου τα l και r να διασταυρωθούν. 2. Προχώρα το l προς τα δεξιά όσο τα στοιχεία που βρίσκεις είναι µικρότερα του p, 3. προχώρα το r προς τα αριστερά όσο τα στοιχεία που βρίσκεις είναι µεγαλύτερα του p, 4. αντάλλαξε τα στοιχεία που δείχνονται από τα l και r. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-27

Ηδιαδικασία Partition int partition(int A[], int l, int r, int p)} while (r>l) { while (A[l]< p) l++; while (A[r]> p && r>= l) r--; if (l<r) swap (A, l, r); else break; } return l; } ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-28

Παράδειγµα Εκτέλεσης Partition εδοµένο Εισόδου: 1 2 3 4 5 6 7 8 72 6 37 48 30 42 83 75 pivot = 48, µετακίνηση του pivot στο τέλος (swap(4, 8)): 72 6 37 75 30 42 83 48 l r εκτέλεση του Partition(A, l, r, 48): 72 6 37 75 30 42 83 48 l r 42 6 37 75 30 72 83 48 l r 42 6 37 30 75 72 83 48 l r 42 6 37 30 75 72 83 48 r l ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-29

Παράδειγµα Εκτέλεσης Partition Ηδιαδικασία Partition(A, 1, 7, 48) επιστρέφει την τιµή l=5 και ακολουθείται από τη µετακίνηση swap(5, 8): 42 6 37 30 48 72 83 75 Στη συνέχεια εκτελούνται αναδροµικά οι διαδικασίες Quicksort(A, 1,4), Quicksort(A, 6, 8), και έτσι επιστρέφεται το επιθυµητό αποτέλεσµα. Σηµειώστε πως µετά την εκτέλεση της Partition το στοιχείο 48 (και σε κάθε κλήση της αναδροµής το στοιχείο pivot) αποκτά τη σωστή του θέση στην ταξινοµηµένη µορφή του πίνακα. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-30

Ανάλυση του Χρόνου Εκτέλεσης Ηεύρεση του pivot απαιτεί χρόνο Ο(1) και η διαδικασία Partition(Α, l, r, p) εκτελείται σε χρόνο O(r-l) O(n). Έστω Τ(n) o χρόνος εκτέλεσης του Quicksort σε δεδοµένο εισόδου µεγέθους n. Για τη βάση της αναδροµής έχουµε: T(0) = T(1) = c και για n > 1 T(n) = T(i) + T(n-i-1) + cn όπου i είναι το µέγεθος είναι το µέγεθος του αριστερού κοµµατιού µετά από την Partition. Χείριστη περίπτωση: i = 0 ή n-1. Τότε Τ(n) = T(n-1) + cn και Τ(n) O(n²). Βέλτιστη περίπτωση: i = n/2 T(n) = 2 T(n/2) + cn και Τ(n) O(n log n). ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-31

ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-32 Ανάλυση Μέσης Περίπτωσης Θεωρούµεόλες τις πιθανές περιπτώσεις της συµπεριφοράς της διαδικασίας Partition(A, i, j, p), όπου j-i = n-1. Υπάρχουν n τέτοιες περιπτώσεις: το αριστερό κοµµάτι του partition µπορεί να έχει από 0 µέχρι n-1 στοιχεία. Ας υποθέσουµε πως οι n αυτές περιπτώσεις είναι ισοπίθανες, δηλαδή η κάθε µια έχει πιθανότητα 1/n. Τότε η µέση περίπτωση του Τ(n) δίνεται ως Επίλυση της αναδροµικής σχέσης δίνει T(n) O(n log n). = = + = + + = 1 0 1 0 ) ( 2 )] 1 ( ) ( [ 1 ) ( n i n i i T n n c i n T i T n n c n T

Παρατηρήσεις Πως δουλεύει η διαδικασία Partition µε δεδοµένο εισόδου πίνακα µε πολλά στοιχεία ίσα µε το pivot; Υπάρχουν άλλες στρατηγικές για επιλογή του pivot; 1. pivot = mid(a[1], A[n], A[n/2]) 2. Στην πράξη, για δεδοµένα εισόδου µικρού µεγέθους το InsertionSort δουλεύει πιο αποδοτικά. Εποµένως µια καλή στρατηγική θα ήταν να συνδυάσουµε τους δύο αλγόριθµους ώστε σε µικρούς πίνακες (π.χ. n 10) να χρησιµοποιείται το ΙnsertionSort και σε µεγάλους το Quicksort: στη διαδικασία Quicksort ανταλλάξτε την πρώτη γραµµή µε την εξής: if (j-i)<= 10 InsertionSort(A[i j], j-i); Ακόµα ένας πιθανός τρόπος βελτίωσης του χρόνου εκτέλεσης είναι η χρήση στοίβας αντί αναδροµής. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-33

Αλγόριθµος BucketSort Έστω ότι ο πίνακας A περιέχει στοιχεία που ανήκουν στο διάστηµα [1..m]. O αλγόριθµος BucketSort πετυχαίνει ταξινόµηση του Α σε χρόνο Ο(n+m): 1. ηµιουργούµε ένα πίνακα count µήκους m και θέτουµε count[i]=0, για όλα τα i. 2. ιαβάζουµε τον πίνακα Α ξεκινώντας από το πρώτο στοιχείο. Αν διαβάσουµε το στοιχείο α, τότε αυξάνουµε την τιµή του count[α] κατά ένα. 3. ιαβάζουµε τον πίνακα count, o oποίος περιέχει αναπαράσταση του ταξινοµηµένου πίνακα, και µεταβάλλουµε ανάλογα τον πίνακα Α. π.χ. µε δεδοµένο εισόδου Α = [3, 5, 7, 2, 1, 6, 7, 4, 5, 6, 1, 3, 7] εφαρµογή του αλγόριθµου δίνει count = [2, 1, 2, 1, 2, 2, 3] το οποίο µεταφράζεται ως Α = [1, 1, 2, 3, 3, 4, 5, 5, 6, 6, 7, 7, 7] ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-34

Χρόνος Εκτέλεσης Αν m O(n), τότε ο χρόνος εκτέλεσης του αλγόριθµου είναι Ο(n). Αυτό διαψεύδει το κάτω φράγµα Ω(n log n) της διαφάνειας 22; ΟΧΙ, γιατί το µοντέλο είναι διαφορετικό: στην ανάλυση κάτω φράγµατος υποθέσαµε ότι η µόνη πράξη που µπορούµε να εφαρµόσουµε στα δεδοµένα είναι η δυαδική σύγκριση στοιχείων. Ο αλγόριθµος BucketSort όµως στο Βήµα 2 ουσιαστικά εφαρµόζει m- αδική σύγκριση, σε χρόνο Ο(1). Αυτό µας υπενθυµίζει πως σχεδιάζοντας ένα αλγόριθµο και λαµβάνοντας υπόψη κάποια αποδεδειγµένα κάτω φράγµατα πρέπει πάντα να αναλύουµε το µοντέλο στο οποίο δουλεύουµε: η ύπαρξη και αξιοποίηση περισσότερων πληροφοριών πιθανόν να επιτρέπουν τη δηµιουργία αποδοτικότερων αλγορίθµων. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-35

Ταξινόµηση πολύπλοκων αρχείων Οι αλγόριθµοι που έχουµε παρουσιάσει υποθέτουν πως οι πίνακες-δεδοµένα εισόδου περιέχουν ακέραιους αριθµούς και προϋποθέτουν µετακίνηση των στοιχείων µέσα στον πίνακα. Συχνά θέλουµε να ταξινοµήσουµε αρχεία που περιέχουν πολύπλοκα αντικείµενα ως προς διάφορες σχέσεις σειράς (π.χ. ως προς αλφαβητική σειρά του τελευταίου πεδίου των αντικειµένων). Σε τέτοιες περιπτώσεις η µετακίνηση (swapping) στοιχείων είναι δαπανηρή. Αυτό µπορεί να αποφευχθεί µε τη χρήση δεικτών: ως δεδοµένο εισόδου χρησιµοποιούµε πίνακα που περιέχει δείκτες στα στοιχεία που θέλουµε να ταξινοµήσουµε. Σύγκριση γίνεται µε έλεγχο των σχετικών πεδίων των αντικειµένων που δείχνονται από τους δείκτες και µετακίνηση γίνεται στο επίπεδο των δεικτών. Οι αλγόριθµοι παραµένουν οι ίδιοι. Η µέθοδος ονοµάζεται έµµεση ταξινόµηση (indirect sorting). ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-36

Εξωτερική ταξινόµηση Έχουµευποθέσει πως για την ταξινόµηση ενός αρχείου µπορούµε να µεταφέρουµε τις εγγραφές του αρχείο σε ένα πίνακα και να εφαρµόσουµε ένα αλγόριθµο ταξινόµησης. Αυτό είναι ρεαλιστικό για µικρού µεγέθους αρχεία (που µπορούν να χωρέσουν σε ένα πίνακα κύριας µνήµης). Αυτή η µέθοδος ονοµάζεται εσωτερική ταξινόµηση (internal sorting). Σε αντίθεση, όταν θέλουµε να ταξινοµήσουµε µεγάλα αρχεία επιβάλλεται η χρήση βοηθητικής µνήµης (external sorting). Η ταξινόµηση γίνεται κατά τµήµατα: ένα µέρος του αρχείου µεταφέρεται στην κύρια µνήµη, ταξινοµείται και αποθηκεύεται σε ένα προσωρινό αρχείο. Το επόµενο τµήµα µεταφέρεται στην κύρια µνήµη και ταξινοµείται και µετά συγχωνεύεται µε το προσωρινό αρχείο. Η διαδικασία επαναλαµβάνεται µέχρι εξάντλησης του αρχικού αρχείου. Με βάση αυτή την κύρια ιδέα υπάρχουν διάφοροι αλγόριθµοι εξωτερικής ταξινόµησης. Κύριος στόχος τους είναι η αποδοτική επεξεργασία της βοηθητικής µνήµης. ΕΠΛ 231 οµές εδοµένων και Αλγόριθµοι Άννα Φιλίππου, 2006 10-37