ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη (2η έκδοση, 20/5/2013)

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη (2η έκδοση, 20/5/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 14 Μαΐου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 1/ 34

Περιεχόµενα 12ης εβδοµάδας 1 Το Κανάλι Πολλαπλής Πρόσβασης (Multiple Access Channel - MAC) ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 2/ 34

Κανάλι Πολλαπλής Πρόσβασης (Multiple Access Channel) Πολλοί χρήστες που επιθυµούν να επικοινωνήσουν µε ένα κεντρικό σταθµό. Παράδειγµα: Κινητά τερµατικά προς σταθµό ϐάσης. Το κανάλι πολλών χρηστών που έχει κατανοηθεί καλύτερα. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 3/ 34

Κανάλι Πολλαπλής Πρόσβασης (MAC) (2) Εως τώρα, η παράµετρος που επηρέαζε την επικοινωνία ήταν ο ϑόρυβος (η τυχαιότητα του καναλιού). Στο MAC, επιπλέον του ϑο- ϱύβου, η επικοινωνία επηρεάζεται από παρεµβολές (interference). Πόση πληροφορία µπορούµε να µεταδώσουµε για κάθε χρήστη, και πώς σχετίζονται µεταξύ τους οι χωρητικότητες των χρηστών; ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 4/ 34

Κανάλι Πολλαπλής Πρόσβασης (MAC) Ορισµοί Για απλοποίηση, ϑα αναφερθούµε, κατ αρχάς, σε MAC 2 χρηστών. Ορισµός 12.1 ιακριτό MAC χωρίς µνήµη: Αποτελείται από 3 αλ- ϕάβητα X 1, X 2 και Y και πίνακα πιθανοτήτων µετάβασης p(y x 1, x 2 ). Ορισµός 12.2 Κώδικας ((2 nr1, 2 nr2 ), n) για το MAC: Αποτελείται από δύο σύνολα ακεραίων M 1 = { 1, 2,..., 2 nr1 } και M2 = { 1, 2,..., 2 nr 2 } (σύνολα µηνυµάτων message sets), δύο συναρτήσεις κωδικοποίησης (encoding functions): X 1 : M 1 X n 1 και X 2 : M 2 X n 2, και µια συνάρτηση αποκωδικοποίησης (decoding function) g : Y n M 1 M 2. Θεωρούµε τέλειο συγχρονισµό µεταξύ των χρηστών. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 5/ 34

1 Το Κανάλι Πολλαπλής Πρόσβασης (Multiple Access Channel - MAC) ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 6/ 34

Μετάδοση στο MAC Στο διακριτό κανάλι χωρίς µνήµη ενός χρήστη, το ερώτηµα που µας απασχόλησε ήταν πόσα είναι τα διαφορετικά µηνύµατα που µπορούµε να µεταδώσουµε αξιόπιστα µέσα στο κανάλι. Στο MAC (χωρίς µνήµη) ϑέλουµε να ϐρούµε πόσα είναι τα δια- ϕορετικά µηνύµατα που µπορεί να µεταδώσει αξιόπιστα µέσα στο κανάλι κάθε χρήστης. Οι χρήστες δεν µπορούν να συνεργαστούν για τη µετάδοση. Ο χρήστης 1 επιλέγει ένα από 2 nr1 µηνύµατα και στέλνει την αντίστοιχη κωδική λέξη στο κανάλι. Οµοίως, ο χρήστης 2 επιλέγει ένα από 2 nr2 µηνύµατα ανεξάρτητα από το χρήστη 1 και εκπέµπει την αντίστοιχη κωδική λέξη. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 7/ 34

Μετάδοση στο MAC (2) Ορισµός 12.3 Μέση Πιθανότητα Σφάλµατος: P (n) 1 e = 2 n(r1+r2) Pr {g(y n ) (m 1, m 2 ) εστάλη το (m 1, m 2 )} (m 1,m 2) M 1 M 2 Ορισµός 12.4 Ενα Ϲεύγος ϱυθµών µετάδοσης (R 1, R 2 ) είναι εφικτό (achievable) για το MAC εάν υπάρχει ακολουθία κωδίκων (2 nr1, 2 nr2, n) τέτοια ώστε P (n) e 0 για n. Ορισµός 12.5 Η περιοχή χωρητικότητας (capacity region) του MAC είναι το κλειστό σύνολο (closure) της ένωσης (union) των εφικτών (R 1, R 2 ). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 8/ 34

Η περιοχή χωρητικότητας του MAC είναι κυρτή Εστω R 1 = (R 1,1, R 2,1 ) και R 2 = (R 1,2, R 2,2 ) δύο Ϲεύγη ϱυθµών µετάδοσης που ανήκουν στην περιοχή χωρητικότητας, C, του MAC. Μπορούµε να µεταδώσουµε µε οποιοδήποτε κυρτό συνδυασµό λr 1 + (1 λ)r 2, 0 λ 1, µεταδίδοντας µε R 1 100λ % του χρόνου και µε R 2 100(1 λ) % του χρόνου (times haring). Η πιθανότητα σφάλµατος του κώδικα µε time sharing είναι του αθροίσµατος των πιθανοτήτων σφάλµατος των επι µέρους κωδίκων (και, εποµένως, µπορεί να γίνει αυθαίρετα µικρή). Εποµένως, η περιοχή χωρητικότητας του MAC (και κάθε καναλιού στο οποίο µπορούµε να χρησιµοποιήσουµε time sharing) είναι κυρτή (convex). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 9/ 34

Περιοχή Χωρητικότητας MAC Θεώρηµα 12.6 (Cover 15.3.1): Η περιοχή χωρητικότητας του MAC (X 1 X 2, p(y x 1, x 2 ), Y) είναι το κλειστό σύνολο (closure) του κυρτού κύτους (convex hull) όλων των (R 1, R 2 ) που ικανοποιούν τις σχέσεις Περιοχή ϱυθµών (rate region) MAC 2 χρηστών για δεδοµένη p(x 1 )p(x 2 ) R 1 < I(X 1 ; Y X 2 ), R 2 < I(X 2 ; Y X 1 ), R 1 + R 2 < I(X 1, X 2 ; Y ) για κάποια κατανοµή p 1 (x 1 )p 2 (x 2 ) στο σύνολο X 1 X 2. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 10/ 34

Περιοχή Χωρητικότητας MAC (2) ηλαδή, αν ονοµάσουµε R(p 1, p 2 ) την περιοχή επιτεύξιµων ϱυθ- µών µετάδοσης για συγκεκριµένες κατανοµές p 1 = p(x 1 ) και p 2 = p(x 2 ) (δηλαδή την περιοχή της προηγούµενης διαφάνειας), MAC 2 χρηστών C = convex closure of p1,p 2 R(p 1, p 2 ). ε ϑα το αποδείξουµε στο µάθηµα. Σηµείωση: Η κατανοµή εισόδου είναι p 1 (x 1 )p 2 (x 2 ) γιατί ϑεωρούµε ότι οι χρήστες δεν µπορούν να συνεργαστούν. Υπάρχουν και άλλοι, πιο χρήσιµοι τρόποι να εκφράσουµε τη C (µε χρήση time-sharing variable Q), αλλά δε ϑα επεκταθούµε (δείτε π.χ. El Gamal & Kim και Cover & Thomas). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 11/ 34

1 Το Κανάλι Πολλαπλής Πρόσβασης (Multiple Access Channel - MAC) ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 12/ 34

Παράδειγµα 12.1 - Ανεξάρτητα BSC X 1 Y X 2 Μπορούµε να στείλουµε µε R 1 = 1 H(p 1 ) από το 1ο κανάλι, και, ταυτόχρονα, µε ϱυθµό R 2 = 1 H(p 2 ) από το 2ο κανάλι. Τα δύο κανάλια είναι ανεξάρτητα δεν εµφανίζεται παρεµβολή. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 13/ 34

Παράδειγµα 12.1 - Ανεξάρτητα BSC Περιοχή Χωρητικότητας R 2 C 2 = -H p 2 C 1 = -H p 1 R 1 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 14/ 34

Παράδειγµα 12.2 - υαδικό Πολλαπλασιαστικό Κανάλι Οι X 1 και X 2 παίρνουν τιµές στο σύνολο {0, 1} {0, 1}. Y = X 1 X 2. Οταν X 1 = 1, µπορούµε να στείλουµε R 2 = 1 bit/χρήση καναλιού µε χρήση οµοιόµορφης κατανοµής για τη X 2. R 1 = 0, δεδοµένου ότι η X 1 δεν αλλάζει. Οµοίως, όταν X 2 = 1, µπορούµε να στείλουµε R 1 = 1 bit/χρήση καναλιού µε χρήση οµοιόµορφης κατανοµής για τη X 1. R 2 = 0. Μπορούµε να πετύχουµε οποιοδήποτε Ϲεύγος (λ, 1 λ), 0 λ 1 µε διαµέριση στο χρόνο (time sharing). ηλαδή, ``παγώνουµε το X 2 για 100λ % του χρόνου και µεταδίδουµε µε οµοιόµορφα κατανεµηµένη X 1 (αντίστροφα για το υπόλοιπο 100(1 λ) %). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 15/ 34

Παράδειγµα 12.2 - υαδικό Πολλαπλασιαστικό Κανάλι Περιοχή Χωρητικότητας R 2 C 2 = C 1 = R 1 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 16/ 34

Παράδειγµα 12.3 - υαδικό MAC ιαγραφής Οι X 1 και X 2 παίρνουν τιµές στο σύνολο {0, 1} {0, 1}. Y = X 1 + X 2. Εάν Y = 1 δε γνωρίζουµε εάν η είσοδος ήταν (X 1, X 2 ) = (1, 0) ή (0, 1). Εάν ϑέσουµε X 1 = 1, µπορούµε να µεταδώσουµε µε R 2 = 1 bit/χρήση καναλιού (µε οµοιόµορφη X 2 ). Εάν ϑέσουµε X 2 = 1, µπορούµε να µεταδώσουµε µε R 1 = 1 bit/χρήση καναλιού (µε οµοιόµορφη X 1 ). Μπορούµε να στείλουµε µε R 1 + R 2 > 1 bit/χρήση καναλιού; ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 17/ 34

Παράδειγµα 12.3 - υαδικό MAC ιαγραφής (2) Εστω ότι χρησιµοποιούµε οµοιόµορφη X 1. Εποµένως, R 1 = 1 bit/χρήση καναλιού. Εστω, επίσης, ότι ο δέκτης αποκωδικοποιεί πρώτα το X 2. Οταν Y = X 1 + X 2 = 0 ή Y = 2, γνωρίζουµε το X 2 (ισούται µε 0 και 1, αντίστοιχα). Αντίθετα, αν Y = 1, δεν µπορούµε να ϐρούµε άµεσα το X 2. Αν δούµε το X 1 ως ένα µηχανισµό διαγραφής, όταν X 1 = X 2 δεν εµφανίζεται διαγραφή, ενώ, αντίθετα, όταν X 1 X 2 το X 2 διαγράφεται. Εποµένως, από τη σκοπιά του χρήστη 2 το κανάλι είναι δυαδικό κανάλι διαγραφής µε πιθανότητα διαγραφής p = 1/2. Ωστόσο, γνωρίζουµε ότι, αν R 2 > 1 1/2 = 1/2, ο χρήστης 2 µπορεί να µεταδώσει 1/2 bit/χρήση του καναλιού. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 18/ 34

Παράδειγµα 12.3 - υαδικό MAC ιαγραφής (3) Στη συνέχεια, ο δέκτης αφαιρεί την τιµή του X 2 (την οποία γνω- ϱίζει µε πιθανότητα σφάλµατος που τείνει στο 0) από το Y, οπότε αποµένει το X 1 (χωρίς ϑόρυβο). Εποµένως, µπορούµε να στείλουµε 1 bit του χρήστη 1 και 1/2 bit του χρήστη 2! Στο σχήµα εικονίζεται το κανάλι όπως το ϐλέπει ο δέκτης στο 1ο ϐήµα (αποκωδικοποίηση X 2 ). 1 2 1 2 1 2 1 2 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 19/ 34

Παράδειγµα 12.3 - υαδικό MAC ιαγραφής Περιοχή Χωρητικότητας R 2 C 2 = 1 2 1 2 Μπορούµε, επίσης, να αρχίσουµε από το X 1 (οπότε το µέγιστο που µπορεί να µεταδώσει ο χρήστης 1 είναι 1/2 bit/χρήση του καναλιού). Μπορούµε, τέλος, να επιτύχουµε οποιοδήποτε Ϲεύγος (R 1, R 2 ) = (0.5+ α, 1 α), 0 α 0.5 µε time sharing. C 1 = R 1 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 20/ 34

Παράδειγµα 12.3 - υαδικό MAC ιαγραφής Σχόλια Στο συγκεκριµένο παράδειγµα, η περιοχή χωρητικότητας επιτυγχάνεται µε οµοιόµορφη p X1 (x 1 ) και οµοιόµορφη p X2 (x 2 ) (Bern(1/2)). Στη γενικότερη περίπτωση, για να µεταδώσουµε σε ένα συγκεκρι- µένο σηµείο της περιοχής χωρητικότητας απαιτείται time sharing, δηλαδή πρέπει να χρησιµοποιήσουµε διαφορετικές κατανοµές για διαφορετικά ποσοστά του χρόνου. Οταν αρκεί µόνο µία κατανοµή για να πετύχουµε όλα τα σηµεία της περιοχής χωρητικότητας, η C είναι πεντάγωνο (ή τρίγωνο ή τετράγωνο σε τετριµµένες περιπτώσεις). Αλλιώς, η C προκύπτει από κυρτή ένωση πενταγώνων. Αποδεικνύεται, επίσης, ότι ο µέγιστος αριθµός κατανοµών που απαιτείται για να µεταδώσουµε σε ένα οποιοδήποτε σηµείο της περιοχής χωρητικότητας είναι πεπερασµένος (στην περίπτωση του MAC 2 χρηστών ίσος µε 2). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 21/ 34

1 Το Κανάλι Πολλαπλής Πρόσβασης (Multiple Access Channel - MAC) ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 22/ 34

Περιοχή επιτεύξιµων ϱυθµών µετάδοσης (Rate Region) Υπενθυµίζεται ότι, για δεδοµένη p(x 1 )p(x 2 ) στο σύνολο X 1 X 2, η περιοχή επιτεύξιµων ϱυθµών µετάδοσης δίνεται από τις ανισότητες R 1 < I(X 1 ; Y X 2 ), R 2 < I(X 2 ; Y X 1 ), R 1 + R 2 < I(X 1, X 2 ; Y ). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 23/ 34

Περιοχή επιτεύξιµων ϱυθµών µετάδοσης (Rate Region) (2) R 2 I X 2 ;Y X 1 I X 2 ;Y I X 1 ;Y I X 1 ;Y X 2 R 1 Θεωρούµε δεδοµένη p(x 1 )p(x 2 ). Η περιοχή εφικτών ϱυθµών µετάδοσης (όχι η περιοχή χωρητικότητας) ϕαίνεται στο Σχήµα. Σηµείο Β: Η X 1 δηµιουργεί τυχαιότητα (``θόρυβο ) στη µετάδοση της X 2. Ο µέγιστος ϱυθµός για τη µετάδοση της X 2 ισούται µε I(X 2 ; Y ). Στο δέκτη, ανιχνεύεται αρχικά η X 2. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 24/ 34

Περιοχή επιτεύξιµων ϱυθµών µετάδοσης (Rate Region) (3) R 2 I X 2 ;Y X 1 I X 2 ;Y I X 1 ;Y I X 1 ;Y X 2 R 1 εδοµένης, τώρα, της τιµής x 2 της X 2, ο δέκτης προχωρά στην αποκωδικοποίηση της X 1. Ο R 1 ισούται µε x 2 p(x 2 )I(X 1 ; Y X 2 = x 2 ) = I(X 1 ; Y X 2 ). Προφανώς, µπορούµε να επιτύχουµε και οποιαδήποτε άλλη τιµή R 2 < I(X 1 ; Y X 2 ). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 25/ 34

Περιοχή επιτεύξιµων ϱυθµών µετάδοσης (Rate Region) (4) R 2 I X 2 ;Y X 1 I X 2 ;Y I X 1 ;Y I X 1 ;Y X 2 R 1 Σηµεία C και D: Αντίστοιχα µε τα Α και Β, αλλά µε τους ϱόλους των X 1 και X 2 ανεστραµµένους. Επιπλέον του ϱυθµού µετάδοσης αλλάζει και η σειρά αποκωδικοποίησης στο δέκτη. ηλαδή, για το σηµείο Β αποκωδικοποιείται πρώτα η X 2, ενώ για το σηµείο C αποκωδικοποιείται πρώτα η X 1. Επίσης, αλλάζουν και τα ϐιβλία κωδίκων. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 26/ 34

ιαδοχική Αποκωδικοποίηση (Successive Decoding) στο MAC Η ιδέα της διαδοχικής αποκωδικοποίησης (successive decoding ή successive interference cancellation - SIC) είναι κεντρική στο MAC (καθώς και στο degraded Broadcast Channel, όπως ϑα δούµε στη συνέχεια). Π.χ. για το σηµείο Β. Αποκωδικοποιούµε τη X 2 ϑεωρώντας τη X 1 ως ϑόρυβο. Ανάλογα µε την τιµή της X 2, από τη σκοπιά της X 1 ϐλέπουµε X 2 διαφορετικά κανάλια. Αφού ϐρούµε την τιµή της X 2 επιλέγουµε το (ένα από τα X 2 ) κανάλι που ``βλέπει η X 1 και αποκωδικοποιούµε µε ϐάση αυτό το συγκεκριµένο κανάλι. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 27/ 34

ιαδοχική Αποκωδικοποίηση (Successive Decoding) στο MAC (2) Αντιστρόφως, για το σηµείο C, αποκωδικοποείται πρώτα η X 1 και η X 2 αποκωδικοποιείται µε ϐάση ένα από X 1 διαφορετικά κανάλια. Στο Γκαουσιανό MAC, η επιλογή καναλιού γίνεται µε αφαίρεση, όπως ϑα δούµε στη συνέχεια. Το τµήµα µεταξύ των Β και C επιτυγχάνεται µε time sharing. ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 28/ 34

Περιοχή επιτεύξιµων ϱυθµών µετάδοσης (Rate Region) (5) R 2 I X 2 ;Y X 1 I X 2 ;Y I X 1 ;Y I X 1 ;Y X 2 R 1 Το ευθύγραµµο τµήµα BC έχει κλίση 45 o. (Αποδείξτε το ως άσκηση) Αποδεικνύεται, επίσης (δείτε π.χ. El Gamal & Kim) ότι µπορούµε να επιτύχουµε οποιοδήποτε σηµείο της περιοχής επιτεύξιµων ϱυθµών µετάδοσης χωρίς να απαιτείται time sharing εφαρµόζοντας από κοινού αποκωδικοποίηση των X 1 και X 2 στο δέκτη (αντί για SIC). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 29/ 34

Γενική Μορφή Περιοχής Χωρητικότητας MAC Για να ϐρούµε την περιοχή χωρητικότητας του MAC πρέπει να πάρουµε το κλειστό σύνολο (closure) του κυρτού κύτους όλων των περιοχών επιτεύξιµων ϱυθµών (για όλες τις p(x 1 )p(x 2 )). Για παράδειγµα, για να µεγιστοποιήσουµε τον R 1, ενδέχεται να πρέπει να ``παγώσουµε τη X 2 σε µια τιµή x 2 για την οποία µεγιστοποιείται η I(X 1 ; Y X 2 = x 2 ) : max R 1 = max p1(x 1)p 2(x 2) I(X 1 ; Y X 2 ) = max p1(x 1)p 2(x 2) x 2 p 2 (x 2 )I(X 1 ; Y X 2 = x 2 ) max p1(x 1) {max x2 I(X 1 ; Y X 2 = x 2 )}. Αν δεν υπάρχει κατανοµή p 2 (x 2 ) µε περισσότερες από µία µη µηδενικές µάζες η οποία µεγιστοποιεί τον R 1, τα σηµεία Α και Β ταυτίζονται. Στο Παράδειγµα 12.2, για να µεγιστοποιήσουµε τον R 1 πρέπει να ``παγώσουµε τη X 2 στο 1 (και αντιστρόφως). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 30/ 34

Γενική Μορφή Περιοχής Χωρητικότητας MAC (2) Ωστόσο, ενδέχεται να υπάρχει κατανοµή p 2 (x 2 ) µε µη µηδενική εντροπία για την οποία ισχύει ότι max p1(x 1)p 2(x 2) x 2 p 2 (x 2 )I(X 1 ; Y X 2 = x 2 ) = max p1(x 1) {max x2 I(X 1 ; Y X 2 = x 2 )}. Στο Παράδειγµα 12.3, µπορούµε να επιτύχουµε το µέγιστο ϱυθµό R 1 = 1 (µε οµοιόµορφη X 1 ) και, ταυτόχρονα, R 2 = 0.5 bit (µε οµοιόµορφη X 2 ). Παρατηρήστε ότι, ακόµα και αν είχαµε ``παγώσει τη X 2 σε µία σταθερή τιµή, δε ϑα µπορούσαµε να µεταδώσουµε µε R 1 > 1. Παρόλο που στο Παράδειγµα 12.3 η περιοχή επιτεύξιµων ϱυθµών για οµοιόµορφες p 1 και p 2 ταυτίζεται µε την περιοχή χωρητικότητας, στη γενική περίπτωση η περιοχή χωρητικότητας είναι ένα κυρτό σύνολο που προέρχεται από την ένωση πενταγώνων (ή εκφυλισµένων πενταγώνων). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 31/ 34

Γενική Μορφή Περιοχής Χωρητικότητας MAC (3) Οπως ϑα δούµε, µία πολύ σηµαντική ειδική περίπτωση όπου όλα τα σηµεία στο όριο της περιοχής χωρητικότητας επιτυγχάνονται από µία µόνο κατανοµη p 1 (x 1 )p 2 (x 2 ) είναι το Γκαουσιανό MAC. Οπως προαναφέρθηκε, αποδεικνύεται ότι, για να επιτευχθεί οποιοδήποτε σηµείο της περιοχής χωρητικότητας του MAC 2 χρηστών, αρκεί time sharing µεταξύ 2 το πολύ κατανοµών p 1 (x 1 )p 2 (x 2 ). Για λεπτοµέρειες, δείτε El Gamal & Kim. Αποδεικνύεται, επίσης, ότι οποιοδήποτε σηµείο της περιοχής χω- ϱητικότητας, C, µπορεί να επιτευχθεί χωρίς time sharing µε χρήση coded time sharing (για λεπτοµέρειες, δείτε El Gamal & Kim). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 32/ 34

ιευκρίνιση: 2 είδη time sharing 1. Time sharing µεταξύ ϐιβλίων κωδίκων για δεδοµένη p 1 (x 1 )p 2 (x 2 ) (και, εποµένως, δεδοµένη rate region). Για κάθε ένα από τα δύο σηµεία χρησιµοποιούµε SIC στο δέκτη. Η σειρά SIC αλλάζει όταν αλλάζουµε σηµείο. Μπορούµε να µην κάνουµε timesharing αν χρησιµοποιήσουµε από κοινού (ταυτόχρονη) αποκωδικοποίηση των X 1 και X 2 στο δέκτη. 2. Time sharing µεταξύ Q = 2 διαφορετικών γινοµένων κατανοµών p 1 (x 1 )p 2 (x 2 ) προκειµένου να επιτύχουµε οποιοδήποτε σηµείο της περιοχής χωρητικότητας. Μπορούµε να µην κάνουµε time sharing αν χρησιµοποιήσουµε coded time sharing (δε ϑα επεκταθούµε σε αυτό το µάθηµα). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 33/ 34

Γενίκευση MAC για m χρήστες X 1 X 2 p y x 1 x 2 x m Y X m Θεώρηµα 12.7 (Cover 15.3.6): Η περιοχή χωρητικότητας του MAC m χρηστών είναι το κλειστό σύνολο (closure) του κυρτού κύτους (convex hull) των διανυσµάτων R = (R 1, R 2,..., R m ) που ικανοποιούν τις σχέσεις R(S) I(X(S); Y X(S c )) για όλα τα σύνολα S {1, 2,..., m}, όπου S c το συµπλήρωµα του S και για όλες τις κατανοµές εισόδου (µε ανεξάρτητα X i ). ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη 34/ 34