ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ 2. MΗNYMATA ως Χρονοσειρες. Αναλογικα και Ψηφιακα Μηνυματα. Δειγματοληψια Ioannis E. Antoniou Mathematics Department Aristotle University 54124,Thessaloniki,Greece iantonio@math.auth.gr http://users.auth.gr/iantonio
Mηνυματα και Γλωσσα Επικοινωνιας Μετατροπη Ψηφιακου σε Αναλογικο Σημα Μετατροπη Αναλογικου σε Ψηφιακο Σημα Δειγματοληψια
MHNYMATA και ΓΛΩΣΣΑ ΕΠΙΚΟΙΝΩΝΙΑΣ Επικοινωνια είναι η ανταλλαγη Μηνυματων Τα Μηνυματα είναι χρονοσειρες συμβολων σ από το συνολο Σ Σε διακριτο χρονο ακολουθιες ψ: T Σ: t ψ t, T Z (digital signals) Σε συνεχη χρονο συναρτησεις ψ: T Σ: t ψ(t), T R (analog signals) T = o Xρονος = το διαταγμενο συνολο καταγραφων του Χρονου Ο χρονος μπορει να είναι συνεχης, t, η διακριτος t=nτ, n, τ η μοναδα χρονου = ο στοιχειωδης χρονος = το χρονον (chronon). Τα Μηνυματα είναι στοιχεια του συνολου Σ T των απεικονισεων με πεδιο ορισμου το χρονο T (δεικτες χρονου) και πεδιο τιμων τα συμβολα από το Σ Το συμβολο Σ T περιλαμβανει ολες τις κλασεις Μηνυματων
Παραδειγματα Μηνυματων - Συμβολων Μηνυμα Μετρηση Θερμοκρασιας, Πιεσης, Ηλεκτρικου Ρευματος Τηλεγραφημα του 1902 Συμβολα Ρητοι Αριθμοι., _, ΚΕΝΟ Δυαδικο 0,1 Ηχος, Moυσικη Νοτες, Υψη, Διαρκειες Εικονα, Video, Aκολουθια Pixels Κειμενο βιβλιου Εmails, Περιεχομενο Iστοσελιδων Προγραμμα Ενταση (Red, Green, Blue) ASKII χαρακτηρες τα Συμβολα μιας Γλωσσας Προγραμματισμου Πχ. ΜathML DNA Tα 4 Νουκλεοτιδια Α,G,C,T Πρωτεινες Τα 20 Αμινοξεα Α,C,D,E,F,G,H,I, K, L,M,N,P,Q, R,S,T,V,W,Y Παιγνιο με Ζαρια 1,2,3,4,5,6 Βιβλιοθηκη της Βαβελ 22 letters, comma, period, space Βοrges J. L. 1944 Ficciones, Grove Press 1962
The 20 Amino Acids directly encoded by the universal genetic code NAME ΟΝΟΜΑ Abbreviation Symbol Produced by Organism Alanine αλανινη ALA A Non Essential Arginine αργινινη ARG R Conditional Asparagine Ασπαραγινη ΑSN N Non Essential Aspartic acid ασπαρτικο οξυ ASP D Non Essential Cysteine Κυστεινη CYS C Conditional Glutamin acid γλουταμικο οξυ GLU E Non Essential Glutamine γλουταμινη GLN Q Conditional Glycine Γλυκινη GLY G Conditional Histidine ιστιδινη HIS H Essential Isoleucine ισολευκινη ILE I Essential Leucine Λευκινη LEU L Essential Lysine Λυσινη LYS K Essential Methionine μεθειονινη MET M Essential Phenylalanine φαινυλαλανινη PHE F Essential Proline προλινη PRO P Conditional Serine σερινη SER S Conditional Threonine θρεονινη THR T Essential Tryptophan τρυπτοφανη TRP W Essential Tyrosine τυροσινη TYR Y Conditional Valine βαλινη VAL V Essential
Ορισμος Μηνυμα μηκους m είναι κάθε πεπερασμενη ακολουθια (ψ) = (ψ t+1, ψ t+2,..., ψ t+m ), ορων που λαμβανονται από n Συμβολα Σ={σ 1, σ 2,... σ n }, ψ t Σ (ψ) Σ m Σ F Xωροι Μηνυματων: Σ m = οι πεπερασμενες ακολουθιες συμβολων από το Σ με m ορους Σ m = οι πεπερασμενες ακολουθιες συμβολων από το Σ με το πολυ m ορους Σ F = οι πεπερασμενες ακολουθιες συμβολων από το Σ Σ N = οι μονοπλευρες (unilateral) ακολουθιες συμβολων από το Σ Σ Z = οι αμφιπλευρες (bilateral) ακολουθιες συμβολων από το Σ
Kαθε m-αδα (ψ t+1, ψ t+2,..., ψ t+m ) ειναι ενα διαταγμενο δειγμα μεγεθους m, εκ των n συμβολων {σ 1, σ 2,... σ n }, οπου καθε συμβολο μπορει να επαναλαμβανεται. Ισοδυναμα: (ψ t+1, ψ t+2,..., ψ t+m ) ειναι Επαναληπτικη Διαταξη (σ k1, σ k2,..., σ km ) των n συμβολων {σ 1, σ 2,... σ n } ανα m Το πληθος των μηνυματων μηκους m είναι Το πληθος των Επαναληπτικων Διαταξεων n Στοιχειων ανα m: Υ m = n m
Ορισμος Η Κλασση Σ F των πεπερασμενων ακολουθιων συμβολων από το Σ Σ F = Σ * = m N Kleene Closure {A} Σ m To συνολο Σ * εχει απειρο πληθος στοιχειων, ενώ καθε στοιχειο του εχει πεπερασμενο μηκος Παραδειγμα Σ = {0, 1}, Σ* = {ε, 0, 1, 00, 01, 10, 11, 000, 001, 010, 011, }.
Ορισμος Γλωσσα με Αλφαβητο Σ (L, Σ, G) 1) Σ={σ 1, σ 2,... σ n } το συνολο συμβολων, ψηφιων, γραμματων της Γλωσσας 2) G = η Γραμματικη της Γλωσσας = οι κανονες συνταξης λεξεων-προτασεων που οριζουν ποιες λεξεις (ακολουθιες συμβολων) είναι συντακτικα αποδεκτες (syntactically admissible,valid) 3) L Σ F L(Σ) ένα συνολο μηνυματων = λεξεων με συμβολα από το Σ. Τα δυνατα κειμενα, η «Γραμματεια» της Γλωσσας
Παραδειγμα: Η Βιβλιοθηκη της Βαβελ που περιεχει τα βιβλια που γραφτηκαν και θα γραφτουν «the Library is total and that its shelves register all the possible combinations of the twenty-odd orthographical symbols (a number which, though extremely vast, is not infinite): Everything: the minutely detailed history of the future, the archangels' autobiographies, the faithful catalogues of the Library, thousands and thousands of false catalogues, the demonstration of the fallacy of those catalogues, the demonstration of the fallacy of the true catalogue, the Gnostic gospel of Basilides, the commentary on that gospel, the commentary on the commentary on that gospel, the true story of your death, the translation of every book in all languages, the interpolations of every book in all books.» Βοrges J. L. 1944 Ficciones, Grove Press 1962 The Babel Library has 25 1312000 1.956 x 10 1834097 books the alphabet has 25 symbols. Each book has 410 pages, with 40 lines of 80 characters on each page. Number of symbols in a Book: 410 40 80 = 1.312.000 Bloch W. G.2008, The Unimaginable Mathematics of Borges Library Of Babel, Oxford University Press The Library of Congress has 3 x 10 7 Books Number of Orthographically correct Books written in English: 750000 492000 = 10 2890530 Number of English Words: 750000 Number of Words per line (including comma, period, space): 30 Number of Words per Book: 410 x 30 x 40 = 492000
Symbols Grammar = Rules for Syntax Syntax = message (φραση) construction Μessages, Φρασεις, Logical Forms, Σχηματα Λογου Axioms Inference Rules = Transformation Rules Semantics, Meaning Language Formal System Logic = Logical System Gerber A., Van der Merwe A.,Barnard A. 2008, A Functional Semantic Web architecture, European Semantic Web Conference, ESWC 08, Tenerife
ΣΧΟΛΙΑ Συντακτικα Φιλτρα, πχ Ορθογραφος Microsoft Word Η συντακτικη επεξεργασια μεσω της Γραμματικης είναι αναγκαια για την Νοηματοδοτηση (Meaning) των Μηνυματων-κειμενων, αλλα δεν επαρκει Νοηματικη Επεξεργασια (Semantic Processing) Σημασιολογικα Φιλτρα (Semantic Filters) ΕΦΑΡΜΟΓΕΣ Λογικη, Υπολογιστες, Προγραμματισμος, Διαδικτυο Γλωσσολογια Βιολογια Μουσικη
References Ginsburg Σ. 1975, Algebraic and automata theoretic properties of formal languages, North-Holland Harrison Μ. 1978, Introduction to Formal Language Theory, Addison-Wesley. Hopcroft J. and Ullman J. 1979, Introduction to Automata Theory, Languages and Computation, Addison-Wesley Publishing, Reading Massachusetts Rozenberg G., Salomaa A. 1997, Handbook of Formal Languages: Volumes I-III, Springer
Digital to Analog Conversion = Curve fitting = Smoothing = finding a curve which has the best fit to a series of data points and possibly other constraints includes interpolation (exact fit) regression analysis (approximate fit) extrapolation Interpolation = Παρεμβολη Reconstruction of a function from discrete samples Representation of a function in terms of discrete samples Given the points (y 1, t 1 ), (y 2, t 2 ),, (y N, t N ) Find an Interpolation function f within a specific Class A of functions : y n = f(t n ), n=1,2,,n Regression = Παλινδρομιση Construct a function within a specific Class A of functions with minimal distance from discrete samples Least Squares Regression = Least Squares Fit: the Distance is the L 2 distance Extrapolation is the extension of f (constructed by Interpolation or by Regression) for t > t N
Regression, Interpolation, Function Basis of A Extrapolation are called Polynomial Polynomials Rational Fractions of Polynomials Trigonometric Periodic Functions Fourier Analysis Exponential Exponentials Smoothing = Εξομαλυνση A C r is a Class of Smooth functions Wavelet Wavelets Wavelet Analysis
Analog to Digital Conversion Sampling = Δειγματοληψια The conversion of Continuous Functions (Signals) to Numerical Sequences (Time Series)
Both DAC (Interpolation) and ADC (Sampling) are based on Function Expansion Formulas Harmonic Analysis Ηarmonic Analysis Function Expansion Formulas f(t)= f ν u ν ( ν t) u ν οrthonormal basis of Functions in some HS of real functions on some interval (a,b) f ν = <f, u ν > = (a,b) dt w(t) f(t) u ν (t) w(t)dt = dν(t) the measure on (a,b) L 2 ([a,b), w) the Hilbert Space of square integrable Functions on [a,b) with respect to the measure w(t)dt = dν(t)
Approximations of functions with Function Expansion Formulas Ν f [N] (t) = f ν u ν (t) ν=1 Approximation Error: ε Ν = f f [N] (t) Ν f [N] (t) = f ν u ν (t) ν= N Expansions Taylor Expansion Weierstrass Theorem Fourier Series Special Function Expansions Wavelet Expansions
Taylor Expansion f(t+x)= f(x)= ν=0 ν=0 1 ν! f(ν) (t)x ν 1 ν! f(ν) (0)x ν Weierstrass Theorem every continuous function defined on a closed interval [a,b] can be uniformly approximated as closely as desired by a polynomial function. Polynomials are among the simplest functions, Computers directly evaluate polynomials Polynomial interpolation. v r = x r is a basis (non-orthonormal) of the Hilbert Space L 2 ([a,b), w(t)dt) generalization to several real variables
Fourier Series of the T-Periodic Real Function f (Temporal), T>0 Theorem Riesz-Fisher 1907 f is square integrable lim N f f [N] 2 = lim N dt with f [N] (t) = +N n= N C n e inωt, C n = dt T 0 T f(t) f [N] (t) 2 = 0 T 0 T e inωt f(t) Proof Dym H., McKean Η.1972, Fourier Series and Integrals, Academic Press, New York Dunford, N.,Schwartz, J.T. 1958, Linear operators, Part I, Wiley, New York (IV.16. 4.9-4.I3) Corollary u n = e inωt, n Z οrthonormal basis of L 2 (0,T), ω = 2π Τ = the Cyclic Frequency
Fourier Transform: L 2 (0,T) l 2 (Z) : f f n = < e inωt, f > Scalar Product of L 2 (0,T): < f, g > = dt T 0 T f (t)g(t) Scalar Product of l 2 (Z): < (f n ), (g n ) > l 2 (Z) = n= f n g n Exponential Expansion Formula for real periodic functions f with period T>0: with + f(t) = C n e inωt T 0 n= C n = < e inωt, f > = dt e inωt f(t) = the n-fourier Amplitude of f, n Z T 0 C 0 =< 1, f > = dt T T f(t) = the Average Value of f over the Period T
Definition Trigonometric Series Expansion for real periodic functions f with period T: + f(t) = [α n cos(nωt) + β n sin(nωt)] n=0 The Fourier Coefficients are T 0 α 0 = dt T f(t) T α n = 2 T dt 0 β n = 2 T dt 0 T f(t) cos(nωt), n = 1,2, f(t) si n(nωt), n = 1,2, Aσκηση: {0.1} Δειξτε τους τυπους των συντελεστων Fourier με την παραδοχη ότι ισχυει η ιδιοτητα εναλλαγης Ολοκληρωματος που εχει η Ομοιομορφη συγκλιση Σειρων Συναρτησεων: Τ dt 0 + [α n cos (nωt) + β n sin (nωt)] n=0 + Τ = dt n=0 0 [α n cos (nωt) + β n sin (nωt)]
Σχεση Τριγωνομετρικης Εκθετικης Σειρας Fourier α 0 = C 0 α n = 2ReC n, n=1,2, β n = 2ImC n, n=1,2, C n = 1 2 (α n + i β n ), n=1,2, C n =(C n )* = 1 2 (α n i β n ), n=1,2, Proof f(t) = + C n e inωt 1 = C 0 + C n e inωt + + C n e inωt + == C 0 + C n e +inωt + C n e inωt n= n= n=1 n=1 + n=1 ] f real (C n )* = C n : f(t) = C 0 + + n=1 2Re[C n e inωt ] = C 0 + [α n cosωt + β n sin ωt
EXAMPLES Aσκηση: Υπολογιστε το Αναπτυγμα Fourier {0.1} Aσκηση: Υπολογιστε το Αναπτυγμα Fourier {0.1}
f(x) = 4 sin(2n 1)x π 2n 1 n=1 Aσκηση: Υπολογιστε το Αναπτυγμα Fourier {0.1} f(x) = θ( x) [2νπ, 2νπ + 2π), ν Z = 1 2 2 sin (2n 1)x π 2n 1 Aσκηση: Υπολογιστε το Αναπτυγμα Fourier {0.1} n=1
f(x) = 1 2 + 1 π sin n 2π Τ x n n=1 Aσκηση: Υπολογιστε το Αναπτυγμα Fourier {0.1} f(x) = e x (2ν 1)π, (2ν + 1)π, ν Z = 2sinh(π) π 1 2 + ( 1)n 1 + n 2 cos (nx) sin(nx) n=1 Aσκηση: Υπολογιστε το Αναπτυγμα Fourier {0.1}
Theorem The Fourier Transform is Unitary < f, g > = < (f n ), (g n ) > l 2 (Z) T dt T 0 f (t)g(t) = f n g n n= Αποδειξη Aσκηση 0.1 Σχεση Διαφορισιμοτητας και Προσεγγισης Fourier Aσκηση: {1} Υπολογιστε τα Αναπτυγματα Fourier σε καποιο διαστημα [0, Τ] f [5] (t) = 5 [α n (f) cos (nωt) + β n (f) sin (nωt) n=0 5 g [5] (t) = [α n (g) cos (nωt) + β n (g) sin (nωt) n=0 των 5 πρωτων ορων μιας λειας συναρτησης f και μιας μη λειας συναρτησης g με 2 ακμες Συγκρινατε τις 2 προσεγγισεις f [5] (t) και g [5] (t) με τις f(t) και g(t) αντιστοιχα.
Power of the Periodic function The Norm Square Parseval's Formula T f 2 = dt T 0 f(t) 2 = f n 2 n=
Theorem Τhe Fourier basis is an orthonormal basis of eigenfunctions of the differentiation operators Self-Adjoint Differentiation: i d dx e iωt = ωe iωt Laplace Operator: d2 dx 2 e iωt = ω 2 e iωt Early ideas about the Trigonometric Series Expansion of Periodic Functions go back to Pythagoras Solutions of Wave Equation of Strings 2 ψ = t 2 c2 2 ψ x2 as Trigonometric Series Expansions were obtained by J.R. D Alembert 1747 and D. Bernoulli 1853 Solutions of the Heat Equation ψ 2 as Trigonometric Series Expansions were obtained by J.B. Fourier Fourier J.B. 1822, Theorie Analytique de la Chaleur, Didot, Paris. English translation by Freeman E. 1955, Dover, New York. = β 2 ψ t x The notions of Convergence and the classes of functions that can be represented as Trigonometric Series were clarified later Dym H., McKean Η.1972, Fourier Series and Integrals, Academic Press, New York
Special Function Expansions Orthonormal bases on spaces of integrable functions solutions of differential equations integrals of elementary functions Sturm-Liouville Equation Second order Linear Eigenvalue Equation: SL[ψ]=λψ a(x) d2 ψ dψ + b(x) dx2 dx = λψ Οι ιδιοσυναρτησεις (Eιδικες Συναρτησεις) αποτελουν oρθοκανονικη βαση στους Χωρους L 2 [(α,β),w] {Tαξινομιση Ειδικων Συναρτησεων. Θεωρημα Rodriguez} Dennery P., Krzywicki A. 1969, Mathematics for Physicists, Harper, New York Miller 1968, Lie Theory and Special Functions, Academic Press, New York Wawrzynczyk Α. 1984, Group Representations and Special Functions, D.Reidel Publishing Company, Dordrecht
Oι 3 βασικες Ειδικες Συναρτησεις ως βασεις ιδιοσυναρτησεων Τελεστων Sturm-Liouville Interval Sturm-Liouville Equation (, ) Hermite Equation [0, ) Laguerre Equation a(x) d2 y dy + b(x) dx2 dx = λy Eigenfunctions Basis Weight in the Scalar Product w(x) d2 y dy + 2x dx2 dx = 2n y Hermite Polynomials e x2 x d2 y dy + [ γ + x 1] dx2 dx = λy Laguerre Functions e x [ 1,1] Legendre Equation [ (1 x 2 )] d2 y dy + [2x] dx2 dx = n(n + 1)y Legendre Polynomials 1
Κατασκευη βασεων σε Xωρους Συναρτησεων επι οιουδηποτε διαστηματος (α,β) Μετασχηματισμοι Von Neumann Definition Von Neumann Transforms of Functions on (t 1, t 2 ) to functions on (x 1, x 2 ) are the Unitary Transformations of square Integrable functions supported on (t 1, t 2 ) to square Integrable functions supported on (x 1, x 2 ) V: L 2 (t 1, t 2 ) L 2 (x 1, x 2 ) : f Vf with f (t) (Vf)(x): < Vf, Vg > = < f, g > dx (Vf) (x)(vg)(x) x 2 x 1 t 2 = dt f t 1 (t)g(t) Misra B., Speiser D.,Targonski G. 1961, Integral Operators in the Theory of Scattering, Helv. Phys. Acta 36, 963-980. Von Neumann J. 1935, Charakterisierung des Spektrums eines Integraloperators, Actualites Scientifiques et Industrielles No. 229
VN Transforms Example 1: V: L 2 (-, ) L 2 (0, ) : f Vf with f (t) (Vf)(x) = 1 x f(lnx) V -1 : L 2 (0, ) L 2 (-, ) : f V -1 f with f (t) (V -1 f)(x) = e x 2f(e x ) Aσκηση: Δειξτε ότι ο Μετασχηματισμος V είναι Unitary {0.5} VN Transforms Example 2: V: L 2 (0, ) L 2 1 (0, 1) : f Vf with f (t) (Vf)(x) = f x 1 x 1 x V -1 : L 2 (0, 1) L 2 (0, ) : f V -1 f with f (t) (V -1 1 f)(x) = f x 1+x 1+x Aσκηση: Δειξτε ότι ο Μετασχηματισμος V είναι Unitary {0.5} VN Transforms Example 3: V: L 2 [0,T) L 2 [a,b) : f Vf : with f (t) Vf(x)= T b a f x a b a T V -1 : L 2 [a,b) L 2 [0,T) : f Vf : Vf(t)= b a T f b a T t + a Aσκηση: Δειξτε ότι ο Μετασχηματισμος V είναι Unitary {0.5}
Wavelet Expansions Wavelets are functions ψ(x) whose translations and dilations ψ β,α βψ(βx α) provide bases for expansion of integrable functions Μultiresolution Analysis
Haar Wavelet Στις Αρχες του 20 ου αιωνα πιστευαν πως ολες οι ορθοκανονικες βασεις συναρτησεων ειναι ιδιοσυναρτησεις Διαφορικων Τελεστων ως λειες συναρτησεις Υπαρχουν Μη Διαφορισιμες βασεις συναρτησεων? Ηaar Wavelets Haar A. 1910, Zur Theorie der orthogonalen Funktionensysteme, Mathematische Annalen 69 no. 3, 331 371 ψ(x) = 1, 0 x < 1 2 1, 1 2 x < 1 0, otherwise
ψ ν α = ψ(2 ν x α), ν, α Integers Antoniou I., Gustafson K. 1998, Haar s Wavelets and Differential Equations, J. Diff. Equations 34 829-832 Antoniou I., Gustafson K. 1999, Wavelets and Stochastic Processes, Math.and Computers in Simulation 49, 81-104 Antoniou I., Gustafson K. 2000, The Time Operator of Wavelets, Chaos, Solitons and Fractals 11, 443-452 Antoniou I., Suchanecki Z. 2000, Non-uniform Time Operator, Chaos and Wavelets on the Interval, Chaos, Solitons and Fractals 11, 423-435 Walter G. 1994, Wavelets and other Orthogonal Systems With Applications, CRC, Boca Raton Frazier M. 1999, An Introduction to Wavelets Through Linear Algebra, Springer, New York Jorgensen P. 2006, Analysis and Probability Wavelets, Signals, Fractals, Springer, New York Fractals, Generalized Functions, Chaos
Shannon Wavelet Shannon Interpolation Formula If a function f(t) contains no frequencies higher than W hertz, f(t) = 1 2π dω F(ω)eiωt = 1 2π 2πW dω F(ω)eiωt 2πW the Fourier Amplitudes F(ω) vanish outside [ πw, πw]: F(ω) = 0, for ω > πw Then it is completely determined by giving its ordinates at a series of points spaced 1/(2W) seconds apart. f(t) = + f n sin π(2wt n) n= = + f(nt) sin π T n = + 2W π(2wt n) n= f(nt) u π t n (t) T n n= where: f n = f n = f(nt) the samples 2W t T = 1 2W the sampling period u n (t) = sin π t T n π t T n = sinc π t n the Shannon Wavelet T
sinc(x) = sinx x = the sinus cardinalis function
Shannon C. 1949, Communication in the presence of Noise, Proc. Institute of Radio Engineers 37, 10-21. Reprint as classic paper in: Proc. IEEE, Vol. 86, No. 2, (Feb 1998) Jerri A. 1977, "The Shannon sampling theorem: its various extensions and applications: A tutorial review" Proc. IEEE 65, pp. 1565 1589 Higgins J. 1985, "Five short stories about the Cardinal Series" Bull. Amer. Math. Soc. 12, pp. 45 89 Marks II R. 1991, Introduction to Shannon Sampling and Interpolation Theory, Springer, New York. Higgins J. 1996, Sampling Theory in Fourier and Signal Analysis Foundations, Clarendon Press, Oxford, New York Smale S., Zhou D.-X. 2004, Shannon Sampling and Function Reconstruction from Point Values, Bulletin AMS 41 (3), Pages 279-305. Aσκηση: {0.8} Παραδειγμα Δειγματοληψιας Shannon
Theorem 1) {sinc(t k), k inz } is an orthonormal basis of bandlimited real functions with highest frequency π 2) sinλx λx, solutions of the Differential Equation: Aποδειξη: Aσκηση {0.1}