Analiza și Prelucrarea Digitală a Semnalelor Video Conf. dr. ing. Radu Ovidiu Preda radu@comm.pub.ro Ș.l. dr. ing. Ionuţ Pirnog ionut@comm.pub.ro Site disciplină: www.comm.pub.ro/preda/apdsv
Analiza și Prelucrarea Digitală a Semnalelor Video Structura cursului Cap. 1 Noţiuni de bază în prelucrarea numerica a imaginilor și semnalelor video Cap. 2 Transformate pentru semnale multidimensionale Cap. 3 Modelele formării imaginii variabile în timp Cap. 4 Eşantionarea semnalelor video Cap. 5 Analiza și estimarea mișcării în secvențele video Cap. 6 Segmentarea spaţială a cadrelor video Cap. 7 Extragerea şi selecţia caracteristicilor video de nivel scăzut Cap. 8 Clasificarea şi indexarea conţinutului video Cap. 9 Tehnici de watermarking pentru imagini și video
Noţiuni de bază în prelucrarea numerică a imaginilor şi semnalelor video
Semnale 1D Semnal = funcție de una sau mai multe variabile independente Exemple: s(t), s(x, y), s(x, y, t) Semnal 1D de regulă funcție de t t - continuu sau discret Semnal continuu în timp (CT) s c (t) definit la orice moment de timp Un semnal analogic este un semnal CT
Semnale 1D Semnal în timp discret (DT) s d (t) este definit la momente discrete de timp s d (t) secvență de numere Amplitudine semnal: continuă sau discretă Semnale digitale: t și amplitudinea lui s(t) discrete Eșantionare semnal CT semnal DT Eșantionare semnal CT + cuantizare amplitudine semnal semnal digital
Semnale 2D - Imagini Imagine = reprezentare vizuală sub forma unei funcții 2D I(X,Y) I(X, Y) = amplitudinea imaginii la poziția (X, Y) Amplitude = intensitatea luminii sau culoare Continuitate în amplitudine și spațiu I, X, Y număr infinit de valori posibile Pentru stocare eșantionare și cuantizare
Semnale 2D - Imagini Imagine digitală = eșantionare spațială + cuantizare Eșantionarea spațială = discretizarea domeniului: IXY (, ) = = X= x, Y= y Ix ( x, y y) Ixy [, ], xy, x y x, y intervalele de eșantionare pe direcțiile x și y de regulă x = y = mic rezoluție mare Matlab: x= 1,, M și y= 1,, N Cuantizarea amplitudinii lui Ixy [, ] eșantioane discrete
Semnale 2D - Imagini O imagine digitală I funcție de 2 variabile independente discrete rețea ortogonală de puncte (matrice) cel mai mic element al imaginii = pixel sau pel (picture element)
Reprezentarea imaginilor I poate fi: O funcție cu mai multe valori: imagine color cu 3 componente R[x, y], G[x, y], B[x, y] imagine color indexată M[x, y], map de dim. nr_culori x 3 O funcție cu o singură valoare Imagine de intensitate sau cu nuanțe de gri I[x,y] Imagine binară I[x,y]
Reprezentarea imaginilor Imagini digitale de intensitate = matrici 2D I[x, y]: x, y și I au valori finite discrete I[x, y] reprezentată pe b biți 8biți 256 niveluri de gri 0 = negru, 128=gri, 255=alb
Reprezentarea imaginilor 512x512 128x128 64x64 32x32
Reprezentarea imaginilor Imagini digitale de intensitate Matlab: grayscale image de regulă reprezentate în format uint8 (integer fără semn pe 8 biți) Atenție la operații în uint8 conversie: in2gray, rgb2gray
Reprezentarea imaginilor Imagini binare caz particular de imagine de intensitate b = 2 I[x,y] are doar două valori: 0 negru; 1 - alb Matlab: binary image în format logical (1 bit/pixel) conversie: im2bw
Reprezentarea imaginilor Imagini color RGB Matrice 3D de dimensiune M x N x 3 Matlab: truecolor image în format uint8 conversie: ind2rgb R G B
Reprezentarea imaginilor Imagini color indexate reprezentare RGB redundantă 2 x matrici 2D: Matrice I de rezoluția imaginii M x N Paletă de culori (colormap) de dim. nr_culori x 3 Matlab: indexed image I în format uint8 colormap în format double conversie: rgb2ind 3 1 nr_culori colormap R G B 0,26 0,02 0,20 0,59 0,34 0,28 0,89 0,61 0,38 0,51 0,11 0,23 0,66 0,46 0,33 0,71 0,32 0,33
Reprezentarea imaginilor 8 biți/pixel 4 biți/pixel 2 biți/pixel 1 bit/pixel
Spectrul electromagnetic frenvența (Hz) Lungimea de undă 380 750 nm
Spectrul vizibil Culoare Frecvență Lungime de undă violet 668 789 THz 380 450 nm albastru 631 668 THz 450 475 nm cian 606 630 THz 476 495 nm verde 526 606 THz 495 570 nm galben 508 526 THz 570 590 nm portocaliu 484 508 THz 590 620 nm roșu 400 484 THz 620 750 nm
Anatomia ochiului uman iris pupilă sclerotică sclerotică iris cornee pupilă cristalin conjunctivă umoare vitroasă coroidă nerv optic fovee retină http://www.stlukeseye.com/anatomy.asp
Formarea imaginii http://www.stlukeseye.com/anatomy.asp
Ochi vs. cameră sclerotică iris cornee pupilă cristalin conjunctivă umoare vitroasă coroidă nerv optic fovee retină Echivalență cameră ochi uman Componente cameră lentilă diafragmă Film, card memorie cablu de transfer Componente ochi cristalin, cornee Iris, pupilă retină nerv optic
Percepția umană a culorii retina conține foto-receptori 2 tipuri: conuri: vedere pe timp de zi Percep culoarea 3 tipuri: R,G,B bastonașe: vedere pe timp de noapte Percep doar luminozitatea (luminanța) senzația de culoare caracterizată prin Luminanță Crominanță Tonul culorii Saturație (puritatea culorii)
Răspunsul în frecvență al conurilor și bastonașelor
Funcția de eficiență luminoasă albastru x20 luminanță Sensibilitate relativă roșu verde Lungime de undă (nm)
Modele de reprezentare a culorilor Specificarea valorilor celor trei stimuli asociați celor 3 culori primare RGB CMY Specificarea luminanței și crominanței HSI (Hue, saturation, intensity nuanță, saturație, int.) YIQ (folosit la standardul TV color NTSC) YC b C r (folosit la televiziunea color digitală) Specificarea amplitudinii: 8 biți/componentă sau 24 biți/pixel total de 16 milioane culori display RGB truecolor de 1024x768 2.25 MB
RGB vs. CMY
RGB vs. YIQ RGB YIQ Y = 0.299 R + 0.587 G + 0.114 B I = 0.596 R -0.275 G -0.321 B Q = 0.212 R -0.523 G + 0.311 B YIQ RGB R =1.0 Y + 0.956 I + 0.620 Q G = 1.0 Y - 0.272 I -0.647 Q B =1.0 Y -1.108 I + 1.700 Q
Planul IQ la luminanță constantă Y=0.5
RGB vs. YIQ RGB Y I Q
RGB vs. YC b C r RGB YC b C r Y = 0.257 R + 0.504 G + 0.098 B + 16, C b = -0.148 R - 0.291 G + 0.439 B + 128 C r = 0.439 R - 0.368 G - 0.071 B + 128 YC b C r RGB R = 1.164 Y + 0.0 C b + 1.596 C r G = 1.164 Y - 0.392 C b - 0.813 C r B = 1.164 Y + 2.017 C b + 0.0 C r
Planul C b C r la luminanță constantă Y=0.5
RGB vs. YC b C r RGB Y C b C r
Calitatea imaginilor I = imaginea originală I zg = imaginea afectată de zgomot I proc = imaginea cu zgomot după diferite operații de procesare de imagini I proc = procesare( I ) zg Dorim să evaluăm calitatea imaginii I proc față de I Nu există metode standard Măsurători obiective (MSE, SNR, PSNR) Măsurători subiective (prin vizualizare +scor) Măsurători perceptuale (au în vedere HVS)
Calitatea imaginilor: MSE Eroarea pătratică medie (MSE) 1 MSE= [ Iproc ( xy, ) Ixy (, )] MN M N x= 1 y= 1 2 MSE mai mică calitate mai bună
Calitatea imaginilor: SNR Zgomotul imaginii măsurat în db Raportul semnal zgomot (SNR) SNR 2 2 putere _ medie _ semnal σ I σi = 10log10 10log10 10log 2 10 putere _ medie _ zgomot = = σ zg MSE SNR mai mare calitate mai bună
Calitatea imaginilor: PSNR Raportul semnal zgomot de vârf (PSNR) PSNR putere _ max _ semnal I putere _ medie _ zgomot MSE 2 max = 10log10 = 10log10 pentru I(x,y) pe 8 biți PSNR 2 255 10log 10 = MSE PSNR mai mare calitate mai bună
Calitatea imaginilor: PSNR Exemplu: PSNR pentru imagini codate JPEG Imagine originală JPEG Q=90 PSNR=40dB JPEG Q=20 PSNR=30dB JPEG Q=2 PSNR=20dB