Semnale 3D Prelucrarea Semnalelor Video Extensie a teoriei semnalelor și sistemelor 1D la 3 dimensiuni Concept general: Achiziție (de la 3D la 2D, lentile, senzori, multiplexoare) Transmisie (1D) Reproducere (demultiplexoare, monitoare, HVS) Imaginea = proiecție printr-un sistem de lentile optice pe un senzor (matrice de capacitoare)
Semnale 3D continue vs. discrete semnal video s(x, y, t) = semnal 3D continuu (funcție de 3 variabile continue independente) Prelucrare NUMERICĂ a semnalelor video Eșantionarea semnalului continuu semnal spațiutimp discret Cuantizare semnal spațiu-timp discret video digital Video monocrom 1 număr real la fiecare poziție (x,y,t) luminanța Video color 3 numere reale la fiecare poziție (x,y,t) cele 3 numere reprezintă RGB sau YIQ, YUV sau YCbCr În general, cele 3 componente sunt tratate separat
Video compus și video pe componente Video compus Conversie din RGB în YIQ (YUV) multiplexare YIQ (YUV) într-un singur semnal (1D) Componentele de crominanță multiplexate în banda superioară a lui Y Utilizat în toate dispozitivele video analogice (TV analogic, casete VHS, etc.) Video pe componente 3 componente de culoare capturate/salvate/afișate separat Stocate în format RGB sau YCrCb Utilizate la formatele video digitale
Video analogic Scena reală 3D = semnal 3D continuu (temporal, orizontal, vertical) Video analogic în format rastru Eșantionare în timp: cadre consecutive Mișcare fluentă: 25 frame/s Eșantionare pe verticală: cadru reprezentat printr-un set de linii Numărul de linii depinde de frecvența verticală maximă și de distanța de vizualizare NTSC: 525 linii PAL/SECAM: 625 linii Rastru video = semnal 1D conținând linii succesive
Video analogic scanarea liniilor Cursă inversă orizontală Cadru progresiv Cadru întrețesut Câmp 1 Câmp 2 Cursă inversă verticală Compromis între rezoluția temporală și verticală
Emisia și recepția semnalului audio/video analogic RGB YC 1 C 2 Multiplexare luminanță, crominanță, audio Modulare YC 1 C 2 RGB Demultiplexare Demodulare
Video analogic sisteme de televiziune analogică: NTSC (National Television System Committee) - America de Nord, America Centrala şi Japonia PAL (Phase Alternating Lines) - majoritatea ţărilor din Europa, Africa, Australia, America de Sud şi China SECAM (Systeme Electronique Couleur Avec Memoire) - Franţa, Rusia şi fostele ţări sovietice
Video analogic
Video Analogic Standarde TV NTSC PAL SECAM Imagini pe secundă 29.97 25 25 Durata imaginii (ms) 33.37 40 40 Linii pe imagine 525 625 625 Raport de aspect 4:3 4:3 4:3 Întreţesere 2:1 2:1 2:1 Durata liniei (μs) 63,56 64 64 Spațiu de culori YIQ YUV YD b D r Bandă luminanță (MHz) 4.2 5.0/5.5 6.0 Bandă crominanță (MHz) 1.5(I)/0.5(Q) 1.3(U,V) 1.0 (U,V) Subpurtătoare color (MHz) 3.58 4.43 4.25(Db),4.41(Dr) Modulație culoare QAM QAM FM Subpurtătoare audio (MHz) 4.5 5.5/6.0 6.5 Bandă totală (MHz) 6.0 7.0/8.0 8.0
De ce nu s-ar folosi direct RGB? R,G,B sunt corelate transmiterea R,G,B este redundantă Se dorește o utilizare mai eficientă a benzii transformare RGB->YC1C2 Y,C1,C2 sunt necorelate C1 and C2 necesită o bandă mai mică Y (luminanța) poate fi recepționată de TV A/N YIQ la NTSC I: plaja orange-cyan Q: plaja verde-mov (HVS mai puțin sensibil) Q poate fi limitat în bandă mai puternic decât I faza=arctan(q/i) = ton culoare, modulul=sqrt (I^2+Q^2)=saturație Ton perceput mai bine decât saturație
RGB vs. YIQ RGB YIQ Y = 0.299 R + 0.587 G + 0.114 B I = 0.596 R -0.275 G -0.321 B Q = 0.212 R -0.523 G + 0.311 B YIQ RGB R =1.0 Y + 0.956 I + 0.620 Q G = 1.0 Y - 0.272 I -0.647 Q B =1.0 Y -1.108 I + 1.700 Q
Transmiterea crominanței la NTSC I și Q multiplexate cu aceeași subpurtătoare folosind QAM Banda superioară a lui I limitată la 1.5 MHz pentru a evita interferența cu semnalul audio Poziționare spectru I și Q la fr. înalte ale Y, unde Y este slab la fr. mai joase decât semnalul audio (4.5 MHz) Vârfurile I și Q întrețesute cu cele ale Y
Spectrul luminanței și crominanței luminanță crominanță T l = 53.5 μs f l = 18.691 khz f c = 455f l /2 = 3.58 MHz Subpurtătoare crominanță
QAM (Modulație în amplitudine în cuadratură) Metodă de modulație a două semnale cu aceeași purtătoare, dar cu salt de fază de 90 o FTJ FTJ Modulator QAM Demodulator QAM
Spectrul semnalului NTSC Y I I și Q audio Purtătoare imagine Subpurtătoare crominanță Subpurtătoare audio
Rastru NTSC Curse inverse pentru primul câmp Cursă inversă între câmpul 1 și 2 Cursă inversă între câmpul 2 și 3 Nivel maxim Nivel de negru Nivel de alb
Video digital Video digital se obține prin: Eșantionarea și cuantizarea rastrului analogic Standardul ITU-R BT.601 Folosirea unei camere video digitale utilizează senzori cu transfer de sarcină (CCD) utilizează senzori CMOS
Standardul ITU-R BT.601 ITU-R BT.601 525/60 NTSC ITU-R BT.601 625/50 PAL/SECAM Număr de pixeli activi/linie Luminanţa (Y) Crominanţa (U,V) 720 360 720 360 Număr de linii active/imagine Luminanţa (Y) Crominanţa (U,V) 480 480 576 576 Întreţesere 2:1 2:1 Rată temporală 60 I 50 I Factor de aspect 4:3 4:3 Rate brute de date (Mbps) 165.9 165.9
RGB - YC b C r RGB YC b C r Y = 0.257 R + 0.504 G + 0.098 B + 16, C b = -0.148 R - 0.291 G + 0.439 B + 128 C r = 0.439 R - 0.368 G - 0.071 B + 128 YC b C r RGB R = 1.164 Y + 0.0 C b + 1.596 C r G = 1.164 Y - 0.392 C b - 0.813 C r B = 1.164 Y + 2.017 C b + 0.0 C r
Formate de subeșantionare a crominanței 4:4:4 pentru fiecare 2x2 pixeli de Y 4 Cb & 4 Cr (fără subeșantionare) 4:2:2 pentru fiecare 2x2 pixeli de Y 2 Cb & 2 Cr (subeșantionare 2:1 pe orizontală) 4:1:1 pentru fiecare 4x1 pixeli de Y 1 Cb & 1 Cr (subeșantionare 4:1 pe orizontală) 4:2:0 pentru fiecare 2x2 pixeli de Y 1 Cb & 1 Cr (subeșantionare 2:1 pe orizontală și verticală)
Format video Noţiuni de bază în prelucrarea numerica a semnalelor video Formate video digital Rezoluție Y Eșantionare crominanță HDTV prin aer, cablu, satelit, video MPEG2, 20-45 Mbps Rata cadrelor (Hz) Rată de bit brută (Mbps) SMPTE296M 1280x720 4:2:0 24P/30P/60P 265/332/664 SMPTE295M 1920x1080 4:2:0 24P/30P/60I 597/746/746 Producție video, MPEG2, 15-50 Mbps BT.601 720x480/576 4:4:4 60I/50I 249 BT.601 720x480/576 4:2:2 60I/50I 166 Distribuție video de înaltă calitate (DVD,SDTV), MPEG2, 4-10 Mbps BT.601 720x480/576 4:2:0 60I/50I 124 Distribuție video de calitate intermediară (VCD,WWW), MPEG1, 1.5 Mbps SIF 352x240/288 4:2:0 30P/25P 30 Videoconferință prin ISDN/Internet, H261/H.263, 128-384 Kbps CIF 352x288 4:2:0 30P 37 Videotelefonie prin modem telefonic/wireless, H.263, 20-64 Kbps QCIF 176x144 4:2:0 30P 9.1
Rețele de acces și fluxuri de date Reţea de acces Modem telefonic convenţional ISDN (Integrated Services Digital Network) Flux de date maxim 28.8 kbps 64-144 kbps (px64) T-1 (Trunk Level 1) 1,5 Mbps T-3 (Trunk Level 3) 45 Mbps ADSL (Asymetric Digital Subscriber Line) Modem de cablu Ethernet (reţea locala cu transfer de pachete IP) B-ISDN/ATM 1.5-24 Mbps downstream 0.5-3.5 Mbps upstream 512kbps - 52 Mbps downstream 10/100/1000 Mbps 55-200 Mbps Necesitatea de a comprima datele video brute
H.261 Noţiuni de bază în prelucrarea numerica a semnalelor video Standarde de compresie video standard de codare video folosit în aplicaţii ISDN cu flux de date multiplu de 64kbps (numit şi p 64 kbps) rate de compresie de la 25:1 la 100:1 H.263 standard de compresie video iniţial pentru aplicaţii PSTN (mai puţin de 64 kbps), actual şi pentru fluxuri de date mai mari înlocuiește standardul H.261; rate de compresie cuprinse între 6:1 şi 140:1
Standarde de compresie video MPEG-1 (Motion Picture Expert Group) standard de compresie a imaginilor în mişcare şi a sunetului asociat pentru stocare pe medii digitale (CD) rată de bit de până la aproximativ 1,5 Mbps include formatul audio MP3 MPEG-2 standard de compresie audio/video și transport îmbunătăţire a standardului MPEG-1 suportă întrețesere și high definition rate de bit de 1.5-50 Mbps Utilizat pentru DVB, SVCD, DVD
Standarde de compresie video MPEG-4 o nouă îmbunătăţire a standardului MPEG cu posibilitate de codare bazată pe obiecte oferă Intellectual Property Management and Protection (IPMP) pentru DRM MPEG-4 Part 10 (Advanced Video Coding sau H.264)
Standarde de compresie video H.264/MPEG-4 AVC (Advanced Video Coding) standard de compresie video de generaţie mai nouă; unul dintre cele mai folosite formate pentru înregistrare, compresie şi distribuţie de video de înaltă definiţie; folosit pentru: stocare pe Blue-Ray Disc și HD-DVD streaming pe Internet: YouTube, Vimeo, itunes playere software ca Adobe Flash Player, Microsoft Silverlight, Quicktime, Nero transmisiune TV digitală: DVB-S2, DVB-C2, DVB-T2 înregistrare video HD la camere foto/video: AVCHD (Sony, Panasonic) real-time videoconferencing
Transmisiune TV digitală Familia DVB (Europa) DVB-S (satelit), DVB-S2 DVB-T (terestru prin aer), DVB-T2 DVB-C (cablu), DVB-C2 DVB-H (disp. mobile), DVB-SH (mobil satelit) Familia ATSC (America de Nord) ATSC (terestru/cable) ATSC-M/H (mobile/handheld) Familia ISDB (Japonia/Brazilia) ISDB-S (satelit), ISDB-T (terestru) 1seg (mobil) ISDB-C (cablu), SBTVD (Brazilia)
Standarde de compresie video