PRELEGEREA XII STATISTICĂ MATEMATICĂ

Transcript

1 PRELEGEREA XII STATISTICĂ MATEMATICĂ I. Teste nonparametrice Testele nonparametrice se aplică variabilelor măsurate la nivel nominal sau ordinal. Ele se aplică pe eşantioane mici, nefiind nevoie de presupuneri particulare asupra repartiţiei populaţiei de referinţă. La nivel nominal se va prezenta testul de semnificaţie CHI- PĂTRAT (χ ) pentru concordanţă, iar la nivel ordinal testul de semnificaţie KOLMOGOROV-SMIRNOV (K-S) Testul χ pentru concordanţă Testul compară frecvenţele observate cu frecvenţele teoretice sau aşteptate şi decide dacă sînt sau nu semnificativ diferite. Aici, ipotezele de nul şi alternativă se enunţă astfel: H 0 : Nu eistă nici o diferenţă între proporţiile din eşantion şi cele pentru populaţia de referinţă; H1: Eistă diferenţă între proporţiile din eşantion şi cele pentru populaţia de referinţă. Determinarea valorii testului χ se face după formula de calcul: χ = ( f0 fa), unde f o este frecvenţa observată, iar f a este frecvenţa aşteptată (de fa obicei, dedusă din ipoteza normalităţii variabilei de interes) pentru fiecare categorie de sondaj: fa = np, în care n reprezintă numărul total de cazuri, iar p este proporţia de cazuri din categoria respectivă. Numărul gradelor de libertate depind de numărul categoriilor, k, considerate: ν = k 1. Odată fiat nivelul de semnificaţie α, se poate afirma că: - ipoteza de nul se respinge dacă valoarea calculată a testului χ este în zona critică (χ obţinut > χ critic ), diferenţele între proporţiile eşantionului şi cele ale populaţiei sînt prea mari pentru a fi atribuite întîmplării şi se acceptă ipoteza alternativă; - altfel, ipoteza de nul nu se respinge. În situaţia respingerii ipotezei nule, se poate afla care categorie are cea mai mare contribuţie la semnificaţia statistică calculînd reziduul standard cu ajutorul formulei de calcul: fo fa R =. fa Dacă valoarea absolută a reziduului standard este mai mare decît.00, atunci acea categorie are o contribuţie importantă la valoarea semnificativă a testului χ. Observaţii. 1. Eistă un test CHI-PĂTRAT (χ ) pentru testarea independenţei a două variabile măsurate nominal. Descrierea lui se găseşte în anea A31.. Tot pentru variabile măsurate la nivel nominal, se aminteşte testul Mc Nemar, un test prezent în majoritatea lucrărilor de specialitate, care se aplică la două eşantioane dependente pentru testarea semnificaţiei schimbării.

2 3. Spre o mai bună înţelegere a metodologiei de calcul a valorii testului χ pentru concordanţă se recomandă urmărirea aplicaţiei din anea A1, testul χ pentru independenţă. 1.. Testul Kolmogorov-Smirnov pentru un eşantion Testul confruntă distribuţia unui eşantion cu cea a populaţiei de referinţă, comparînd frecvenţele relative cumulate observate cu frecvenţele teoretice sau aşteptate (stabilite prin cercetări anterioare) şi decide dacă sînt sau nu diferenţe semnificative. La fel ca pentru testul χ pentru concordanţă, frecvenţa aşteptată se deduce din ipoteza normalităţii variabilei de interes pentru fiecare categorie de sondaj. În mod analog, se formulează ipotezele. Calcularea statisticii testului K-S poate fi urmărită în tabelul de mai jos: Categorie Frecvenţa observată Frecvenţa Diferenţa relativă cumulată aşteptată absolută c1 f1 fo1 fa1 fo1 fa 1 c f fo fa fo fa cn fn fon fan fo1 fa Tabelul Calcularea statisticii testului K-S Pentru un nivel de semnificaţie, α, fiat, se respinge ipoteza nulă dacă valoarea testului K-S: V K-S = ma fo i -fa i, cu i = 1,,, n este mai mare sau egală decît valoarea critică tabelată corepunzătoare volumului n al eşantionului. Altfel, se respinge ipoteza alternativă Teste pentru eliminarea valorilor de sondaj aberante Reamintim, pe scurt, cîteva precizări din paragraful.4.1 în care: 1. valorile etreme (aberante) într-un număr foarte mic, se pot înlătura practic din operaţiunile de grupare a datelor eperimentale, cu condiţia ca această operaţie să se facă cu atenţie, pentru că rareori eistă limite reale superioare sau inferioare pe care valorile unei serii statistice să nu le poată depăşi şi. amplitudinea, rămîne o măsură, la care trebuie să se ia aminte, a variabilităţii datelor de sondaj, unde amplitudinea: A = ma min. Cauzele apariţiei unei valori aberante sînt multiple: condiţii neprielnice de realizare a unui eperiment, erori de măsură sau eşantioane nereprezentative. În testarea caracterului aberant a primelor sau ultimelor valori de sondaj dintr-o serie de date ordonată crescător (sau, descrescător) se utilizează testul Dion sau testul Grubbs, după cum volumul de sondaj este n 5 sau, respectiv, n > 0. Aceste teste presupun că populaţia de referinţă are o comportare normală şi că după înlăturarea unei valori aberante ele se pot repeta pentru detectarea altora. Eliminarea valorii aberante, detectată cu un test sau altul, din seria de sondaj rămîne hotărîrea statisticianului. În absenţa unui test, practic, în detectarea unei valori aberante ne putem prevala de: 1. criteriul 1.5IQR;. criteriul 4s: între cel puţin 10 valori, este aberantă valoarea care nu aparţine intervalului ( - 4s, + 4s), unde şi s sînt media şi abaterea standard calculate fără valoarea presupusă aberantă; 3. criteriul 3s, care se enunţă similar criteriului 4s.

3 a) Testul Dion Să notăm cu X = (, (),, (n) ) eşantionul etras aleator din populaţia de referinţă, ordonat crescător (sau, descrescător) încît valoarea care se testează să fie prima, altfel spus,. Enunţul ipotezelor este: H 0 : valoarea nu este aberantă; H1: valoarea este aberantă. Statistica testului Dion (D), precum şi valorile critice ale testului în funcţie de volumul de sondaj, pentru un anumit nivel de semnificaţie se prezintă în tabelul de mai jos. Regula de decizie este cea care se aplică în majoritatea cazurilor: - se respinge ipoteza nulă dacă: D calculat > D n;1-α pentru un nivel de semnificaţie, α, dat, în favoarea ipotezei alternative. - altfel, nu se respinge ipoteza nulă. Procedura de aplicare a testului se poate repeta pentru următoarea valoare de sondaj, pînă cînd nu se mai respinge ipoteza nulă. Aplicaţie. Să presupunem că situaţia şcolară a unui student, după promovarea anului I este: 5, 8.5, 8.75, 9, 9, 9, 9.5, 10. Să se verifice dacă nota 5 poate fi considerată aberantă sau nu. Ipotezele testate sînt: H 0 : valoarea 5 nu este aberantă; H1: valoarea 5 este aberantă. Volumul de sondaj fiind n = 8, statistica testului Dion este: D = () ( n 1) = = Decizia de test: Se respinge ipoteza nulă, în favoarea ipotezei alternative, deoarece > (valoarea tabelată D 8; 0.05 = 0.554). Deci, nota 5 poate fi o ecepţie în situaţia şcolară a studentului respectiv. Dacă se testează următoarea notă, obţinem: D = () ( n 1) = = Decizia de test: Nu se respinge ipoteza nulă, deoarece < (valoarea tabelată D 7; 0.05 = Altfel spus, nota 8.5 nu poate fi înlăturată din eşantion. Valorile critice pentru testul Dion se prezintă pentru valori ale lui α, 0.01 şi n [3, 5] şi pentru două

4 n Valorile critice Dn;1-α Statistica D α = 0.05 α = () ( n) () ( n 1) (3) ( n 1) Tabelul Testul Dion b) Testul Grubbs Ipotezele testului sînt: H 0 : valoarea testată nu este aberantă; H1: valoarea testată este aberantă. Statistica testului Grubbs este fie: (1 ) G =, fie G = ( n), unde şi s sînt media şi abaterea standard s s de sondaj, iar este valoarea minimă, iar (n) este valoarea maimă în seria de sondaj ordonată crescător. Decizia de test este similară celei de la testul Dion. Tabelul cuprinde valorile critice ale testului Grubbs pentru diferite volume de sondaj şi nivele de semnificaţie. (3) ( n )

5 n α = 0.05 α = 0.01 n α = 0.05 α = Tabelul Testul Grubbs II. Modelare statistico-matematică Dacă două sau mai multe variabile se influenţează între ele se spune că sînt în regresie, iar cît de tare sînt dependente (corelate) este măsurat de corelaţie. Deci, indicatorii de corelaţie permit cuantificarea importanţei legăturilor între două sau mai multe variabile şi sînt complementare testelor de semnificaţie. Aprecierea mărimilor de corelaţie poartă denumirea de predicţie, care va fi cu atît mai precisă cu cît corelaţia dintre variabile este mai puternică. Definiţia 1..1 Dacă o variabilă Y depinde de o variabilă X, se spune că cele două variabile sînt în regresie simplă. Definiţia 1... Dacă o variabilă Y depinde de mai multe variabile X 1, X,, X n, se spune ca avem o regresie multiplă. Definiţia Dacă X şi Y sînt în regresie de forma Y = ax + b, se spune că avem o regresie liniară. Dacă din regresie intră la o putere mai mare sau egală cu, atunci regresia este curbilinie. În mod similar, dacă Y = a 0 +a 1 X 1 +a X + + a n X n, avem o regresie multiplă liniară. Dacă macar o variabilă i intră la o putere mai mare sau egală cu, se spune ca regresia este multiplă curbilinie. Variabilele X, X1,, X n se numesc variabile independente, iar variabila Y este variabila dependentă. Corelaţia poate fi pozitivă sau negativă, în sensul că la variaţii ale valorilor variabilei independente corespund, în acelaşi sens (creşteri sau descreşteri) sau nu, variaţii ale variabilei dependente. Dacă nu eistă nici o corelaţie între variabile, atunci limita inferioară a indicatorului de corelaţie utilizat este zero, iar dacă eistă o corelaţie pozitiv perfectă sau negativ perfectă, atunci valoarea acestuia este +1 sau respectiv 1. O valoare subunitară mai mare sau egală decît 0.5 se poate interpreta ca una de la una moderată la una foarte puternică, iar sub această limită de la una puţin moderată, slabă,

6 foarte slabă la una aproape ineistentă, în sens pozitiv sau negativ, după cum se observă în tabelul Acest calificativ, desigur, că depinde de natura variabilelor studiate şi de eperienţa statisticianului. Valoarea coeficientului ( ) ( ) ( ) ( ) Interpretare Corelaţie pozitivă (negativă) foarte puternică sau aproape pefectă Corelaţie pozitivă (negativă) puternică Corelaţie pozitivă (negativă) moderată ( ) Corelaţie pozitivă (negativă) slabă pînă la moderat Corelaţie pozitivă (negativă) foarte slabă sau ineistentă Tabelul Interpretarea valorii unui coeficient de corelaţie În general, distribuţiile condiţionate ale variabilei dependente, mai ales, cele măsurate la nivel nominal şi ordinal, se înscriu pe coloane într-un tabel cu două intrări, unde categoriile ei (c 1, c,, c q ) sînt capete de linii, aranjate în mod descrescător sau crescător, iar categoriile variabilei independente vor constitui capete de coloană, aranjate în mod invers, adică crescător sau respectiv descrescător, conform tabelului Y X c1 c cq Total linie cq f11 f1 f 1q c1 fq1 fq f qq Total coloană n Tabelul 1... Distribuţia condiţionată a variabilei dependente În continuare, se prezintă o situaţie succintă a indicatorilor de corelaţie utilizaţi în cercetarea statistică: Nivel de măsură Indicator de corelaţie Nominal 1.Coeficientul ϕ.coeficientul de contigenţă C 3.Coeficientul V al lui Cramer 4.Coeficientul λ Ordinal 1.Coeficientul γ al lui Goodman şi Kruskal.Coeficientul d al lui Somer, 3.Coef. τ b al lui Kendall, Interval sau de aparat 1.Coeficientul de corelaţie bivariată r al lui Pearson.Coeficientul r de determinare bivariată 3.Coeficientul de corelaţie parţială de ordinul întîi 4.Coeficientul de corelaţie multiplă R 5.Coeficientul de determinare multiplă R Tabelul Lista indicatorilor de corelaţie

7 1..1. Indicatori de corelaţie la nivel nominal Ca indicatori de corelaţie la nivel nominal se enumeră: coeficientul ϕ, coeficientul de contigenţă C, coeficientul V al lui Cramer şi coeficientul λ, între care primii trei se bazează pe testul χ. Formulele de calcul pentru coeficienţii de corelaţie menţionaţi deasupra sînt: χ χ 1) ϕ =, ) C =, n χ + n c f X + fy mc ml χ j = 1 i= 1 3) V =, 4) λ =, unde n este volumul n( q 1) n mc ml total de cazuri, q este cea mai mică dintre valorile numerice, c numărul de coloane din tabel, l numărul de linii din tabel, f X cea mai mare frecvenţă în coloana X, f Y cea mai mare frecvenţă în linia Y, m c cel mai mare marginal de coloană, m l cel mai mare marginal de linie. Aplicaţie. Considerînd datele eperimentale din eemplul prezentat în finalul secţiunii χ 18 testelor nonparametrice, unde χ obţinut = 18, se determină ϕ = = = n Deci, avem o corelaţie moderată între se şi tipul sportului practicat. l 1... Indicatori de corelaţie la nivel ordinal Tot patru indicatori de corelaţie se vor prezenta şi la nivel ordinal pentru două variabile cu un număr mic de valori: coeficientul γ al lui Goodman şi Kruskal, coeficientul d al lui Somer şi τ b al lui Kendall. Formulele de calcul sînt următoarele: γ = (N a N d )/(N a + N d ), d = (Na N d )/(N a + N d + L y ), Na Nd τb =, N + N + L )( N + N + L ) N a ( a d y a d reprezintă numărul total de perechi de cazuri nelegate şi dispuse în aceeaşi ordine pentru ambele variabile, Nd reprezintă numărul total de perechi de cazuri nelegate şi ordonate diferit în privinţa celor două variabile, Ly reprezintă numărul total de perechi de cazuri legate ale variabilei dependente, Ly reprezintă numărul total de perechi de cazuri legate ale variabilei independente, Pentru a eplicita semnificaţia epresiilor cazuri nelegate şi cazuri legate, se consideră un tabel cu două intrări şi 9 celule, de genul: f11 f1 f13 f1 f f3 f f 31 3 f33

8 unde f ij reprezintă frecvenţele celor două variabile dispuse la fel ca în nivelul nominal, iar i şi j sînt notaţiile generice pentru o linie şi respectiv o coloană din tabel. În cantitatea Na participă produsele frecvenţelor pentru perechile de celule care se pot asocia cîte două după principiul deasupra şi la dreapta: pentru f 31 avem: f 31 (f + f 3 + f 1 + f 13 ) + pentru f3 avem: f 3 (f 3 + f 13 ) + pentru f1 avem: f 1 (f 1 + f 13 ) + pentru f avem: f (f 13 ) Na = Totalul sumelor Se observă că, nici una dintre celulele situate pe prima linie sau pe ultima coloană nu poate contribui la valoarea lui Na, neeistînd celule deasupra şi la dreapta. În calcularea cantităţii Nd se utilizează principiul deasupra şi la stînga, după cum urmează: pentru f33 avem: f 33 (f 11 + f 1 + f 1 + f ) + pentru f3 avem: f 3 (f 11 + f 1 ) + pentru f3 avem: f 3 (f 11 + f 1 ) + pentru f avem: f (f 11 ) Nd = Totalul sumelor În mod similar, nici una dintre celulele situate pe prima linie sau pe prima coloană nu poate contribui la valoarea lui Nd. În cantitatea Ly îşi aduce contribuţia fiecare linie, prin înmulţirea frecvenţei din fiecare celulă cu suma frecvenţelor din toate celulele situate la dreapta: pentru linia întîi avem: f 11 (f 1 + f 13 ) + (f 1. f 13 ) + pentru linia a doua avem: f1 (f + f 3 ) + (f. f 3 ) + pentru linia a treia avem: f31(f 3 + f 33 ) + (f 3. f 33 ) Ly = Totalul sumelor Procedînd, în mod similar, pe coloane şi în jos, se obţine L: pentru coloana întîi avem: f11(f 1 + f 31 ) + (f 1. f 31 ) + pentru coloana a doua avem: f1 (f + f 3 ) + (f. f 3 ) pentru coloana a treia avem: f13(f 3 + f 33 ) + (f 3. f 33 ) L = Totalul sumelor Interpretarea valorii unui coeficient de corelaţie la nivel ordinal se face conform precizărilor din tabelul Observaţii. 1. Cu testul χ se poate cerceta corelaţia a două variabile la nivelul populaţiei de referinţă, deşi se evidenţiază doar probabilitatea ca frecvenţele observate să se datoreze numai întîmplării.. Pentru coeficienţii γ şi ρs s-au elaborat teste de semnificaţie specifice, unde ipoteza de nul se enunţă astfel: H 0 : γ = 0 şi respectiv H 0 : ρ S = 0. În mod corespunzător, H 1 : γ 0 şi respectiv H 1 : ρ S 0 sînt ipotezele alternative. Pentru eşantioane cu n > 30, distribuţiile Z şi respectiv t pot fi folosite în aproimarea distribuţiei de eşantionare γ şi respectiv ρs. Formulele de calcul pentru

9 Na + Nd n aceste statistici sînt: Z = γ şi respectiv t = ρ S cu n grade de n(1 γ ) 1 ρs libertate. Dacă pentru distribuţia de eşantionare ρ S, volumul de sondaj aparţine intervalului 5 n 30, atunci se foloseşte tabelul valorilor critice pentru nivelul de semnificaţie considerat, α. Ipoteza de nul se respinge dacă valoarea calculată a testului este mai mare decît valoarea critică.