HTPK Uurimismeetodid pedagoogikas 2 AP Lüümikud Lüümikud kajastavad kursuse sisu vaid osaliselt

Transcript

1 HTPK Uurimismeetodid pedagoogikas 2 AP Lüümikud Lüümikud kajastavad kursuse sisu vaid osaliselt 1. Pedagoogilise uuringu olemus. Teadustöö olemus Pedagoogiline ja psühholoogiline Teadustöö kvaliteedi näitajad Kvalitatiivne ja kvantitatiivne uuring (tabel) Teadustöö hindamise kriteeriumid pedagoogikas Hea retsensioon 2. Ülevaade uurimismeetoditest. Kvalitatiivuuringu olemus Case study research LA Andmete kogumine kvalitatiivuuringus. Biograafiline uuring Tegevusuuring Mõtlemise arendamine Kuidas aidata mitut keelt Vaatlus Vaatlus GBG Intervjueerimine. Ankeedi koostamine Eksperthinnangud pedagoogikas Juhiseid kooliõpikute Kodeerimisjuhend Arengu uuring - Kooli edukuse 3. Statistiline andmeanalüüs. Mõõteskaalad pedagoogikas Mood ja mediaan Statistilise tulemuse viga Prtotsentarvude usalduspiirkond Tulemuste erinevuse usaldatavus Pearsoni lineaarkorrealtsioon Spearmani astakkorrelatsioon Korrealtsioonikordaja interpreterrimine Statistiliste meetodite valik ANOVA 4. Testid koolis. Testid pedagoogikas Ainetestid Programmitesti ja erstistustesti võrdlus Küpsuseksamite hinded.. Testitulemuste standardskaalad

2 Testi juhend Testi läbiviija meelespea Soovitused testi täitjale Vead testide koostmisel 5. Uuritavate esinduslikkus. Esindusliku kogumi koostamine Esinduskogumi suurus Esinduskogumi koostamine rahvusvahelises lugemisuuringus. 6. Uurija eetika ja autoriõigus. Ethical, legal, issues 6. Uurimistulemuste viimine praktikasse. Haridusuuringute juurutamine praktikasse

3 Pedagoogilise uuringu olemus.

4 Teadustöö olemus 1. Uute oluliste teadmiste saamine ja rakendamine. Subjektiivselt ja objektiivselt uus. Süstemaatiline uuring, meetodid. Uued meetodid uued tulemused. Süstemaatiline tõe otsimine. 2. Konstateeriv uuring (ankeet, test jne) ja arendusuuring (uus õppevahend). 3. Rakendusuuringud (kuidas vähendada koolikiusamist, suurendada töörõõmu) ja fundamentaaluuringud (luua tunnetuskoormuse teooria jm). 4. Teadustöö grandid. ETF, AEF, Phare jne.

5 Pedagoogiline ja psühholoogiline uurimistöö Psühholoogiline Pedagoogiline Kirjeldada Arendada õpetust, olukorda, leida kasvatust seoseid Meetod Testid, ankeedid Tegevusuuring, eksperiment, arengu uuring Etapid Üks mõõtmine Eesmärk Hindamise alus Reliaablus, valiidsus, esinduslikkus 1. Algmõõtmine 2. Arengu kava 3. Arendustöö 4. Lõppmõõtm. Kasu haridusele (teema olulisus, tulemuste põhjendatus)

6 Teadustöö kvaliteedi näitajad 1. Aktuaalsus. Uudsus (?), vajalikkus. 2. Kirjanduse tundmine: uus, põhiline. 3. Metoodika: valiidsus andmete kogumisel ja töötlemisel, reliaablus, korratavus. 4. Töö ulatus, tulemuste usaldatavus Kirjanduse hulk, katseisikute arv, esinduslikkus, üldistatavus, töö loogilisus. 5. Mida annab praktikale ja teadusele? Rakendatavus. 6. Vormistus: vastavus tavadele, selgus.

7 Kvalitatiivne uuring Bogdan & Biklen I Kvantitatiivne uuring Eesmärgid Kirjeldada Faktid Mõista Seosed, teooria Põhistatud teoria Ennustamine Korraldus Sõltub olukorrast Varem fikseeritud Muutuv Struktureeritud Andmed Jutustus, kirjeldus Mõõtmistulemused Isiklikud paberid Riiklik statistika Fotod Arvulised Valim Väike, kujunev Mitte esinduslik Suur Esinduslik

8 Kvalitatiivne Kvantitatiivne Meetodid Vaatlus Struktureeritud Dokument. analüüs vaatlus Avatud küsimused Ankeet Inimeste jutustused Eksperiment Vahendid Magnetofon, pliiats Küsimustik, test Andmete analüüs Induktiivne Deduktiivne Ebatavaline Statistiline Probleemid Aeganõudev Kõrvalmuutujad??? Mitte üldistatav Valiidsus Madal reliaablus Pealetükkivus Voorused Uued ideed Täpsus Hüpoteeside Hüpoteeside püstitamine kontroll

9 Teadustööde hindamise kriteeriumid pedagoogikas. RRQ Kas uuritava probleem on põhjendatud teooria ja varasemate uuringutega? 2. Kas probleem on aktuaalne ja uuringu idee loogiline? 3. Kas uurimismeetodid on valiidsed? 4. Kas andmed on esinduslikud ja reliaablid? 5. Kas andmeanalüüs on põhjalik, korrektne ja sobivate meetoditega? 6. Millised on tulemuste rakendusvõimalused teoorias, uuringutes ja praktikas? 7. Millised on küsitavused uurimistöös ja nende võimalikud lahendused?

10 Hea retsensioon RRQ Ei peatu pikalt kirjavigadel ega vormistuse puudujääkidel. 2. Ei ole mõjutatud autori eelistustest. 3. Ei ole liiga pikk ega liiga lühike. 4. Toetub teistele analoogilistele uuringutele. 5. Annab nõu autorile jättes talle valikuvõimlause. 6. Selgitab toimetajatele käsikirja tugevaid ja nõrku külgi. 7. Sisaldab positiivseid hinnanguid ja julgustusi artikli mõne aspekti kohta.

11 Ülevaade uurimismeetoditest.

12 Kvalitatiivuuringu olemus Bogdan, Biklen, Kvalitatiivuuring järkjärguline, intuitiivne lähenemine tõele. 2. Püütakse tungida nähtuse olemusse. 3. Vaadeldakse tervikut. 4. Uurimismeetodid kujunevad uurimise käigus. 5. Uuritakse loomulikes tingimustes. 6. Andmed on kirjeldavad. 7. Uuritakse nähtuse ajalugu. 8. Uuring on induktiivne. Pole hüpoteesi. 9. Inimeste arvamused on olulised.

13 Küsimused-vastused kvalitatiivuuringu kohta 1. Kas kvalitatiivuuringu tulemused on üldistatavad? Ei, aga on rakendatavad. 2. Kas uurija eelarvamuse mõjutavad tulemusi? Jah, erinevad vaatenurgad, võrdlused. 3. Kas uurija olemaolu mõjutab tulemusi? Jah, minimiseerida. 4. Kas kaks uurijat saavad samu tulemusi? Ei, reliaablus madal. 5. Mille poolest kvalitatiivuuring erineb õpetaja vaatlusest? On süstemaatilisem. 6. Kas kvalitatiivuuringut ja kvantitatiivuuringut võib koos kasutada? Jah, järjest. 7. Kas kvalitatiivuuring on teadus? Jah, süstemaatiline, empiirilised andmed. 8. Mis on kvalitatiivuuringu eesmärk? Inimese mõistmine, hüpoteesid, põhistatud teooria. 9. Kumb on parem, kas kvalitatiivuuring või kvantitatiivuuring? Sõltub eesmärgist.

14 Case study research I Gall, Borg, Gall, Kvalitatiivuuringus uuritakse üksikuid juhte põhjalikult - juhtumi uuring. Uuritakse loomulikes tingimustes ja püütakse selgitada, kuidas osalejad seda mõistavad - emic perspective. (Etic perspective - uurija arusaam) 2. Juhtumi uuringu eesmärgid: 1) põhjalik kirjeldus, millest tulenevad konstruktid - selgitavad ideed ja teemad - korduvad karakteristikud, 2) selgitus - mustrid: seoselised ja põhjuslikud 3) hinnang. I. Juhtumi uuringu planeerimine 3. Probleemi sõnastamine - mõista nähtust. 4. Juhtumi valik: informatiivne, tüüpiline või erandlik, poliitiliselt tähtis. Mitu juhtumit nõrgendab ühe juhtumi süva-analüüsi. 5. Juhtumi uurija ise aktiivne "mõõteinstrument". 6. Sissepääsuloa saamine: a) kellega kontakteeruda kõigepealt, b) kuidas kontakteeruda - kiri, telefon, visiit, c) sõnastada palve ( kasu teadusele või uuritavatele), d) valmistu vastama muudele küsimustele. Kontakti eest hoolitse kogu uuringu jooksul. Näiteks, riietu nagu uuritavad.

15 Case study research II 7. Probleemide lahendamise aluseks eetika: 1) utilitaarne - suurim hüve kõigile, 2) deontoloogiline - ausus, õiglus, austus, 3) suhteline - hoolitseda teiste eest, 4) ökoloogiline - käitu vastavalt uuritavate tõekspidamistele. II. Andmekogumine juhtumiuuringus 8. Tavaliselt mitu meetodit - triangulatsioon. Kasutatavad ka kvantitatiivsed meetodid. 9. Uurija osalemine uuritavates protsessides mõõdukas. Oma kogemuse kirjeldus lühike. 10. Analüüs andmekogumise käigus võib muuta uuringu suunda. Võib teha protokolli lühikokkuvõtte ja dokumendi lühiülevaate. 11. Andmekogumise lõpetamine 1) aeg otsas, 2) ressursid otsas, 3) uuritavad tüdinud, 4) ei tule uut informatsiooni, kordused, uus informatsioon teemast kaugel.

16 Case study research III III. Juhtumi uuringu andmete analüüs 12. Interpreteeriva analüüsi eesmärgiks leida konstrukte, teemasid, mustreid. Analüüsi käik: 1) andmebaasi jagamine segmentideks s.o. analüüsi ühikuteks, mis sisaldavad ühe ühiku infi ja on iseseisvalt mõistetavad, 2) kategooriate võtmine varasemast uuringust või oma andmebaasist korduvate konstruktide leidmine (põhistatud teooria), 3) segmentides kõikide kategooriate leidmine, soovitav määrata kodeerija reliaablus, 4) iga kategooria segmentide kokkuviimine ja võrdlemine, 5) uuringu tulemuseks on konstruktid ja teemad; konstruktide vahelised korrelatsioonid (üle segmentide) ja mustrid (patterns). Näiteks, leiti konstruktid: kooli juhtimise kogemus ja valmisolek haridusuuendusteks. Leiti, et hea kogemuse korral oldi valmis uuendusteks - see on muster.

17 Case study research IV 13. Strukturaalanalüüs on mustrite leidmine andmestikus, näiteks, millised sõnad korduvad. Saab uurida, kuidas muutub õpilaste kõne või suhtlemine õpetajaga jne. Interpreteerivas analüüsis teeb uurija andmetest järeldusi, siin mitte. 14. Reflektiivne analüüs toetub intuitsioonile. Pole reegleid. IV. Juhtumiuuringu reliaablus ja valiidsus. 14. Positivistliku lähtekoha puhul 1) konstruktiivvaliidsus, 2) sisemine valiidsus - mil määral on tõestatud põhjuslik seos, 3) välimine valiidsus - mil määral võib üldistada, 4) reliaablus - mil määral ühtivad erinevate uurijate tulemused. 15. Interpreteeriva lähtekoha puhul 1) uurimuse kasulikkus uuritavaile, lugejale, 2) mida laiemas kontekstis vaadeldakse tulemusi, seda usaldatavam, 3) uurija oma positsiooni avamine tõstab usaldatavaust; ise mittetajutavate hoiakute avastamiseks lasta tööd ligeda kolleegidel, 4) esitusstiil vastaku võimalikult uuritavatele.

18 Case study research V 16. Juhtumi uuringu reliaabluse ja valiidsuse tõstmine: 1) triangulatsioon, 2) rapordi läbilugemine uuritavate poolt, 3) arutluse loogika detailne esitus, 4) hälbivate juhtumite analüüs, 5) kui juhtumiuuringu eesmärgiks oli mõjutuse efekti uurimine (nagu eksperimendis), siis võrrelda, kuivõrd prognoos ühtib tegelikkusega, 6) pika-ajaline vaatlus, 7) vaadelda tüüpilisi (esinduslikke) juhtumeid, 8) kodeerijate reliaabluse analüüs. V. Juhtumi uuringu üldistatavus. 17. Üldistatavus väga küsitavad, kuna tulemused sõltuvad uurijast. Teatud üldistatavuse saavutamiseks: 1) vali tüüpiline juhtum, 2) kasuta juhuvalikut, kui mitu juhtumit. Võib jätta lugejale otsustada, kas tulemused võiksid kehtida tema juhtumil. Selleks juhtumi põhjalik kirjeldus ja enda uuritud mitme juhtumi võrdlev analüüs.

19 Case study research VI V. Juhtumi uuringu tulemuste esitamine. 18. Juhtumi valik selgub uuringu käigus. 19. Reflektiivne esitus reflektiivse kirjelduse puhul. Siia kuuluvad ka kirjandusteosed: proosa, draama, luule. Iseloomustab kronoloogilisus, põhisündmus, erinevate tegelaste vaatenurgad. 20. Analüütiline esitus interpreteeriva ja strukturaalse analüüsi puhul tavaline. Käsitleda algul igat juhtumit eraldi ja siis igat konstrukti, teemat ja mustrit eraldi. Kasutatakse tabeleid ja graafe (matrixes and networks). VI. Juhtumi uuringu plussid ja miinused 21. Plussid: 1) põhjalik kirjeldus elustab juhtumi, 2) selle põhjal võib lugeja arendada teooriat, 3) saab juhtumit võrrelda oma kogemusega, 4) sobib hästi erandjuhtumite uurimiseks, 5) uuring on paindlik, muutuv. 22. Miinused. 1) peaaegu mitteüldistatav, 2) raske varjate, keda uuriti, 3) töömahukad ja nõuavad häid verbaalseid võimeid.

20 Andmete kogumine Kvalitatiivuuringus I 1. Sissepääsuloa saamine. Infi sekretärilt, õpetajatelt. Eetikakomisjoni luba. Küsimused Mida Te teete? Kas Te segate? Kuidas kasutate tulemusi? Miks Te meid uurite? Mis sellest välja tuleb? 2. Esimesed päevad uurimispõllul. Las keegi tutvustab Teid! Ärge püüdke teha kuigi palju! Vaadelge algul alla tunni! Vead ja huumor on vältimatud! 3. Osalusvaatleja võtab grupi tegevusest mõõdukalt osa.

21 Andmete kogumine Kvalitatiivuuringus II 3. Olge taktitundeline! Riietus lähedane grupile. Unustage harjumus lapsi kasvatada! Parim on sama vana, samast soost, samast rahvusest uurija. Ülestähendusi tehke peale vaatlust! Ärge jätke märkmeid nähtavale! Ärge salatsege märkmete tegemisel! Jääge neutraalseks konfliktses grupis Uuritavatega ühised tunded ja vaated soodustavad kontakti. 4. Hea kontakti puhul võib kasutada kaamerat, magnetofoni jne. 5. Andmete kogumise lõpetamine. Käige algul harvemini uurimas.

22 Biograafiline uuring 1. Inimese elu uurimine. Miks nii kujunes, mida õppida? 2. Uurida kuulsusi neil pole aega, Elu heidikuid -?? 3. Aluseks dokumendid, autobiograafiad, päevikud, kirjad, jutustused. 4. Tulemusi tutvustada uuritavale 5. Avaldamine Kui nimeliselt, siis vältida kriitikat. 6. Sobib näiteks väärtuste mõju uurimiseks.

23 Tegevusuuring Action research 1. Tegelikkuse väike mõjutamine, mõju uurimine. Uurib tegutseja. 2. Tegevusuuringu iseloomustus a) tegevuse analüüs, b) tegutsejate soov uuenduseks, c) pidev tagasiside ja muutmine, d) tegutsejad aktiivsed, muutuvad, e) pole võimalik üldistada, f) pole teaduslikult täpne. 3. Tegevusuuringu etapid 1) probleemi nägemine, 2) läbirääkimised osaliste vahel, 3) kirjanduse analüüs, 4) probleemi täpsustamine, 5) meetodi valik, 6) hindamismeetodi valik, 7) tegelik töö, 8) andmete tõlgendamine.

24 Mõtlemise arendamine Lavertoni kooli kogemus I 1. Mõtlemisküsimused õpetajalt Miks? Kuidas? Mis oleks, kui? Andke aega mõtlemiseks. 2. Õpilaste küsimused Kiita küsimuse eest + hinne! Igalt kaks küsimust (kirjalikult) Mis jäi arusaamatuks? Miks me seda õpime? Õpetaja kirjutas mõttetuse tahvlile. Õpilaste küsimustele ehitati üles tund. Vastavad teised õpilased. 3. Diskussioonid Sisuks hinnangud ja prognoosid. Reeglid: 1) tõsta kätt, 2) korraga räägib üks, 3) küsimus esita klassile. 4. Mõistekaardid. Koostada grupis, arutelud. Parim 6-8 mõistet ja selgitused seostel. 5. Reaalainetes katsed. Diskussioonist eesmärk ja metoodika. Hüpoteesid. Valguskiir valgele lehele või peeglile.

25 Mõtlemise arendamine Lavertoni kooli kogemus II 6. Humanitaarainetes 1) esita 10 küsimust romaani kohta, 2) kirjelda ühe tegelase käitumist, 3) kuidas see mõjutas romaani sündmusi, 4) kuidas see tegelane võinuks veel käituda, 5) mis on luule, 6) kuidas hindad klassikaaslase jutustust. 7. Õpilaste hindamiseks hinnangud. Neid andsid ka kaasõpilased. Tulemused 1. Aega kulus 2-3 korda rohkem. 2. Õpilased algul vastu: me ei valmistu testideks. 3. Arenesid õpioskused. 4. Töömeeleolu parem. 5. Rohkem muutusid edutud õpilased. 6. Õpetajad 1) rohkem õpetamisvõtteid, 2) rohkem mõtlemisküsimusi, 3) arvestasid õpilaste eelteadmisi, 4) demokraatlikum juhtimisstiil.

26 Kuidas aidata mitut keelt rääkivatel õpilastel väljendada oma teadmisi. Sündmuse uuring Blake & van Sickle in JAAL Multikeelsed (dialektiga) õpilased ei suutnud nõuetekohaselt rääkida ega kirjutada - ei teinud eksameid. 2. Uuringu eesmärk: aidata omandada keel. 3. Algul 1 õpilane ja 3 õpetajat, lõpus 9 õpilast ja 4 õpetajat. 4. Räägiti õpilase huvidest, uuriti keeleoskust, pandi see kirja. Anti kodutöid, räägiti neist, lasti kirjutada oma elust. Töötati tüüpiliste vigade vältimiseks. 5. Näited tundidest kahe õpilasega. Avastusõpe, vestlus. Üks neist kooli jalgpalli-võistkonna kapten, lõpetas kooli, läks kolledžisse õppima. 6. Õpilased õppisid lülituma ühe keele koodilt teisele, ühelt kultuurilt teisele. 7. Õpetajad peaksid teadma keelte ja kultuuride erinevusi, austama kõiki dialekte.

27 Vaatlus Merriam Teaduslik vaatlus: 1) eesmärk, 2) plaan, 3) vaatlustulemused registreeritud, 4) on võimalik kontrollida reliaablust ja valiidsust. 2. Kriitikud: vaatlus on subjektiivne. Eri positsioonidel vaatlejad, protokoll 3. Mida vaadelda 1) füüsiline keskkond 2) isikud, 3) tegevused, 4) vestlused, 5) varjatud faktorid: mitteverbaalne suhtlemine 6) uurija enda käitumine. 4. Vaatluse liigid 1) varjatud vaatleja, 2) vaatleja ruumis, 3) uurija grupi liige, uurimine olulisem, 4) uurija grupi liige, grupitöö olulisem.

28 Vaatlus I Gall, Borg, Gall, 1996 Mikk 2002 I. Vaatlus küsitlusest objektiivsem - ilustamine Vaatleja segab, vaatlus aeganõudev. II. Kvantitatiivne vaatlus. 1. Fikseeri vaadeldavad tunnused - Flanders Milles väljendub meid huvitav omadus kirjandus 2. Tunnuste liigid a) kirjeldav (descriptive) - faktid, b) järeldav (inferential) - näit. enesekindlus, 3. Kodeerimine: tunnuse (tegevuse) kestus, sagedus, intensiivsus. 4. Ülesmärkimise viisid: a) standardsed kodeerimislehed - ERIC'ust, b) magnetofon või video, 5. Vaatlejate valik ja väljaõpe. Analüüsige läbi vaatlusleht, proovivaatlused, juhendi täpsustamine. Ei saa vaadelda palju tunnuseid. 6. Vaatlejate reliaablus a) korrelatsioon eksperdi kodeerimistulemustega, b) vaatleja reliaablus - sama linti kaks korda, c) vaatlejate vaheline reliaablus - kaks vaatlejat.

29 Vaatlus II 7. Vaatleja mõju: a) vaatleja mõjutab vaadeldavaid - külasta enne, b) vaatleja eesmärk mõjutab - teata pärast, c) vaatleja hoiakud mõjutavad vaatlustulemusi kaks vaatlejat, d) haloefekt - esimene mulje määrab, e) eelistatakse anda keskmisi hinnanguid. Mõju vähendamiseks iganädalane treening vaatlejaile, kõrge motivatsioon. 8. Uurija eelarvamuste mõju vähendamiseks: kaaluda alternatiivseid selgitusi, kasutada ka kvantitatiivseid meetodeid, kasutada teisi uurijaid, toetuda erinevatele teoreetilistele lähtekohtadele, esitada andmed lugejale võimalikult konkreetselt. III. Kvantitatiivse ja kvalitatiivse vaatluse erinevus. Kvantitatiivses 1. vaadeldavad faktid täpselt identifitseeritavad. 2. Vaatlejate kõrge reliaablus. 3. Vaatlus muutumatu kogu uuringus. 4. Palju vaadeldavaid, esinduslikkkus. 5. Kvantitatiivsed andmed, statistika.

30 Sisu analüüs Gall, Borg, Gall, 1996 V. Kontent analüüs - kommunikatsiooni sisu objektiivne, süstematiline, kvantitatiivne analüüs. Näit. sõnasagedused ja loetavuse valemid. 1. Kontentanalüüsi sammud. a) määratle uuritavad dokumendid, b) täpsusta eesmärk ja küsimused, c) dokumentide esinduslik valim, d) fikseeri kodeerimiskategooriad, e) tee analüüs, f) tõlgenda tulemusi. 2. Kvalitatiivne dokumendivaatlus. Arvestatakse dokumendi koostamise aega, autori eesmärki ja töötingimusi jne. 3. Tõlgenduste tõepärasuse hindamiseks a) sisemine koherentsus - loogiline arutlus, b) väline koherentsus - kooskõla teooriatega, c) järelduste viljakus, d) uurijate ja toetajate autoriteet.

31 Intervjueerimine 1. Eesmärgiks teada saada, kuidas intervjueeritav mõtleb. 2. Intervjuu algab igapäevavestlusega. 3. Vastaja teadku, et räägitu jääb saladuseks. 4. Vastaja võib muuta vestluse suunda. 5. Intervjueeritav tundku end vabalt! 6. Vältige "kas" küsimusi! 7. Vastust kuulake taktitundeliselt! 8. Andke positiivset kinnitust, toetage! 9. Ärge vaidlustage vastuseid vaid küsige selgitusi! 10. Ärge õpetage intervjueeritavat! 11. Küsige ruumis olevate piltide kohta! 12. Ei mõista vastust - oma viga. 13. Maki kasutamiseks küsige luba! 14. Lint kirjutage kiiresti tekstiks!

32 Ankeedi koostamine I Gall, Borg, Gall, 1996, Koosta võimalikult lühike ankeet! 2. Väldi termineid ja zargooni! 3. Väldi sõnu ankeet ja küsimustik! 4. Selge, värviline trükk on meeldiv. 5. Küsimused olgu kerged lugeda ja täita! 6. Nummerda ankeedi leheküljed ja küsimused! 7. Tagasi-aadress olgu nii algul kui lõpul! Lisa aadressiga tagasisaatmisümbrik! 8. Täitmisjuhendid olgu selged, lühidad ja paksus kirjas! 9. Koonda ühte sama sisu ja/või sama vastamisviisiga küsimused! 10. Uuest teemast teavita eraldi lausega! 11. Alusta huvitava ja ohutu küsimusega! 12. Rasked ja isiklikud küsimused paiguta ankeedi lõppu! 13. Olulised küsimused paiguta ettepoole! 14. Selgita vastajale küsimuste olulisust!

33 Ankeedi koostamine II 15. Raskemate küsimuste ette paiguta vastamise näidis! 16. Väldi umbmääraseid sõnu mõned, enamus, tavaliselt jne! 17. Sõnasta küsimused võimalikult lühidalt! 18. Väldi negatiivselt sõnastatud küsimusi! 19. Väldi kaheosalisi küsimusi! 20. Enne esita üldisem küsimus ja siis konkreetsem! 21. Väldi vihjeid mingile vastusele!

34 Eksperthinnangud pedagoogikas Tšerepanov 1989, Kõverjalg Asjatundjate hinnang olukorrale. Näited: a) õppenõukogu, pedagoogiline konsiilium, b) sõjanõukogu, ilu-uisutamise kohtunikud. 2. Eksperthinnangu saamise etapid: a) skaalade koostamine, b) ekspertide valik, c) hindamine: komisjoni meetod, ajurünnak, Delfi meetod. 3. Skaalade koostamine eksperdid otsustavad, eelkatse, jäävad valikvastused, mida valis üle 5% ekspertidest. 4. Ekspertide kompetentsuse hindamine: a) dokumendid: tööstaaz, haridus, amet, artiklid; b) hinnangud: enesehinnang, teiste hinnangud; c) kompetentsuse testimine võrdlus teistega. 5. Nõuded ekspertidele: a) positiivne suhtumine ekspertiisi, b) objektiivsus, erapooletus, vaba hinnangutes, c) mõtlemise paindlikkus, loovus.

35 6. Hinnangute andmine komisjoni meetodil. Eksperdid diskuteerivad, lähendavad seisukohti. Tulemust mõjutavad: a) eksperdi autoriteet, veenmisoskus, b) eksperdi jonnakus. 7. Hinnangute andmine ajurünnakuga. Kaks etappi (või kaks gruppi): a) ideede genereerimine, b) ideede hindamine. 8. Hinnangute andmine Delfi meetodil. 1. Eksperte anketeeritakse eraldi. 2. Kõikide vastused jagatakse kõigile ekspertidele. 3. Uus ankeetidele vastamine jne. Isiklikud suhted ei mõju, aega kulub palju. 9. Näide eksperthinnangutest: füüsika õpiku käsikirjade hindamine. Küsimustik: sisu, metoodika, jõukohasus, kujundus. Eksperdid TÜ-s: füüsikud, üks pedagoog. Üks õpik sisult parem, teine metoodiliselt. Metoodika kohta oli rohkem küsimusi ankeedis.

36 JUHISEID KOOLIÕPIKUTE KVALITATIIVSEKS ANALÜÜSIKS SOOROLLIDE KUJUTAMISE SEISUKOHAST I Küsimusi verbaalse teksti ja illustratsioonide kirjeldamiseks 1. Kas mehi ja naisi (poisse ja tüdrukuid) kujutatakse või kirjeldatakse aktiivsete või passiivsetena? 2. Kas mehi-naisi kujutatakse oma tegevuses ja elus edukate või ebaedukatena? 3. Missugused huvi- ja tegevusalad on omistatud meestelenaistele? 4. Missugused asjad on/missuguseid asju kasutavad poisidtüdrukud, mehed-naised? 5. Millised emotsioonid ja iseloomuomadused on omistatud meestele-naistele? 6. Keda esitatakse eeskujudena, positiivsete kangelastena? 7. Kas mehi-naisi kujutatakse lapsevanema rollis sarnastena? 8. Kas õpikus kasutatakse ühele soole viitavaid keelendeid? 9. Keda nimetatakse enne, naist või meest? 10. Kes alustab dialoogi? Kes domineerib? II Küsimusi illustratsioonide, fotode jne analüüsimiseks 1. Meeste-naiste paiknemine pildil? 2. Kes on silmapaistvam? III Üldised küsimused tõlgendamiseks ja seletamiseks 1. Kas autoril oleks olnud võimalik kasutada teistsuguseid näiteid? 2. Kas esineb stereotüüpsete soorollide murdmist? (mees teeb süüa, naine juhatab koosolekut jne)

37 KODEERIMISJUHEND soorollide analüüsimiseks õpikutekstides Valimi moodustamine Loendamisühik üks tegelase või tegelaste grupi maining (mainimine). Kategooriad: A. ÕPIKU KOOD B. LEHEKÜLJE NUMBER C. KONTEKSTIÜHIKU (LÕIGU VMS) JÄRJEKORRANUMBER D. TEGELASE NIMI VÕI NIMETUS E. TEGELASTE ARV JA SUGU F. OLULISUS tegelase esiletõstmine rasvase kirjaga G. TEGELASE ROLL näiteks ema, poliitik jne. H. TEGEVUSVALDKOND I. TEGEVUSE AKTIIVSUS-PASSIIVSUS J. TEGELASE STAATUS, VÕIMUPOSITSIOON K. HINNANG TEGELASELE JA/VÕI TEMA TEGEVUSELE

38 Arengu uuring Cohen, Manion, Eesmärk kuidas kujunevad inimese omadused. See on pedagoogika põhiülesanne. Kolm alaliiki. 2. Kestevuuring samad katseisikud pika aja jooksul. Näited: a) kurjategijaks kujunemine, b) IQ New York i vaeses koolis (eksperiment), c) Õppimine peale tulemuste väärteatamist. Kestevuuring nõuab palju aega 3. Läbilõike uuring erinevas vanuses isikud ühel ajamomendil. Näiteks a) põlvkondade vaated Kraav ja Kaimre. Kas tänaste noorte vaated keskeas on ikka samad kui tänastel keskealistel? 4. Trendi uuring andmeid eelnevast võrreldakse käeoleva olukorraga. Näited: a) Lugemisoskus Eestis 1970 ja 1990 (Lulla) b) IQ Inglismaal, Wales is, c) Riigieksamite tulemused.

39 Kooli edukuse näitajad 1. Õpilaste teadmiste, oskuste mõtlemise tase. 2. Isiksuse areng: enesehinnang, väärtused, tahtejõud, töökus jne. 3. Õpilaste tervis, musikaalsus jne.

40 Kooli edukuse mõjutegurid 1. Õpilaste võimed, hoolsus, ettevalmistus. 2. Õpilaste sotsiaalne staatus 3. Õpetajate ettevalmistus, oskused. 4. Väärtushinnangud koolis. 5. Õpiaeg, õppevahendid.

41 Kooli efektiivsus on edukus, milles on ellimineeritud koolivälised faktorid. Ellimineerimiseks 1) õpilase edukuse mudel Edukus = A*võimed + B* staatus + 2) selle mudeli järgi prognoosi-takse uuritava kooli edukus, 3) võrreldakse tegelikku edukust prognoosituga.

42 Grosin, 1991 Kooli kliima efektiivsuse faktorina Edukate koolide tunnused (7 kooli) 1. Direktor külastab sageli tunde. 2. Koolijuhi väärtused on teada. 3. Õpetajatel kõrged ootused. 4. Õpetajatel on kaugemad eesmärgid. 5. Õpetajad austavad õpilasi. 6. Õpetaja töötab rohkem kogu klassiga. 7. Õpetajad on rahul oma töö ja kooliga. 8. Rõhutatakse põhiteadmisi. 9. Koolis on töine meeleolu. 10. Rohkem kasutatakse aega õppetööks. 11. On kindel õppekava 12. Õppemeetodid vahelduvad. 13. Õppematerjal on jõukohane ja struktureeritud. 14. Õpitulemusi hinnatakse pidevalt. 15. Õpilastel kõrge enesehinnang. 16. Õpilased hindavad oma kooli. Kooli kliima korrelatsioon Õpitulemustega 0,72 Käitumisega 0,96

43 Statistiline andmeanalüüs.

44 Mõõteskaalad pedagoogikas Nimetus Tunnus Näited Statistika Nominaalskaala Nimetuste skaala Objektid ekvivalentsed Värvide nimetused Riiete liigid Mood Sagedus protsentides Kooskõlakordaja Järjestikskaala Objektid järjestatud Hinded Eksperthinnangud Mediaan Astakkorrelatsioon Protsentiilid Intervalliskaala Vahemikskaala Vahed võrdsed Celsiuse kraadid Testide tulemused Liitmine ja lahutamine Aritmeetiline keskmine Standardhälve Lineaarkorrelatsioon Suhteskaala Nullpunkt sisulise tähendusega Kelvini kraadid Pikkus Programmi testi tulemused Variatsioonikordaja

45

46

47

48

49

50

51

52 Statistiliste meetodite valik Hinton 1995 Eesmärk Muutujate /väärtuste arv Parameetrilised meetodid Mitteparameetrilsed meetodid Erinevus väärtuste vahel Üks muutuja, kaks väärtust t-test Mann- Whitney Erinevus väärtuste vahel Üks muutuja, üle kahe väärtuse Dispersioon analüüs ANOVA Kruskal- Wallis Sageduste võrdlus Hii-ruut Seose leidmine Kaks muutujat, palju väärtusi Pearsoni r Spearmani ς

53 ANOVA ANalysis Of Variance Dispersioonanalüüs 1. Eesmärk leida, milliste tegurite (independent variable) muutumine on seotud suuruse (dependent variable) muutumisega. Tegurid nominaalskaala, suurus intervalliskaala. 2. Idee suuruse kogu dispersioon jaotatakse osadeks: teguri gruppide vaheline dispersioon ja gruppide sisene dispersioon. 3. F = rühmadevaheline dispersioon jagatud rühmade sisese dispersiooniga. 4. Kui F eksperimendis on suurem kui F tabelis, siis rühmade keskmiste erinevus statistiliselt oluline.

54 Testid koolis.

55 Testid pedagoogikas I. Ainetestid Programmitestid ja eristustestid Riigieksamid II. Intelligentsustestid IQ pärilikkus Testid kutsesuunitluses III. Isiksuse testid Objektiivsed isiksuse testid Projektiivtestid Isiksuse küsimustikud IV. Testi kvaliteedi näitajad Testi reliaablus Testi valiidsus Testi manuaal

56 Ainetestid 1. Milleks testida? 2. Kas programmitest või eristustest? 3. Millised testiülesanded? 4. Kuidas testi läbi viia? 5. Kas väärvastuste eest tuleks punkte maha arvata? 6. Kuidas hinnata programmitesti tulemusi? 7. Kuidas arvutada ainekava optimaalset mahtu? 8. Kuidas hinnata eristustesti tulemusi? 9. Mis näitab testi täpsust? 10. Riigieksamite voorused ja puudused. 11. Kuidas testitakse USA-s, Hollandis jm? 12. Mida soovitada testi täitjale?

57 Programmitesti ja eristustesti võrdlus Võrdluse alus Eesmärk Ülesannete valik Hinde alus Programmitest e. kriteeriumtest Materjali omandatuse mõõtmine, koolihinded. Materjali jõukohasuse hindamine. Ülesanded esindavad õppematerjali. Ülesannete raskus pole oluline. Hinne pannakse vastavalt omandatud materjali protsendile. Eristustest e. normtest Õpilaste eristamine. Materjali omandatuse mõõtmine. Erineva raskusega ülesanded. Ülesannete raskus väga oluline. Hinde aluseks on õpilase koht tulemuste üldises reas.

58 Küpsuseksamite hinded Soomes Õpilaste Hinne protsent Laudatur L 5 Eximia cum laude E 15 Magna cum laude M 20 Cum laude C 24 Lubenter B 20 Approbatur A 11 Improbatur I 5

59 Nimetus Testitulemuste standardskaalad Keskmine tulemus Standardhälve Teisendusvalem z-skaala 0 1 z = (x - x)/δ Staniinide skaala 5 2 C = 2z + 5 Kolledži skaala k = 100z IQ skaala IQ = 16z T-skaala T = 10z + 50

60 Testi juhend 1. Testi eesmärk: millise ainevaldkonna või millise oskuse omandatust kontrollitakse, millise vanusega või millise haridusega õpilastele on test ettenähtud, kuidas testi levitatakse. 2. Testi koostamise lühikirjeldus: kuidas valiti testiülesanded, kui ulatuslikud olid testi katsetused, kuidas test normeeriti, andmed normeerimisel kasutatud õpilasgrupi esinduslikkuse kohta. 3. Testi reliaablus ja mõõtmisviga koos andmetega nende määramise meetodi ning õpilaskontingendi kohta. 4. Testi valiidsus koos andmetega selle määramisviisi kohta. 5. Testi läbiviimise eeskiri, milles peaks olema näidatud nõuded õpilaste paigutusele, testimise ajale jne, ajalimiit testimisele, lubatud abivahendid. 6. Testitulemuste skoorimise eeskiri - millised õpilaste vastused annavad punkte ning kui palju. 7. Testi normid koos võimalike tõlgendustega testi erinevatele tulemustele. 8. Andmed testi koostajate kohta: nimed, aeg, aadress.

61 Testi läbiviija meelespea. 1. Iga testi täitja istub omaette pingis, millede vahe on umbes üks meeter. 2. Igale testi täitjale antakse testi ülesanded ja leht vastamiseks. 3. Testi läbiviija palub testi täitjatel kirjutada vastustelehele oma nime, kuupäeva, testi nimetuse, variandi numbri ja muud vajalikud andmed enne testi täitmise algust. 4. Vajadusel loeb testi läbiviija ette testi instruktsiooni ja kirjutab tahvlile testi täitmise alguse ning lõpu aja. 5. Testi korraldaja loob oma käitumisega rahuliku ja heasoovliku õhkkonda. Ta ei räägi kellegagi ega tegele kõrvaliste asjadega, väljendades nii lugupidamist testitäitjate töö vastu. 6. Aja lõppemisest võib õpilastele teatada 5 min ette. 7. Aja lõppedes palub testi korraldaja panna õpilastel kirjutusvahendid käest ja sulgeda testivihikud. Ta korjab kokku kõik testivihikud ja vastustelehed, teatab, millal õpilased saavad teada oma töö tulemused ja alles siis lubab õpilastel ruumist lahkuda.

62 Soovitused testi täitjale 1. Tutvuge hoolikalt testiülesannete liikidega, et Te kiiresti mõistaksite, mida Te peate tegema ja kuidas vastama. 2. Õppige tundma vastustelehte ja seda, kuidas sinna vastuseid märkida. 3. Kui testi läbiviija selgitustest jäi midagi arusaamatuks, küsige kindlasti enne testi täitmise algust. 4. Lahendage kõigepealt ülesanded, mis Teile kergetena tunduvad. Raskemate ülesannete juurde võite tagasi pöörduda siis, kui Teil aega üle jääb. 5. Sageli on ülesanded igas seerias reastatud raskuse kasvamise järjekorras. Erandiks on siin küsimused loetud lõigu kohta, mis paiknevad teksti sisu järjekorras. 6. Valikvastustega küsimustele püüdke kõigepealt vastata valikuid lugemata. Kui Teie vastus langeb kokku ainult ühe antud valikvastusega, siis on vastus leitud ja te saate kiiresti edasi minna. 7. Valikvastustega ülesannetes ja alternatiivülesannetes arvestatakse mõnikord valede valikute eest punkte maha. Täiesti huupi vastamisest pole siis tulu. 8. Kasu võib olla huupi vastamisest siis, kui Te teate, et mõni valikvastus on vale. 9. Kui väärvastuste eest punkte maha ei arvestata, siis märkige vastus igale ülesandele. 10. Vabavastuseliste ülesannete puhul valede vastuste eest punkte maha ei arvestata. 11. Hea ja isegi väga hea tulemuse saamiseks ei pea Te vastama kõiki eristustesti küsimusi. Õiged vastused pooltele küsimustest annavad tavaliselt keskmise tulemuse.

63 Juhtnööre üksikute ülesanneteliikide kohta. 1. Analoogiaülesannete lahendamisel soovitatakse kõigepealt võimalikult täpselt sõnastada antud sõnapaariga väljendatud seos ja siis vaadata, milline antud sõnapaaridest väljendab sama seost. 2. Valikvastustega ülesannetes soovitatakse kõik vastusevariandid siiski enne läbi vaadata, kui lõplik valik teha. 3. Valikvastustega lünktestis on oluline täpselt mõista lause tähendust. Ei piisa sellest, et sõna sobib lünga naabruses olevate sõnadega, ta peab sobima kogu lausega. 4. Lugemistestides võib olla otstarbekas lugeda enne küsimusi ja siis alles teksti, et teada, millele tekstis tähelepanu pöörata. Kokkuvõtteks 1. Testi edukaks täitmiseks omandage aine hästi. 2. Kui ainet pole hiljuti koolis õpitud, siis tuleks seda enne testi korrata 3. Tuupimisest eelmisel õhtul pole märkimisväärset kasu leitud, küll aga soovitatakse eelmisel päeval korrata põhivara ja testi ülesannete liigid veelkord üle vaadata.

64 Vead testide koostamisel 1. Testil puudub pealkiri. 2. Puuduvad piisavalt selged instruktsioonid ülesannete täitmiseks. 3. Ei näidata, kuhu ja kuidas peab õpilane vastuse märkima. 4. Testide paralleelvariantide raskus on kontrollimata. 5. Kõrvutamistestis esitatakse mõlemad tulbad ühe pikkustena. 6. Lünktestis on lüngad liiga sagedasti. 7. Ühes küsimuses sisaldub vastus teisele. 8. Puudub täpne hindamiseeskiri. 9. Ei arvestata valikvastuse juhusliku aimamisega. 10. Mõnikord kontrollitakse juhuslikke osi õpitust. Soovitusi 1. Instruktsioon ühe šriftiga ja ülesanded teisega. 2. Kõrvutamisülesannetes nooled vaid algklassides, hiljem tavaline valikvastuste märkimise viis. 3. Üht liiki ülesanded võiksid paikneda järjestikku. 4. Ülesande juures võiks ära näidata ka õige vastuse eest saadava punktide arvu. 5. Võiks ette näha ka osaliste vastuste eest antavad punktid. 6. Ärge kasutage murdarvudega punktisüsteeme! 7. Rohkem mõtlemisülesandeid!

65 Uuritavate esinduslikkus.

66 Esindusliku kogumi koostamine 1. Esinduslik kogum on kogum, mille kõik olulised tunnused jaotuvad samuti kui üldkogumis. 2. Juhuväljavõtt - igal üldkogumi liikmel võrdne võimalus sattuda esinduskogumisse. Lihtne juhuväljavõtt - loosiratas, juhuslike arvude tabel. Mehaaniline juhuväljavõtt - valitakse tunnuse järgi, mis pole seotud uuritava tunnusega. Näit. nime algustäht, sünnikuu. 3. Kihtväljavõtt - üldkogum jaotatakse mõne olulise tunnuse järgi kihtidesse. Kvoodimeetod - esinduskogumi igas kihis sama protsent uuritavaid kui üldkogumis. Seeriaväljavõtt - igast kihist võrdne arv uuritavaid näiteks juhuvalikuga. Saab kihte võrrelda. 4. Väljalangenud uuritavad asendada samaväärsetega.

67 Esinduskogumi suurus Cohen & Manion, 2001? Lk 95 Üldkogumi suurus Esinduskogumi suurus (5% viga)

68 Esinduskogumi koostamine rahvusvahelises lugemisuuringus K. Ross Lugemisoskuse võrdlus 34 maailma riigis. 2. Igast riigist (osariigist) võrdne arv koole ja õpilasi - seeriaväljavõtt 3. Vaadeldi eraldi Maa- ja linnalapsi, (2) Üldharidus- ja kutsekoole (2) Madala, keskmise, kõrge sotsiaalse staatusega, (3) Riigi ja erakoole (2) 4. Igast kategooriast 400 õpilast. 5. Ühe kooli õpilased on sarnasemad kui erinevate koolide õpilased. Kui ühest koolist on palju õpilasi, siis olgu valim suurem. 6. Iga kooli nimekirjast k-s õpilane - mehaaniline juhuväljavõtt. 7. Eriti madalate võimetega või teisiti iseäralikud õpilased jäeti valimist välja.

69 Esindusliku kogumi koostamine 1. Esinduslik kogum on kogum, mille kõik olulised tunnused jaotuvad samuti kui üldkogumis. 2. Juhuväljavõtt - igal üldkogumi liikmel võrdne võimalus sattuda esinduskogumisse. Lihtne juhuväljavõtt - loosiratas, juhuslike arvude tabel. Mehaaniline juhuväljavõtt - valitakse tunnuse järgi, mis pole seotud uuritava tunnusega. Näit. nime algustäht, sünnikuu. 3. Kihtväljavõtt - üldkogum jaotatakse mõne olulise tunnuse järgi kihtidesse. Kvoodimeetod - esinduskogumi igas kihis sama protsent uuritavaid kui üldkogumis. Seeriaväljavõtt - igast kihist võrdne arv uuritavaid näiteks juhuvalikuga. Saab kihte võrrelda. 4. Väljalangenud uuritavad asendada samaväärsetega.

70 Uurija eetika ja autoriõigus.

71 Ethical, legal, issues in Ed. Research I Gall, Borg & Gall 1. Mõned vead: uurija teatab õpilaste isiksuseomadused õpetajale, kes hakkab mõnesse halvemini suhtuma; uurija teatab õpetamisoskuse näitajad direktorile. 2. USA-s on seadused inimeste kaitsmiseks uurimistöös. 3. Ethical Standards of the American Educational Research Association. Näiteid Teatada tulemustest kõigile huvitatuile Autoreiks kõik loovalt osalenud isikud Autoril on õigus teada oma töö tagasilükkamise põhjusi Loobuda uuringuist, mille rahastaja taotleb eetikanormide rikkumist. 4. Uurimistöö eetikakomisjonid ülikoolides hindavad ka üliõpilaste projekte. Kas Katseisikute osavõtt on vabatahtlik uuritavad informeeritud privaatsus kaitstud psühholoogilised, sotsiaalsed, jne riskid on tunnetatud ja väiksemad kasust.

72 Ethical, legal, issues in Ed. Research II Gall, Borg & Gall 5. Erivajadustega laste, rasedate jne uurimisprojekte hinnatakse eriti detailselt. Vajadusel aruanded uurimistöö käigus. 6. Õpilaste valik juhuslik. Õpetaja võib soovitada talle meeldivaid õpilasi. 7. Katseisikuid informeerida kirjalikult katse eesmärgist, käigust, meetoditest, andmete kasutamisest. Vajadusel katse lõpus. Vastumeelselt töötavale õpilasele võimalus lahkuda. 8. Võimalikult vähesed saavad teada katse-isikute nimed, näiteks vaid andmete koguja 9. Katseisikute petmine pole eetiline. Esimesel võimalusel teatada kasutatud mõjutusviisidest: sõnad, eeskuju jne. 10. Uurija olgu kompetentne, konsulteerigu. 11. Välistada olukordi, kus isiklik kasu võib mõjutada uurimismeetodi valikut. 12. Vältige üldistamist teisele populatsioonile 13. On ebaeetiline hoida kontrollgruppi halvemates tingimustes. Arendage neid peale katset!

73 Ethical, legal, issues in Ed. Research III Gall, Borg & Gall 14. Õpilaste palvel peab arendustööd jätkama. 15. Püüdke vähendada õpilaste testikartust! 16. Vastused on avameelsed, kui anonüümsus 17. Pole õige avaldada uuringut osade kaupa 18. Sama asja ei avaldata kahes kohas 19. Artikkel esitatakse korraga ühele ajakirjale 20. Plagiaat ja parafraseerimine - suured ohud 21. Kas andmetöötleja on kaasautor? Kas tule-muste uue tõlgenduse võib avaldada üks? Kaasuurijad kaasautoreiks! Professionaalse töö hulk määrab autorite järjekorra. 22. Oma grupi uurimiseks lihtsam saada luba, tunnete kõike, kuid eelhoiakud, avameelsus 23. Uurimisloa saamine esitage kirjalik ülevaade oma tööst mõelge, kuidas vastata rasketele küsimustele (Te kulutate meie aega jne) selgitage, et uuring ei kahjusta kooli alustage kõrgeimast instantsist rääkige uuringust õpetajatega, nad võivad anda ka head nõu, informeerige lapsevanemaid (kiri)

74 Ethical, legal, issues in Ed. Research IV Gall, Borg & Gall 24. Kontaktid uurimistöö käigus Kokkulepitu kohta saada õpetajaile kiri! Ole kättesaadav! Anna informatsiooni vahetulemustest! Huvitu õpetajate tööst! Abista õpetajaid! Protesteerijaile selgita veel oma tööd! 25. Mõned uurijate vead Ei mõelnud enne läbi direktori küsimusi Kooli palvel muudab uuringut seda kahjustades Ei informeeri piisavalt õpilasi Ei kindlusta andmete konfidentsiaalsust Ei suuda põhjendad meetodite sobivust

75 Uurimistulemuste viimine praktikasse.

76 Haridusuuringute juurutamine praktikasse Weinert 1997 Mikk Juurduvad halvasti. Mõned siiski: Binet, Flesch jne. 2. Uurijal oluline artikkel. 3. Valitakse kaitstav teema, mitte praktikale oluline probleem. 4. Teadlaste soovitused üldised, praktikud vajavad täpsust. 5. Mõni teadlane ainult võitleb kvantitatiivsete meetoditega. 6. Kuidas ületada lõhet Õppimise teooriatelt õpetamise tehnoloo-giatele, näit. Skinner, Kompleksuuringud, (mastery learning?) Edukate õpetajate uuringud.