NSTA Program Report Writing to improve your program WILLIAM R. VEAL PH.D. COLLEGE OF CHARLESTON NSTA/NCATE SPA CO-CHAIR

NSTA Program Report Writing to improve your program WILLIAM R. VEAL PH.D. COLLEGE OF CHARLESTON NSTA/NCATE SPA CO-CHAIR

Objectives See the relationship between NSTA 2003 Standards and the NCATE Assessment System Understand the NSTA-specific items that make this report science-specific Discuss exemplar assessments Look at the new standards for preservice teachers

NCATE Assessments Maximum of 8 assessments Numbers 1 through 5 are the same for all SPA s Assessments fall into 3 categories ϒ Content ϒ Pedagogy ϒ K-12 Student Learning

Things to keep in mind for scoring guides Do the criteria adequately cover the important defining elements of the desired performance? Do the criteria distinguish the different levels of performance in observable ways? Are the variables in the criteria likely to be interpreted in the same way by different evaluators? Is there enough substance to the assessment to assure external reviewers that if the criteria are met, the candidate is prepared to teach to the standards?

NSTA/NCATE Alignment Standards 1 2 3 4 5 6 7 8 1. Sc. content Concepts & Principles Unifying Concepts Technology in Sc. Research in science Math in science 2. Nature of Science 3. Inquiry 4. Issues in Science 6. Curriculum 7. Science in the Community 8. Assessment 9. Safety & Welfare

1 Content: Praxis II Test Standards 1 2 3 4 5 6 7 8 1. Sc. content Χονχεπτσ & Πρινχιπλεσ Υνιφψινγ Χονχεπτσ Τεχηνολογψ ιν Σχ. Ρεσεαρχη ιν σχιενχε Ματη ιν σχιενχε 2. Νατυρε οφ Σχιενχε 3. Ινθυιρψ 4. Ισσυεσ ιν Σχιενχε 6. Χυρριχυλυµ 7. Σχιενχε ιν τηε Χοµµυνιτψ 8. Ασσεσσµεντ 9. Σαφετψ & Ωελφαρε

1 Content: Praxis II Must include all completers for the previous 2 years 80% pass rate applies if more than 10 total (all science content tests for all 2 years) Data to include ϒ Mean scores ϒ Range scores ϒ Pass rates for state ϒ Sub-scores Δο νοτ νεεδ το σηοω χοντεντ αλιγνµεντ ιφ Πραξισ ΙΙ

Praxis required score = 148 Biology Content Knowledge Basic Principles of Sc. Molecular & Cellular Bio. Genetics & Evolution Div. life, plants, & animals Y r 1 Score / % Range Yr 2 Score / % Range Yr 3 Score / % Range 4 179 178-180 3 169 178-180 5 179 178-180 4 100% 100% 3 100% 100% 5 100% 100% 4 84% 82-86% 3 82% 82-86% 5 84% 82-86% 4 72% 61-83% 3 98% 95-98% 5 95% 91-96% 4 73% 61-82% 3 73% 61-82% 5 73% 61-82% Ecology 4 42% 28-63% 3 42% 28-63% 5 42% 28-63% STS 4 85% 73-100% 3 86% 73-100% 5 86% 73-100%

Assessment 1 Content: Praxis II Items to Consider Are the data available? How will you get the data? Do you have 10 completers in years? If not, then do not have to meet 80%. Still have to show disaggregated data by program and level and subscores.

Reflections on data Upon examination of the data, we were able to learn and improve our program. For example, the year that we dropped Evolutionary Biology from our required coursework, the subscores in that area dropped dramatically. We re-evaluated our program and brought the course back into the requirements.

2 Content: Science Content Alignment NSTA 2003 Standards 1 2 3 4 5 6 7 8 1. Sc. content Χονχεπτσ &Πρινχιπλεσ Υνιφψινγ Χονχεπτσ Τεχηνολογψ ιν Σχ. Ρεσεαρχη ιν σχιενχε Ματη ιν σχιενχε 2. Νατυρε οφ Σχιενχε 3. Ινθυιρψ 4. Ισσυεσ ιν Σχιενχε 6. Χυρριχυλυµ 7. Σχιενχε ιν τηε Χοµµυνιτψ 8. Ασσεσσµεντ 9. Σαφετψ & Ωελφαρε

2: GPA and Science Content Grade distributions or GPAs must be disaggregated by ϒ ϒ ϒ licensure areas of the candidates (i.e., biology, general science, etc) distinct levels of licensure (middle level, high school, secondary, etc degree levels of preparation (undergraduate/postbaccalaureate/ masters) Προϖιδε αγγρεγατεδ δατα φροµ αλλ science χουρσεσ τακεν βψ χανδιδατεσ ιν τηε προγραµ. Ινχλυδε σχιενχε χοντεντ αλιγνµεντ ωιτη τηε 2003 ΝΣΤΑ Στανδαρδσ υσινγ τηε Χοντεντ Αναλψσισ Φορµσ

GPA and Science Content 07-08 GPA # Credits Ave Range Ave Range Bio 3.59 2.25-3.90 42.33 30-53 Chem 2.95 2.13-3.68 33.67 34-41 Geol 4.00 4.00 15.83 14-18 Phys 3.33 2.33-3.93 15.00 15 # Students in Broad Field 6

2: Content Analysis Forms Available on the NCATE website Align the science content with the NSTA 2003 Standards Must demonstrate a 90% alignment

Table A: Earth/space A. Core Competencies B. Required course number & name and advising requirements 1. Ενεργψ φλοω ανδ τρανσφορµατιον ιν Εαρτη σψστεµσ 2. Χηαραχτεριστιχσ οφ λανδ, ατµοσπηερε & οχεαν σψστεµσ ον Εαρτη Γεολ 250 Πηψσιχαλ Γεολογψ ορ εθυιϖαλεντ Γεολ 250 Πηψσιχαλ Γεολογψ ορ εθυιϖαλεντ

3 Pedagogy: Unit Plan NSTA 2003 Standards 1 2 3 4 5 6 7 8 1. Sc. content Concepts & Principles Unifying Concepts Technology in Sc. Research in science Math in science 2. Nature of Science 3. Inquiry 4. Issues in Science 6. Curriculum 7. Science in the Community 8. Assessment 9. Safety & Welfare

3 Pedagogy: Unit Plan At least one major teaching unit ϒ (not just a single lesson plan) includes requirements for activities with lesson plans and various assessments. The unit must include: Unifying concepts Nature of science Inquiry Issues Personal and technological applications State and national (NSES) science standards Assessment Must be SCIENCE specific

3 Pedagogy: Unit Plan How does this assessment fit into the what the rest of the department is doing? Can you build on a Unit Plan assessment that is already a part of the program? Are the scoring guides presently used at your institution specific to the 2003 NSTA standards?

4 Pedagogy: Student Teaching Form NSTA 2003 Standards 1 2 3 4 5 6 7 8 Χονχεπτσ & Πρινχιπλεσ 1. Sc. content Υνιφψινγ Χονχεπτσ Τεχηνολογψ ιν Σχ. Ρεσεαρχη ιν σχιενχε Ματη ιν σχιενχε 2. Νατυρε οφ Σχιενχε 3. Ινθυιρψ 4. Ισσυεσ ιν Σχιενχε 6. Χυρριχυλυµ 7. Σχιενχε ιν τηε Χοµµυνιτψ 8. Ασσεσσµεντ 9. Σαφετψ & Ωελφαρε

4 Pedagogy: Student Teaching Observation Form Addendum to regular form Include science specific areas ϒ Safety

Στανδαρδ 4 Pedagogy: Example A 9β. Τηε χανδιδατε πραχτιχεσ σαφε ανδ προπερ τεχηνιθυεσ φορ τηε πρεπαρατιον, στοραγε, δισπενσινγ, συπερϖισιον, ανδ δισποσαλ οφ αλλ µατεριαλσ υσεδ ιν σχιενχε ινστρυχτιον. Λικερτ 1 δοεσ νοτ αδδρεσσ στανδαρδ 2 αδδρεσσεσ βυτ δοεσ νοτ µεετ στανδαρδ 3 µεετσ στανδαρδ ατ αχχεπταβλε λεϖελ 4 αβοϖε µινιµυµ αχχεπταβλε λεϖελ 5 εξχεεδσ στανδαρδ 1 2 3 4 5 Scoring guide needs improvement: Discrimination of levels not science specific. The criteria do not differentiate different levels of performance in observable ways.

Σαφε τεχηνιθυεσ (ΝΣΤΑ 9β) 4 Pedagogy: Example B Unacceptable Acceptable Target Τηε ιντερν φαιλσ το πραχτιχε σαφε ανδ προπερ τεχηνιθυεσ φορ τηε πρεπαρατιον, στοραγε, δισπενσινγ, συπερϖισιον, ανδ δισποσαλ οφ αλλ µατεριαλσ υσεδ ιν σχιενχε ινστρυχτιον. Τηε ιντερν πραχτιχεσ σαφε ανδ προπερ τεχηνιθυεσ φορ τηε πρεπαρατιον, στοραγε, δισπενσινγ, συπερϖισιον, ανδ δισποσαλ οφ αλλ µατεριαλσ υσεδ ιν σχιενχε ινστρυχτιον. Τηε ιντερν πραχτιχεσ σαφε ανδ προπερ τεχηνιθυεσ φορ τηε πρεπαρατιον, στοραγε, δισπενσινγ, συπερϖισιον, ανδ δισποσαλ οφ αλλ µατεριαλσ υσεδ ιν σχιενχε ινστρυχτιον ωιτηουτ αδδιτιοναλ προµπτινγ φροµ µεντορ ορ υνιϖερσιτψ συπερϖισορ. Χανδιδατε αρε ρατεδ υσινγ τηε φολλοωινγ γυιδελινεσ: Υναχχεπταβλε: Τηε χανδιδατε σ περφορµανχε ισ νοτ ιµπροϖινγ ανδ ισ νοτ αχχεπταβλε Αχχεπταβλε: Τηε χανδιδατε σ περφορµανχε µεετσ τηε εξπεχτατιονσ φορ πρε-σερϖιχε τεαχηερσ Ταργετ: Τηε χανδιδατε σ περφορµανχε µεετσ εξπεχτατιονσ τηατ ωουλδ βε χηαραχτεριστιχ οφ αν εξπεριενχεδ τεαχηερ Scoring guide needs improvement: Criteria using operational terms are needed.

5: Evidence of K-12 Student Learning NSTA 2003 Standards 1 2 3 4 5 6 7 8 1. Sc. content Χονχεπτσ & Πρινχιπλεσ Υνιφψινγ Χονχεπτσ Τεχηνολογψ ιν Σχ. Ρεσεαρχη ιν σχιενχε Ματη ιν σχιενχε 2. Νατυρε οφ Σχιενχε 3. Ινθυιρψ 4. Ισσυεσ ιν Σχιενχε 6. Χυρριχυλυµ 7. Σχιενχε ιν τηε Χοµµυνιτψ 8. Ασσεσσµεντ 9. Σαφετψ & Ωελφαρε

5: Evidence of K-12 Student Learning The most important component of the NSTA program report Must be science specific and address each applicable NSTA standard Must have descriptors that are measurable 2χ. Τηε χανδιδατε φαχιλιτατεσ στυδεντσ λεαρνινγ τηε νατυρε οφ σχιενχε Προϖιδεσ λιττλε το νο εϖιδενχε οφ στυδεντ λεαρνινγ βεψονδ µεµοριζατιον οφ ατ λεαστ ονε ασπεχτ οφ τηε νατυρε οφ σχιενχε. Προϖιδεσ εϖιδενχε οφ στυδεντ λεαρνινγ βεψονδ µεµοριζατιον οφ ατ λεαστ ονε ασπεχτ οφ τηε νατυρε οφ σχιενχε. Ρεπρεσεντατιϖε σαµπλε οφ στυδεντ ωορκ ινχλυδεδ. Προϖιδεσ εϖιδενχε οφ στυδεντ λεαρνινγ βεψονδ µεµοριζατιον οφ τωο ορ µορε ασπεχτσ οφ τηε νατυρε οφ σχιενχε ανδ ρεπρεσεντατιϖε σαµπλεσ οφ στυδεντ ωορκ. Ινχλυδεσ α ρεφλεχτιϖε αναλψσισ οφ στυδεντσ λεαρνινγ.

6 Content: Safety and Welfare NSTA 2003 Standards 1 2 3 4 5 6 7 8 1. Sc. content Χονχεπτσ & Πρινχιπλεσ Υνιφψινγ Χονχεπτσ Τεχηνολογψ ιν Σχ. Ρεσεαρχη ιν σχιενχε Ματη ιν σχιενχε 2. Νατυρε οφ Σχιενχε 3. Ινθυιρψ 4. Ισσυεσ ιν Σχιενχε 6. Χυρριχυλυµ 7. Σχιενχε ιν τηε Χοµµυνιτψ 8. Ασσεσσµεντ 9. Σαφετψ & Ωελφαρε

7 Content: Research in Science Discipline NSTA 2003 Standards 1 2 3 4 5 6 7 8 1. Sc. content Χονχεπτσ & Πρινχιπλεσ Υνιφψινγ Χονχεπτσ Τεχηνολογψ ιν Σχ. Ρεσεαρχη ιν σχιενχε Ματη ιν σχιενχε 2. Νατυρε οφ Σχιενχε 3. Ινθυιρψ 4. Ισσυεσ ιν Σχιενχε 6. Χυρριχυλυµ 7. Σχιενχε ιν τηε Χοµµυνιτψ 8. Ασσεσσµεντ 9. Σαφετψ & Ωελφαρε

7 Content: Research in Science Discipline Usually performed in the science content courses A system for post degree or transfer candidates ϒ Alternative course or ϒ Evaluation of previous work Action Research or science fair is not acceptable ϒ What would your science departments deem acceptable? ϒ Could be a short project

Investigation parts D. Data collection and organization (NSTA 1d) F. Analysis and interpretation of data (NSTA 1d, 1e) Example Scoring Guide Not acceptable (1) Δατα ισ χολλεχτεδ ιν α µαννερ τηατ ισ ινχονσιστεντ ωιτη τηε σχιενχε δισχιπλινε. Δατα ισ ποορλψ οργανιζεδ ανδ/ορ δισπλαψεδ. Ιναππροπριατε τεχηνιθυεσ υσεδ ιν δατα αναλψσισ ανδ ιντερπρετατιον. Acceptable (2) Excellent (3) Δατα ισ χολλεχτεδ χονσιστεντ ωιτη τηε σχιενχε δισχιπλινε. Δατα ισ οργανιζεδ ανδ πρεσεντεδ υσινγ γραπησ, χηαρτσ ορ ταβλεσ ωιτη µινορ ερρορσ. Αππροπριατε τεχηνιθυεσ υσεδ ιν δατα αναλψσισ ανδ ιντερπρετατιον ωιτη µινορ ερρορσ. Δατα ισ χολλεχτεδ χονσιστεντ ωιτη τηε σχιενχε δισχιπλινε. Δατα ισ οργανιζεδ, χλεαρλψ αδδρεσσεσ ρεσεαρχη προβλεµ ανδ πρεσεντεδ ωιτη νο ερρορσ. Αππροπριατε τεχηνιθυεσ αρε υσεδ ιν δατα αναλψσισ ανδ ιντερπρετατιον ισ χλεαρ ανδ χονχισε ωιτη νο ερρορσ. G. Final conclusions Χονχλυσιονσ νοτ χλεαρλψ ρελατεδ Χονχλυσιονσ γενεραλλψ ρελατεδ το προβλεµ ανδ Χονχλυσιονσ χλεαρλψ ρελατεδ το προβλεµ ανδ (NSTA 1d) το προβλεµ ορ συππορτεδ βψ δατα φυλλψ συππορτεδ βψ δατα No part of this project συππορτεδ should βψ receive less than a 2 or it should be redone to the δατα satisfaction of the instructor.

8 Content: Contextual Content NSTA 2003 Standards 1 2 3 4 5 6 7 8 1. Sc. content Χονχεπτσ & Πρινχιπλεσ Υνιφψινγ Χονχεπτσ Τεχηνολογψ ιν Σχ. Ρεσεαρχη ιν σχιενχε Ματη ιν σχιενχε 2. Νατυρε οφ Σχιενχε 3. Ινθυιρψ 4. Ισσυεσ ιν Σχιενχε 6. Χυρριχυλυµ 7. Σχιενχε ιν τηε Χοµµυνιτψ 8. Ασσεσσµεντ 9. Σαφετψ & Ωελφαρε

8 Content: Contextual Content Content understanding of topics important to science educators Assessment #8 is usually addressed with a portfolio of appropriate assignments If there are courses that help to meet this standard, there needs to be specific descriptions to tie the course directly back to the 2003 NSTA standards

Review: Things to keep in mind for scoring guides Δο τηε χριτερια αδεθυατελψ χοϖερ τηε ιµπορταντ defining elements οφ τηε δεσιρεδ περφορµανχε? Δο τηε χριτερια distinguish τηε διφφερεντ λεϖελσ οφ περφορµανχε ιν οβσερϖαβλε ωαψσ? Αρε τηε ϖαριαβλεσ ιν τηε χριτερια λικελψ το βε interpreted ιν τηε σαµε ωαψ βψ διφφερεντ εϖαλυατορσ? Ισ τηερε ενουγη substance το τηε ασσεσσµεντ το ασσυρε εξτερναλ ρεϖιεωερσ τηατ ιφ τηε χριτερια αρε µετ, τηε χανδιδατε ισ πρεπαρεδ το τεαχη το τηε στανδαρδσ?

New NSTA Standards These were approved by NSTA. Will be presented to SASB in October. First submission in Fall 2012. All programs submit starting Fall 2013. 2003 Standards are still being used until they are approved by SASB. Pilot Programs must get permission from NSTA (Dr. William Veal or Dr. Jon Pedersen) before they can be piloted.

NSTA Standard 1: Content Knowledge Effective teachers of science understand and articulate the knowledge and practices of contemporary science. They interrelate and interpret important concepts, ideas, and applications in their fields of licensure. 1a) Understand the major concepts, principles, theories, laws, and interrelationships of their fields of licensure and supporting fields as recommended by the National Science Teachers Association. 1b) Understand the central concepts of the supporting disciplines as outlined in the content analysis form. (See below for the content analysis) 1c) Show an understanding of state and national curriculum standards and their impact on the content knowledge necessary for teaching P-12 students.

NSTA Standard 2: Content Pedagogy Effective teachers of science understand how students learn and develop scientific knowledge. Preservice teachers use scientific inquiry to develop this knowledge. 2a) Plan multiple lessons using a variety of inquiry approaches that demonstrate their knowledge and understanding of how students learn science. 2b) Include active inquiry lessons where students collect and interpret data in order to develop and communicate concepts and understand scientific processes, relationships and natural patterns from empirical experiences. 2c) Design instruction and assessment strategies that confront and address naïve concepts/preconceptions.

NSTA 2011 Standards and Elements Content Assmt 1 Stand. Tests Content Assmt 2 Grades / Analysis Forms PCK Assmt 3 Unit Plan PCK Assmt 4 Std. Tchg. eval form Std. Lrng. Assmt 5 Work Sample PCK Assmt 6 Profess. 1a. Concepts, principles, theories, laws, and interrelationships 1b. Supporting content 1c. State/Nat l Standards a. Variety of inquiry 2b. Active inquiry lessons 2c. Formative and summative assessment 2d. Instruction and assessment of naïve / preconceptions 3a. Variety teaching strategies 3b. Inquiry, laboratories, field experiences, NOS 3c. Assessment 3d. Safety 4a. Chemicals 4b. Procedures 4c. Living organisms 5a. Collect, organize, analyze, reflect on preformative and summative evidence 5b. Distinguish science from other ways of knowing 5c. Developmentally appropriate inquiries 6 a. Content Prof. Dev. 6b. Education Prof. Dev.