5.1 |
INTRODUCTION |
The principal objective of this study is to investigate the changes in children’s achievement, attitude and values using the data from the two NEMP assessments. In order to measure changes in achievement, about one third of the tasks are kept constant from one cycle to the next. In the first assessment these tasks are called link tasks and are not reported on in detail to avoid biasing the second assessment results. In the second assessment these tasks are called trend tasks and the performance of students in the two assessments can be compared. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.2 | THE REPORTING OF CHANGES ACHIEVEMENT IN THE NEMP REPORTS | The
changes in performance from 1997 to 2001 are, of course, discussed in the
2001 NEMP
report. Most of the commentaries associated with the trend tasks
contain comments on these changes, and there are also paragraphs at the
beginning of each chapter which give some statistics relating to the changes. It is useful initially to look at these comments in order to decide where further examination is justified. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.2.1 Comments in the NEMP report concerning change in achievement on individual trend tasks | The table below indicates the nature of the comments on each of the trend tasks in the 2001 report.
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.2.2 Comments in the NEMP report on changes in performance in content areas | Each
chapter in the report contains a paragraph on the changes in performance
in its content area. The summary comments are highlighted. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.2.3 Discussion | The
above comments are certainly useful in giving a broad indication of change.
However, there does seem to be a case for a closer look at some of the data.
The individual trend tasks commentaries suffer from the difficulty of having
to summarise, in a single sentence, the data from a number of component
tasks which might differ quite markedly in difficulty, performance expectation
and achievement objective. The chapter summaries have the same problem. Without further information, it is not easy to draw useful conclusions for classroom practice, for the professional development of teachers, or for curriculum development, from these summaries. We need to know the nature of those components on which there were significant gains in performance over the period and those for which there were losses. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.3 | THE NATURE OF TREND TASK COMPONENTS ON WHICH THERE WERE THE HIGHEST GAINS OR LOSSES IN ACHIEVEMENT | The
most obvious way to consider the importance of any changes in achievement
is by using statistical significance. The authors of the report use this
when considering subgroup performance but not in considering changes in
performance from one cycle of assessment to the next. The data in the report
is not sufficient for the researcher to be able to statistically determine
the significance of any changes in achievement. However, the number of students in each analysis is quite large (approximately 450), so statistical significance tests run the risk of drawing undue attention to small differences. Consequently, it was decided to just concentrate on identifying those trend task components on which there were the greatest changes in achievement between the two assessments. A relatively arbitrary figure of 6 percent or more gain or loss was chosen to identify the components. This accounts for about 30% of all gains and losses. Of 128 components at year 4 there were 30 in this category. At year 8, 31 of 201 components had changes of this magnitude. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.3.1 The trend task components on which there were changes in achievement of at least six percent |
In two of the trend tasks, Subtraction
Facts and Division
Facts, only summary data is given rather than data on
individual components. For these tasks, the mean score, estimated from
the table given, was allocated to each of the components. On each of the
other tasks component scores were available.
The table suggests a quite marked improvement in performance at both levels. The one component on which the year 4 achievement decreased was a column addition of five single digit numbers. This invites an algorithmic approach which would be discouraged in the current numeracy projects (Ministry of Education, 2003, page 9). All the items on which year 4 students showed improvement of this magnitude were at level 2 in the curriculum. Those for year 8 were at levels 3 and 4.
The chapter summary for measurement stated that there was little evidence of change between 1997 and 2001. The data above would suggest an improvement at year 4 and a decrease in performance at year 8. The components on which year 4 students showed improvement came from levels 2, 3 and 4 of the curriculum, as did those on which year 8 students showed a decrease in performance.
The data suggests little change at year 4 but a fairly substantial decline at year 8. Again the decline at year 8 was in components from levels 2, 3 and 4 of the curriculum.
The last three components relate to
the Mathematical Processes strand of the curriculum and cannot be linked
to a particular level. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.3.2 Summary by content area | The table below indicates the number of trend task components in each chapter of the NEMP report on which there was a change in performance of at least 6 percent.
The
gains at year 4 were spread over each of the content areas. The picture
at year 8 is very different with the gains concentrated in number and
algebra/statistics and the losses in measurement and geometry. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.3.3 Summary by achievement objective levels |
There does not
seem to be a discernable pattern in the levels of the components on which
there were the greatest changes in achievement. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.3.4 Summary by performance expectation | The table below gives the number of trend task components on which there was a change in performance of at least 6 percent and which required the indicated performance expectation.
For year 4 students,
the number of gains was greater than the number of losses for each of
the performance expectations. At year 8 there were no performance expectations
for which the number of gains was greater than the number of losses. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5.4 | CONCLUSIONS | Based on an examination of those trend task components for which there was the greatest change in achievement between 1997 and 2001, the following conclusions are suggested:
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| top of page | return to Probe Studies - INDEX | return to Probe Studies menu | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| For further information and contact details for the Author | Contact USEE | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||