SIMCE 2007 (Resultados entregados en Mayo de 2008)

(Imagen extraída de http://engelbertsoto.blogspot.com/)

Hoy, martes 28 de mayo de 2008, se dieron a conocer en Chile los resultados del sistema de medición de la calidad de la educación SIMCE realizado el 2007, el cual, y pese a la espectacularidad del significado de la sigla (medición de la calidad de la educación), es según lo señalado por la Unidad de Currículum y Evaluación del Ministerio de Educación de Chile ,el sistema nacional de medición de resultados de aprendizaje del Ministerio de Educación de Chile, siendo su propósito principal el contribuir al mejoramiento de la calidad y equidad de la educación, informando sobre el desempeño de los alumnos y alumnas en diferentes áreas del currículum nacional, y relacionándolos con el contexto escolar y social en el que ellos aprenden (http://www.simce.cl).

Como consecuencias de los resultados se desató, de manera casi inmediata, y esperada por cierto, una suerte de histeria educacional colectiva donde docentes y administradores de establecimientos educacionales realizaban cálculos varios, intentando determinar los grandes éxitos o los no tan grandes éxitos en comparación a años pasados, a establecimientos educacionales de la competencia, a diferentes niveles, subsectores y, finalmente, comparaciones entre cualquier cosa (resulta interesante destacar que en estos casos no hay derrotas, sólo varía la magnitud del éxito).

Por otra parte, la sociedad ávida de respuestas, clama por encontrar al o los culpables de tan “inesperada” brecha educacional y falta de equidad educativa. El gobierno de turno, reaccionando rápida e “inesperadamente” ante este súbito clamor popular, realiza una rápida investigación y encuentra culpables. Si en las novelas de misterio el asesino es siempre el mayordomo, en educación los culpables resultan ser, muchas veces, los profesores. No habría de ser ésta la excepción.

¡Alego defensa! Exclama el gremio de los profesores, la responsabilidad no es sólo nuestra. Culpemos entonces, agregan, a las diferencias sociales, al neoliberalismo y a la negligencia e ineficiencia del estado en materia educacional.

Pese a que el SIMCE asegura ser, al menos así lo señala su sigla, un sistema de medición de la calidad de la enseñanza, es la propia orientación del ministerio la que señala que no es más que un sistema de medición de resultados de aprendizajes. Y es eso lo que informa el SIMCE, intentando cuantificar estos resultados y no señalar qué, quién o quiénes son los responsables de los altos o bajos desempeños.

Según mi opinión, la finalidad debiese ser la de intentar analizar la información entregada, sin intentar celebrar, difundir o publicar los resultados, teniendo como principal premisa principal el reconocimiento social y futuras gratificaciones económicas. Debemos intentar analizar la información en virtud, por ejemplo, de determinadas estrategias metodológicas y determinar si la implementación de éstas incide en un aumento futuro del rendimiento de los alumnos. Si lo anterior no le resulta interesante o atractivo, puede entonces intentar analizar la información con otra finalidad, pero por favor, analícela y utilícela teniendo siempre delante suyo la posibilidad de mejorar, en cualquier aspecto que este sea. De lo contrario la rapidez de cambio de las mejoras será, en el mejor de los casos, positivamente pequeña (existiendo la trágica posibilidad de que sea negativa).

A modo de ejercicio le propongo que lea y, posteriormente, intente analizar el siguiente ejemplo.

Ejemplo:

Imaginemos el caso de una escuela (Escuela "A") que ha mantenido en las últimas dos mediciones de 4º básico, subsector lenguaje y comunicación, un puntaje promedio de 240 puntos. En futuras mediciones SIMCE se observa un aumento sostenido del rendimiento de los alumnos en la prueba. Consideremos además que en otro establecimiento, de similares características y resultados anteriores (Escuela "B"), los resultados de mediciones SIMCE futuras no entregan ninguna diferencia significativa respecto a años anteriores, manteniéndose estable el puntaje promedio.

Intente analizar la información entregada por el SIMCE de acuerdo a una de las siguientes situaciones o combinación de ellas:

1) La escuela “A” implementó estrategias metodológicas en el aula con la finalidad de aumentar el rendimiento de sus alumnos. La escuela “B” no.

2) Las calificaciones promedio de los alumnos de la escuela “A” no han sufrido variación significativa en el tiempo. En la escuela “B”, las calificaciones en el subsector, han aumentado significativamente pasando de un valor promedio de 4,7 el año 2002 a 6,3 el año 2007.

¿Es capaz usted de proponer un análisis de acuerdo a las condiciones señaladas?
¿Puede usted sugerir otra condición o situación que pueda ser analizada?

W. James Popham y la medición referida a criterios

La información que a continuación se presenta puede carecer, por momentos, de información detallada o de un vocabulario técnico-evaluativo más preciso, sin embargo debe el lector comprender que la finalidad de este escrito no es servir como fuente de estudio detallada para la comprensión de procesos evaluativos, sino como un aporte que busca, en un vocabulario para la mayoría accesible, contribuir a la formación y generación de una cultura educativa saludable.

W. James Popham (1930) fue una de las figuras principales que impulsaron y promovieron la medición referida a criterios sobre lo cual hace referencia este artículo.

La medición referida a criterios nace, en términos generales, a finales de la década de los 50 e inicio de los 60, permitiendo complementar el sistema de medición referido a una norma imperante hasta ese entonces. Una de las principales diferencias, y la más representativa quizás, entre estos dos modelos de medición es aquella que responde a la pregunta de: ¿Respecto a qué o quienes determino o valoro la actuación de un individuo (No olvidemos que la concepción actual que poseemos sobre evaluación resulta mucho más amplia que en el pasado)? En la medición referida a una norma, el individuo es comparado en relación a un grupo, buscando conocer su posición dentro de éste, mientras que la evaluación referida a criterios busca averiguar y valorar la posición de un individuo respecto a un campo definido.

El nacimiento de lo que se conoce como instrucción programada o enseñanza programada señalaba, en palabras simples, que las secuencias pedagógicas bien diseñadas, bien implementadas y bien corregidas permitirían a cualquier estudiante (o a la gran mayoría) alcanzar ciertos objetivos propuestos con antelación. Enotras palabras, promovía la idea que cualquier estudiante que fuese sometido a una secuencia pedagógica organizada y aplicada apropiadamente podía obtener buenos resultados en cuanto a su aprendizaje. Lo que ahora puede parecernos algo obvio quizás, no lo fue así para la época y provoco que fuese necesario un cambio de enfoque en cuanto a la responsabilidad de los aprendizajes y a la interpretación de los resultados. Como se señaló anteriormente, las pruebas referidas a una norma buscan posicionar la actuación de un individuo dentro de un grupo. La forma de realizar esto es diseñar instrumentos de medición (pruebas) que permitieran situar a los individuos de forma tal que pudiesen ser distribuidos de la forma más amplia posible dentro de una escala de medición. Para esto era necesario construir el instrumento de medición utilizando elementos que permitiesen una amplia distribución de los resultados dentro de la escala señalada. Los conceptos de recorrido, correlación, varianza, etc., eran de dominio frecuente en la construcción de las pruebas y, por ejemplo, si un elemento no permitía diferenciar claramente a los individuos dentro de un grupo, era entonces eliminado o bien recibía una ponderación menor. La capacidad de un elemento de diferenciar predominaba sobre el contenido a medir del elemento en cuestión. Una nueva técnica de enseñanza hacía necesaria una nueva modalidad de medición, y era eso lo que esta enseñanza programada necesitaba. ¿Cómo conocer en qué momento de esta programación se encuentra este estudiante? ¿Se encontrará apto para avanzar al siguiente nivel? Para responder a esas preguntas ya no resulta útil conocer en que lugar , respecto al grupo, se encuentra el individuo y sus aprendizajes, siendo necesario ahora conocer que tan cerca o lejos se encuentra el individuo de determinadas conductas y contenidos planteados con antelación, naciendo entonces la medición referida a criterios como una forma de describir de la mejor manera posible las actuaciones del individuo. Como consideración final podría señalarse que la medición referida a una norma busca posicionar al individuo en comparación a un grupo mientras que la medición referida a criterios persigue el describir su actuación.

Esta nueva concepción de la medición educativa ocasionó además un cambio de paradigma educativo que guarda relación con lo siguiente: Cuando se medía el desempeño de los estudiantes a través de un sistema de medición referido a normas, se buscaba distribuir a los estudiantes a lo largo de la escala de medición de una forma más o menos estándar. Sin importar la actuación de los alumnos siempre existirán individuos que estarán bajo el promedio, otro grupo más numeroso se concentrará alrededor de la media o promedio, y el resto (menos numeroso que el anterior) se situará hacia la parte alta de la escala (aquellos familiarizados con la curva de distribución normal o gaussiana sabrán a lo que me refiero). Sin importar el esfuerzo que el docente u objeto de la medición realice, el desempeño de los estudiantes será similar, habiendo un grupo con resultados insuficientes, otro grupo con resultados mediocres y un grupo final reducido con resultados excelentes, por lo que nos encontramos con que el resultado individual de cada alumno no dependerá del docente, sino que del esfuerzo individual realizado por cada alumno. Por otro lado, la medición referida a criterios no busca conocer la ubicación de un individuo dentro de un grupo, sino que conocer la ubicación del individuo en relación a un campo conductual determinado. Es posible entonces que pueda darse el caso de encontrarse en la mayoría de los estudiantes resultados insuficientes o, por el contrario, la mayoría de los alumnos poseer resultados excelentes. Lo anterior provoca que la responsabilidad del rendimiento se traspase de los estudiantes y su esfuerzo y dedicación, al profesor, siendo este el principal responsable del rendimiento de los alumnos.

Hasta el momento he intentado dejar clara la diferencia entre los dos tipos de mediciones (y si no ha sido así espero me lo haga saber), pero ¿qué ventajas nos ofrece, por ejemplo, la medición referida a criterios en comparación con la referida a una norma? Como respuesta a lo anterior podríamos dar a conocer tres ventajas (de acuerdo a la utilización) de la medición referida a criterios, en comparación con la medición referida a una norma, siendo éstas las siguientes:

1) Elementos admisibles en el instrumento de medición: Un elemento que ha sido contestado correctamente por el 90% de un grupo de estudiantes no resulta de mucha utilidad en la aplicación de un instrumento normativo (referido a normas), ya que no permite diferenciar a los estudiantes (revísense conceptos de varianza, correlación, etc.). Sin embargo esto no resulta de importancia para la aplicación de un instrumento de medición referido a criterios, lo que posibilita utilizar elementos que en una prueba referida a la norma debieran ser objetados o eliminados.

2) Utilidad para un evaluador formativo: Al no ser de carácter descriptivo la medición referida a la norma no puede entregar información sobre, por ejemplo, la efectividad de algún proceso de enseñanza determinado, haciendo que la labor de recogida de información resulte menos eficaz que a través de la utilización de un instrumento referido a criterios.

3) Responsable de la enseñanza: Si bien se señaló anteriormente, resulta importante volver a destacar la utilidad de la medición referida a criterios en este punto. En las situaciones en que se utiliza apropiadamente, la medición referida a criterios responsabiliza en mayor medida al docente respecto al resultado de los individuos. Este nuevo paradigma permite entonces que sea el docente quien promueva mejoras en cuanto a metodologías, estrategias, diseños y otros conceptos relativos a la enseñanza y sea, como ya se ha insistido, el responsable del aprendizaje de sus alumnos, ya que de todos modos se supone que es esa su función ¿o no?

¿Cuándo utilizar cada tipo de medición?
No es menor la importancia que debe otorgarse a esta pregunta, ya que una mala decisión puede generar, por ejemplo, una situación como la siguiente: Situémonos en el caso de querer medir el desempeño de un alumno y que este alumno debe rendir examen en dos ciudades o establecimientos educacionales distintos. Un alumno con desempeño regular puede resultar, aprobado por ejemplo, dentro de un grupo de bajo rendimiento (establecimiento 1), mientras que puede resultar reprobado dentro de un grupo de alto rendimiento (establecimiento 2). Con una medición referida a criterios se podría, en teoría, conocer cuánto sabe realmente el alumno sin importar con quien se contraste su rendimiento. ¿Cómo podríamos saber entonces que tipo de medición realizar? Pues la respuesta resulta bastante simple y sólo debemos preguntarnos que finalidad le daremos a la información de la medida del desempeño del individuo. Por ejemplo, si dentro de un proceso de selección de personal queremos seleccionar al candidato que mejor se desempeñe en ciertas áreas, no nos interesará tanto conocer cuánto sabe cada postulante (asumiendo que resultase posible realmente conocer cuánto sabe a través de un sistema de medición como los mostrados), sino que nos interesará saber cuál es el postulante que sabe más respecto a algo. En cambio, si nos presentamos a rendir un examen de conducir, no será tan importante para quien mida el determinar si manejamos mejor o peor que el resto de los examinados, sino que será importante para ellos saber si poseemos los conocimientos y habilidades mínimos que aseguren que podremos guiar un vehículo bajo ciertos estándares mínimos de seguridad para nosotros y para quienes nos rodean.

En estas líneas he querido desarrollar y explicar de forma sencilla, los orígenes, importancia y finalidad de los sistemas de medición señalados (referidos a normas y a criterios), con la finalidad de que el lector pueda ampliar sus conocimientos respecto a ciertos aspectos del fenómeno evaluativo, siendo ésta la orientación que debe primar, y no la de transformarse en una guía para algunos aspectos evaluativos. Para lo anterior será el lector capaz de referirse a fuentes de mayor credibilidad.


Nota: En la actualidad es posible que las concepciones puedan diferir de las señaladas acá, sin embargo en su origen o nacimiento, la clasificación y características de las mediciones acá señaladas responden, principalmente, a las características mencionadas.

Cultura Evaluativa:¿Por qué no?

Para conocer qué factores limitan el desarrollo de una cultura evaluativa, es necesario primero referirnos al concepto de cultura evaluativa. Sin el afán de aportar una nueva definición del concepto, me permito señalar que cultura evaluativa es el conjunto de procedimientos, concepciones, herramientas, actitudes, etc., que se relacionan directa o indirectamente con la evaluación. Son las relaciones que se generan o construimos, de forma individual y colectiva, con la evaluación. Al respecto, Erika Himmel (s.f.), Master of Arts en Medición y Evaluación en Psicología y Educación de la Universidad de Columbia, señala cuatro factores que facilitan o limitan el desarrollo de una cultura evaluativa, siendo estos los siguientes:

a) La tradición en evaluación del país: Mientras mayor sea la cantidad de tiempo que la evaluación haya estado en contacto con la población, mayor posibilidad de generar relaciones con ésta.
b) Las políticas educacionales: Si una política educacional involucra e incluye dentro de sí misma a la evaluación, entonces hay mayor posibilidad de que la evaluación ocurra y de generar relaciones con ella.
c) La legislación o normativa: Si se norma la evaluación, existen mayores posibilidades de caracterizarla, sistematizarla y, por ejemplo, legitimarla ante la sociedad.
d) Las estrategias y formas de comunicación de resultados: la evaluación genera, entre otras cosas, información y mientras mejor y más oportuna sea ésta, mejor el contacto de la sociedad con la evaluación.

A los factores señalados anteriormente me gustaría agregar algunos que si bien pueden parecer menos importantes que los señalados anteriormente, resultan fundamentales, a mi parecer, a la hora de hablar sobre cultura evaluativa y evaluación, siendo éstos los siguientes:

e) Concepto de evaluación: Ampliar progresivamente el concepto de evaluación permite que la evaluación se inserte con mayor frecuencia en la vida cotidiana, sobre todos en aquella de los inmersos en el sistema educativo. Si poseemos un concepto limitado que no abarque distintas áreas, entonces veremos mermadas nuestras oportunidades de contactarnos con ella y encontrarla presente de manera más frecuente.
f) Reticencia al cambio: La evaluación busca, como una de sus finalidades principales, la mejora de un sistema y para producir una mejora es necesario introducir cambios. Mientras mayor sea el rechazo a los cambios introducidos por la evaluación, menores serán las oportunidades de contacto con ésta o con sus consecuencias. Si los cambios o mejoran no se realizan, entonces la finalidad de la evaluación se pierde y por ende su importancia y utilidad no resulta observable.
g) Desconfianza: Hablamos de evaluación y tememos. Ni mencionar lo que ocurre cuando se habla de evaluación docente o evaluación de la gestión escolar (entre otras evaluaciones). ¿Evaluar implica hacer rodar cabezas? No importa cuánto sepamos en teoría sobre la evaluación, o si ésta es parte de una política educacional suprema, si manejamos amplios conceptos al referirnos a ella, o si los resultados de la medición SIMCE se publican en el periódico. La evaluación no puede ser un tema tabú. Si ya se conoce tanto sobre la evaluación, ¿por qué no nos atrevemos a vivirla?

______________________________________________________________

Himmel, E. (s.f.). Hacia una cultura de evaluación educacional. [Documento PDF]. Extraído el día 30 de Abril de 2008 desde http://www.ifie.edu.mx/Erika%20Himmel.htm