https://theconversation.com/evaluacion-una-habilidad-blanda-198533
evaluación
Robert Swartz: Los exámenes prueban la memoria y no la inteligencia
¿Es lo mismo evaluar que calificar?
Bruno García Tardón, Universidad Camilo José Cela y Rodrigo Pardo García, Universidad Politécnica de Madrid (UPM)
Todos recordamos la emoción (no siempre positiva) que recorría el aula el día que nos “daban la nota” de una prueba o examen concreto. Especialmente en la etapa de primaria (es en estos primeros cursos donde los estudiantes se enfrentan a este proceso de calificación númerica), “sacar” un 5 o un 8 o las sutiles diferencias entre un 9 y un 9,75, puede llegar a convertirse en un asunto de gran importancia para el alumnado y sus familias, provocando comparaciones (“soy el que menos nota he sacado”) y etiquetas (“es un alumno de sobresaliente”).
Pero ¿cuál es la diferencia real entre un 9 y un 5? ¿Ha aprendido más y mejor el alumno que ha sacado más nota? La respuesta no es tan sencilla como podría parecer.
Calificación vs evaluación
En España, hasta la entrada en vigor de la LOMLOE, era necesario evaluar, en documentos oficiales y a partir de la etapa de primaria, con calificaciones numéricas que oscilaban entre el 1 y el 10. Esto ha sido modificado en los nuevos desarrollos normativos (que se implementarán de forma paulatina en los dos próximos cursos) y nos invita a reflexionar acerca de la pertinencia y percepción de una calificación numérica.
Información para el alumnado
Cualquier proceso de enseñanza y aprendizaje debe ser coherente con la evaluación que en él se plantea. El alumnado, durante todo el curso (¡no solo al final!), debe ser consciente y conocedor de su progreso, así como de las dificultades que puedan existir para conseguir los objetivos fijados de antemano. Es decir, los criterios están establecidos previamente y son comunes, en principio, para todo el alumnado.
Para ello, han de establecerse procedimientos que resulten adecuados al nivel madurativo del alumnado. Por ejemplo, si utilizamos el recurrente examen como instrumento para la evaluación del alumnado, el resultado que se obtenga no podrá entenderse igual en un aprendiz de siete años que en un estudiante universitario que, presumiblemente, tendrá mayores competencias para afrontar este tipo de pruebas.
Ni que decir tiene que si, además, no existe una devolución posterior por parte del docente, es decir, si no se analiza el resultado con el alumno para entender las razones de dicha calificación, estaremos convirtiendo la evaluación en una calificación final disfrazada de evaluación continua.
En otras palabras, hacer muchos exámenes no garantiza una verdadera evaluación continua y formativa.
Lo que dicen un 5 o un 9
Los criterios de evaluación (presentes en el currículo educativo) han de ser los mismos para todo el alumnado, pero no debe obviarse que un aula siempre es diversa. Hay personas que tienen una mayor habilidad para resolver un problema de matemáticas, otras que pueden ser más competentes en comprender una lectura y otras en realizar una determinada actividad deportiva.
Personas con sus características, dificultades y sensibilidades que han de ser tenidas en cuenta. Por ello existen las adaptaciones curriculares, con las que se intenta lograr esa equidad en la educación que tan compleja resulta. Por ello, ese 5 o ese 9 no serán iguales en una persona que en otra. Dependerá de muchos factores y, en todo caso, no debe olvidarse que es eso, una nota que atiende (o debería atender) al nivel de adquisición de competencias y consecución de los criterios de evaluación.
Cómo evaluamos: la importancia del procedimiento
Una parte de los lectores de estas líneas se preguntará, probablemente con algo de sorpresa y con la razón que les otorga su larga experiencia como estudiantes, si estamos negando la validez de los exámenes cuando estos tienen tanta presencia en las diferentes asignaturas.
El examen es útil como método para conocer las fortalezas de un aspirante y que este aprenda. Y no negamos, por tanto, su interés y aplicación práctica. Pero sí ponderamos su importancia, especialmente en aquellos en los que la memorización es la principal protagonista (sin querer desmerecer un proceso cognitivo tan esencial en el aprendizaje como es la memoria).
Existen otros muchos procedimientos para valorar el aprendizaje, siendo destacables aquellos que permiten vincular la práctica a contextos reales y que lo favorecen. A modo de ejemplo proponemos los siguientes:
- La observación de habilidades y registro en un diario o en una rúbrica;
- Procesos de autoevaluación sinceros y honestos, donde la reflexión del alumnado tenga un peso específico y sea una realidad en la toma de decisiones sobre la “nota” (no la única, claro);
- Evaluación entre pares (coevaluación) donde sean los propios estudiantes quienes se responsabilicen de su propio aprendizaje y del de sus compañeros;
- Diálogos en clase que permitan conocer intereses (y aprendizajes) para encauzar los siguientes pasos;
- Contribuciones reales a la sociedad con los consiguientes cambios metodológicos (aprendizaje–servicio, por ejemplo).
Esto es, en esencia, la evaluación formativa. Aquella que permite obtener información constante durante todo el proceso y no solo al final de este. Para ello resulta fundamental que el profesorado facilite información transparente al alumnado y a sus familias (esto resulta especialmente importante en las primeras etapas), en aras de que la evaluación sea un proceso democrático. Si no, como afirma Santos Guerra, se corre el riesgo de tirar a una diana con los ojos cerrados, donde nunca resultará posible acertar en el objetivo.
La importancia de las milésimas
Somos realistas: el alumnado crece y es posible que tenga que enfrentarse, por ejemplo, a los procesos de oposiciones, donde las milésimas y el aprendizaje memorístico resultan especialmente importantes. En estos la nota es crucial y debemos trabajar para que el rendimiento, en un momento puntual y con una prueba específica, sea óptimo. Sin embargo, en estos procesos, la respuesta que se obtiene tras las pruebas es mínima o inexistente, no favoreciendo el aprendizaje de la persona que está siendo evaluada.
En definitiva, un proceso de evaluación resulta mucho más complejo que la estimación de una calificación numérica, siendo imprescindible información cualitativa que permita al estudiante conocer cuáles son sus fortalezas y qué aspectos necesita mejorar.
Bruno García Tardón, Profesor doctor en la Facultad de Educación, Universidad Camilo José Cela y Rodrigo Pardo García, Profesor Titular de Universidad, director de Máster Universitario en Formación del Profesorado, Universidad Politécnica de Madrid (UPM)
Este artículo fue publicado originalmente en The Conversation. Lea el original.
¿Es posible educar sin exámenes?
Enrique Javier Díez Gutiérrez, Universidad de León
Era el primer día de clase. El profesor explicaba al alumnado que durante los próximos cinco años les enseñaría “toda una serie de mentiras muy bien trabadas unas con otras en las que ustedes creerán ciegamente el resto de sus vidas…”. Tras lo cual, mirando a los estudiantes, inquirió: “¿Alguna pregunta?”. Desde la tercera fila, uno de ellos levantó la mano para preguntar: “Sí… ¿Esto entra en el examen?”.
Esta viñeta, realizada por Miguel Brieva, dibujante y escritor crítico, ácido y punzante, la suelo poner al principio de mis clases, en cada curso académico, para reflexionar sobre un aspecto fundamental y clave del acto educativo y de todo el proceso de aprendizaje y de enseñanza: la importancia que le damos a la evaluación en el proceso de enseñar, pero que acabamos reduciendo a “los exámenes”. Porque, al final, parece que lo que realmente importa es aquello que “entra para el examen”. Tanto para el profesorado, pues es sobre lo que le piden que evalúe, como para el alumnado, pues es sobre lo que es valorado y calificado. Porque de los exámenes dependen las notas. Y de las notas, pasar o no al siguiente curso y, al final, obtener o no la titulación.
Vivir para aprobar
Y más ahora que nunca, con la presión de los organismos económicos internacionales como la OCDE, que insiste reiteradamente en hacer rankings de centros educativos, de regiones y de países para publicar los resultados obtenidos, como si de una liga de fútbol se tratara. Los centros educativos, pero también los países, se ven presionados para situarse en los puestos superiores de ese ranking, ser los que mejores resultados obtienen en esos exámenes estandarizados. Lo hacen presionando a sus colegios para que dediquen buena parte de su tiempo y esfuerzo a conseguir resultados en esos exámenes. El profesorado, a su vez, se ve presionado para exigir a su alumnado que centre su tiempo y esfuerzo en preparar lo que les piden en esos exámenes, para que su respectivo centro se coloque en lo alto del ranking.
Por eso España, en sus últimas reformas educativas, ha incrementado exponencialmente el número de exámenes estandarizados a los que son sometidos los estudiantes ya desde Primaria. De hecho, me cuentan algunas familias que en algunos centros han convertido lo que se denomina “evaluación continua” en exámenes continuados. Y sus hijos e hijas, ya con solo 8 y 9 años, entran en una espiral en la que hay semanas que tienen un examen diario. Me recordaba, de forma irónica, aquel anuncio de los años 70 que proclamaba “todos los días un plátano, por lo menos”, pero en formato examen.
La importancia desmedida que se le está concediendo a este modelo de “examen permanente” puede significar un cambio crucial en los objetivos de la escuela.
Se empieza a poner el acento en medir el rendimiento y los resultados del estudiante en estos exámenes, más que en atender las necesidades del mismo. Y medir el “éxito” también del profesorado y de los centros en función de la adaptación a la conformidad de las demandas exigidas en esas pruebas estandarizadas. El buen docente comienza a ser el que genera buenos resultados, convirtiéndole en un “preparador de exámenes”.
Convertir el deseo de aprender en afán de aprobar
El efecto colateral es que algunos centros empiezan a pensar más en lo que el estudiante pueda hacer para prestigiar la escuela que en lo que la escuela pueda hacer para mejorar al estudiante, por lo que esos centros acaban seleccionando a sus “clientes” (familias motivadas, estudiantes competentes) para que sus estadísticas no se vean afectadas y poder mantener su nivel de competitividad con los otros centros y su imagen de “alto nivel”.
El alumnado con dificultades y diversidad se convierte en un posible “estorbo” que puede hacer descender los resultados del centro y que se procura “derivar” a otros centros.
Los especialistas apuntan que este modelo está haciendo daño al alumnado y empobreciendo la educación, aumentando aún más el ya alto nivel de estrés en las escuelas, con una presión constante por el rendimiento, lo que pone en peligro el bienestar de los estudiantes y de los docentes.
En los datos del informe PISA 2015, sobre cinco preguntas relacionadas con la preocupación por exámenes, notas, etc., se elabora un “índice de ansiedad en relación con el trabajo escolar” en el que España es segunda. Por eso alertan de que esta dinámica supone un riesgo real de matar el placer de aprender, transformando el deseo de aprender en afán de aprobar.
No es de extrañar que el Estudio sobre Conductas Saludables de los Menores Escolarizados de la OMS (HBSC, 2016) muestre que el porcentaje de escolares que afirma que le gusta “mucho” la escuela desciende con la edad, pasando del 54% de los alumnos y el 44% de las alumnas a los once años, al 23 y 20% a los trece y 17 y 13% a los quince.
Debemos reconsiderar esta forma de enfocar y reducir la evaluación a exámenes y pruebas estandarizadas recordando que, como han demostrado reiteradamente especialistas en este campo, los exámenes prueban la memoria puntual, no la inteligencia ni la creatividad, ni contribuyen a su desarrollo. Además, genera un modelo centrado en “repasar” los conocimientos señalados (a menudo, resaltados en negrilla en el libro de texto), que tienden a olvidar una vez pasado el objetivo examinador para el que fueron memorizados, y que convierten el aprendizaje “en un aburrimiento”, según manifiestan los estudiantes.
Otra evaluación es posible y necesaria
La evaluación en el período de educación obligatoria, hasta los 16 años, debe ser fundamentalmente una herramienta de mejora. No se puede reducir la evaluación a exámenes. La evaluación es un proceso integral cuya finalidad es dar información a todos los participantes en el proceso educativo (al alumnado, por supuesto, pero también al profesorado, a la comunidad educativa y a la administración educativa) que les ayude a mejorar esos procesos de enseñanza y aprendizaje.
La evaluación supone aprender a trabajar con la “pedagogía del error”, donde el error se convierte en una oportunidad de aprendizaje y no en una ocasión para ser sancionado o calificado negativamente. Una oportunidad para explicar cuál ha sido tal error o errores y enseñar alternativas que ayuden a entender los fallos y abrir nuevas formas de abordar los problemas, superando las dificultades detectadas. Solo así la evaluación cumplirá su función básica como herramienta para mejorar el proceso de enseñanza-aprendizaje.
Pero, para ello, para dar feedback al alumnado, para revisar y corregir sus producciones, para preguntar a cada cual cómo planteó y desarrolló la solución al problema o el trabajo realizado, es necesario que un profesor trabaje con grupos pequeños, de no más de 15 o 20 alumnos y alumnas, con quienes pueda personalizar el proceso y enseñar y evaluar realmente de forma continuada. Para eso no se necesitan exámenes en el sentido habitual de la palabra, porque el profesor o la profesora está “examinando” continuamente el proceso que se está realizando y evaluando permanentemente las dificultades y logros que tiene su alumnado en el trabajo cotidiano del aula, además de sus propios aciertos y fallos a la hora de planificar e implementar su labor de enseñanza en el aula.
La evaluación así entendida es parte constitutiva del proceso formativo en las instituciones educativas y una herramienta para reconocer sus avances y dificultades, no solo del alumnado, sino de toda la institución y de la administración educativa responsable, y ayudar a mejorarlos.
Solo desde este enfoque podremos diseñar políticas y estrategias orientadas a mejorar las prácticas pedagógicas con un sentido formativo y no culpabilizador de escuelas, docentes y estudiantes porque, como dice el aforismo pedagógico, “tal como evaluamos, así enseñamos”.
Enrique Javier Díez Gutiérrez, Profesor de Ciencias de la Educación, Universidad de León
Este artículo fue publicado originalmente en The Conversation. Lea el original.
¿Por qué la calificación final de un examen puede no ser fiable?
Rubén Fernández-Alonso, Universidad de Oviedo y José Muñiz, Universidad de Oviedo
La mayoría de los sistemas educativos, incluidos los europeos, prevé momentos de transición o finalización de los estudios que vienen marcados por pruebas para la obtención de un título académico, el acceso a determinados estudios y centros de enseñanza o la consecución de premios y menciones honoríficas.
Se trata de pruebas que tienen un gran impacto sobre el futuro académico, personal y profesional de las personas, por lo que deben estar hechas con rigor y objetividad para garantizar la equidad y promover el mérito y la capacidad.
La evaluación auténtica
En el último cuarto del siglo pasado surgió una corriente educativa que propuso que estas pruebas de alto impacto fueran evaluaciones auténticas. Este tipo de pruebas se diseñaron como alternativa a los formatos clásicos de tipo test, formados por preguntas con varias alternativas entre las que la persona evaluada tiene que elegir la correcta.
En cambio, la evaluación auténtica aboga por emplear pruebas abiertas o de ejecución, tales como ensayos escritos, exposiciones orales, ejecuciones artísticas o físicas, resolución de casos, elaboración de informes, presentaciones, portafolios o proyectos. Se entiende que este tipo de evaluación es más auténtica que la realizada mediante test, de ahí el nombre que recibe.
Las dos ventajas fundamentales serían, por un lado, su mayor realismo, al permitir recrear o simular las condiciones reales del desempeño profesional y académico y, por otro, la posibilidad de evaluar competencias complejas como la creatividad, la autonomía, la capacidad crítica, la organización argumental o el trabajo en equipo, difíciles de encajar en el formato tipo test de elección múltiple.
Los cánones de rigor
La idea es buena, el problema viene a la hora de objetivar esas evaluaciones auténticas, pues el infierno está empedrado de buenas intenciones. La objetividad y la equidad no son negociables, así que la evaluación auténtica tendrá que demostrar que sigue los cánones de rigor evaluativo exigibles a las pruebas de alto impacto.
Por ello, a medida que se fueron generalizando este tipo de evaluaciones también se desarrollaron abundantes estudios sobre la fiabilidad de las calificaciones otorgadas por los evaluadores.
Desde el primer momento, las investigaciones ponen de manifiesto la existencia de claras diferencias entre las puntuaciones de los evaluadores que calificaban un mismo ejercicio.
Además de las diferencias en cuanto a la severidad o benevolencia, también se detectó que los evaluadores presentaban todo un catálogo de errores, inconsistencias y sesgos que afectaban a sus calificaciones.
Se confirmó, en definitiva, que las puntuaciones venían contaminadas por los sesgos introducidos por los evaluadores, así que algunos investigadores denunciaron que las limitaciones en términos de medición objetiva de los ejercicios abiertos podrían convertir una prueba de alto impacto en una lotería, es decir, lo que se ganaba en realismo se perdía en objetividad.
En suma, bien se puede afirmar que la calificación objetiva y rigurosa de este tipo de pruebas auténticas es uno de los mayores retos a los que se enfrentan las evaluaciones educativas actuales de alto impacto.
¿Por qué discrepan los evaluadores?
Las razones por las que dos evaluadores discrepan al calificar un mismo ejercicio son múltiples, si bien pueden organizarse en tres grandes bloques:
- La materia objeto de la evaluación. Los estudios de revisión realizados indican que las calificaciones de las producciones orales y ensayos escritos presentan niveles de acuerdo entre jueces más bajos que los ejercicios físicos y manuales, la solución de casos clínicos o la ejecución de proyectos de ingeniería. En el caso de las materias escolares el grado de acuerdo entre evaluadores es mayor en los exámenes de las áreas científico-matemáticas que en las áreas lingüísticas, si bien este hecho está condicionado por el nivel de dificultad de la tarea.
- El sesgo del evaluador. Ha sido el aspecto más estudiado, existiendo abundantes evidencias del efecto que los jueces ejercen sobre las calificaciones. Se han documentado variaciones en función de sus características personales, actitudes, rasgos emocionales, trayectoria profesional, formación, entrenamiento y experiencia previa, o comportamiento y procesos cognitivos ante la tarea, entre otras.
- El procedimiento de evaluación empleado. Para tratar de objetivar sus evaluaciones los expertos se valen de una serie de criterios, instrucciones y directrices denominadas rúbricas de corrección. Distintas investigaciones han encontrado que una deficiente especificación de estas rúbricas introduce sesgos en las puntuaciones y maximiza las diferencias entre los evaluadores.
¿Se puede objetivar la evaluación?
En primer lugar, hay que asumir que en las pruebas de evaluación auténtica es imposible neutralizar completamente la subjetividad de los evaluadores. Cuando las evaluaciones de alto impacto incluyan este tipo de pruebas solo cabe intentar minimizar los efectos del corrector. ¿Cómo se puede hacer? Disponemos de cuatro alternativas principales:
- Diseñar rúbricas de corrección que describan de forma analítica y pormenorizada el proceso evaluativo, incluyendo ejemplos de puntuación de ejecuciones reales en el entrenamiento de los evaluadores.
- Desarrollar programas sistemáticos de formación y entrenamiento de los evaluadores en el manejo de las rúbricas para así minimizar las diferencias entre ellos.
- Configurar tribunales de valoración donde los jueces se distribuyan siguiendo una pauta sistemática que compense el potencial efecto de asignar algunos ejercicios a evaluadores más severos y otros a jueces más benévolos.
- Utilizar modelos psicométricos para estimar las puntuaciones de las personas evaluadas que incluyan, además de las respuestas del alumnado, el efecto de los evaluadores, de modo que la calificación final sea corregida en función del grado de severidad de los jueces y tribunales evaluadores.
Conclusión
La idea de una evaluación auténtica que trate de recoger toda la riqueza y los matices del rendimiento académico en situaciones lo más realistas posible es muy loable; el reto es encontrar sistemas de evaluación objetiva para este tipo de pruebas. De lo contrario dejamos a las personas evaluadas en manos del azar, la indefensión y la inequidad.
Rubén Fernández-Alonso, Profesor del Departamento de Ciencias de la Educación, Universidad de Oviedo y José Muñiz, Catedrático de Psicometría, Universidad de Oviedo
Este artículo fue publicado originalmente en The Conversation. Lea el original.
Juan Crespo 