RevistaELectrónica deInvestigación yEValuaciónEducativa // 1999 // Volumen 4 //
Número 2_1
ISSN 1134-4032 //
D.L. SE-1138-94
RECOGIDA Y GESTIÓN DE DATOS DE RESPUESTA EN BANCOS
DE ITEMS: ANÁLISIS DE UN SISTEMA INFORMÁTICO
por
J. Gabriel Molina Ibáñez
Gabriel.Molina@uv.es
Jaime Sanmartín Arce
Ignacio Pareja Montoro*
Universitat
de València y Universitat Politécnica de València*
RESUMEN
Los bancos de items desempeñan un papel
básico en el contexto de los tests adaptativos informatizados, pues éstos
constituyen el substrato a partir del que alimentar el desarrollo de este tipo
de tests. Ahora bien, la construcción de un banco de items representa un
considerable esfuerzo, al que se suma una manifiesta ausencia de recursos
informáticos que den soporte al mismo de un modo integral. Cubrir este vacío
informático constituye el objetivo de un proyecto más amplio en el que queda
enmarcada la aportación de este trabajo, el cual se ha centrado en las tareas
asociadas a la recogida y gestión de los datos empíricos de respuesta a los
items que integren el banco.
ABSTRACT
Item banks play a basic role as the base to
build computerized adaptive tests but, in practice, the development of item
banks suppose an important effort and no much support of software exists for
this task. This paper is centered on the item response data collection and
management involved in the work with item banks, as part of the analysis of a
computer program oriented to support the development of item banks.
1.
INTRODUCCIÓN
Entre las aportaciones que se han vertido
al campo de la medición psicológica con tests en los últimos años, ocupan un
lugar destacado todas aquéllas que tienen en los Tests Adaptativos
Informatizados (TAIs) su exponente más distintivo. En este contexto de los TAIs
-donde suelen aparecer conjugados ciertos aspectos característicos como la
administración computerizada de tests, la aplicación de estrategias adaptativas
de administración y la utilización de modelos psicométricos encuadrados en la
TRI-, un elemento ha pasado a jugar un papel fundamental como basamento de la
aplicación de esta estrategia de medición: se trata del conjunto de items del
que seleccionar aquellos items que en cada momento sea más adecuado aplicar al
sujeto(s) que esté recibiendo el test. Estos conjuntos de items de propiedades
conocidas -los bancos de items- constituyen un componente relevante dentro de
los TAIs, pues la bondad de los tests que se puedan desarrollar a partir de un
banco de items va a depender, en buena medida, de las propiedades que
caractericen a ese banco de items.
De lo anterior se deriva la importancia del proceso que conduce a la creación
de los bancos de items, pues del mismo dependerá el que un banco de items
tenga, finalmente, unas propiedades u otras. Pero aparte de las propiedades, la
construcción de bancos de items aún determina algo más esencial: la
disponibilidad de la materia prima a partir de la que poder crear tests
adaptativos. Los TAIs representan una posibilidad muy interesante en la
medición psicológica -tal como se ha destacado en múltiples aportaciones-, pero
lo cierto es que sin bancos de items resulta difícil pensar en los mismos, por
lo que la construcción de bancos de items se revela como una tarea básica en
este contexto.
Ahora bien, una revisión de la literatura (Molina, 1997) pone de manifiesto
que, aunque numerosos trabajos se han concentrado en diversos de los aspectos
relacionados con el desarrollo y aplicación de TAIs, no son tantos los
dirigidos hacia la construcción de bancos de items; y, más especialmente, hacia
el desarrollo de aplicaciones informáticas dirigidas a hacer más accesible la
tarea de desarrollo de los bancos de items (Baker, 1989; Molina, Valero y
Sanmartín, 1992; Roid, 1989). Este deficiencia se hace más manifiesta si uno se
enfrenta al trabajo que representa la construcción de un banco de items y que
comprende, desde la recogida de los items que lo van a constituir, hasta la
obtención de algunos indicadores de las propiedades métricas de los mismos en
función de los que después poder seleccionarlos.
Ante esta limitación en la oferta de sistemas que cubran el proceso de creación
de bancos de items, este trabajo se enmarca en un proyecto (Molina, 1997)
orientado a desarrollar un sistema informático (BANKIT) que daría soporte a
todo el proceso de construcción de bancos de items. En el análisis funcional de
este sistema fueron diferenciados 3 grandes bloques de tareas con entidad
propia: (1) almacenamiento y gestión de la información básica de los items; (2)
recogida y gestión de datos de respuesta a los items; y (3) construcción del
banco de items como sistema métrico. Un trabajo anterior se centró en el
análisis del primer bloque de tareas (Molina, 1996), mientras que éste lo ha
hecho sobre el segundo, planteándose el análisis de qué tareas quedarían
cubiertas en el programa a fin de dar cuenta de la recogida y gestión de los
datos, así como el modo en que sería organizada esa información en el programa.
En la satisfacción de este objetivo se ha seguido la metodología propia del
análisis de sistemas informáticos y que ha supuesto, en este caso, la recogida
de información sobre el proceso al que se quiere dar soporte informático. La
información obtenida en la revisión de la literatura y de aplicaciones
informáticas afines, así como de la consulta directa con especialistas y
potenciales usuarios ha permitido conocer las necesidades que sería de interés
satisfacer con el análisis de tareas y de datos que a continuación se plantea.
Los resultados de los mismos proporcionarían la base sobre la que plantear el
desarrollo e implementación del segundo subsistema informático que integraría
BANKIT.
2. ANÁLISIS DE TAREAS
La
serie de tareas que a continuación se proponen responden a una dinámica de
trabajo que se ajustaría a la colección de datos de respuesta conducente al
desarrollo de un banco de items. Son las siguientes: (1) selección de items a
administrar en forma de test; (2) registro y gestión de las selecciones de
items realizadas; (3) exportación de la selección de items a administrar a
alguno de los programas ya desarrollado para este cometido; (4) importación de
los datos de respuesta correspondientes a las selecciones del banco de items
que hubiesen sido administradas; (5) registro y gestión de las administraciones
de items realizadas; (6) configuración de conjuntos de datos a analizar
psicométricamente; y (7) registro y gestión de los conjuntos de datos establecidos
para su análisis.
En lo que respecta a la selección de los items del banco a administrar en forma
de test, dos estrategias serían planteadas en el programa: una que permitiera
la selección ítem a ítem, en el
sentido de que el usuario del programa pueda señalar o marcar aquellos items
concretos del banco que desee que formen parte de una determinada selección de
items; y otra que haría posible una selección automatizada de items de acuerdo
a ciertos criterios establecidos por el propio usuario del programa. La
utilización de estas dos estrategias no sería excluyente, de modo que en una
selección final de items podría haber items seleccionados por cualquiera de las
dos estrategias.
En cuanto a la administración de los items del banco en forma de tests, dada la
ya existente oferta de programas que cubren distintas de las tareas asociadas a
la edición y aplicación de tests -sea el caso de LXR•Test, MicroCAT, TECA y
otros-, se aprovecharían los recursos de esos programas ya desarrollados,
evitando así el esfuerzo asociado a la implementación de funciones orientadas a
la edición de tests o a la administración computerizada de los mismos. No
obstante, ello supone establecer las conexiones de ida y vuelta necesarias, entre nuestro sistema informático y
esos programas externos.
En cuanto a los datos de respuesta a los items que hayan sido recogidos, el
programa permitiría la selección de los datos concretos que se quisiesen
analizar psicométricamente, teniendo en cuenta la posibilidad de que se
realicen análisis sobre diferentes subconjuntos de datos del total de ellos con
que se cuente. Los datos seleccionados para su análisis podrían ir de aquéllos
correspondientes a una administración concreta de una selección de items del
banco, hasta todos los recogidos en el banco a lo largo de su existencia.
3.
ESTRUCTURA DE DATOS
Tres conceptos van a ser introducidos -tabla de selecciones, tabla
de administraciones y tabla de datos-, que consideramos pueden aportar un
esquema de trabajo conceptualmente claro y potente del modo en que la
información procesada con el programa objeto de análisis sería estructurada. La
relación entre los elementos de estas tablas conferiría al usuario del programa
un grado considerable de flexibilidad en la manipulación de los datos de
respuesta a los items, algo muy deseable en el contexto del análisis de datos.
Fig.
I: Conceptos y funciones asociados a la selección de items.
La tabla de
selecciones representa un registro de las distintas selecciones de items
realizadas en el banco de items. La unidad elemental de la tabla de selecciones
la constituirá la 'selección' de items, subconjunto de items extraído del banco
de items a través de las funciones de selección orientadas a tal fin, y al que
se asignaría por parte del usuario un nombre identificativo (nominación de la
selección). La Figura I ilustra estos conceptos y funciones asociadas, a las
que hay que añadir una serie de ellas que harían factible la gestión del
contenido de la tabla de selecciones, permitiendo cambiar el nombre de las
selecciones, ver los items contenidos en las mismas, obtener información sobre
su creación (fecha, tamaño) o incluso, eliminar alguna de ellas de la tabla de
selecciones. Estas funciones de gestión serían comunes -estableciendo los
ajustes necesarios- para la tabla de administraciones y para la tabla de datos,
por lo que no se volverá a incidir posteriormente en ellas.
Cuando tras exportar y administrar una selección de items de la tabla de
selecciones, se importe el fichero de datos correspondiente -con las respuestas
de los sujetos a esos items-, los datos que éste contenga pasarían a formar
parte de la matriz de datos de respuesta del banco de items, junto a los datos
correspondientes a otros tests que ya antes se hubiesen aplicado. Ahora bien,
la aglutinación de todos los datos no supondría la pérdida de la identidad de
cada uno de los ficheros de datos importados, pues mantener ésta puede
proporcionar interesantes posibilidades posteriormente, a la hora de establecer
el conjunto de datos sobre el que realizar los análisis estadísticos. Cada uno
de los ficheros de datos importados representaría lo que vamos a llamar
abreviadamente como una 'administración', de modo que el programa llevaría un
registro de todas éstas en la que hemos denominado como tabla de
administraciones.
La tabla de administraciones va a constituir una referencia de todas las
administraciones (ficheros de datos importados) que hubiesen sido integrados en
la matriz de datos de respuesta del banco de items que estuviese activo. Pero
dado que estas administraciones están ligadas a las selecciones de items a
partir de las que los datos han sido recogidos, de forma que distintas
administraciones pueden proceder de una misma selección de items, el modo en
que la tabla de administraciones sería estructurado seguiría este criterio de
anidamiento. La Figura II ilustra la organización de los conceptos hasta ahora
planteados, así como las funciones propuestas en el programa que mediarían
entre selecciones y administraciones.
Fig. II: Conceptos y funciones asociadas a la
selección y administración de los items de un banco de items.
Por último, la tabla de datos representa el registro de los distintos conjuntos
de datos que hubiesen sido definidos a fin de ser analizados. El modo en que se
plantearía en el programa la definición de los datos objeto de análisis sería
tomando como unidad de referencia a las administraciones que conformen la tabla
de administraciones, de modo que la agregación o unión de los datos
correspondientes a aquellas administraciones que el usuario desease, daría
lugar al conjunto de datos que sería finalmente analizado. Este planteamiento
supone dotar de una notable flexibilidad a esta faceta del trabajo con los
bancos de items, pues no limita la realización de los análisis cuantitativos a
una determinada matriz de datos, sino a tantas como combinaciones posibles de
las administraciones integradas en la tabla de administraciones del banco de
items.
Fig. III: Conceptos y funciones asociadas a
la selección, administración y análisis de los datos.
Así, las distintas agregaciones de los datos correspondientes a diferentes
administraciones constituirán las unidades elementales de la tabla de datos,
representando cada una de esas uniones de administraciones lo que vamos a
denominar abreviadamente como unos 'datos'. El programa establecería los medios
para que el usuario del programa asignara un nombre a cada uno de los datos resultantes de las distintas
conjunciones de administraciones que se lleven a cabo, representando la tabla
de datos un registro de todos ellos que va a facilitar su identificación y su
potencial reutilización en diferentes momentos en que al usuario del programa
le pueda resultar de interés. La Figura III ilustra de forma gráfica este
planteamiento en el tratamiento de los datos que serían finalmente objeto de
análisis psicométrico, junto a los conceptos propuestos anteriormente.
El marco conceptual planteado constituiría la base en que se fundamentaría el
desarrollo del sistema informático responsable de la recogida y gestión de
todos los datos que permitan acometer los análisis psicométricos asociados a la
construcción de un banco de items. El diseño del programa tendría en
consideración la agrupación de las funciones propuestas entorno a las tres
tablas planteadas, de modo que esta organización y gestión de la información
resultase conceptualmente intuitiva para el usuario del programa.
4. REFERENCIAS
Baker, F. B. (1989). Computer
technology in test construction and processing. New York: Macmillan.
Molina, J. G. (1997). Los bancos de items en el desarrollo de tests.
Aspectos psicométricos y análisis de un sistema para su desarrollo y gestión
informatizada. Tesis doctoral.
Valencia: Universitat de València.
Molina, J. G., Valero, P. M. y Sanmartín, J. (1992). "Evaluación
de programas informáticos orientados al análisis de tests". Revista de psicología Universitas
Tarraconensis, 14, (2), 31-44.
Roid, G. H. (1989). "Item writing and item banking by
microcomputer": An update special issue: Computer applications to testing:
Review of recent research and developments. Educational
Measurement Issues and Practice, 8, (3), 17-20.