Examen de la Calidad y el Logro Educativo (Excale)

6° Primaria

Diseño muestral para el levantamiento de datos de los Excale 06 efectuado en mayo de 2009
(Versión preliminar)

Subdirección de Análisis
Dirección de Pruebas y Medición
11 de Octubre de 2010

Contenido
Introducción
Cobertura
Marco Muestral
Las unidades primarias de muestreo
Exclusiones al Marco
Estratificación
Descriptivos.
Esquema de selección
Tamaño y distribución de la muestra en los estratos
Software empleado
Bibliografía

Introducción

Los tres principales propósitos de los Excale (Exámenes de la Calidad y el Logro Educativos): 

1.	Construir una visión general de lo que los estudiantes aprenden como resultado de su escolarización formal.
2.	Conocer los puntos fuertes y débiles del aprendizaje de los estudiantes en las asignaturas de mayor importancia.
3.	Permitir las comparaciones del rendimiento escolar, así como las tendencias de aprendizaje a largo plazo. 
(Backhoff, Monroy, Peón, Sánchez y Tanamachi, 2005)

Para este efecto en el mes de mayo de 2009, se aplicaron las pruebas a alumnos del sexto grado de primaria de todo el país en los cuales se evaluaron cuatro aspectos o áreas académicas ‘Español’, ‘Matemáticas’, ‘Educación Cívica’ y ’Ciencias Naturales’.

La población objetivo de los Excale 06 son los alumnos, docentes y directores de sexto año de primaria de todo el país

Cobertura

Se planeó hacer inferencias a nivel:
•	Nacional
•	Nacional por tipo de escuela
•	Estatal por tipo de escuela

En la tabla 1 se encuentra la cantidad de dominios de estudio que son de interés.

Tabla 1: Dominios de estudio
Dominio de estudio	Cantidad	
Nacional	1	
Nacional por tipo de escuela	6	
Estatal por tipo de escuela	134	
TOTAL	141	

La cantidad total de dominios de estudio se multiplica por la cantidad de materias dando como resultado 564 dominios de estudio.

En la tabla 2 se encuentran todos los dominios de estudio a nivel estatal por tipo de escuela

Tabla 2: Dominios de estudio
Dominio	Cursos
Comunitarios	Educación
Indígena	Rurales
Públicas	Urbanas Publicas
Baja Marginación	Urbanas Publicas
Alta Marginación	Privadas	
1 Aguascalientes	No	No	Sí	Sí	Sí	Sí	
2 Baja C.	No	No	Sí	Sí	Sí	Sí	
3 Baja C Sur	No	No	Sí	Sí	Sí	Sí	
4 Campeche	No	No	Sí	Sí	Sí	Sí	
5 Coahuila	No	No	Sí	Sí	Sí	Sí	
6 Colima	No	No	Sí	Sí	Sí	Sí	
7 Chiapas	No	Sí	Sí	Sí	Sí	No	
8 Chihuahua	No	Sí	Sí	Sí	Sí	Sí	
9 Distrito Federal	No	No	No	Sí	Sí	Sí	
10 Durango	No	No	Sí	Sí	Sí	Sí	
11 Guanajuato	No	No	Sí	Sí	Sí	Sí	
12 Guerrero	No	Sí	Sí	Sí	Sí	No	
13 Hidalgo	No	Sí	Sí	Sí	Sí	Sí	
14 Jalisco	No	No	Sí	Sí	Sí	Sí	
15 México	No	No	Sí	Sí	Sí	Sí	
16 Michoacán	No	Sí	Sí	Sí	Sí	Sí	
17 Morelos	No	No	Sí	Sí	Sí	Sí	
18 Nayarit	No	Sí	Sí	Sí	Sí	Sí	
19 Nuevo León	No	No	Sí	Sí	Sí	Sí	
20 Oaxaca	No	Sí	Sí	Sí	Sí	No	
21 Puebla	No	Sí	Sí	Sí	Sí	Sí	
22 Querétaro	No	No	Sí	Sí	Sí	Sí	
23 Quintana Roo	No	No	Sí	Sí	Sí	Sí	
24 S. L. Potosí	No	Sí	Sí	Sí	Sí	Sí	
25 Sinaloa	No	No	Sí	Sí	Sí	Sí	
26 Sonora	No	No	Sí	Sí	Sí	Sí	
27 Tabasco	No	No	Sí	Sí	Sí	Sí	
28 Tamaulipas	No	No	Sí	Sí	Sí	Sí	
29 Tlaxcala	No	No	Sí	Sí	Sí	Sí	
30 Veracruz	No	Sí	Sí	Sí	Sí	No	
31 Yucatán	No	Sí	Sí	Sí	Sí	Sí	
32 Zacatecas	No	No	Sí	Sí	Sí	Sí	

Los Excale 06 (2009), pretendieron obtener información de los siguientes tipos de escuela.
1.	Escuelas urbanas públicas con Baja marginación (UP_1). Escuelas públicas ubicadas en localidades de 2500 ó más habitantes y cuyo índice de marginación definido por CONAPO en 2005 es medio, bajo o muy bajo.
2.	Escuelas urbanas públicas con Alta marginación (UP_2). Escuelas públicas ubicadas en localidades de 2500 ó más habitantes y cuyo índice de marginación definido por CONAPO en 2005 es alto o muy alto.
3.	Escuelas urbanas públicas (UP). Escuelas públicas ubicadas en localidades de 2500 ó más habitantes. Se forman con la unión de UP_1 y UP_2.
4.	Escuelas rurales públicas (RP). Escuelas públicas ubicadas en localidades con menos de 2500 habitantes.
5.	Escuelas de Cursos Comunitarios (CC). Escuelas administradas por el Consejo Nacional de Fomento Educativo (CONAFE) y atendidas por instructores no necesariamente con formación docente.
6.	Escuelas privadas (UPV). Escuelas Generales de sostenimiento privado.
7.	Escuelas de Educación Indígena (EI).Escuelas administradas por la Dirección General de Educación Indígena.
Marco Muestral

El Marco de muestreo que se empleo es un listado elaborado por la Secretaría de Educación Pública el cual constituye el censo de las escuelas del país. Dicho listado se elabora para el inicio como para el fin de los ciclos escolares y está disponible varios meses posteriores al levantamiento de la información. El cuestionario donde se recolectan los datos de las escuelas es conocido como Forma 911 y es distribuido a todas las escuelas. La Forma 911 recolecta mucha información acerca de la escuela incluyendo la matrícula, la cantidad de docentes, la cantidad de grupos, etc. acumulando cerca de 1000 variables por escuela.

El listado que nos ocupa en particular corresponde al inicio del ciclo escolar 2007-2008 por lo que está desfasado en un ciclo escolar. 

Para completar la información de la lista de escuelas, se incorpora información de otras fuentes que posibilitan la distinción de las diferentes modalidades de escuelas que los Excale pretenden estudiar. A continuación se listan las fuentes de información.

•	Estadísticas 911 (Forma 911), captada al Inicio del ciclo 2007/2008, Secretaría de Educación Pública.
•	Catálogos de Centros de Trabajo 2007/2008, SEP.
•	Catálogo de Integración Territorial (ITER) del Instituto Nacional de Estadística, Geografía e Informática (INEGI) correspondientes al XII Censo General de Población y Vivienda 2000.

Del Catálogo de Centros de Trabajo se obtienen los datos referentes a nombre y  ubicación de las escuelas y del Catálogo de Integración Territorial se obtiene la cantidad de habitantes de la localidad donde se ubica la escuela misma que se utiliza para diferenciar las escuelas ubicadas en localidades urbanas de las localizadas en localidades rurales.

En este listado una escuela aparece tantas veces como turnos tenga la escuela. En total, el listado consto de 99292 registros, claro está no todos los registros constituyeron el marco muestral.

Las unidades primarias de muestreo

Se entiende en los Excale por “unidad primaria de muestreo” a la unión de la clave del centro de trabajo con el turno. Es decir, una escuela con dos turnos se consideran como dos unidades primarias de muestreo.
De esta forma cada registro del listado proveniente de la 911 es una unidad primaria de muestreo.

Exclusiones al Marco

•	Se excluyeron las unidades primarias de muestreo que no se pueden clasificar como urbanas o rurales ya que no se cuenta con la cantidad de habitantes en la localidad.
•	Se excluyeron también las unidades primarias de muestreo que no se pudieron clasificar en alta o baja marginación.
•	Se excluyeron las unidades primarias de muestreo que no contaban con ningún alumno registrado o perdido en sexto año.

De esta forma el Marco muestral finalmente quedo con de 89 103 unidades primarias de muestreo.
Estratificación
Debido a que la población objetivo está dividida en varios tipos de escuela y se pretende dar resultados a nivel nacional, a nivel estatal y a nivel estatal-por tipo de escuela, la estratificación más natural es la que surge de combinar las entidades federativas con los diversos tipos de escuela. Esto da como resultado 6x32=192 estratos.

Descriptivos.
A continuación se presentan la tablas descriptiva de la población de escuelas y alumnos después de las exclusiones del marco muestral y con la estratificación con que se implementó el muestreo.

Tabla 2: Cantidad de Unidades primarias de muestreo en los estratos
	CC	EI	RP	UP_1	UP_2	UPV	
1 Aguascalientes	26	0	253	94	221	82	
2 Baja C.	20	54	237	443	529	206	
3 Baja C. Sur	20	0	136	39	126	36	
4 Campeche	69	51	336	138	95	40	
5 Coahuila	38	0	522	316	673	150	
6 Colima	13	0	142	90	144	37	
7 Chiapas	1349	2533	2432	800	124	104	
8 Chihuahua	149	309	789	461	585	176	
9 Distrito Federal	3	0	20	631	1470	1111	
10 Durango	223	178	1145	237	299	62	
11 Guanajuato	230	4	2606	802	324	302	
12 Guerrero	519	766	1962	693	179	105	
13 Hidalgo	310	588	1404	288	177	164	
14 Jalisco	233	83	2281	1306	920	514	
15 México	203	159	2130	2408	1159	970	
16 Michoacán	448	189	2682	904	225	310	
17 Morelos	36	7	242	327	173	190	
18 Nayarit	80	149	464	97	210	45	
19 Nuevo León	53	0	728	443	916	226	
20 Oaxaca	566	1633	2141	595	157	103	
21 Puebla	222	735	1768	897	248	422	
22 Querétaro	139	73	633	144	163	157	
23 Quintana Roo	17	77	201	190	103	96	
24 San Luis Potosí	435	338	1616	334	277	150	
25 Sinaloa	184	31	1346	248	501	124	
26 Sonora	26	106	591	219	580	159	
27 Tabasco	130	100	1289	119	276	84	
28 Tamaulipas	91	0	939	445	565	174	
29 Tlaxcala	56	12	229	250	78	94	
30 Veracruz	504	975	5021	1435	721	296	
31 Yucatán	69	166	320	408	178	120	
32 Zacatecas	29	0	1269	217	132	68	

Tabla 3: Cantidad de Alumnos en los estratos
	CC	EI	RP	UP_1	UP_2	UPV	
1 Aguascalientes	56	0	4542	4867	12041	2310	
2 Baja C.	110	1212	4216	22444	25466	5366	
3 Baja C. Sur	27	0	1647	1841	6389	810	
4 Campeche	119	358	4502	5211	4768	873	
5 Coahuila	66	0	5792	11307	31710	5047	
6 Colima	26	0	2017	3288	5733	776	
7 Chiapas	2870	33639	36395	39244	6725	2287	
8 Chihuahua	253	2131	8004	20414	27480	4500	
9 Distrito Federal	7	0	1265	40675	77878	30626	
10 Durango	385	981	10367	8297	12105	1601	
11 Guanajuato	454	153	38291	45955	21213	9999	
12 Guerrero	1112	13138	26793	27515	8198	2555	
13 Hidalgo	639	6855	20085	13917	9525	3453	
14 Jalisco	457	760	22349	58586	39795	16349	
15 México	524	2850	42181	144753	66989	23959	
16 Michoacán	810	3934	29926	35565	10383	8591	
17 Morelos	75	174	5968	15459	9892	3065	
18 Nayarit	130	1279	6003	3789	8594	924	
19 Nuevo León	73	0	6575	20290	42164	9328	
20 Oaxaca	1218	23379	31824	23629	6627	2857	
21 Puebla	547	11104	31952	53873	16493	9083	
22 Querétaro	345	1010	11302	7920	10915	4760	
23 Quintana Roo	38	590	3420	12108	5407	2340	
24 San Luis Potosí	883	3408	19573	14152	13729	4305	
25 Sinaloa	355	384	16129	10701	23324	4665	
26 Sonora	34	718	6180	9847	27542	4364	
27 Tabasco	256	1161	19446	5163	14940	2417	
28 Tamaulipas	186	0	7660	19669	27231	3766	
29 Tlaxcala	131	409	5010	13604	4194	1973	
30 Veracruz	854	11212	57160	50571	28658	6863	
31 Yucatán	118	1810	5490	17513	8476	2660	
32 Zacatecas	69	0	13038	8691	6548	1499	

Esquema de selección

Siguiendo las recomendaciones del Dr. Méndez el muestreo de alumnos se hizo de forma probabilística al interior de los estratos. Empleando dos etapas de selección llevadas de la siguiente forma.

En la primera etapa de muestreo los las unidades primarias de muestreo se ordenaron en forma decreciente respecto a la cantidad de alumnos de sexto año de primaria. Esto se hace en cada uno de los estratos, y posteriormente se seleccionaron mediante un 
“muestreo sistemático simple”.

En la segunda etapa las unidades últimas de muestreo fueron los alumnos de sexto de primaria los cuales fueron seleccionados mediante un “muestreo aleatorio simple” bajo una cuota fija de 35 alumnos cuando fuese posible y en caso contrario seleccionar todos los alumnos de la escuela.

Una vez seleccionadas las unidades primarias de muestreo para se hizo un censo de docentes y directores. 

Tamaño y distribución de la muestra en los estratos

En las muestras para las pruebas EXCALE 2005 se consideraron las siguientes cuotas de alumnos  en los siguientes niveles para construir las muestras:

1.	Contar con al menos 6000 alumnos en muestra para estimación a nivel nacional. 
2.	Tener Al menos 3000 alumnos en nivel tipo de escuela –nacional  
3.	Tener al menos 1000 alumnos para hacer inferencia a nivel Estatal.
4.	Contar con al menos 500 alumnos a nivel de tipo de escuela dentro de cada estado.

En los Excale 06 se continuó con estas cuotas como base para el estudio con el fin de conservar el margen de error de la aplicación de 2005.

En los Excale06 2009 en particular las cuotas exactas son las siguientes

1.	Contar con al menos 6000 alumnos en muestra para estimación a nivel nacional ). 
2.	Tener Al menos 3000 alumnos en nivel de tipo de escuela () 
3.	Tener al menos 1987 alumnos para hacer inferencia a nivel Estatal ().
4.	Contar con al menos 455 alumnos a nivel de tipo de escuela dentro de cada estado ().

Aprovechando la información disponible sobre la varianza para el logro en Excale () de la aplicación anterior tomando como base la asignatura de Matemáticas, se utilizó la fórmula de asignación optima (Neyman) para la asignación de las los alumnos en los dominios de estudio llevado de las siguiente forma.

Consideremos a
=Cantidad de alumnos en la población del estrato ;
=Cantidad total de estratos;
=1 si el estrato muestral  es dominio de estudio y 0 si no.

1.	Para obtener la distribución de la muestra de alumnos a nivel nacional para cada uno de los estratos se calculó lo siguiente.

Para .

2.	Para obtener la distribución de la muestra de alumnos a nivel de tipo de escuela para cada uno de los estratos se calculó lo siguiente.
 
Para  y .

3.	Para obtener la distribución de la muestra de alumnos a nivel estatal para cada uno de los estratos se calculó lo siguiente.

Para  y .

4.	Para obtener la distribución de la muestra de alumnos a nivel de tipo de escuela por estado para cada uno de los estratos se calculó lo siguiente.

5.	Se tomaron los máximos de las etapas anteriores para el tamaño de muestra definitivo por estrato.

6.	El tamaño de muestra final fue

7.	La cantidad necesaria de unidades primarias de muestreo por estrato es entonces
.

Donde  es la cantidad promedio de alumnos por unidad primaria dentro de cada estrato.

Este procedimiento se llevó a cabo para todos los tipos de escuela excepto en las escuelas de Cursos Comunitarios. En este tipo de escuelas se fijó una cuota de 600 unidades primarias de muestreo que fueron distribuidas en los estratos de manera proporcional a la cantidad de alumnos.

Una vez Hecha esta la asignación se obtuvieron los tamaños definitivos de unidades primarias y alumnos que se muestran en las tablas 5 y 6 para cada uno de los estratos.

Tabla 5: Distribución de la muestra de Alumnos en los estratos

	EI	RP	UP_1	UP_2	UPV	Totales
Estatales	
1 Aguascalientes	0	455	455	1123	455	2488	
2 Baja C.	0	455	764	867	455	2541	
3 Baja C. Sur	0	455	455	1295	455	2660	
4 Campeche	0	553	677	619	455	2304	
5 Coahuila	0	455	455	1234	455	2599	
6 Colima	0	455	561	978	455	2449	
7 Chiapas	847	658	678	455	0	2638	
8 Chihuahua	455	455	655	881	455	2901	
9 Distrito Federal	0	0	541	1037	564	2142	
10 Durango	0	649	508	741	455	2353	
11 Guanajuato	0	605	835	455	455	2350	
12 Guerrero	455	673	782	455	0	2365	
13 Hidalgo	455	752	535	455	455	2653	
14 Jalisco	0	455	847	575	455	2332	
15 México	0	455	1032	478	455	2419	
16 Michoacán	455	673	799	455	455	2837	
17 Morelos	0	455	932	596	455	2439	
18 Nayarit	455	570	455	874	455	2809	
19 Nuevo León	0	455	530	1101	455	2541	
20 Oaxaca	659	680	606	455	0	2399	
21 Puebla	455	540	869	455	455	2774	
22 Querétaro	0	638	455	625	455	2173	
23 Quintana Roo	0	455	1061	474	455	2445	
24 San Luis Potosí	455	750	497	482	455	2639	
25 Sinaloa	0	556	455	873	455	2339	
26 Sonora	0	455	455	1176	455	2541	
27 Tabasco	0	807	455	793	455	2509	
28 Tamaulipas	0	455	678	939	455	2527	
29 Tlaxcala	0	455	1252	455	455	2617	
30 Veracruz	455	747	706	455	0	2363	
31 Yucatán	455	455	1015	491	455	2872	
32 Zacatecas	0	831	613	462	455	2361	
Totales por tipo de escuela	5601	17507	21613	22808	12849	80379	

Tabla 6: Distribución de la muestra de escuelas en los estratos
	CC	EI	RP	UP_1	UP_2	UPV	Totales
Estatales	
1 Aguascalientes	3	0	25	18	45	18	109	
2 Baja C.	5	0	26	31	35	18	115	
3 Baja C. Sur	2	0	38	18	52	20	130	
4 Campeche	5	0	41	27	25	21	119	
5 Coahuila	2	0	41	18	49	18	128	
6 Colima	2	0	32	22	39	22	117	
7 Chiapas	130	64	44	27	18	0	283	
8 Chihuahua	11	66	45	26	35	18	201	
9 Distrito Federal	0	0	0	22	41	23	86	
10 Durango	17	0	72	20	30	18	157	
11 Guanajuato	21	0	41	33	18	18	131	
12 Guerrero	50	27	49	31	18	0	175	
13 Hidalgo	29	39	53	21	18	22	182	
14 Jalisco	21	0	46	34	23	18	142	
15 México	24	0	23	41	19	19	126	
16 Michoacán	37	23	60	32	18	18	188	
17 Morelos	3	0	18	37	24	28	110	
18 Nayarit	6	53	44	18	35	22	178	
19 Nuevo León	3	0	50	21	44	18	136	
20 Oaxaca	55	46	46	24	18	0	189	
21 Puebla	25	30	30	35	18	21	159	
22 Querétaro	16	0	36	18	25	18	113	
23 Quintana Roo	2	0	27	42	19	19	109	
24 San Luis Potosí	40	45	62	20	19	18	204	
25 Sinaloa	16	0	46	18	35	18	133	
26 Sonora	2	0	44	18	47	19	130	
27 Tabasco	12	0	53	18	32	18	133	
28 Tamaulipas	8	0	56	27	38	21	150	
29 Tlaxcala	6	0	21	50	18	22	117	
30 Veracruz	39	40	66	28	18	0	191	
31 Yucatán	5	42	27	41	20	21	156	
32 Zacatecas	3	0	81	25	18	21	148	
Totales por tipo de escuela	600	475	1343	861	911	555	4745	

Software empleado

La selección de la muestra se efectuó con base en las cuotas de escuelas establecidas para cada estrato en la tabla 6 y con el paquete estadístico SPSS V17.

Bibliografía 

Backhoff, E., Monroy L., Peón M., Sánchez A. y Tanamachi M. (2005). Exámenes de la Calidad y el Logro Educativos (Excale). En: Colección Cuadernos de Investigación No. 17. México. Instituto Nacional para la Evaluación de la Educación (INEE). ISSN 1665-9457.

Wolfe, R. (2005). Recopilación de documentos de la Muestra de los Excale 2005. Documento mimeografiado. México: Instituto Nacional para la Evaluación de la Educación (INEE).

Elaboró:
J. Gustavo Rodríguez Jiménez
Edgar I. Andrade Muñoz