Metodología de la Evaluación Anual de Portales Estatales en México

Componentes de la Evaluación
La evaluación contiene 7 componentes: información, interacción, transacción, integración, participación, desempeño del portal, y estilo y diseño. Aunque en la evaluación se midieron estos 7 componentes hasta el 2011, son los 5 primeros componentes los que, siguiendo el modelo evolutivo, se consideran para los productos derivados de la evaluación: Índice de Gobierno Electrónico Estatal y Ranking de Portales .gob. Estos 5 componentes se miden en forma aditiva, es decir, para cada etapa se consideraron variables que se miden bajo el concepto de suma cero –es encontrada o no la característica– en todos los órdenes del portal. Esto implica que no se evalúa propiamente la existencia del elemento en el portal, sino que pueda ser encontrado fácilmente por el ciudadano. 
La evaluación fue diseñada de forma tal que cada componente o etapa sea ponderado de la misma forma, tal como el siguiente ejemplo lo demuestra:
•Información
•INF = (No. Reactivos Información encontrados en el Portal Estatal Observado/No. Total de Reactivos Información)*100
•INF = (5/7)*100 = 71.43

•Puntaje Total
•PT = (INF+INTA+TRAN+INTG+PART)/5
•PT = (85.71+57.14+60.00+44.44+100.00)/5 = 69.46

El cuestionario
El cuestionario con el que se realiza la evaluación entonces está diseñado siguiendo el modelo evolutivo. Contiene en el inicio una introducción en la que se fijan los criterios de las búsquedas (ver abajo “búsquedas y tiempo de duración de la evaluación”), el número de ellas para cada ítem, el tiempo promedio de duración de la evaluación y algunas definiciones básicas. 
Contiene las 7 secciones indicadas arriba. Cada sección (indicada con un dígito) tiene subsecciones (indicadas con dos dígitos) y a las subsecciones contienen las preguntas o ítems a evaluar (indicadas con tres dígitos). 
Cada subsección indica qué tipo de elementos son los que se buscan en ella, y cada pregunta indica de manera concreta el elemento a evaluar. Posteriormente se indican los valores únicos posibles de respuesta: si=1, no=0. Esto aplica para todas las preguntas. No así para la sección 6.
Contiene una sección a la extrema derecha en cada pregunta o ítem que explica en detalle la forma en que debe evaluarse la pregunta y qué criterios deben considerarse para dar una calificación. También se sugieren los lugares de un portal donde pueden encontrarse, tal como se muestra en el ejemplo de la siguiente tabla.

Ejemplo de la Estructura del Cuestionario
SECCIÓN I INFORMACIÓN.
1.1 INFORMACIÓN COMPLETA Y DETALLADA.
Se busca encontrar información completa y detallada dentro del Portal, como puede ser sobre el Webmaster, Fuentes de información, Estadísticas, etc.	
Preguntas	Definición	
1.1.1 Muestra datos del autor la información presentada en las páginas y documentos del portal (sitio web completo).	NO=0
SI=1	Se exploran de forma aleatoria 5 páginas o documentos y se codifica como sí cuando aparece el nombre del autor individual o la institución que creó el documento en todos ellos. Puede aparecer después del título del artículo, noticia o tema o también al final del mismo.	

Búsquedas y tiempo de duración de la evaluación
Como se indica en la introducción del cuestionario, la evaluación no califica si existe o no el elemento que se busca, sino la posibilidad de ser encontrado fácilmente por el ciudadano. Por lo tanto, se realizan para cada pregunta o ítem un máximo de cinco búsquedas en el portal; esto es, se puede accesar hasta a cinco links en los que intuitivamente o por recomendación del cuestionario pueda encontrarse el elemento a evaluar. Se indica en el cuestionario si con una sola vez que se encuentre el elemento se asigna 1 o si debe encontrase en todas las búsquedas.
El tiempo de la evaluación es en promedio de 90 minutos por portal, incluyendo en él todas las preguntas y las mediciones con las aplicaciones que se usan y que están incluidas en el cuestionario.

Observaciones
Se realizan tres observaciones para cada evaluación (anual) que son promediadas para obtener el puntaje de cada portal que se da a conocer en el Índice y en el Ranking. Las observaciones se realizan en sedes diferentes, las realizan diferentes personas, con recursos técnicos diferentes y en fechas diferentes. Esta diversidad supone que los portales puedan ser accesados con diferentes recursos, en diferentes momentos y por diferentes personas que no tengan experiencia previa; simplemente con las indicaciones que el cuestionario provee y con una ligera capacitación o aclaración de dudas.
Las sedes son: Universidad de las Américas Puebla (responsables Dr. Luis Luna Reyes y la Dra. Dolores Luna Reyes); Universidad Autónoma del Estado de México (responsable Dr. Rodrigo Sandoval Almazán); Centro de Investigación y Docencia Económicas (responsable Dr. José Ramón Gil García).

Fechas de aplicación 
Los portales se visitan en distintos momentos durante la primera mitad del año, entre los meses de enero y junio. Aunque cada una de las tres evaluaciones puede realizarse en algún momento de este periodo, una vez iniciada una evaluación se hace de manera continua, tomando un promedio de 2 semanas en realizarse.

Sitios evaluados
Las direcciones electrónicas de los portales de gobierno estatal que  son visitadas  para el estudio pueden  observarse en la siguiente Tabla.

Entidad	Portal www	
Aguascalientes	www.aguascalientes.gob.mx	
Baja California	www.bajacalifornia.gob.mx	
Baja California Sur	www.bcs.gob.mx	
Campeche	www.campeche.gob.mx	
Coahuila	www.chiapas.gob.mx	
Colima	www.colima-estado.gob.mx	
Chiapas	www.coahuila.gob.mx	
Chihuahua	www.chihuahua.gob.mx	
Distrito Federal	www.df.gob.mx	
Durango	www.durango.gob.mx	
Guanajuato	www.edomexico.gob.mx	
Guerrero	www.guanajuato.gob.mx	
Hidalgo	www.guerrero.gob.mx	
Jalisco	www.hidalgo.gob.mx	
México	www.jalisco.gob.mx	
Michoacán	www.michoacan.gob.mx	
Morelos	www.morelos.gob.mx	
Nayarit	www.nayarit.gob.mx	
Nuevo León	www.nl.gob.mx	
Oaxaca	www.oaxaca.gob.mx	
Puebla	www.puebla.gob.mx	
Querétaro	www.queretaro.gob.mx	
Quintana Roo	www.quintanaroo.gob.mx	
San Luis Potosí	www.sanluispotosi.gob.mx	
Sinaloa	www.sinaloa.gob.mx	
Sonora	www.sonora.gob.mx	
Tabasco	www.tabasco.gob.mx	
Tamaulipas	www.tamaulipas.gob.mx	
Tlaxcala	www.tlaxcala.gob.mx	
Veracruz	www.veracruz.gob.mx	
Yucatán	www.yucatan.gob.mx	
Zacatecas	www.zacatecas.gob.mx	

Navegadores y ancho de banda
Se usan para las evaluaciones navegadores diferentes, por ejemplo, Explorer, Firefox, Chrome y/o Safari.  También los anchos de banda son diferentes de acuerdo con la sede y el momento de la aplicación. 

Bases de Datos
Durante o posteriormente a la evaluación se lleva a cabo la captura de los datos en las hojas de cálculo, con un riguroso cuidado para evitar errores. Las tres evaluaciones realizadas son integradas y promediadas para obtener el puntaje final de cada estado. Esto es, los resultados que se pueden observar en cada pregunta en la base que contiene los datos de la evaluación anual  es el promedio de las tres observaciones que se realizan ese año: la del CIDE, la de la UAEM y la de la UDLAP. 
De esta forma, en la columna de cada pregunta el valor observado es el promedio de las tres calificaciones. Valores que se mueven entre 0 y 1 cuando la calificación no es coincidente en los tres casos, y valores de 0 y 1 cuando las tres observaciones coinciden (para el significado de cada valor véase el libro de códigos).
En la base de datos la columna que dice “índice” se refiere al puntaje obtenido por cada estado en los cinco componentes (1-5) que se toman en cuenta para realizar el Ranking y el Índice. El “índice 7” es el puntaje alcanzado por cada estado en los siete componentes (1-7), en los años que se incluye esa columna. El valor en la columna de cada sección (1 dígito) es su promedio. El valor de la subsección (2 dígitos) es su promedio. El valor de la pregunta (3 dígitos) es su promedio. 

AVISO IMPORTANTE:

Se agradecerá que una vez utilizada la información se realice la cita correspondiente, por lo que se solicita envíe la referencia completa del documento, artículo, libro, y/o reporte de investigación que haya realizado, así como mencionando la(s) base(s) de datos del BIIACS que fue(ron) utilizada(s).

Para facilitar el envío de citas al BIIACS es necesario proporcionar la información en el siguiente formulario http://www.biiacs.cide.edu/node/add/citation