Fuente: Elaboración con base en [21] en [22].
Tabla 3. Ecuación de búsqueda utilizada.
( "assessment" OR "evaluation" OR "review" OR "Measurement" OR "measuring" OR "assess" OR "evaluate" OR "indicators" OR "gauge" OR "register" OR "gage" OR "telltale" OR "factors" OR "mensuration" OR "methods" OR "procedures" OR "task" OR "activities" OR "practices" OR "scala" OR "integration process" OR "dissemination process" OR "diffusion process" OR "Metrics system" OR "Factor" OR " metrics system tof measurement " OR "metriction" OR "metrics magnitude" OR " Scale" ) AND ( "e-government" OR "Government online" OR "electronic government" OR "government internet" OR "open government" OR "egov" OR "E-GOV" OR "egovernment" OR "e-governments" OR "E-governance" OR "Public Administration online" OR "E-administration" OR "service oriented government" OR " SERVICE PUBLIC" OR "E-services" OR "G2B" OR "G2C" OR "G2E" OR "G2EI" OR "G2G" OR "IntOGo" OR ( "government" AND "citizens" AND ( internet OR online ) ) OR "E-society" OR "electronic society" OR "E-Citizens" OR "electronic Citizens" OR "e-participation" OR "electronic participation" OR "E-TAXES" OR "electronic tagses" OR "e-audit" OR "electronic unit" OR "e-democracy" OR "electronic democracy " OR "e-democratic " OR "electronic democratic " OR "E-voting " OR "electronic voting " OR "e-Invoice" OR "electronic Invoice" OR "e-business" OR "electronic business" OR "e-justice" OR "electronic justice" OR "e-participation" OR "electronic participation " OR "E-parliament" OR "electronic parliament " OR ( government AND ( "ICT" OR "TIC" OR "Information and communications technology" ) ) ) OR ( ( "Evaluación" OR "crítica" OR "revisión" OR "medición" OR "media" OR "indicatores" OR "mediator de registro " OR " registro" OR " factors" OR " medición " OR " métodos " OR "procedimientos " OR " area " OR " actividades " OR "prácticas " OR " escala " OR "procesos de integración" OR "procesos de difusión" OR "sistema de métricas" OR "Factor" OR "sistema de métricas de medida" OR "sistema métrico" OR "Métrica" OR "magnitude" ) AND ( "E-Gobierno" OR "Gobierno en línea" OR "gobierno electrónico" OR "internet Gobierno" OR "gobierno abierto" OR "administración electrónica" OR "E-gobernabilidad " OR "Administración Pública en línea " OR " e-administración " OR "servicio orientada al gobierno " OR " servicio público " OR "e-servicio" OR " servicio electrónico" OR ( " gobierno" AND "ciudadanos " AND ( "internet" OR " línea" ) ) OR "e-sociedad " OR " sociedad electrónica" OR " E-ciudadanos " OR " ciudadanos electrónica" OR " E-participación " OR " participación electrónica" OR " e-impuesto " OR " impuesto electrónico" OR " e-auditoria " OR "auditoria electrónica" OR " e-democracia " OR "democracia electrónica" OR " e-voto" OR " voto electrónica" OR " e-factura " OR " factura electrónica" OR " e-NEGOCIOS " OR " NEGOCIO electrónico" OR " e-Justicia " OR "justicia electrónica" OR " e-parlamento " OR "parlamento electrónico" OR ( "gobierno" AND ("TIC" OR "tecnología de la información y comunicaciones " ) ) ) ).
Fuente: Elaboración propia.
2.3. Selección
El proceso de selección preliminar se realizó analizando los títulos y los resúmenes de los documentos identificados, aquellos que trataban sobre evaluación de e-gobierno fueron clasificados. Está actividad permitió seleccionar el 4,48% de los documentos, es decir 616. Posteriormente, se buscaron los documentos completos encontrando 178 artículos.
2.4. Evaluación de calidad
Para la evaluación de calidad de los 178 documentos seleccionados se consideró: que las preguntas de investigación fueran resueltas en el contenido del documento. En detalle las preguntas de investigación fueron: ¿qué variables e indicadores se proponen para evaluar e-gobierno?, ¿en qué contexto se realizó la investigación?, ¿cuál es el diseño metodológico propuesto en la investigación?
De acuerdo con la evaluación realizada se estableció que 84 documentos cumplieron con los criterios establecidos. Los resultados obtenidos en cada etapa de la investigación se presentan en la Tabla 4, y el listado de los documentos que cumplieron con el criterio de calidad por año se presenta en la Tabla 5.
Tabla 4. Resumen cuantitativo de la búsqueda, selección y evaluación de calidad.
|
Etapa |
Total de Documentos |
|
Búsqueda |
13741 |
|
Selección preliminar |
616 |
|
Selección detallada |
178 |
|
Ecuación de calidad |
84 |
Fuente: Elaboración propia.
Tabla 5. Documentos que cumplen los criterios de calidad por año.
|
Año |
No documentos |
Referencias |
|
2004 |
9 |
[16]–[24] |
|
2005 |
16 |
[25]–[40] |
|
2006 |
7 |
[41]–[46] |
|
2007 |
17 |
[47]–[64] |
|
2008 |
4 |
[65]–[67] |
|
2009 |
3 |
[68]–[70] |
|
2010 |
3 |
[71]–[73] |
|
2011 |
1 |
[74], [75] |
|
2012 |
3 |
[76]–[78] |
|
2013 |
12 |
[79]–[90] |
|
2014 |
8 |
[91]–[98] |
Fuente: Elaboración propia.
2.5 Extracción de datos y síntesis
Finalmente, se buscó responder las preguntas planteadas para lo cual se extrajeron datos de los documentos seleccionados. A continuación, se presentan los resultados obtenidos.
RESULTADOS
3.1. Aspectos generales
De los 84 documentos seleccionados se encontró que 29 eran artículos en revistas indexadas y 55 artículos en conferencias. Estos documentos fueron desarrollados por 33 países, siendo el 19% de los documentos propuestos por Estados Unidos y el 14% entre España y Reino Unido, cada uno con el 7%. Países como Brasil, China, Malasia y Taiwán tienen el 20% de las publicaciones (cada uno con el 5%), en tanto que otro 16% lo tienen Grecia, Italia, Turquía y Australia. Se tiene que los restantes los otros 22 países tienen el 31% de la producción identificada. Es importante resaltar que el único país de Latinoamérica detectado fue Brasil. En la Figura 1 se aprecia la distribución de documentos por país de origen.
Figura 1. Distribución de los documentos seleccionados por país de origen. Fuente: Elaboración propia.
Por otra parte, se encontró que el 53,6% de las propuestas de evaluación de e-gobierno se hicieron para el contexto nacional, el 4,8% para el contexto europeo, el 2,4% para Iberoamérica, el 1,2% para Latinoamérica, y el 3,6% que plantean un contexto global para su aplicación. El 34,5% de las propuestas de evaluación no especifican el ámbito de aplicación.
En relación con las fuentes de información, se encontró que el 69,1% utilizan fuentes primarias tales como entrevistas, encuestas, sitios web, entre otras; y el 30,9% de las propuestas utiliza fuentes secundarias tomando datos de otras investigaciones y fuentes externas. En cuanto a resultados esperados se identificó que el 48,8% se orientan al pronóstico, el 46,4% al diagnóstico y el 4,8% a establecer un ranking.
3.2. Identificación y clasificación de variables e indicadores de evaluación de e-gobierno
Con el fin de identificar las variables e indicadores propuestos en los 84 trabajos científicos seleccionados, se utilizó como guía metodológica la propuesta de [99], y para el procesamiento de estas mediciones se utilizó la herramienta desarrollada por [100]. El resultado de esta actividad permitió identificar 764 variables e indicadores.
Posteriormente, se procedió a identificar que pretendían medir las variables e indicadores, encontrando que 509 variables e indicadores (66,6%) fueron definidos para medir factores asociados al e-gobierno, tales como: aspectos técnicos, aspectos del entorno y características del usuario; en tanto que el 33,4%, es decir 255 variables e indicadores, miden fases de e-gobierno.
3.3. Clasificación de las variables e indicadores propuestos para medir las fases de desarrollo del e-gobierno
Para este análisis se clasificaron las 255 variables e indicadores identificados para medir fases de e-gobierno tomando como referencia el modelo de desarrollo del e-gobierno colombiano. En este sentido, se encontró que el 28,2% de las variables e indicadores miden la fase de información en línea. Para la fase de interacción en línea se identificaron el 13,3% de las variables e indicadores. En relación con la fase de transacción en línea se encontró que el 9% de las variables e indicadores identificados. Para la fase de transformación en línea, la cual se enfoca en los procesos de interoperabilidad, se encontró que el 40% de las variables e indicadores miden esta fase.
Figura 2. Distribución de variables e indicadores que puede medir fases de desarrollo de e-gobierno. Fuente: Elaboración propia.
Finalmente, se encontró que el 9,4% de las variables e indicadores miden aspectos de Democracia en línea. En la Figura 2 se presenta gráficamente la distribución descrita, así mismo, en la Tabla 6 se presenta en detalle la distribución descrita, indicando el número de variables e indicadores detectados para cada una de las fases de análisis.
3.4. Análisis de las variables e indicadores propuestos para medir las fases de desarrollo del e-gobierno
Una vez se clasificaron las variables e indicadores se procedió a analizar cada uno de ellos, para lo cual se revisaron y se definieron categorías para agruparlos, teniendo en cuenta el aspecto que pretenden medir. Esta actividad permitió identificar cuatro categorías para la fase de información en línea, cinco para la fase de interacción, tres para la fase de transacción en línea, siete para la de transformación y cuatro para la fase de democracia en línea. A continuación, se presenta en detalle la distribución de las variables e indicadores en cada una de las categorías.
Tabla 6. Distribución de variables e indicadores que pueden medir las fases de desarrollo del modelo de e-gobierno colombiano.
|
Fase |
Var. |
Ind. |
Total |
|
Información |
28 |
44 |
72 |
|
Interacción |
12 |
22 |
34 |
|
Transacción |
10 |
13 |
23 |
|
Transformación |
54 |
48 |
102 |
|
Democracia |
17 |
7 |
24 |
|
Total |
121 |
134 |
255 |
Fuente: Elaboración propia.
Las categorías definidas para la fase de información fueron: contenidos, con el 64,3% de las variables e indicadores, la cual se enfoca en evaluar la existencia, estructura, secciones, temas y documentos que los diferentes sitios gubernamentales presentan; la categoría disponibilidad de información, la cual agrupa el 10% de las variables e indicadores que se enfocan en la medición de la actualización, recuperación de la información, así como de la posibilidad de que ésta se presente en varios idiomas, este completa y pueda recuperarse. La categoría de calidad de la información, con el 18,6%, hace referencia a la evaluación de la información en términos de su contenido y pertinencia, así como en la confiabilidad y la facilidad para entender su contenido, y la categoría flexibilidad la cual agrupa las variables e indicadores que buscan medir la facilidad para acceder a la información de varias formas, la personalización de la información. En la Tabla 7 se puede apreciar la distribución de las variables e indicadores por las categorías de la fase información en línea.
Tabla 7. Distribución de variables e indicadores de la fase transacción en línea por categorías.
|
Categoría |
Var. |
Ind. |
Total |
|
Tipo de servicio |
5 |
5 |
10 |
|
Calidad de la transacción |
2 |
6 |
8 |
|
Medios de pagos |
3 |
2 |
5 |
|
Total |
10 |
13 |
23 |
Fuente: Elaboración propia.
Para la fase de interacción en línea se tiene que la evaluación del tipo de interacción, con el 44,1% de las variables e indicadores de la fase, busca medir la clase de interacciones que se dan con los ciudadanos, evaluando si la interacción es en uno o dos caminos. La categoría uso de canales de interacción agrupa el 38,2% de las variables e indicadores, estos se enfocan en revisar el uso que se hace de los diferentes canales de interacción que el gobierno ha dispuesto para interactuar con los ciudadanos. Además, se encontró que la categoría calidad de los servicios de interacción tiene el 14,7% que se enfoca en medir aspectos de efectividad y eficiencia de los servicios disponibles, y la categoría de promoción de servicios de interacción que tiene el 2,9% de las variables e indicadores y se enfoca en la medición de las estrategias de divulgación de la existencia de los canales de interacción propuestos por el gobierno. En la Tabla 8 e puede apreciar la distribución descrita anteriormente.
Tabla 8. Distribución de variables e indicadores de la fase transacción en línea por categorías.
|
Categoría |
Var. |
Ind. |
Total |
|
Servicio |
8 |
18 |
26 |
|
Calidad de la transformación |
19 |
5 |
24 |
|
Procesos |
9 |
8 |
17 |
|
Tiempo |
4 |
8 |
12 |
|
Condiciones |
2 |
6 |
8 |
|
Resultados |
7 |
1 |
8 |
|
Usabilidad |
5 |
2 |
7 |
|
Total |
54 |
48 |
102 |
Fuente: Elaboración propia.
Finalmente, para la fase de democracia en línea se encontró que el 54,2% de las variables e indicadores miden aspectos de participación ciudadana y participación política para la toma de decisiones. Las categorías que miden los beneficios de los procesos de participación ciudadana y la evaluación de los medios de participación, tales como el voto electrónico, tienen cada una el 16,7% de las variables e indicadores. Así mismo, para la categoría democracia en línea se encontraron 12,5% de variables e indicadores.
Tabla 9. Distribución de variables e indicadores de la fase transacción en línea por categorías.
|
Categoría |
Var. |
Ind. |
Total |
|
Participación |
9 |
4 |
13 |
|
Beneficio |
2 |
2 |
4 |
|
Medio de participación |
3 |
1 |
4 |
|
Democracia |
3 |
0 |
3 |
|
Total |
15 |
9 |
24 |
Fuente: Elaboración propia.
CONCLUSIONES
Los resultados obtenidos permitieron apreciar que existe un mayor número de indicadores (52,5%) que variables (47,5%) propuestos, con lo cual se puede apreciar que cada vez existe una claridad mayor acerca de cómo evaluar. Es importante decir que las variables permiten entender qué se quiere evaluar y los indicadores se orientan al cómo evaluar.
En la referente a la evaluación de las fases, se encontró que la mayoría de variables e indicadores, aproximadamente el 40%, estaban orientados en medir la fase de transformación, buscando medir aspectos relacionados con la reingeniería de procesos, la calidad de la transformación, en términos de su eficacia y eficiencia y tiempos de los mismos, además, se evalúan aspectos relacionados con las condiciones para la trasformación, la usabilidad y los resultados obtenidos. Estos resultados pueden evidenciar la necesidad de monitorear cómo las diferentes entidades del estado se han transformado para poder brindar servicios digitales a la comunidad, así como para poder incorporar las TIC para apoyar su funcionamiento y procesos internos.
La segunda fase con mayor número de variables e indicadores detectados fue la fase de información en línea con el 29,8%. La medición propuesta para esta fase se orientaba a evaluar los contenidos disponibles en los diferentes sitios gubernamentales (64,3% de la fase), su calidad (18,6%), la disponibilidad de la información y flexibilidad. Con estos resultados se puede evidenciar la importancia de monitorear la información que las diferentes entidades ponen a disposición de los usuarios. Así mismo, se detectó que aproximadamente el 58% de las mediciones eran indicadores y el 42% eran variables.
Para las fases de interacción en línea y transacción en línea se detectaron el 21,5% de las variables e indicadores en estudio (en detalle, el 12,5% y 9% respectivamente). Estas mediciones se orientaron a la medición del uso de los canales de interacción, al tipo de interacción y la calidad de los servicios, y su disponibilidad para la fase de interacción. Para la fase de transacción su medición se centra al tipo de servicio, su calidad y los medios de pago empleados. Estos resultados evidencian la necesidad de ir midiendo el incremento en el uso de los servicios digitales ofrecidos por las entidades gubernamentales, así como la calidad de los mismos.
Finalmente, la fase de democracia en línea tiene el 9,4% de las variables e indicadores, y se orienta a medir la participación de los ciudadanos en la planeación, toma de decisiones, elecciones, entre otras. Con estos resultados se demuestra el interés de hacer de los medios digitales un canal que permita que los ciudadanos puedan expresarse y contactarse directamente con las entidades del estado.
En general, se tiene que las mediciones propuestas buscan evaluar el gobierno en línea desde la perspectiva del usuario en cuanto a la participación e interacción que estos tienen con las entidades del gobierno, accediendo a los servicios digitales disponibles y haciendo uso de los canales de comunicación, sin embargo, la investigación realizada evidenció que el número de indicadores definidos para tal fin es bajo, pudiéndose dejar por fuera muchos aspectos relevantes para el análisis de la inclusión del ciudadano a los servicios del estado. Así mismo, se orienta a medir desde la perspectiva de la oferta de servicios en la medida que se busca medir los servicios de información, trámites e interacción, en este sentido, se encontraron que la mayoría de indicadores propuestos se concentran en estos aspectos, dando énfasis a las características técnicas. Además, hay un interés por considerar la medición de aspectos organizacionales con el fin de establecer si las entidades del Estado se están adecuando y ajustando para hacer de las TIC una herramienta que facilite y potencie su trabajo llegando más fácilmente a los ciudadanos. En este sentido, los resultados obtenidos son similares a los obtenidos en estudios previos [1], [14], [101]–[103]. Por otra parte, es importante decir que los aspectos que actualmente se están evaluando para medir el gobierno en línea no permitirían establecer claramente la inclusión de la población a dichos servicios, en cuanto se están dejando por fuera de la evaluación factores habilitadores tales como las competencias digitales y la motivación para acceder a los servicios [104].
En relación con los países que han publicado propuestas de medición, no se identificaron resultados para el contexto colombiano en la literatura consultada y analizada, sin embargo, esto no quiere decir que el país no cuente con indicadores para medir y hacer seguimiento a sus fases de desarrollo de e-gobierno [105]. Actualmente el país, utiliza el indicador como el Índice de Gobierno en Línea [106]. Además, toma como referencia sistemas de medición internacionales, como el World Governance Index, Waseda, Doing Bussines, entre otros [107].
Por otra parte, es importante señalar que el proceso metodológico permitió la identificación de 84 documentos científicos relacionados con la propuesta de indicadores para medir e-gobierno publicados en revistas de alto impacto. Además, de permitir el análisis de las variables e indicadores identificados con lo cual se pudo obtener una visión acerca de los procesos de medición de e-gobierno. Es importante destacar que la metodología permitió la selección de los documentos con base a criterios de calidad y pertinencia, delimitando la selección a los artículos científicos publicados en revistas y eventos internacionales, así como los documentos que se refieren explícitamente a la evaluación del e-gobierno. Sin embargo, se considera que la ecuación de búsqueda se puede mejorar sintetizándose más, empleando comodines, eliminando términos repetidos y depurando más la búsqueda.
Finalmente, es importante destacar que los resultados obtenidos en la presente investigación permiten obtener elementos acerca de cómo medir el avance del e-gobierno por fases. También, se constituyen en un punto de partida para futuras investigaciones orientadas a evaluar el avance del e-gobierno, así como analizar los elementos que son considerados importantes en cada una de las fases con el fin de incorporar el desarrollo de estos elementos y garantizar el cumplimiento de los objetivos de cada fase. Además, con estos resultados pueden emplearse para realizar un comparativo entre la medición de las fases de gobierno colombiano y la medición de los modelos de desarrollo utilizado por los pro países de la región.
REFERENCIAS
[1] M. P. González-Zabala y J. M. Sánchez-Torres, “Análisis de las estrategias del gobierno colombiano para la inclusión de los ciudadanos en la Sociedad de la Información.”, Rev. Estud. Soc., vol. In press, 2013.
[2] J. M. Sánchez-Torres, M. P. González-Zabala, y M. P. S. Muñoz, “La Sociedad de la Información: Génesis, Iniciativas, Concepto y su Relación con Las TIC”, Rev. UIS Ing., vol. 11, n.o 1, may 2013.
[3] D. E. Pacheco y M. P. González-Zabala, “Análisis de definiciones de e-gobierno y sus aspectos asociados”, Universidad del Magdalena, Santa Marta, Colombia, jul. 2015.
[4] Ministerio de Comunicaciones - República de Colombia, “Plan Nacional de Tecnologías de la Información y las Comunicaciones”. may-2008.
[5] Ministerio de Tecnologías de la Información y las Comunicaciones - República de Colombia y Agenda de Conectividad, “Manual para la Implementación de la Estrategía de Gobierno en Línea de la República de Colombia”. may-2008.
[6] República de Colombia, “CONPES 3072, [PDF] Disponibles en: www.mincomunicaciones.gov.co/mincom/src/user_docs/Archivos/Documentos/AGENDACONECTIVIDAD06. 2000.
[7] República de Colombia, «Directiva Presidencial No 02 de 28 de octubre de 2000. [En Línea] Disponible en: www.presidencia.gov.co/direc/2000/dir_2000.pdf. Visita Julio de 2005.» 2000.
[8] Ministerio de Comunicaciones - República de Colombia y Departamento de Planeación Nacional- República de Colombia, CONPES 3072. 09-feb-2000.
[9] Ministerio de Comunicaciones - República de Colombia, Decreto 1151 de 2008. de abril de-2008.
[10] A. Pastrana, «Directiva Presidencial No 02 de 28 de octubre de 2000». 28-oct-2000.
[11] Congreso Nacional, República de Colombia, LEY 1151 DE 2007. Diario Oficial No. 46.700 de 25 de julio de 2007, 24-jul-2007.
[12] Cesar Daniel Vargas Díaz, “Desarrollo y E-gobierno en Latinoamérica: Responsabilidad y transparencia de la información Económica-Financiera en la Gestión Pública.”, Universidad de Granada, España, 2010.
[13] Ministerio de Tecnologías de la Información y las Comunicaciones - República de Colombia, “Estrategia Gobierno en Línea. 2012 - 2015 para el orden nacional - 2012 - 2017 para el orden territorial”. 2012.
[14] M. P. González-Zabala y J. M. Sánchez-Torres, “Análisis de variables e indicadores empleados para medir la sociedad de la información”, Rev. Ingeniaré, vol. 20 No 3, pp. 433-446, 2012.
[15] E. Galvis-Lista y J. Sánchez-Torres, “REVISIÓN SISTEMÁTICA DE LITERATURA SOBRE PROCESOS DE GESTIÓN DE CONOCIMIENTO”, Rev. GTI, vol. 13, no 37, mar. 2015.
[16] J. C. Steyaert, “Measuring the performance of electronic government services”, Inf. Manage., vol. 41, no 3, pp. 369-375, 2004.
[17] D. Janssen, S. Rotthier, y K. Snijkers, “If you measure it they will score: An assessment of international eGovernment benchmarking”, Inf. Polity, vol. 9, no 3-4, pp. 121-130, 2004.
[18] S. Kim y H. Lee, “Organizational factors affecting knowledge sharing capabilities in E-government: An empirical study”, presentado en Lecture Notes in Artificial Intelligence (Subseries of Lecture Notes in Computer Science), 2004, vol. 3035, pp. 265-277.
[19] R. M. Peters, M. Janssen, y T. M. Van Engers, “Measuring e-government impact: Existing practices and shortcomings”, presentado en ACM International Conference Proceeding Series, 2004, vol. 60, pp. 480-489.
[20] J. Kaaya, “The emergence of e-government services in East Africa: Tracking adoption patterns and associated factors”, presentado en ACM International Conference Proceeding Series, 2004, vol. 60, pp. 438-445.
[21] P. Shackleton, J. Fisher, y L. Dawson, “Evolution of local government e-services: The applicability of e-business maturity models”, presentado en Proceedings of the Hawaii International Conference on System Sciences, 2004, vol. 37, pp. 1913-1922.
[22] H. J. Kim y S. Bretschneider, “Local government information technology capacity: An exploratory theory”, presentado en Proceedings of the Hawaii International Conference on System Sciences, 2004, vol. 37, pp. 1933-1942.
[23] J.-R. Fu, W.-P. Chao, y C.-K. Farn, “Determinants of taxpayers’ adoption of electronic filing methods in Taiwan: An exploratory study”, J. Gov. Inf., vol. 30, n 5-6, pp. 658-683, 2004.
[24] L. A. Joia, “Developing Government-to-Government enterprises in Brazil: A heuristic model drawn from multiple case studies”, Int. J. Inf. Manag., vol. 24, n.o 2, pp. 147-166, 2004.
[25] H. Abdelghaffar, W.-E. M. Bakry, y P. Duquenoy, “E-government: A new vision for success”, presentado en European and Mediterranean Conference on Information Systems, EMCIS 2005, 2005.
[26] P. Rossel y M. Finger, “Towards a multi-measurement platform of e-Government projects and services”, presentado en Proceedings of the European Conference on e-Government, ECEG, 2005, pp. 349-358.
[27] Z. J. Kovačić, “The impact of national culture on worldwide eGovernment readiness”, Informing Sci., vol. 8, pp. 143-158, 2005.
[28] D. Kettani, B. Moulin, y A. Elmahdi, “Towards a formal framework of impact assessment of e-Government systems on governance”, WSEAS Trans. Comput., vol. 4, n.o 12, pp. 1858-1866, 2005.
[29] C. Caba Pérez, A. M. López Hernández, y M. P. Rodríguez Bolívar, “Citizens’ access to on-line governmental financial information: Practices in the European Union countries”, Gov. Inf. Q., vol. 22, n.o 2, pp. 258-276, 2005.
[30] C. Seel, O. Thomas, B. Kaffai, y T. Matheis, Evaluating e-government: A process-oriented approach, vol. 189. 2005.
[31] M. Qi y B. Wei, “Design and analysis of administrative approval act based electronic government evaluation system”, presentado en ACM International Conference Proceeding Series, 2005, vol. 113, pp. 553-557.
[32] B. Li, “On the barriers to the development of e-government in China”, presentado en ACM International Conference Proceeding Series, 2005, vol. 113, pp. 549-552.
[33] T. Zwahr, M. Finger, y P. Mueller, “More than digitisation - The transformative potential of e-governance: An exploratory case study”, presentado en Proceedings of the Annual Hawaii International Conference on System Sciences, 2005, p. 127.
[34] M. Janssen y A. Cresswell, “Enterprise architecture integration in E-government”, presentado en Proceedings of the Annual Hawaii International Conference on System Sciences, 2005, p. 118.
[35] L. Torres, V. Pina, y S. Royo, “E-government and the transformation of public administrations in EU countries: Beyond NPM or just a second wave of reforms”, Online Inf. Rev., vol. 29, n.o 5, pp. 531-553, 2005.
[36] L. Torres, V. Pina, y B. Acerete, “E-government developments on delivering public services among EU cities”, Gov. Inf. Q., vol. 22, n.o 2, pp. 217-238, 2005.
[37] M. Paris, “Local e-government and devolution: Electronic service delivery in Northern Ireland”, Local Gov. Stud., vol. 31, n.o 3, pp. 307-319, 2005.
[38] L. L. Tung y O. Rieck, “Adoption of electronic government services among business organizations in Singapore”, J. Strateg. Inf. Syst., vol. 14, n.o 4, pp. 417-440, 2005.
[39] P. S. Herrnson et al., “Early appraisals of electronic voting”, Soc. Sci. Comput. Rev., vol. 23, n.o 3, pp. 274-292, 2005.
[40] J. C. Thomas y G. Streib, “E-democracy, e-commerce, and e-research: Examining the electronic ties between citizens and governments”, Adm. Soc., vol. 37, n.o 3, pp. 259-280, 2005.
[41] T. Carratta, L. Dadayan, y E. Ferro, ROI analysis in e-Government assessment trials: The case of sistema piemonte, vol. 4084 LNCS. 2006.
[42] V. Petricek, T. Escher, I. J. Cox, y H. Margetts, “The web structure of e-government - Developing a methodology for quantitative evaluation”, presentado en Proceedings of the 15th International Conference on World Wide Web, 2006, pp. 669-678.
[43] N. Mohamed, H. Hussin, y R. Hussein, «Enabling change factors and IT success in the Malaysian e-government implementation», presentado en PACIS 2006 - 10th Pacific Asia Conference on Information Systems: ICT and Innovation Economy, 2006, pp. 1107-1125.
[44] P. T. Jaeger, «Assessing Section 508 compliance on federal e-government Web sites: A multi-method, user-centered evaluation of accessibility for persons with disabilities», Gov. Inf. Q., vol. 23, n.o 2, pp. 169-190, 2006.
[45] N. Braun y D. Brändli, «Swiss e-voting pilot projects: Evaluation, situation analysis and how to proceed», presentado en Electronic Voting 2006 - 2nd International Workshop, 2006, pp. 27-36.
[46] P. L. Vora, R. Simha, y J. Stanton, «A performance ratings framework for the evaluation of electronic voting systems», presentado en ACM International Conference Proceeding Series, 2006, vol. 151, pp. 460-461.
[47] Z. Baida, J. Liu, y Y.-H. Tan, Towards a methodology for designing e-Government control procedures, vol. 4656 LNCS. 2007.
[48] J. Cheng, S. Cheng, y M. Yang, Evaluating the e-government based on BSC, vol. 252 VOLUME 2. 2007.
[49] M. Grimsley y A. Meehan, «e-Government information systems: Evaluation-led design for public value and client trust», Eur. J. Inf. Syst., vol. 16, n.o 2, pp. 134-148, 2007.
[50] W. Castelnovo y M. Simonetta, «A public value evaluation of e-Government policies», presentado en ECIME 2007: European Conference on Information Management and Evaluation, 2007, pp. 63-70.
[51] I. Taoufik, H. Kabaili, y D. Kettani, «Designing an E-government portal accessible to illiterate citizens», presentado en ACM International Conference Proceeding Series, 2007, vol. 232, pp. 327-335.
[52] A. A. Golubeva, «Evaluation of regional government portals on the basis of public value concept: Case study from Russian federation», presentado en ACM International Conference Proceeding Series, 2007, vol. 232, pp. 394-397.
[53] B. P. Shah y S. Shakya, «Evaluating the web accessibility of websites of the central government of Nepal», presentado en ACM International Conference Proceeding Series, 2007, vol. 232, pp. 447-448.
[54] N. Mitsamarn, W. Gestubtim, y S. Junnatas, «Web accessibility: A government’s effort to promote e-accessibility in Thailand», presentado en i-CREATe 2007 - Proceedings of the 1st International Convention on Rehabilitation Engineering and Assistive Technology in Conjunction with 1st Tan Tock Seng Hospital Neurorehabilitation Meeting, 2007, pp. 23-27.
[55] A. Henriksson, Y. Yi, B. Frost, y M. Middleton, «Evaluation instrument for e-government websites», Electron. Gov., vol. 4, n.o 2, pp. 204-226, 2007.
[56] S. Hong, P. Katerattanakul, y S. J. Joo, «Evaluating government website accessibility: A comparative study», Int. J. Inf. Technol. Decis. Mak. vol. 7, n.o 3, pp. 491-515, 2008.
[57] P. Dandjinou, «e-Governance strategies in Cape Verde and South Africa: From service delivery to e-participation», presentado en ACM International Conference Proceeding Series, 2007, vol. 232, pp. 435-436.
[58] T. M. Waema y W. Mitullah, «E-governance and governance: A case study of the assessment of the effects of integrated financial management system on good governance in two municipal councils in Kenya», presentado en ACM International Conference Proceeding Series, 2007, vol. 232, pp. 263-268.
[59] F. Corradini, F. Marcantoni, A. Polzonetti, y B. Re, «A formal model for quality of service measurement in e-Government», presentado en Proceedings of the International Conference on Information Technology Interfaces, ITI, 2007, pp. 747-752.
[60] N. Zhang, X. Guo, y G. Chen, «Diffusion and evaluation of e-government systems: A field study in China», presentado en PACIS 2007 - 11th Pacific Asia Conference on Information Systems: Managing Diversity in Digital Enterprises, 2007.
[61] Y.-H. Hung, Y.-S. Wang, y S.-C. T. Chou, «User acceptance of E-Government services», presentado en PACIS 2007 - 11th Pacific Asia Conference on Information Systems: Managing Diversity in Digital Enterprises, 2007.
[62] C.-C. Yu, «A value-based strategic management process for e-government strategy planning and performance control», presentado en ACM International Conference Proceeding Series, 2007, vol. 232, pp. 169-178.
[63] S. Alshawi, A. Alahmary, y H. Alalwany, «E-government evaluation factors: Citizen’s perspective», presentado en Proceedings of the European and Mediterranean Conference on Information Systems, EMCIS 2007, 2007, pp. 281-2812.
[64] J. Shiang, N. Hsiao, y J. Lo, «Democratization of government websites: Indicators and comparing perceptions of citizens and public officials in Taiwan», presentado en Proceedings of the European Conference on e-Government, ECEG, 2007, pp. 491-499.
[65] M. Shareef, A. Ojo, y T. Janowski, «A readiness assessment framework for e-government planning-design and application», presentado en ACM International Conference Proceeding Series, 2008, vol. 351, pp. 403-410.
[66] E. Panopoulou, E. Tambouris, y K. Tarabanis, «A framework for evaluating web sites of public authorities», Aslib Proc. New Inf. Perspect., vol. 60, n.o 5, pp. 517-546, 2008.
[67] A. A. Economides y V. Terzis, «Evaluating tax sites: An evaluation framework and its application», Electron. Gov., vol. 5, n.o 3, pp. 321-344, 2008.
[68] S. Al-Shafi, V. Weerakkody, y M. Janssen, «Investigating the adoption of e-government services in Qatar using the UTAUT model», presentado en 15th Americas Conference on Information Systems 2009, AMCIS 2009, 2009, vol. 3, pp. 1915-1924.
[69] M. Sorrentino y K. Passerini, «Evaluating the implementation process: An exploratory e-government case study», presentado en 15th Americas Conference on Information Systems 2009, AMCIS 2009, 2009, vol. 7, pp. 4548-4554.
[70] I. Akdoǧan, «Evaluating and improving e-participation in Istanbul», presentado en ACM International Conference Proceeding Series, 2009, pp. 103-108.
[71] E. Loukis, A. Xenakis, R. Peters, y Y. Charalabidis, Using gis tools to support e-participation - A systematic evaluation, vol. 6229 LNCS. 2010.
[72] P. Li y G. Viscusi, «Quality evaluation for strategic alignment engineering: An eGovernment application», presentado en CEUR Workshop Proceedings, 2010, vol. 599, pp. 1-15.
[73] M. N. Norshita, B. Z. Halimah, y T. S. Tengku Mohdammad, «Public user assessment of Malaysia’s e-Government applications», World Acad. Sci. Eng. Technol., vol. 43, pp. 813-817, 2010.
[74] G. B. Viana y M. B. F. De Toledo, «Electronic government in Brazil: Evaluating Brazil initiative», presentado en ICEIS 2011 - Proceedings of the 13th International Conference on Enterprise Information Systems, 2011, vol. 4 SAIC, pp. 245-253.
[75] L. F. Luna-Reyes, J. R. Gil-Garcia, y C. B. Cruz, «Collaborative digital government in Mexico: Some lessons from federal web-based inter- organizational information integration initiatives», presentado en Association for Information Systems - 12th Americas Conference On Information Systems, AMCIS 2006, 2006, vol. 4, pp. 2357-2366.
[76] G. P. Adhikari, «Evaluation of E-governance projects of Nepal», presentado en ACM International Conference Proceeding Series, 2012, pp. 472-473.
[77] R. Sandoval-Almazan, J. R. Gil-Garcia, y N. K. S. Leyva, «E-government portals in central America: A preliminary evaluation and ranking (2011-2012)», presentado en ACM International Conference Proceeding Series, 2012, pp. 426-429.
[78] M. Alruwaie, R. El-Haddadeh, y V. Weerakkody, A framework for evaluating citizens’ expectations and satisfaction toward continued intention to use e-government services, vol. 7443 LNCS. 2012.
[79] Y. Lin y S. Fong, «Performance evaluation management model to accelerate the development of e-government in China», presentado en ACM International Conference Proceeding Series, 2013, pp. 1-4.
[80] M. M. Yusof y A. Y. A. Yusuff, «Evaluating E-government system effectiveness using an integrated socio-technical and fit approach», Inf. Technol. J., vol. 12, n.o 5, pp. 894-906, 2013.
[81] D. Stanimirovic y M. Vintar, «A critical insight into the evaluation of e-government policies: Reflections on the concept of public interest», Int. J. Adv. Life Sci., vol. 5, n.o 1-2, pp. 52-65, 2013.
[82] J. Hughes, P. Ahluwalia, y V. Midha, «A heuristic evaluation instrument for e-government online software», Electron. Gov., vol. 10, n.o 1, pp. 1-18, 2013.
[83] M. Goodwin, «Towards automatic assessment of government web sites», presentado en ACM International Conference Proceeding Series, 2013.
[84] A. Bikfalvi, J. L. De La Rosa, y T. N. Keefe, «E-Government service evaluation: A multiple-item scale for assessing information quality», presentado en Lecture Notes in Informatics (LNI), Proceedings - Series of the Gesellschaft fur Informatik (GI), 2013, vol. P-221, pp. 54-61.
[85] R. Sandoval-Almazan, N. K. Saucedo Leyva, y J. R. Gil-Garcia, «Maturity and evolution of e-government portals in central America: A three-year assessment 2011-2013», presentado en ACM International Conference Proceeding Series, 2013, pp. 182-185.
[86] A. Al-Faries, H. S. Al-Khalifa, M. S. Al-Razgan, y M. Al-Duwais, «Evaluating the accessibility and usability of top saudi egovernment services», presentado en ACM International Conference Proceeding Series, 2013, pp. 60-63.
[87] G. Iskender y S. Özkan, «E-government transformation success: An assessment methodology and the preliminary results», Transform. Gov. People Process Policy, vol. 7, n.o 3, pp. 364-392, 2013.
[88] A. Tsohou et al., «Proposing a reference process model for the citizen-centric evaluation of e-government services», Transform. Gov. People Process Policy, vol. 7, n.o 2, pp. 240-255, 2013.
[89] C. Pérez-Espés, J. M. M. Jiménez, y M. A. Wimmer, «Evaluating the efficacy of e-participation experiences», presentado en Lecture Notes in Informatics (LNI), Proceedings - Series of the Gesellschaft fur Informatik (GI), 2013, vol. P-221, pp. 250-257.
[90] S. Ereminaite, «Assessment aspects of electronic public procurement maturity», Public Policy Adm., vol. 12, n.o 4, pp. 567-580, 2013.
[91] A. S. Corrêa, P. L. P. Corrêa, y F. S. C. Da Silva, «Transparency portals versus open government data. An assessment of openness in Brazilian municipalities», presentado en ACM International Conference Proceeding Series, 2014, pp. 178-185.
[92] V. Venkatesh, H. Hoehle, y R. Aljafari, «A usability evaluation of the Obamacare website», Gov. Inf. Q., vol. 31, n.o 4, pp. 669-680, 2014.
[93] N. Karkin y M. Janssen, «Evaluating websites from a public value perspective: A review of Turkish local government websites», Int. J. Inf. Manag., vol. 34, n.o 3, pp. 351-368, 2014.
[94] R. Arendsen, O. Peters, M. ter Hedde, y J. van Dijk, «Does e-government reduce the administrative burden of businesses? An assessment of business-to-government systems usage in the Netherlands», Gov. Inf. Q., vol. 31, n.o 1, pp. 160-169, 2014.
[95] N. P. Rana, S. Ghobadi, Y. K. Dwivedi, N. C. Piercy, y M. D. Williams, «Assessing adoption of online PAN card registration system (OPCRS): An Indian e-government system perspective», presentado en 20th Americas Conference on Information Systems, AMCIS 2014, 2014.
[96] J. M. A. P. Cestari, E. R. Loures, E. A. P. Santos, y M. Lezoche, «A research strategy for public administration interoperability assessment», presentado en IIE Annual Conference and Expo 2014, 2014, pp. 3134-3143.
[97] M. K. Faaeq, K. Alqasa, y E. M. Al-Matari, «Technology adoption and innovation of E-Government in Republic of Iraq», Asian Soc. Sci., vol. 11, n.o 3, pp. 135-145, 2015.
[98] F. J. Alcaraz-Quiles, A. Navarro-Galera, y D. Ortiz-Rodríguez, «Factors influencing the transparency of sustainability information in regional governments: An empirical study», J. Clean. Prod., vol. 82, pp. 179-191, 2014.
[99] M. P. González-Zabala y J. M. Sánchez-Torres, «Propuesta de una metodología para el diseño de sistemas de indicadores para la evaluación de la Sociedad de la Información en Colombia», presentado en IX Congreso Iberoamericano e Indicadores de Ciencia y Tecnología. Bogotá, Bogotá, Columbia, 2013.
[100] M. P. González-Zabala y E. A. Galvis-Lista, «Diseño de un sistema de información para el análisis de indicadores de medición de la sociedad de la información», Entre Cienc. E Ing., vol. 0, n.o 16, 2014.
[101] M. P. González-Zabala, J. M. Sánchez-Torres, y M. Salazar, «Analysis of indicators proposed to measure the e-inclusion», IEEE Technol. Soc. Mag., vol. En evaluación, 2012.
[102] M. P. González-Zabala, «Propuesta de un modelo para evaluar la e-inclusión. El caso colombiano», Universidad Nacional de Colombia, Bogotá, Colombia, 2013.
[103] W. A. Molina, «Medición de la inclusión digital en la población rural de Colombia. Caso: municipio de Valledupar», Tesis de Maestría, Universidad Nacional de Colombia, Bogotá, Columbia, 2016.
[104] M. P. González-Zabala, E. A. Galvis-Lista, y J. M. Sánchez-Torres, «Identificación de factores que afectan el desarrollo de la inclusión digital», Rev. Virtual Univ. Católica Norte, vol. 44, pp. 175-191, may 2015.
[105] M. P. González-Zabala, J. M. Sánchez-Torres, y J. A. Holbrook, «Análisis de los indicadores para medir las iniciativas de Sociedad de la Información propuestas por el gobierno colombiano», Univ. Humanística, vol. 76, no 76, nov. 2013.
[106] Ministerio de Tecnologías de la Información y Comunicación - República de Colombia, «Índice de Gobierno en línea», 2016.
[107] Ministerio de Tecnologías de la Información y Comunicación - República de Colombia, «Índices internacionales de medición de la estrategia de Gobierno en Línea», 2016.