INSTRUMENTO PARA LA VALIDACIÓN DE LA IDONEIDAD DE MÉTRICAS PARA SPC EN VSES

INSTRUMENT FOR THE VALIDATION OF THE SUITABILITY OF A METRICS TO SPC IN VSES

AUTOR
GERMAN GEOVANNY GARZÓN BRAVO
Ingeniero de Sistemas
*Universidad del Cauca
Facultad de Ingeniería Electrónica y Telecomunicaciones
ggarzon@unicauca.edu.co
COLOMBIA

AUTOR
PABLO FELIPE MIRANDA CAICEDO
Ingeniero de Sistemas
*Universidad del Cauca
Facultad de Ingeniería Electrónica y Telecomunicaciones
pfmiranda@unicauca.edu.co
COLOMBIA

AUTOR
FRANCISCO JOSÉ PINO CORREA
Doctor en Ingeniería de Sistemas
*Universidad del Cauca
Profesor Titular
Facultad de Ingeniería Electrónica y Telecomunicaciones
fjpino@unicauca.edu.co
COLOMBIA

*INSTITUCION
Universidad del Cauca
UNICAUCA
Universidad Pública
Calle 5 No. 4 - 70
rectoria@unicauca.edu.co
COLOMBIA

INFORMACIÓN DE LA INVESTIGACIÓN O DEL PROYECTO: Proyecto de Investigación en Control Estadístico de Procesos Software. La investigación presenta un instrumento para la validación de la idoneidad de métricas para la aplicación de Control Estadístico de Procesos (SPC por sus siglas en inglés) en las pequeñas organizaciones software (denominadas en este artículo VSEs, por su siglas en inglés Very Small Entities, entidades software de menos de 25 empleados). Universidad del Cauca. Fecha de inicio: 19 de Abril de 2013. Fecha de Finalización: 6 Octubre de 2013. Ejecutado: German Geovanny Garzón Bravo y Pablo Felipe Miranda Caicedo, bajo la dirección de Francisco José Pino Correa.

RECEPCIÓN: Enero 17 de 2014
ACEPTACIÓN: Abril 9 de 2014

TEMÁTICA: Ingeniería de software

TIPO DE ARTÍCULO: Artículo de Investigación Científi ca e Innovación

Forma de citar: Garzón Bravo, G. G., Miranda Caicedo, P. F., & Pino Correa, F. J. (2014). Instrumento para la validación de la idoneidad de métricas para SPC en VSES. En R, Llamosa Villalba (Ed.). Revista Gerencia Tecnológica Informática, 13(36), 19-31. ISSN 1657-8236.

RESUMEN

El control estadístico de procesos (SPC por sus siglas en inglés) es un método para la gestión de los procesos que se lleva a cabo a través de un análisis estadístico, el cual incluye definición, medición y control de los procesos. No obstante una dificultad para la aplicación de SPC en el contexto del software es la definición de un sistema de medición, fundamentalmente lo relacionado con la identificación de las métricas a usar y la captura de sus medidas. Las métricas son el insumo principal para la aplicación de SPC, por lo que es crucial identificar las métricas idóneas para su aplicación en la técnica de gráficos control. En este artículo se propone un instrumento que permite validar la idoneidad de las métricas que pueden ser útiles para la aplicación de SPC en el contexto de las pequeñas organizaciones desarrolladoras de software (VSEs). Dicho instrumento fue aplicado al interior de un proyecto de investigación que pretendía determinar un conjunto de métricas del proceso de construcción de software que fueran útiles y adecuadas para SPC en VSEs. Los resultados obtenidos de esta aplicación evidencian la idoneidad del instrumento para cumplir su objetivo.

Palabras clave: Control Estadístico de Procesos, Métricas Software y VSEs.

ANALYTICAL SUMMARY

The Statistical Process Control (SPC) is a method for the process management that carries out through a statistical analysis, which includes definition, measurement and process control. However a difficulty to the application of SPC in the software context is the definition of a measurement system, fundamentally related with the identification of metrics and the capture of their measures. The metrics are the main input for the application of SPC, so it is crucial to identify the suitable metrics for their application inside the control graphics technique. This article presents an instrument that allow validate the suitability of the metrics that can be useful for SPC in the context of the Very Small Entities (VSEs). This instrument was applied into a research project that aimed to establish a set of metrics (of the software construction process) useful and appropriate for SPC in VSEs. The results of this application demonstrate the suitability of the instrument to meet its objective.

Keywords: Statistical Process Control, Software Metrics and Software Process and VSE.

INTRODUCCIÓN

La industria del software está formada en su gran mayoría por pequeñas organizaciones que implementan software (denominadas en este artículo VSEs, por su siglas en inglés Very Small Entities, entidades software de menos de 25 empleados), las cuales desarrollan una cantidad significativa de productos para la industria, por lo que es importante apoyar a este tipo de organizaciones en la gestión (control y medición) de sus procesos software [1] [2] [3]. Un método para la gestión de los procesos es el control estadístico de procesos (SPC por sus siglas en inglés) el cual involucra llevar a cabo análisis estadístico y apoya la definición, medición y control de los procesos [4]. SPC comprende un conjunto de técnicas estadísticas que son utilizadas ampliamente en la industria para controlar los procesos de producción, sin embargo su aplicación al software es reciente, y aún se encuentran dificultades para su adaptación en organizaciones software puesto que en sus procesos predomina las actividades cognitivas del ser humano, lo que implica diferencias con la ejecución del SPC en procesos automatizados del sector industrial [5] [6] [7] [8]. Además, otra dificultad para la aplicación de SPC en el contexto del software es la definición de un sistema de medición, fundamentalmente la identificación de las métricas a usar en la organización y la captura de sus medidas [7] [12] [13] [14]. Las métricas son el insumo principal para la aplicación de SPC, por lo que es crucial identificar las métricas idóneas para su aplicación en técnicas estadísticas como la de gráficos control [10]. Ésta es la técnica más utilizada por organizaciones software, la cual es una representación gráfica que permite de un modo visual conocer si el proceso está dentro de su variabilidad aleatoria o si está produciendo situaciones fuera de control generadas por algún problema determinado [9] [10] [11].

Por lo anterior, es importante proveer a las VSEs de un instrumento que les facilite evaluar la idoneidad de una métrica para su aplicación en la técnica SPC de gráficos de control. En este sentido, este artículo presenta la construcción de un instrumento de este tipo y su aplicación para determinar un conjunto de métricas idóneas para SPC relacionadas con el proceso de construcción de software llevado a cabo por las VSEs. La utilización del instrumento al interior del proyecto denominado “Métricas del proceso de construcción software para control estadístico de procesos en pequeñas organizaciones” [16], permitió evidenciar la idoneidad de dicho instrumento para cumplir su objetivo, ya que mediante éste se evaluó un conjunto de 57 métricas del proceso de construcción de software que permitió establecer 4 métricas que son adecuadas para su utilización en SPC en el contexto de las VSEs.

En este sentido, esta propuesta podría apoyar a las VSEs en la implementación del control estadístico de sus procesos software, lo que les permitiría disminuir la variabilidad de los proyectos al contar con procesos estables (con un comportamiento iterativo y predecible). Es importante resaltar que aunque se ha aplicado satisfactoriamente el instrumento propuesto para determinar las métricas mencionadas, es necesario seguir trabajando en la validación del mismo mediante futuros casos de estudio en la industria del software.

Además de esta introducción, en la sección 2 se presenta el estado del arte en donde se analizan los trabajos relacionados. En la sección 3 se describe el proceso llevado a cabo para la construcción del instrumento para la validación de la idoneidad de las métricas para SPC en las VSEs, denominado IVIM. En la sección 3 se muestra la aplicación del instrumento IVIM para la obtención de un conjunto de métricas relacionadas con el proceso de construcción de software y que son útiles para aplicar SPC en las VSEs. Finalmente en la sección 4 se presentan las conclusiones y trabajos futuros.

1. ESTADO DEL ARTE.

En literatura se encuentran estudios importantes acerca de métricas y su aplicación en SPC en el contexto del software, de todos ellos sobresalen dos propuestas presentadas por [13] y [10]:

- El estudio “Evaluating the suitability of a measurement repository for statistical process control” [13] presenta el instrumento de validación IESMR. Este presenta unas listas de chequeo y una guía de aplicación que permiten evaluar la idoneidad de las métricas, el plan de medición y el repositorio de medidas para ser aplicadas en la técnica SPC de gráficos de control. El proceso para evaluar las métricas a través de este instrumento (que en adelante se denomina el instrumento A) consiste en: i) Elegir la métrica a evaluar, ii) Asignar un valor cualitativo a cada característica utilizando la lista de chequeo (Satisfied, Largely Satisfied, Reasonably Satisfied, Precariously Satisfied, Dissatisfied) y iii) Obtener un valor único que representa el grado de idoneidad de la métrica, plan de medición y el repositorio de medidas (a través de lógica difusa).

- En el estudio “Investigating suitability of software process and metrics for statistical process control” [10] se propone un instrumento cuyo objetivo es evaluar las métricas existentes en un repositorio y determinar si son o no aplicables al SPC. También identifica las acciones correctivas que se pueden hacer para que la medición sea adecuada para SPC. Este instrumento (que en adelante se denomina el instrumento B) también define una lista de chequeo que permite evaluar la idoneidad de las métricas para ser aplicadas a la técnica de gráficos de control. El proceso para evaluar las métricas en este instrumento consiste en: i) Elegir la métrica a evaluar, ii) Asignar un valor porcentual a cada atributo utilizando la lista de chequeo, este valor está entre 0 y 1 dependiendo del peso asignado a cada característica que se evalúa y iii) Obtener un valor único que representa el grado de idoneidad de la métrica.

Después de un análisis riguroso del instrumento A, se identifica la necesidad de adecuar dicho instrumento ya que: i) no está enfocado a las características de las VSEs, ii) el grado de idoneidad requerido depende de las características que debe cumplir una métrica para su aplicación en la técnica SPC de gráficos de control y iii) el proceso para calcular el grado de idoneidad de una métrica debe estar fundamentado en las características de la métrica más que en el plan de medición y el repositorio de los datos. Asimismo, después del análisis riguroso del instrumento B, se identifica la necesidad de adecuar dicho instrumento ya que: i) no está enfocado a las características de las VSEs, ii) el enfoque del trabajo es la definición del proceso para aplicar SPC, dicho enfoque es limitado en características para la evaluación de la medida de las métricas, y iii) los autores afirman que los atributos que ellos definen no bastan para seleccionar las medidas más adecuadas para SPC.

Aunque estos estudios presentan instrumentos para evaluar la idoneidad de un repositorio de medición (y sus métricas) para ser aplicables al control estadístico de procesos, del análisis realizado se evidencia que dichos instrumentos no contemplan criterios relacionados con las características de las VSEs (que son la mayoría en la industria de software), lo que obliga a estructurar un nuevo instrumento para evaluar la idoneidad de las métricas para SPC acorde a las necesidades de este tipo de organizaciones. En este sentido, el aporte de este trabajo es proponer un nuevo instrumento que integra características de instrumentos ya definidos y que incorpora características presentes en las pequeñas organizaciones software, esto con el objetivo de brindar una herramienta a las VSEs que les permita evaluar la idoneidad de una métrica para su uso en la aplicación de la técnica SPC de gráficos de control.

2. CONSTRUCCIÓN DEL INSTRUMENTO IVIM.

A continuación se presenta el procedimiento utilizado para la creación del nuevo Instrumento para la Validación de la Idoneidad de las Métricas para SPC en las VSEs (IVIM). Este procedimiento se compone de diez actividades, las cuales guiaron de manera lógica y sistemática la construcción de dicho instrumento. En las siguientes sub-secciones se describe el trabajo realizado en cada una de estas actividades.

2.2 RELACIONAR LAS CARACTERÍSTICAS PROPUESTAS POR LOS INSTRUMENTOS

Luego se realizó una comparación de las características propuestas en los instrumentos A y B con el fin de identificar la relación entre las mismas y evitar características repetidas, Esta comparación se detalla en la Tabla 3.

2.5 IDENTIFICAR CARACTERÍSTICAS QUE CONTEMPLEN LIMITACIONES DE VSES

Posteriormente fue necesario identificar y definir otras características importantes (que no eran tenidas en cuenta por los instrumentos A y B) que reflejaran las particularidades de las VSEs a partir de las limitaciones descritas y analizadas en [11][15]. Estas nuevas características son:

- ¿La captura de los datos de la métrica requiere personal especializado?
- ¿Los recursos necesarios para la toma de los datos de la métrica son altos? (en términos de Costo, Tiempo, Personal).
- ¿La métrica es simple y fácil de calcular?

2.6 ESPECIFICAR LOS GRUPOS PARA LAS CARACTERÍSTICAS DEL IVIM.

Con el fin de mejorar la organización del nuevo instrumento y buscando que sea más fácil de entender y aplicar se hizo necesario definir diferentes grupos de características. Estos grupos se definieron tomando como base el Instrumento B y en ellos se distribuyeron las diferentes características que determinan los rasgos para que una métrica sea apropiada para SPC en VSEs (ver Tabla 6).

2.7 DEFINIR PESO A CADA CARACTERÍSTICA.

Para facilitar la evaluación de la métrica bajo análisis para determinar si es ó no apropiada para SPC en VSEs se hace necesario en el instrumento IVIM definir un peso a cada característica. La forma de asignar el peso se toma del estudio [10], en el que se asigna el peso a cada característica como la razón de uno sobre el número de características pertenecientes a un grupo específico (ver Tabla 7).

2.8 ESTABLECER MÉTODO PARA CALCULAR LA IDONEIDAD DE UNA MÉTRICA.

Tal como se hace en [10], para conocer si una métrica es Idónea se debe calcular el Índice de Idoneidad de la Métrica (IIM) que se obtiene de multiplicar el valor de cada grupo de características (IIM = C1*C2*C3*C4*C5*C6). Además, el valor de cada grupo de características se obtiene a partir del valor de cada característica de la siguiente manera:

Donde n = número del grupo de la característica, e i = número de la característica. Es importante resaltar que el valor de cada característica C(n).i puede tomar el valor de 0 o 1 con base en las reglas de derivación descritas en la Tabla 8.

Además, del estudio presentado en [10] también se extraen los siguientes intervalos para interpretar el valor obtenido por el Índice de Idoneidad de la Métrica (IIM):

- IF IIM BETWEEN [0.00-0.25] THEN “Métrica no Idónea”.
- IF IIM BETWEEN [0.26-0.50] THEN “Utilizable”.
- IF IIM BETWEEN [0.51-0.75] THEN “Utilizable en Gran parte”.
- IF IIM BETWEEN [0.76-1.00] THEN “Métrica Idónea”.

Estos intervalos proporcionan un medio para juzgar si las métricas bajo evaluación ofrecen las características y los datos necesarios para poder ser aplicadas en VSEs utilizando la técnica SPC de gráficos de control.

2.9 ESTRUCTURAR EL INSTRUMENTO PARA VALIDAR LA IDONEIDAD DE LAS MÉTRICAS PARA SPC EN VSES (IVIM).

Finalmente, se organizó y estructuró el Instrumentó para la Validación de la Idoneidad de las Métricas para SPC en las VSEs denominado IVIM, el cual es el aporte principal del presente artículo. Dicho instrumento se presenta y describe en la Tabla 8.

2.10 VALIDAR TEÓRICAMENTE EL INSTRUMENTO IVIM.

Instrumento IVIM mediante un análisis de los resultados obtenidos al aplicar este instrumento en un conjunto de métricas descritas en la literatura como aplicadas en el contexto del software. En el estudio [16] se presentan algunas métricas software utilizadas en la aplicación de SPC en la industria del software. Cada una de estas métricas fueron evaluadas y valoradas con el nuevo Instrumento IVIM, obteniendo los resultados de IIM e interpretación presentados en la Tabla 9.

De la Tabla 9 se observa que, como en la literatura, las métricas son utilizables para su aplicación en la técnica de gráficos de control. Sin embargo, según el estos resultados 4 de las 7 métricas son útiles peno no idóneas para su utilización en VSEs debido a que no cumplen con alguna de las características del grupo de “Esfuerzo” que es un criterio crítico para ser utilizada por las VSEs.

3. APLICACIÓN DEL IVIM.

el proyecto denominado “Métricas del proceso de construcción software para control estadístico de procesos en pequeñas organizaciones” [16] con el fin de identificar y proponer un conjunto de métricas relacionadas con el proceso de construcción de software (el cual está relacionado con la construcción y pruebas de módulos ejecutables a partir de un diseño detallado) que fueran adecuadas para la aplicación de control estadístico de procesos en pequeñas organizaciones. Para lograr el objetivo de este proyecto se definió y estructuró una estrategia de investigación que parte de un ciclo de investigación inicial donde se identifican los problemas de tipo conceptual, metodológico y técnico respectivamente. Estos problemas permitieron dividir el trabajo en tres ciclos de investigación independientes: i) un ciclo conceptual en el que se investigó y se extrajo de la literatura la información vital para contextualizar el trabajo, ii) el ciclo metodológico en donde se especificó la estrategia utilizada para obtener el conjunto de métricas apropiadas para SPC en las VSEs y iii) ciclo técnico para la construcción del prototipo software que da soporte a la captura de los datos de las métricas.

En el ciclo metodológico se definió y ejecutó un procedimiento sistémico lógico para la identificación de las métricas relacionadas con el proceso de construcción de software que eran apropiadas para la aplicación de control estadístico de procesos en las VSEs y en el cual se utilizó/aplicó el instrumento IVIM propuesto en este artículo (ver Figura. 1).

Este procedimiento se compone de tres fases que buscaban responder a la pregunta: ¿Qué métricas son adecuadas para gestionar el proceso de construcción desde un enfoque SPC en VSES?.

Estas fases que se relacionan con la FIGURA 1 son:

- Fase 1. En esta fase se identificó: i) el proceso de construcción de software, ii) las métricas utilizadas en dicho proceso, iii) las prácticas más ejecutadas en el proceso de construcción por las VSEs, y iv) las métricas utilizadas en casos de estudio aplicando SPC en el desarrollo de software.
- Fase 2. En esta fase se relacionaron las métricas de construcción identificadas con las prácticas de las VSEs y las tareas del proceso de construcción con el fin de filtrar las métricas que cumplen con las prácticas de construcción de software de las VSEs.
- Fase 3. En esta fase se evaluó con el instrumento IVIM el conjunto de métricas obtenidas (filtradas) en la fase anterior con el fin de determinar las métricas adecuadas y útiles para la aplicación de SPC en el proceso de construcción de software de las VSEs. También se identificó las necesidades de información que satisfacen el conjunto final de métricas propuestas.

Durante la utilización del instrumento IVIM (Fase 3), inicialmente se evaluaron un compendio de 57 métricas (relacionadas con el proceso de construcción de software). Cada métrica fue analizada desde la perspectiva de las 23 características definidas por el instrumento IVIM. Por cada métrica se respondió a la pregunta asociada a cada característica. Basado en dicha respuesta y siguiendo las reglas presentadas en la tercera columna de la Tabla 8 se les asignó un valor de 0 ó 1 a estas características. Una vez valorada cada característica se procedió a obtener el Índice de Idoneidad (IIM) de cada métrica siguiendo el método presentado en la sub-sección 3.8. Además, para la obtención del IIM se creó un macro en Excel que permite automatizar los cálculos correspondientes. Los detalles de la evaluación de las 57 métricas utilizando el instrumento IVIM se describen en [16]. A manera de ejemplo, en la Tabla 10 se listan los resultados finales de las evaluaciones con el IVIM de 10 de las 57 métricas. En esta tabla se muestra la métrica, su descripción, el valor de Índice de Idoneidad de la Métrica (IIM) y su interpretación basada en los criterios expuestos por el IVIM.

Con base en los resultados obtenidos a partir de la utilización del instrumento IVIM se logró proponer un conjunto de cuatros métricas que son adecuadas para gestionar el proceso de construcción desde un enfoque de SPC en VSEs. Estas métricas son (i) Densidad de Defectos, (ii) Productividad, (iii) Valor Ganado y (iv) Porcentaje de Retrabajo, las cuales están relacionadas con el proceso de construcción de las VSEs y que son idóneas para su aplicación con la técnica SPC de gráficos de control.

4. CONCLUSIONES Y TRABAJOS FUTUROS.

Dos responsabilidad clave para gestionar procesos software son medición y control, sin embargo la mayoría de las pequeñas organizaciones software (VSEs) no los llevan a cabo. En la medición es necesario determinar las métricas apropiadas que satisfacen necesidades de información a las organizaciones. Además, es importante brindar a las VSEs herramientas que les permita evaluar la idoneidad de una métrica para su uso en la aplicación de la técnica SPC de gráficos de control. En este sentido, este artículo presentó un instrumento que puede ser usado para determinar la idoneidad de una métrica para SPC en el contexto de las VSEs. Este instrumento fue usado para determinar un conjunto de métricas del proceso de construcción de software idóneas para la aplicación de SPC en este tipo de organizaciones.

Se realizó un ejemplo de evaluación para validar la facilidad de uso del nuevo instrumento IVIM. Esta experiencia ha demostrado que con las pautas establecidas para emplear el instrumento IVIM, una pequeña organización puede utilizar el IVIM como una herramienta flexible para obtener métricas idóneas que les permitan aplicar la técnica SPC de gráficos de control, y de esta manera poder gestionar (medir y controlar) sus procesos software.

El instrumento IVIM fue desarrollado para apoyar a las pequeñas organizaciones de software que desean llevar a cabo SPC y que cuentan con métricas relacionadas con sus procesos software. IVIM permite determinar si las métricas de una organización son adecuadas o no para su aplicación de SPC. Por otra parte, el instrumento IVIM busca garantizar que la información proporcionada por las métricas al aplicar SPC sea realmente útil y relevante para una pequeña organización.

A partir de los resultados obtenidos, a continuación se describen algunos aspectos relacionados con el trabajo que puede ser abordado en un futuro por otros estudios de investigación:

- Evaluar el instrumento IVIM en la obtención de métricas software relacionadas con otros procesos del desarrollo del software.
- Actualmente, IVIM no tiene un soporte tecnológico para apoyar su aplicación. El IVIM está soportado principalmente por hojas de cálculo en Excel, de manera que existe la necesidad de desarrollar una herramienta software para apoyar y facilitar el uso del instrumento. Este tipo de herramientas permiten soportar acciones repetitivas, reduciendo la carga cognitiva de las personas involucradas en el uso del instrumento y reduciendo la carga administrativa asociada con la aplicación manual de dicho instrumento.
- Nuevas experiencias prácticas de la aplicación del IVIM en el contexto empresarial. En este sentido, actualmente se tiene contacto una empresa desarrolladora de software de la ciudad de Cali que está iniciando un proyecto de evaluación formal CMMI nivel 3. Esta empresa está interesada en la aplicación del IVIM para evaluar y analizar las métricas que tiene definidas con el fin de determinar cuáles son útiles para SPC. Una vez escogidas las métricas se pretende usar el “Marco de trabajo para gestión cuantitativa de procesos de desarrollo de software en pequeñas empresas” [17] con el cual se puede comprobar si las métricas filtradas por el IVIM son adecuadas para llevar a cabo SPC en VSEs.

5. AGRADECIMIENTOS.

Francisco J. Pino agradece la contribución de la Universidad del Cauca, donde se desempeña como Profesor Titular.

6. REFERENCIAS.

[1] Garzás, J., Piattini, M., Pino, F., & Fernández, C. (2006). An Organizational Maturity Model for the Spanish Software Industry based on ISO Standards. Computer Standards & Interfaces 35(6): 616-628 (2013).

[2] Piattini, M., García, F., & Pino, F. (2006). Key processes to start software process improvement in small companies. SAC 2009: 509-516.

[3] Marcus, A., Kao, Y., & Luk, N. (2010). Total quality in software development: An empirical study of quality drivers and benefits in Indian software projects. University of Nevada, Las Vegas, NV 89154-6034.

[4] Vijaya, G., & Arumugam, S. (2006) Monitoring the Stability of the Processes in Defined Level Software Companies Using Control Charts with Three Sigma Limits. University of Anna, Coimbatore – 35.

[5] Komuro, M. (2006). Experiences of Applying SPC Techniques to Software Development Processes. Hitachi Software, Tokyo.

[6] Torres, G. (2006). Medidas de calidad en proceso, producto y mantenimiento, aplicadas al Control Estadístico de Procesos.

[7] Baldassarre, T., Boffoli, N., Caivano, D., & Visaggio, G. (2004). Managing Software Process Improvement (SPI) through Statistical Process Control (SPC). University of Bari, Bari, Orabona 4 - 70126.

[8] Hong, G.Y., Xie, M., & Shanmugan, P. (1999). A Statistical Method for Controlling Software Defect Detection Process. Pergamon, Computers & Industrial Engineering 37, 137-140.

[9] Piattini, M., García, F., Garzás, J., & Genero, M. (2008). Medición y Estimación del Software: Técnicas y Métodos para Mejorar la Calidad y la Productividad. Madrid: Alfaomega.

[10] Tarhan, A., & Demirors, O. (2006). Investigating Suitability of Software Process and Metrics for Statistical Process Control. EuroSPI, LNCS 4257, 88 – 99.

[11] ISO/IEC 29110. (2007). In Software Engineering - Lifecycle Profiles for Very Small Enterprises (VSE) - Part I.

[12] Sargut, K.U., & Demirors, O. (2006). Utilization of statistical process control (SPC) in emergent software organizations: pitfalls and suggestions. Springer Science + Business Media.

[13] Barcellos, M.P., Rocha, A.R., & Falbo, R. (2010). Evaluating the Suitability of a Measurement Repository for Statistical Process Control. ESEM 10.

[14] Montgomery, D.C. (2004). Control Estadístico de la Calidad. Mexico: Limusa Wiley.

[15] García, F., Piattini, M., Pino, F., & Oktaba, H. (2006). COMPETISOFT: Revisión Sistemática de Mejora de Procesos Software en Pequeñas y Medianas Empresas de Software.

[16] Garzón, G., Miranda, P., & Pino, F. (2013). Métricas del proceso de construcción software para control estadístico de procesos en pequeñas organizaciones. Tesis de Pregrado no publicada. Universidad del Cauca, Popayán, Colombia.

[17] Ardila, C., (2014). Marco de trabajo para gestión cuantitativa de procesos de desarrollo de software en pequeñas empresas– MaTGeC. Tesis de Maestría. Universidad del Cauca. Colombia.