Tesis "Método de construcción enfocado en contenedores virtuales para la composición de sistemas distribuidos y paralelos para el procesamiento de grandes volúmenes de datos"
Sustentante: Hugo Germán Reyes Anastacio
Directores: Dr. José Luis González Compeán, Cinvestav Unidad Tamaulipas; Dr. Víctor Jesús Sosa Sosa, Cinvestav Unidad Tamaulipas.
Sinodales: Dr. Iván López Arévalo, Cinvestav Unidad Tamaulipas; Dr. Hiram Galeana Zapién, Cinvestav Unidad Tamaulipas; Dr. José Luis González Compeán, Cinvestav Unidad Tamaulipas; Dr. Víctor Jesús Sosa Sosa, Cinvestav Unidad Tamaulipas; Dr. Arturo Díaz Pérez, Cinvestav Unidad Guadalajara; Dr. Ricardo Marcelín Jiménez, UAM Iztapalapa.
Resumen:
Los sistemas para procesar grandes volúmenes de datos se están convirtiendo en un componente clave tanto para la industria, como para la comunidad científica para apoyar a los procesos críticos de toma de decisiones. Sin embargo, la composición de estos sistemas no es trivial y representa un reto para las organizaciones, ya que los diseñadores deben encargarse no sólo de la funcionalidad de las aplicaciones de dichos sistemas, sino también de su distribución y paralelismo. Además, estos sistemas también deben considerar propiedades relevantes, como la portabilidad para desplegar estos sistemas en infraestructuras heterogéneas, la flexibilidad para componer servicios que incluyan múltiples aplicaciones interconectadas, la eficiencia para mejorar la experiencia de servicio de los usuarios finales, la fiabilidad para detectar y soportar fallos de la infraestructura y la integridad para detectar alteraciones tanto en la secuencia de ejecuciones del sistema, como en el intercambio de datos entre las aplicaciones del sistema. Este documento de tesis doctoral presenta el diseño, implementación y evaluación de un Método de construcción enfocado en contenedores virtuales para la composición de sistemas que procesan grandes volúmenes de datos. Este método incluye tres etapas principales: La fase de construcción implementa un modelo de composición basado en estrategias de procesamiento, utilizado para convertir aplicaciones en un conjunto de estructuras independientes, basadas en bloques, portables y autocontenidas. Este modelo permite a los diseñadores construir sistemas agnósticos a la infraestructura de manera automática.
La fase de preparación/despliegue está basada en un modelo de programación paralela y un paquete de estrategias de escalamiento que permiten transformar aplicaciones agnósticas en sistemas paralelos y distribuidos. El modelo de programación paralela está basado en patrones de procesamiento que mejoran la eficiencia de los sistemas de procesamiento de datos. Las estrategias de escalamiento permiten que los sistemas compuestos por el modelo propuesto puedan adaptarse a detalles de infraestructuras desconocidas (p. ej. entornos de nube y sin servidor) y a múltiples infraestructuras utilizadas en tiempo de ejecución. Estas fases del método fueron implementadas para crear un framework llamado Kulla, que fue utilizado para crear sistemas agnósticos distribuidos y paralelos. Adicionalmente se añadieron a este framework un conjunto de bibliotecas (llamadas K-Storage) y adaptadores que facilitan el acoplamiento de las aplicaciones y el intercambio de datos. En la fase operacional se implementaron los procesos de verificación y aseguramiento de las transacciones realizadas por los sistemas agnósticos distribuidos y paralelos. Estos procesos permiten enmascarar y detectar fallas intermitentes/temporales en las aplicaciones, así como las alteraciones de los datos realizadas por estas aplicaciones en tiempo de ejecución. Esta fase del método fue implementada y añadida al framework de Kulla para generar un nuevo framework basado en Kulla con las características de fiabilidad y verificación integridad (RIV, por sus siglas en inglés) llamado Kulla-RIV.
Se realizaron múltiples casos de estudio con el framework propuesto a través de una evaluación experimental, demostrando las capacidades del framework para componer de manera eficiente y flexible sistemas paralelos y distribuidos, así como sistemas portables y fiables para el procesamiento de grandes volúmenes de datos en escenarios reales.