Tratar con datos incompletos en Data Mining. ¿Todavía se puede lograr un modelado predictivo preciso?

1 Entendiendo las brechas

Para abordar los datos incompletos, primero debe comprender la naturaleza de la falta. Los datos pueden faltar por completo de forma aleatoria (MCAR), desaparecido al azar (ESTROPEAR), o que no falta al azar (MNAR). MCAR significa que la falta no tiene relación con ningún valor, observado o faltante. MAR ocurre cuando la falta está relacionada con los datos observados, pero no con los datos faltantes en sí. MNAR es cuando la falta está relacionada con el valor que falta. Reconocer estos patrones es crucial porque influye en la elección de la estrategia para manejar los datos faltantes y garantizar la solidez de sus modelos predictivos.

2 Métodos de imputación

Un enfoque común para tratar con datos incompletos es la imputación, en la que se rellenan los valores que faltan en función de la información disponible. Los métodos de imputación simples incluyen el uso de la media, la mediana o la moda, que son rápidos pero pueden introducir sesgos si los datos no son MCAR. Técnicas más sofisticadas como k-vecinos más cercanos (KNN) La imputación o la imputación múltiple pueden proporcionar mejores resultados si se tienen en cuenta los patrones de los datos. La imputación múltiple, por ejemplo, crea varios conjuntos de datos completos, analiza cada uno de ellos y, a continuación, combina los resultados para tener en cuenta la incertidumbre en torno a los valores que faltan.

3 Aumento de datos

El aumento de datos es otra estrategia que puede mejorar el conjunto de datos mediante la generación de puntos de datos adicionales. Esto puede ser especialmente útil cuando se trata de datos MNAR en los que la imputación tradicional puede no ser eficaz. Técnicas como la técnica de sobremuestreo de minorías sintéticas (HIRIÓ) Crear muestras sintéticas de la clase minoritaria en problemas de clasificación para abordar los desequilibrios que podrían sesgar el modelado predictivo. Si bien no rellena directamente los valores que faltan, el aumento de datos puede ayudar a mitigar el impacto de los datos incompletos al fortalecer los patrones subyacentes en el conjunto de datos.

4 Selección de algoritmos

Elegir el algoritmo adecuado es fundamental cuando se trabaja con datos incompletos. Algunos algoritmos, como los árboles de decisión y los bosques aleatorios, pueden controlar los valores faltantes de forma inherente por su diseño. Otros, como las máquinas de vectores de soporte (SVM) y las redes neuronales, requieren conjuntos de datos completos para funcionar correctamente. Cuando se enfrente a datos incompletos, considere la posibilidad de inclinarse por algoritmos que sean más indulgentes o que puedan incorporar incertidumbre en su proceso de modelado, lo que puede conducir a predicciones más precisas a pesar de la información que falta.

6 Evaluación del modelo

Por último, es esencial evaluar el rendimiento del modelo cuando se trata de datos incompletos. Utilice métricas que sean adecuadas para el tipo de tarea de modelado predictivo en cuestión, como la exactitud, la precisión, la recuperación o la puntuación F1 para los problemas de clasificación, y el error cuadrático medio o el error absoluto medio para los problemas de regresión. También es importante realizar una validación cruzada para asegurarse de que el modelo es sólido y no se ajusta en exceso al conjunto de datos incompleto. Esto ayuda a evaluar el verdadero poder predictivo de su modelo y a tomar decisiones confiables basadas en sus resultados.

7 Esto es lo que hay que tener en cuenta

Este es un espacio para compartir ejemplos, historias o ideas que no encajan en ninguna de las secciones anteriores. ¿Qué más te gustaría añadir?