ANEXO 10

Calidad de datos

Este anexo corresponde a la Fase 2 — Resguardo, especialmente a las etapas “Validación inicial” y “Semáforo de calidad de datos” de FARO Connect.

1. Objetivo del anexo

El objetivo del Anexo 10 — Calidad de datos es definir cómo FARO Connect evalúa si la información recibida es completa, válida, consistente, actualizada, trazable y confiable antes de usarla para calcular KPIs, alertas, tensiones, recomendaciones, acciones o FARO Score.

La pregunta central es:

¿Este dato sirve para tomar decisiones o todavía necesita revisión?

FARO no puede tratar todos los datos como si fueran igualmente confiables.

No es lo mismo:

Venta cargada desde ERP con cliente, producto, costo, vendedor, descuento y fecha.

que:

Excel manual con producto escrito distinto, sin costo actualizado y sin fecha de cobro.

Ambos son datos. Pero no tienen la misma calidad. Y si FARO no distingue eso, puede tomar una lectura débil como si fuera una verdad absoluta. Peligroso.

2. Tesis del Anexo 10

La tesis es:

La inteligencia de FARO depende de la calidad del dato que recibe.

Un dato de mala calidad puede generar una cadena completa de errores:

Dato incorrecto
→ KPI incorrecto
→ señal incorrecta
→ alerta incorrecta
→ tensión incorrecta
→ recomendación incorrecta
→ acción incorrecta
→ FARO Score incorrecto

En una empresa, eso no es un detalle técnico. Es riesgo de dirección.

Frase directa:

La calidad de datos no es un tema de sistemas. Es un tema de gobierno empresarial.

3. Qué significa calidad de datos para FARO

Para FARO, un dato de calidad debe cumplir con 10 condiciones.

4. Diferencia entre validación y calidad

No son lo mismo.

Ejemplo:

Una venta puede pasar validación básica porque tiene fecha, cliente e importe.
Pero puede tener baja calidad si no tiene costo, canal, descuento o vendedor.

Entonces FARO debería decir:

Dato válido, pero con calidad media.
Puede usarse para ventas, pero no para margen ni comisión.

Eso es mucho más serio.

5. Estados de calidad de datos

FARO debería clasificar cada fuente, módulo o campo con un semáforo.

Ejemplo:

Ventas: 0.91 → Confiable.
Stock: 0.64 → Débil.
RRHH: 0.76 → Usable con observaciones.
Comisiones: 0.48 → No confiable.

6. Calidad por nivel

FARO debe medir calidad en varios niveles.

Esto es clave porque puede pasar algo muy común:

Ventas tiene buena calidad.
Stock tiene calidad media.
RRHH tiene baja calidad.

Entonces FARO no debería frenar todo. Debe avanzar por módulos, con criterio.

7. Reglas FARO de calidad de datos

La biblioteca inicial puede tener 50 a 120 reglas base.

Escalable a:

300+ reglas de calidad por industria, fuente, módulo y tipo de dato.

Ejemplos de reglas base

8. Validaciones mínimas por módulo

8.1 Comercial

8.2 Finanzas

8.3 Stock

8.4 RRHH

8.5 Workflow / Dirección

9. Fórmulas de calidad de datos

9.1 Completitud

Completitud = campos completos / campos requeridos

def completitud(campos_completos, campos_requeridos):
    if campos_requeridos == 0:
        return 0
    return campos_completos / campos_requeridos

9.2 Validez

Validez = registros válidos / registros totales

def validez(registros_validos, registros_totales):
    if registros_totales == 0:
        return 0
    return registros_validos / registros_totales

9.3 Consistencia

Consistencia = coincidencias entre fuentes / comparaciones realizadas

Ejemplo:

def consistencia(coincidencias, comparaciones):
    if comparaciones == 0:
        return 0
    return coincidencias / comparaciones

9.4 Unicidad

Unicidad = 1 - (duplicados / registros totales)

def unicidad(duplicados, registros_totales):
    if registros_totales == 0:
        return 1
    return 1 - (duplicados / registros_totales)

9.5 Actualización

Actualización = registros actualizados / registros evaluados

O también puede medirse por antigüedad del dato:

from datetime import datetime

def score_actualizacion(fecha_ultima_actualizacion, dias_maximos):
    hoy = datetime.now()
    dias = (hoy - fecha_ultima_actualizacion).days

    if dias <= dias_maximos:
        return 1

    score = max(0, 1 - ((dias - dias_maximos) / dias_maximos))
    return round(score, 2)

9.6 Trazabilidad

Trazabilidad = registros con origen completo / registros totales

def trazabilidad(registros_con_origen, registros_totales):
    if registros_totales == 0:
        return 0
    return registros_con_origen / registros_totales

10. Score de calidad FARO

10.1 Fórmula general

Score Calidad FARO =
Completitud × 25%
+ Validez × 20%
+ Consistencia × 20%
+ Trazabilidad × 15%
+ Actualización × 10%
+ Unicidad × 10%

10.2 Código ejemplo

def score_calidad_faro(
    completitud,
    validez,
    consistencia,
    trazabilidad,
    actualizacion,
    unicidad
):
    score = (
        completitud * 0.25 +
        validez * 0.20 +
        consistencia * 0.20 +
        trazabilidad * 0.15 +
        actualizacion * 0.10 +
        unicidad * 0.10
    )

    return round(score, 2)

11. Score de calidad por registro

A veces FARO necesita calificar una fila específica.

Ejemplo de venta:

def score_registro_venta(venta):
    campos_obligatorios = [
        "fecha",
        "cliente",
        "producto",
        "cantidad",
        "precio",
        "vendedor",
        "sucursal"
    ]

    campos_recomendados = [
        "costo_unitario",
        "descuento",
        "condicion_pago",
        "canal"
    ]

    obligatorios_ok = sum(1 for c in campos_obligatorios if venta.get(c))
    recomendados_ok = sum(1 for c in campos_recomendados if venta.get(c))

    score_obligatorios = obligatorios_ok / len(campos_obligatorios)
    score_recomendados = recomendados_ok / len(campos_recomendados)

    score = score_obligatorios * 0.75 + score_recomendados * 0.25

    return round(score, 2)

Lectura:

Si score < 0.70:
la venta puede entrar, pero no debería activar decisiones críticas.

12. Validación inicial automática

Ejemplo de validación de venta:

def validar_venta(venta):
    errores = []
    observaciones = []

    if not venta.get("fecha"):
        errores.append("fecha_faltante")

    if not venta.get("cliente"):
        errores.append("cliente_faltante")

    if not venta.get("producto"):
        errores.append("producto_faltante")

    if venta.get("cantidad", 0) <= 0:
        errores.append("cantidad_invalida")

    if venta.get("precio", 0) <= 0:
        errores.append("precio_invalido")

    if venta.get("costo_unitario") is None:
        observaciones.append("costo_faltante_no_calcula_margen")

    if venta.get("descuento", 0) > 0.30:
        observaciones.append("descuento_fuera_de_rango_revisar")

    return {
        "errores": errores,
        "observaciones": observaciones,
        "estado": "rechazado" if errores else "observado" if observaciones else "aceptado"
    }

13. Clasificación de errores

No todos los errores son iguales.

Ejemplos:

14. Estados de validación

15. Uso de datos según calidad

Esta tabla es fundamental. Evita que FARO se pase de vivo.

16. Calidad y confianza del diagnóstico

La calidad de datos debe influir en la confianza de cualquier diagnóstico.

Ejemplo:

Tensión detectada:
Crecimiento no rentable.

Calidad de ventas: 0.90
Calidad de costos: 0.65
Calidad de cobranza: 0.70

Confianza del diagnóstico: media.

Fórmula:

Confianza diagnóstico =
Calidad ventas × 30%
+ Calidad costos × 30%
+ Calidad cobranza × 20%
+ Consistencia histórica × 20%

Código:

def confianza_crecimiento_no_rentable(calidad_ventas, calidad_costos, calidad_cobranza, consistencia):
    return round(
        calidad_ventas * 0.30 +
        calidad_costos * 0.30 +
        calidad_cobranza * 0.20 +
        consistencia * 0.20,
        2
    )

17. Calidad mínima por etapa FARO

Regla conservadora:

Mientras más inteligente sea la salida, más alta debe ser la calidad mínima del dato.

18. Ejemplo: calidad comercial

Datos encontrados

Ventas completas: 95%
Clientes normalizados: 88%
Productos normalizados: 92%
Costos actualizados: 65%
Descuentos completos: 90%
Vendedores identificados: 96%

Lectura FARO

Ventas y descuentos son confiables.
Margen tiene confianza media porque costos están incompletos.
Comisiones pueden analizarse parcialmente.
Tensión crecimiento no rentable puede detectarse con advertencia.

Acción recomendada

Completar costo unitario actualizado.
Normalizar productos restantes.
Vincular ventas con cobranza.

19. Ejemplo: calidad de stock

Datos encontrados

Stock actual disponible: 90%
Stock mínimo disponible: 55%
Último movimiento: 60%
Proveedor vinculado: 50%
Diferencia físico-sistema: no disponible

Lectura FARO

Se puede ver stock actual.
No se puede anticipar stock crítico con alta confianza.
Stock inmovilizado tiene confianza media/baja.
Proveedor crítico no es confiable todavía.

Acción recomendada

Completar stock mínimo.
Registrar último movimiento.
Vincular proveedor habitual.
Hacer control físico por muestra.

20. Ejemplo: calidad de workflow

Datos encontrados

Acciones registradas: sí.
Responsables: 70%.
Vencimientos: 40%.
Estados: 60%.
Fecha de cierre: 30%.
KPI relacionado: 15%.

Lectura FARO

El workflow existe, pero no permite medir ejecución con seriedad.
No puede alimentar FARO Score avanzado.
La tensión Dirección sin ejecución es probable, pero requiere mejorar trazabilidad.

Acción recomendada

Hacer obligatorio responsable, vencimiento, estado y fecha de cierre.
Vincular cada acción a KPI o tensión cuando corresponda.

21. Reporte de calidad de datos

FARO debería generar un reporte de calidad por fuente y módulo.

Ejemplo

22. Acciones de mejora de calidad

23. Calidad y roles responsables

La calidad de datos tiene dueños. No puede quedar como responsabilidad difusa de “Sistemas”.

Regla:

Sistemas puede cuidar la tubería, pero el dueño del dato debe ser el área que lo usa para gestionar.

24. Calidad de datos y FARO Score

La calidad del dato debe afectar el FARO Score o, como mínimo, su nivel de confianza.

Ejemplo:

FARO Score: 74
Confianza del score: media
Motivo: datos de stock y workflow incompletos.

Otra opción:

FARO Score operativo: 74
Penalización por baja calidad de datos: -4 puntos
Score ajustado: 70

Ejemplo:

def ajustar_score_por_calidad(faro_score, calidad_datos):
    if calidad_datos >= 0.85:
        penalizacion = 0
    elif calidad_datos >= 0.70:
        penalizacion = 2
    elif calidad_datos >= 0.50:
        penalizacion = 5
    else:
        penalizacion = 10

    return max(0, faro_score - penalizacion)

25. Gobernanza de calidad de datos

FARO debería establecer una rutina de control.

26. Output final del Anexo 10

Al finalizar este anexo, FARO debe tener definido:

1. Dimensiones de calidad de datos.
2. Reglas de validación por módulo.
3. Estados de calidad.
4. Fórmulas de score de calidad.
5. Score de calidad por campo, registro, fuente y módulo.
6. Semáforo de calidad.
7. Reglas de uso según calidad.
8. Calidad mínima por etapa FARO.
9. Reporte de calidad por fuente.
10. Matriz de errores y severidad.
11. Acciones correctivas.
12. Dueños de datos por área.
13. Rutina de gobernanza.
14. Relación entre calidad y confianza del diagnóstico.
15. Relación entre calidad y FARO Score.

27. Conexión con otros anexos

El Anexo 10 define cómo FARO Connect mide la calidad de los datos antes de usarlos para dirigir. Evalúa completitud, validez, consistencia, trazabilidad, actualización y unicidad. Con eso determina si un dato puede alimentar KPIs, alertas, tensiones, recomendaciones y FARO Score.