Tarjeta de tamizaje de disglicemia

Sistema de puntuacion clinica construido unicamente con reglas y metodos estadisticos, sobre 253.680 registros del BRFSS 2015.

Reto med-data-challenge · Universidad Tecnologica de Panama, Programacion 4 · Generado automaticamente desde artefactos/informe.json en 4.6 s · SHA-256 del CSV: a971809d0786d2d7d7f6070f83dfe8af...

1. Criterio de cumplimiento

El enunciado exige clasificar unicamente con reglas y metodos estadisticos. Adoptamos este criterio explicito, y todo el proyecto lo respeta:

Excluido scikit-learn, XGBoost, LightGBM, redes neuronales y cualquier clasificador entrenado. pandas y numpy se usan como calculadora (sumas y logaritmos), nunca como clasificador; el clasificador entregable, nucleo/clasificar.py, corre con biblioteca estandar pura y una prueba automatizada lo verifica.

2. Los datos

CDC Behavioral Risk Factor Surveillance System 2015, encuesta telefonica anual. De los 441.456 registros originales con 330 variables se conservan 253.680 respuestas con 21 indicadores mas el diagnostico. Curado en el UCI ML Repository (id 891, DOI 10.24432/C53919).

Definicion del objetivo

Se clasifica disglicemia = prediabetes o diabetes (prevalencia 15.76%). Razon clinica: para un tamizaje ambas disparan la misma accion, confirmar con glucosa en ayunas. Razon empirica: separar diabetes de prediabetes con estas 21 variables es casi imposible, y la prediabetes es solo el 1.83% de la muestra.

3. Auditoria de calidad

Ocho reglas de coherencia cruzada entre columnas. Cada una marca filas cuya combinacion de respuestas es logicamente contradictoria.

Los registros inconsistentes tienen 21.1% de disglicemia frente a 15.1% en los consistentes: la inconsistencia no es ruido aleatorio, correlaciona con la enfermedad.

Los 23.899 duplicados exactos no son un error

El 9.42% de las filas esta repetida. La conclusion facil seria borrarlas. Seria un error, y lo demostramos:

IMC: rango observado 12 a 98 (media 28.4). 805 registros superan 60 y 7 declaran exactamente 98, que es el tope de captura de la fuente. 27 estan por debajo de 14. Se marcan como implausibles pero no se borran: los IMC altos reales son casos de alto riesgo genuinos.

4. Factores clinicos

Cada variable se cruza con el diagnostico. Ordenamos por Information Value, no por significancia: con 253.680 registros el chi-cuadrado da p<0,001 para practicamente todo, asi que la significancia no discrimina. El tamano del efecto si.

5. El sistema de puntuacion

Se seleccionan las variables con IV ≥ 0.30, el umbral estandar de "predictor fuerte" en la literatura de scorecards. El criterio es a priori: no se elige mirando el resultado. Quedan 5 variables.

Para cada tramo se calcula WoE = ln( P(tramo | enfermo) / P(tramo | sano) ) y se convierte a puntos enteros con puntos = round( (WoE - WoE_minimo) x K ), donde K = 10.129 es comun a todas las variables y se elige para que el maximo sea 100. Es un cambio de unidades, como pasar de Celsius a Fahrenheit: no altera el orden de los pacientes.

Por que solo 5 variables: la parsimonia esta medida

Anadir mas factores empeora el resultado. No es una concesion al tiempo disponible, es la decision correcta:

La causa es la violacion del supuesto de independencia condicional: salud autopercibida, dias de mala salud fisica y dificultad para caminar miden tres veces el mismo sindrome de fragilidad, y un puntaje aditivo lo cuenta tres veces. El modelo corto no es el barato: es el bueno.

6. Validacion

Protocolo: deduplicar, partir 70/30 estratificado con semilla fija, construir la tarjeta solo con el 70%, elegir el umbral por indice de Youden solo en el 70%, y reportar todo sobre el 30% restante (68.935 pacientes que el sistema nunca vio).

Calibracion

El puntaje no es solo un ordenador de pacientes: sus tramos corresponden a riesgos observados reales, y crecen de forma perfectamente monotona.

Entre el quintil mas bajo y el mas alto hay un gradiente de 25 veces en riesgo observado, con grupos de tamano comparable.

7. Clasificar un paciente

El clasificador completo esta embebido en esta pagina: son los 21 enteros de la tabla anterior. Funciona sin conexion y sin servidor.

8. Limitaciones

Declararlas es parte del metodo, no una concesion:

9. Impacto potencial

Un tamizaje poblacional con esta tarjeta cuesta cinco preguntas y una medicion de peso y talla. No requiere laboratorio, ni personal especializado, ni conexion.

• Concentrando el esfuerzo diagnostico en el quintil superior se cubre al 20% de la poblacion y se captura una prevalencia del 42.9%, 25 veces la del quintil inferior.
• El valor predictivo negativo del 92.8% permite descartar con confianza y liberar recursos de confirmacion.
• El umbral es una decision de politica publica, no del algoritmo: subirlo reduce falsos positivos y ahorra pruebas confirmatorias; bajarlo aumenta la deteccion. La curva ROC entrega ese intercambio explicito para que lo decida quien asigna el presupuesto.
• Cada resultado viene con su desglose: el paciente ve por que puntua lo que puntua, y eso es intervenible. El IMC y la presion se pueden cambiar; la edad no.

Codigo fuente: github.com/JuanKsPty/med-data-challenge · Reproducible con python -m nucleo · 16 pruebas automatizadas, incluida la verificacion de que el clasificador no importa ninguna libreria de machine learning.