Validación independiente de modelos
Su equipo construyó el modelo, lo documentó y lo defiende. Falta alguien de afuera que lo revise de verdad. Reviso sus modelos de punta a punta y firmo una opinión que usted puede llevar al comité y al auditor.
¿Cuándo tiene sentido?
- Su equipo de validación no da abasto y los modelos se acumulan.
- Viene una auditoría y prefiere enterarse antes que el auditor.
- Compró un modelo a un proveedor y nadie lo ha abierto.
Podemos empezar aunque la documentación esté incompleta. Es lo normal, y ordenarla es el primer paso.
¿Qué revisamos?
Datos
La calidad y trazabilidad de la información con que se construyó el modelo.
Diseño conceptual
Si los supuestos y las variables tienen sentido para el uso que se le da.
Desempeño
Su estabilidad y su sensibilidad a cambios en los datos y en los supuestos.
Implementación
Si lo que corre en producción da los resultados esperados.
Uso y gobernanza
Cómo se usa y se supervisa el modelo, según su documentación y su manual de usuario.
Lo que el informe del desarrollador no muestra
Un modelo puede verse impecable en la presentación y fallar en producción. Elija un caso:
Se reportó
AUC 0.92 (Fuerte)
Según el desarrollador, el modelo separa muy bien a quien paga de quien no.
La validación revela
AUC 0.64 (Débil)
Una variable usaba datos de 30 días después del crédito. Sin ella, el modelo es apenas mejor que lanzar una moneda.
¿Cómo trabajamos con cada modelo?
- 01
Inventario
Usted nos entrega código, documentación y datos bajo acuerdo de confidencialidad. Revisamos y ordenamos lo que exista.
- 02
Ejecución independiente
Reproducimos los resultados de forma independiente, sin intervención de quien desarrolló el modelo.
- 03
Desempeño y sensibilidad
Cuestionamos supuestos y probamos el modelo ante cambios en los datos y escenarios adversos.
- 04
Informe final
Entregamos la opinión, los hallazgos y el código, y los revisamos con su equipo o su comité.
El alcance de cada validación se acuerda por escrito antes de empezar.
¿Qué recibe por cada modelo?
- Una opinión de validación firmada
- Un informe con los hallazgos ordenados por severidad, con su evidencia y su responsable
- El código de la validación, listo para que su equipo lo ejecute
- Un plan remedial para cada inconsistencia
Ejemplo ilustrativo
Opinión de validación
Modelo de probabilidad de incumplimiento, cartera de consumo
- DatosObservación menor
- Diseño conceptualSin observaciones
- DesempeñoObservación relevante
- ImplementaciónSin observaciones
- Uso y gobernanzaObservación menor
La opinión tiene tres resultados posibles
Somos independientes de quien construyó el modelo. Si la opinión es desfavorable, lo decimos así.
Opinión favorable
El modelo puede operar tal como está.
Favorable con observaciones
Puede operar, con un plan para corregir lo observado en un plazo acordado.
Opinión desfavorable
Hay un problema que compromete las decisiones que se toman con el modelo.
Recorra un informe de ejemplo
Cada hallazgo dice qué encontramos, qué tan grave es, dónde está la evidencia y qué hacer para corregirlo. Además, las pruebas que corrimos y el código para que su equipo las repita.
INFORME DE VALIDACIÓN
El código en producción no reproduce el modelo aprobado
Evidencia
El script de puntuación aplica otra transformación de ingreso que el notebook de desarrollo.
Plan remedial
Unificar la transformación y volver a puntuar la cartera vigente.
¿Tiene modelos por validar este año?
Treinta minutos para revisar su inventario y ver por dónde empezar.
¿Cómo prepararse para los 30 minutos?
Es una sesión de trabajo sobre su inventario. Para que sirva desde el primer minuto, le sugiero tener a mano:
- El tipo de modelo, quién lo desarrolló (equipo interno o externo) y qué decisión de dinero toca.
- La duda que no deja tranquilo al comité: estabilidad en el tiempo, sesgo de muestra, sobreajuste o explicabilidad.
- Las fechas que le corren: auditoría, comité o regulador.