Qué resolvemos ·¿Debo aprobar esto que tengo sobre la mesa?
Vanguard · Guiar
¿Pasaría una auditoría independiente de su IA en 90 días?
El integrador dice que funciona y yo soy quien firma.
Apto, apto con condiciones o no apto, emitido por quien no lo construyó y no cobra comisión de nadie.
Auditoría Independiente de Implementaciones de IAEnviar esta página a quien decide
Le suena si
- Tiene que autorizar una puesta en producción que no construyó.
- Los únicos que entienden el sistema son los que lo hicieron.
- Le piden una opinión independiente y quien construyó el sistema no puede darla. Es la situación de 78 de cada 100 directivos: no confían en pasar una auditoría de su IA en 90 días.
Para usar hoy, sin contratar nada
Ocho preguntas para exigirle al constructor antes de firmar la aceptación. Un constructor que las contesta todas, con evidencia, hizo bien su trabajo.
- ¿Contra qué casos se midió y quién los eligió? Si los eligió el constructor, no es una medición, es una demostración.
- ¿Cuál es la tasa de error, medida cómo y sobre qué muestra?
- Reconstrúyame una decisión concreta de la semana pasada: qué entró, qué salió y por qué.
- ¿Qué puede hacer el sistema sin que un humano apruebe y quién fijó ese límite?
- ¿Qué lo detiene, quién puede detenerlo y en cuánto tiempo?
- ¿Qué se registra, cuánto se conserva y quién puede consultarlo dentro de seis meses?
- ¿Qué pasa cuando el proveedor cambia de versión sin avisar?
- ¿Quién responde por una decisión equivocada: usted, nosotros o el proveedor del modelo?
Cómo lo resolvemos
El método, no la promesa.
- Se lee la propuesta original del constructor y se anota qué prometió. Buena parte de los hallazgos sale de ahí.
- Se construye un banco de casos propio, con el cliente y sin el constructor y se congela antes de medir.
- Se mide el sistema contra ese banco. No se acepta la métrica del proveedor como evidencia.
- Se toma una decisión real reciente y se intenta reconstruir de extremo a extremo. Lo que no se puede reconstruir es el hallazgo.
- Se escribe el veredicto en uno de tres términos, sin matices intermedios y se sostiene en la sala.
Qué recibe
- Un dictamen escrito de dos páginas para el comité: apto, apto con condiciones, o no apto.
- Los hallazgos por dimensión, ordenados por consecuencia y sustentados en evidencia observada.
- La medición de desempeño contra un banco de casos que usted eligió.
- Las condiciones nombradas, si el veredicto es apto con condiciones.
La prueba que viene al caso
- Ocho años bajo supervisión de reguladores mexicanos sin un solo hallazgo de auditoría: del lado del revisado.
- Dos productos corporativos evaluados por un analista independiente en el Cuadrante Mágico de Gartner: del lado del evaluado.
- Auditoría regulatoria sobre infraestructura de 60 000 servidores.
Antes de contratar
Es opinión experta independiente, no certificación: no sustituye el sello de un auditor acreditado cuando su contrato lo exige.
El valor del dictamen está en que quien lo firma no tenía nada que ganar con el resultado. La firma no revende tecnología, no recibe comisión de ningún proveedor y no entra en alianzas que sesguen un consejo. Está escrito y es verificable.
¿Quién firmó la aceptación de la última puesta en producción y con qué evidencia enfrente?
Si el problema es otro
Tengo que decidir esta semana y casi todos los que opinan ganan algo con la respuesta.
Sesión de Veredicto
El financiero está hecho. Nadie miró si la operación aguanta el día después.
Diligencia Debida de Tecnología y Operación
El tablero del proveedor sale verde y la operación se sigue cayendo.
Auditoría de Contratos y Desempeño de Proveedores