Un sitio web que se edita solo cada lunes

Cada lunes de mañana, un script le hace a ChatGPT y a Claude diez preguntas que haría un comprador. Ninguna menciona a Estela. «¿A quién contrato en Montevideo para construir agentes de IA?» «¿Qué empresas en Uruguay ofrecen IA on-premise?» Cuenta cuántas respuestas nos nombran, a quién nombran en nuestro lugar y qué páginas citan como respaldo.

Cómo funciona

Con las respuestas guardadas, un agente de IA las lee y elige la brecha más grande: una pregunta en la que los asistentes nombran a otras empresas y nunca a Estela. Hace un solo cambio en el sitio para responder esa pregunta, en inglés y en español, usando solo hechos que ya están publicados. Después, un segundo modelo revisa cada frase nueva contra el sitio existente. Lee la versión publicada, no la editada, así un cambio no puede aportar su propia evidencia. Se compila el sitio y el cambio queda abierto como un pull request en borrador.

Una persona lo lee y decide. Nada se publica sin aprobación. Mientras un cambio espera, la corrida siguiente no hace nada, así cada cambio se mide por separado. Cada cambio aprobado aparece en el registro de cambios de nuestra página de inicio, con su fecha y su motivo, y los automáticos están marcados.

Cada corrida además escribe una entrada en un registro: la pregunta, qué cambió, qué esperamos que pase y, una semana después, qué pasó en realidad.

Qué encontró

La primera corrida encontró un problema que ningún texto podía arreglar. ChatGPT seguía citando páginas de nuestro sitio anterior, que ya no existían hacía semanas. Su índice de búsqueda no había registrado el sitio nuevo, así que cualquier cambio en nuestras páginas le resultaba invisible. Primero arreglamos la indexación.

La segunda pregunta fue la de agentes en Montevideo. ChatGPT nombraba a Marvik, Agéntico y AgentiA, y citaba sus páginas de inicio, que dicen «agentes» y «Montevideo» en la misma frase. La nuestra no. El proceso agregó esa pregunta y una respuesta directa a nuestra página de consultoría. Una semana después ChatGPT nombró a Estela y citó esa página. A la semana siguiente, con la página igual, nos volvió a sacar. Una buena semana es ruido, así que ahora juzgamos un cambio haciendo la misma pregunta sola varias veces, no por un único puntaje semanal.

Los números hasta ahora

Nuestras primeras corridas estaban contaminadas. El prompt terminaba con una pregunta que nombraba a Estela, y eso se filtraba a las demás respuestas. Los resultados anteriores al 26 de octubre no cuentan.

Desde entonces, ChatGPT nombró a Estela en 5, 6, 5 y 7 de las diez respuestas. Claude casi nunca nos nombra. Sus respuestas citan directorios y prensa, y su búsqueda no encuentra nuestras páginas, así que ningún cambio en nuestros textos lo va a mover. Para eso hace falta que otros escriban sobre nosotros, y esa parte el proceso no la puede hacer.

Por qué lo construimos

Es lo mismo que construimos para nuestros clientes. Su software lee sus propias señales (errores, uso, las correcciones que hacen las personas), propone un arreglo por vez y comprueba si funcionó. Una persona aprueba cada cambio. Quisimos usar ese proceso en algo nuestro, en público, donde cualquiera puede revisar los resultados, incluidas las semanas en que nada mejoró.