OpenAI ha desarrollado una herramienta con una precisión del 99% para identificar textos generados por ChatGPT, pero ha optado por no lanzarla aún. El motivo principal es un debate interno sobre el impacto que podría tener en el uso de su servicio, así como los riesgos técnicos asociados. La herramienta, en desarrollo durante casi dos años, emplea una técnica de «marca de agua» en los textos generados por IA, pero presenta desafíos en su implementación.
La nueva tecnología modifica sutilmente la elección de palabras para crear una marca de agua invisible para los usuarios, pero detectable por una herramienta específica. Aunque se considera técnicamente prometedora, OpenAI está preocupada por su posible elusión por parte de usuarios malintencionados y por su impacto en comunidades no angloparlantes.
A pesar de su alta precisión en la detección de manipulaciones menores, como la paráfrasis, la herramienta tiene limitaciones frente a manipulaciones más extensas y técnicas de traducción. Anteriormente, OpenAI había lanzado el AI Text Classifier en enero de 2023 para identificar textos generados por IA, pero su baja precisión llevó a su discontinuación. La empresa sigue evaluando cómo equilibrar los beneficios de la herramienta con los posibles efectos negativos en el uso y la percepción de sus servicios.