Un reconocido bufete de abogados de Wall Street, Sullivan & Cromwell, se vio obligado a presentar disculpas formales ante un tribunal federal tras la detección de errores generados por inteligencia artificial en un documento judicial. El incidente, revelado por The New York Times, ha generado un debate sobre la fiabilidad y el uso de estas herramientas en el sistema legal estadounidense.
El bufete, uno de los más antiguos y prestigiosos de Estados Unidos, tuvo que admitir ante el juez Martin Glenn del Tribunal de Quiebras de Estados Unidos en Manhattan que el documento presentado contenía alucinaciones de IA, es decir, información inventada por sistemas automatizados. Los errores fueron identificados por abogados de la contraparte, quienes notaron inconsistencias en las citas de casos judiciales.
En una carta enviada el 18 de abril, Andrew Dietderich, socio del bufete, expresó su pesar por lo ocurrido. Lamentamos profundamente que esto haya ocurrido , escribió, reconociendo la gravedad de la situación. El documento en cuestión presentaba cerca de tres docenas de errores, muchos de los cuales consistían en la cita de pasajes inexistentes en fallos judiciales reales.
Este caso pone de manifiesto los riesgos asociados al uso de la inteligencia artificial en el ámbito legal, donde estas herramientas se han vuelto populares debido a su capacidad para procesar grandes volúmenes de información. Sin embargo, su propensión a generar contenido erróneo pero plausible ha generado preocupación entre los profesionales del derecho.
La Asociación de Abogados de Estados Unidos ha advertido sobre la necesidad de extremar las precauciones al utilizar modelos de IA en procesos legales. En este caso particular, Dietderich admitió que no se siguieron los protocolos internos de la firma para el uso de estas herramientas. Las políticas de la firma que rigen el uso de la IA no se siguieron , señaló en la carta, recordando una de las recomendaciones clave: no confiar en nada y verificarlo todo .
El error se produjo en el contexto de un caso relacionado con Prince Group, un conglomerado camboyano cuyo fundador, Chen Zhi, ha sido acusado de operar una red de estafa a nivel global. Sullivan & Cromwell representa a un grupo designado para supervisar los activos relacionados con la compañía, que se declaró en bancarrota en Manhattan el 8 de abril.
Tras la detección de las fallas, la firma aseguró haber revisado todos los documentos relacionados con el caso y afirmó que las alucinaciones de la IA se limitaron a una única presentación judicial. No obstante, el incidente ha generado dudas sobre la fiabilidad de la inteligencia artificial en el ámbito legal y la necesidad de establecer protocolos rigurosos para su uso.
La disculpa de Sullivan & Cromwell y la admisión de errores por parte de uno de sus socios representan un golpe a la imagen de la firma y un llamado de atención para la industria legal en general. El caso subraya la importancia de la supervisión humana y la verificación exhaustiva de la información generada por la IA, incluso cuando se trata de tareas que parecen rutinarias.
El incidente también plantea interrogantes sobre la responsabilidad legal en caso de errores generados por la IA. ¿Quién es responsable cuando un sistema automatizado produce información falsa que afecta un caso judicial? ¿El desarrollador del software, el usuario o ambos? Estas son preguntas que aún no tienen respuestas claras y que probablemente serán objeto de debate en los próximos años.
La creciente adopción de la inteligencia artificial en el ámbito legal es inevitable, pero este caso demuestra que es fundamental abordar los riesgos asociados a su uso de manera responsable y transparente. La verificación humana, la supervisión rigurosa y el establecimiento de protocolos claros son esenciales para garantizar la integridad del sistema legal y proteger los derechos de las partes involucradas.
El debate sobre el uso de la IA en el sistema legal no se limita a la precisión de la información. También existen preocupaciones sobre la privacidad de los datos, el sesgo algorítmico y la posible automatización de tareas que tradicionalmente han sido realizadas por abogados. Estos son temas complejos que requieren una cuidadosa consideración y un diálogo abierto entre los profesionales del derecho, los desarrolladores de software y los reguladores.
El caso de Sullivan & Cromwell sirve como un recordatorio de que la inteligencia artificial es una herramienta poderosa, pero no infalible. Su uso en el ámbito legal debe ser guiado por la ética, la responsabilidad y el compromiso con la justicia. La verificación exhaustiva de la información y la supervisión humana son esenciales para evitar errores costosos y proteger la integridad del sistema legal.
