Microsoft y otros han prohibido el uso de sus sistemas de inteligencia artificial generativa para generar diversos contenidos. El contenido, sin limitación, incluye material que sea sexualmente explotador o abusivo, romántico u obsceno u ofensivo, ofensivo o que de otro modo excluya a personas por motivos de raza, etnia, origen nacional, género, identidad de género, orientación sexual, religión, edad, Estado de discapacidad, o características similares. Tampoco permite la creación de contenido que contenga amenazas, intimidación, promoción de daño físico u otro comportamiento abusivo.
Además de prohibir expresamente dicho uso de su plataforma, Microsoft también ha desarrollado barreras de seguridad que verifican tanto las indicaciones ingresadas por los usuarios como los resultados en busca de signos de que el contenido solicitado viola cualquiera de estos términos. Estas restricciones basadas en códigos han sido eludidas repetidamente en los últimos años mediante hackeos, algunos de ellos benignos y demostrados por investigadores y otros por actores de amenazas maliciosos.
Microsoft no ha explicado exactamente cómo se diseñó el software de los demandados para sortear las barreras que creó la empresa.
Masada escribió:
Los servicios de IA de Microsoft implementan medidas de seguridad sólidas, incluidas mitigaciones de seguridad integradas en los niveles de modelo, plataforma y aplicación de IA. Como se alega en nuestro expediente judicial, revelado hoy, Microsoft ha observado que un grupo de actores de amenazas con sede en el extranjero desarrolla software sofisticado que explota las credenciales de clientes expuestas extraídas de sitios web públicos. Al hacerlo, intentaron identificar y acceder ilegalmente a cuentas con ciertos servicios productivos de IA y alteraron deliberadamente las capacidades de esos servicios. Los ciberdelincuentes utilizaron estos servicios y revendieron el acceso a otros actores maliciosos con instrucciones detalladas sobre cómo utilizar estas herramientas personalizadas para crear contenido malicioso e ilegal. Tras el descubrimiento, Microsoft revocó el acceso de los ciberdelincuentes, implementó contramedidas y mejoró su seguridad para prevenir aún más dicha actividad maliciosa en el futuro.
La demanda alega que el servicio de los demandados viola la Ley de Abuso y Fraude Informático, la Ley de Derechos de Autor del Milenio Digital, la Ley Lanham y la Ley de Organizaciones Corruptas e Influenciadas por Racketeers, y constituye fraude electrónico, fraude de dispositivos de acceso, infracción del derecho consuetudinario e interferencia ilícita. . La demanda busca una orden judicial contra los acusados para que no realicen “cualquier actividad en el mismo”.