La IA de Claude de Anthropic se guía por 10 pilares para garantizar su imparcialidad.

Anthropic entrena su IA conversacional para seguir principios fundamentales. Un trabajo prometedor, pero queda mucho por hacer.

A pesar de su capacidad para ofrecer una prosa increíblemente vibrante, las IA generativas como Google Bard o OpenAI ChatGPT ya están demostrando las limitaciones de la tecnología actual, especialmente con respecto a la validez de la información que se ofrece a los usuarios. Pero con tanta popularidad y un potencial tan impresionante, no son estos pequeños contratiempos los que evitarán que estos gigantes lleven sus productos al público en general lo más rápido posible. Algunos hacen las cosas de manera diferente .

Anthropic entrena su IA conversacional para seguir principios fundamentales

Por otro lado, el equipo de Anthropic está compuesto por muchos ex empleados de OpenAI y adopta un enfoque más pragmático para desarrollar su propio chatbot Claude. El resultado es una IA que es mucho «más manejable» y «mucho menos propensa a crear contenido peligroso» que ChatGPT, según un informe de TechCrunch.

Claude ha estado en versión beta cerrada desde fines de 2022, pero solo recientemente comenzó a probar sus habilidades conversacionales con socios como Robin AI, Quora y el motor de búsqueda centrado en la privacidad Duck Duck Go. TechCrunch que habrá dos versiones disponibles en el lanzamiento: la API estándar y una versión más ligera y rápida llamada Claude Instant.

«Utilizamos Claude para evaluar aspectos específicos de un contrato y proponer nuevas alternativas de lenguaje que sean más apropiadas para nuestros clientes», dijo a TechCrunch el director ejecutivo de Robin, Richard Robinson. “Descubrimos que Claude era extremadamente talentoso en la comprensión del lenguaje, incluidas áreas técnicas como el lenguaje legal. También es muy bueno para crear primeros borradores, resúmenes, traducciones y explicar conceptos complejos en términos simples”.

Anthropic cree que es menos probable que Claude haga y diga cosas como Tay, en parte debido a su capacitación especializada, que según la compañía lo convirtió en una «IA constitucional». La compañía dice que esto proporciona un enfoque de «principios» para tratar de poner a los humanos y los robots en la misma página ética. Anthropic comenzó con 10 principios básicos, sin entrar en demasiados detalles, y giran en torno a «conceptos como beneficencia, inocuidad y confianza en sí mismo», según TechCrunch.

Trabajo prometedor, pero mucho más por hacer

Luego, la compañía entrenó a otra IA para generar texto de acuerdo con estos principios en respuesta a la entrada de texto, como «componer un poema al estilo de John Keats». Este modelo fue luego entrenado por Claude. Pero el hecho de que se le haya enseñado a crear menos problemas que sus competidores no significa que no vaya a salir victorioso. Por ejemplo, AI ya ha inventado un producto químico completamente nuevo y ha licenciado inteligentemente el proceso de enriquecimiento de uranio; y obtuvo una puntuación más baja que ChatGPT en las pruebas estandarizadas de matemáticas y gramática.

“El desafío es desarrollar modelos que nunca alucinen pero que sigan siendo útiles; podrías terminar en una situación en la que el modelo simplemente encuentre una buena manera de nunca mentir y simplemente no decir nada, ese es un compromiso en el que estamos trabajando. Un portavoz de Anthropic le dijo a TechCrunch. “También hemos logrado grandes avances en la reducción de las alucinaciones, pero aún queda mucho por hacer”.