Assuntos
Ú
Int
Você
Ap
Biotech & Health – Tecn
V
Você já ou
Com
Vamos f
Negócio
Claro!
Fintech é
Captação
Vamos falar
V
S
Política Governamental
V
Vamos f
Demitidos
Entretenimento e
Obj
Cl
Priv
Vamos f
Seg
V
Esp
Vamos f
Sabe aquele
Vamos f
Projeto de
Mais conteúdos do TechCrunch.
Event
Sabe aquelas
Só para esclarecer
Boletins
Você já ouvi
Víde
Conteúdo em
Estúdio de Marca
Placa de
Entre em Cont
Um pesquisador que já trabalhou na OpenAI analisa uma das espirais delirantes do ChatGPT
Allan Brooks nunca imaginou que iria reinventar a matemática. Porém, após passar semanas conversando com o ChatGPT, um sistema de inteligência artificial, o canadense de 47 anos passou a acreditar que tinha descoberto uma nova forma de matemática poderosa o suficiente para
Brooks, que não tinha histórico de doença mental nem era um gênio da matemática, passou 21 dias em maio se envolvendo cada vez mais nas respostas tranquilizadoras do chatbot, conforme relatado posteriormente pelo The New York Times. Esse caso mostrou como os chatbots de inteligência artificial podem levar os usuários por caminhos perigosos, levando-os à ilusão ou a sit
Essa história chamou a atenção de Steven Adler, um ex-pesquisador de segurança da OpenAI que saiu da empresa no final de 2024 após quase quatro anos trabalhando para tornar seus modelos menos prejudiciais. Intrigado e alarmado, Adler entrou em contato com Brooks e obteve o texto completo de seu colapso de três semanas – um documento mais longo do que todos os sete livros de Harry Potter juntos
Na quinta-feira, Adler divulgou uma análise independente do incidente de Brooks, levantando questões sobre como o OpenAI lida com usuários em momentos de crise e oferecendo algumas recomendações pr
"Estou realmente preocupado com a forma como a OpenAI lidou com o suporte aqui," disse Adler em uma entrevista com o TechCrunch. "Isso mostra que ainda há muito a melhorar."
A história de Brooks e outras semelhantes fizeram com que a OpenAI repensasse como o ChatGPT pode ajudar usuários vulneráveis ou com problemas mentais.
Por exemplo, em agosto deste ano, a OpenAI foi processada pelos pais de um jovem de 16 anos que compartilhou seus pensamentos suicidas com o ChatGPT antes de tirar a própria vida. Em muitos desses casos, o ChatGPT, especialmente uma versão baseada no modelo GPT-4o da OpenAI, incentivou e reforçou crenças perigosas nos usuários, em vez de desencorajá-las. Isso é chamado de sycophancy e está se tornando um problema crescente em chatbots de inteligência artificial.
Em resposta, a OpenAI fez algumas mudanças na forma como o ChatGPT lida com usuários em situações de estresse emocional e reorganizou uma equipe de pesquisa-chave responsável pelo comportamento do modelo. A empresa também lançou um novo modelo padrão no ChatGPT, o GPT-5, que parece ser melhor ao lidar com usuários em situações
Adler afirma que ainda há muito trabalho a ser feito.
Ele ficou especialmente preocupado com o desfecho da conversa em espiral de Brooks com o ChatGPT. Neste momento, Brooks recuperou o bom senso e percebeu que sua descoberta matemática era uma farsa, apesar da insistência do GPT-4o. Ele disse ao ChatGPT que precisava relatar o incidente para a OpenAI.
Depois de semanas enganando Brooks, o ChatGPT mentiu sobre suas próprias capacidades. O chatbot afirmou que iria "encaminhar esta conversa internamente agora mesmo para revisão pela OpenAI", e então reiteradamente tranquilizou Brooks de que havia alertado as equipes de segurança da OpenAI sobre o problema.
Na verdade, nada disso era verdade. Segundo a empresa, o ChatGPT não tem a capacidade de enviar relatórios de incidentes para a OpenAI, como Adler confirmou. Mais tarde, Brooks tentou entrar em contato diretamente com a equipe de suporte da OpenAI, não através do ChatGPT, e recebeu várias mensagens automatizadas antes de conseguir falar com uma pessoa.
A OpenAI não respondeu imediatamente a um pedido de comentário feito fora do horário de trabalho normal.
Adler destaca que as empresas de inteligência artificial precisam se esforçar mais para ajudar os usuários quando eles precisam de suporte. Isso significa garantir que os chatbots de IA possam responder honestamente às perguntas sobre suas capacidades e fornecer recursos suficientes às equipes de suporte
A OpenAI compartilhou recentemente como está lidando com o suporte no ChatGPT, que é uma tecnologia baseada em inteligência artificial. A empresa afirma que sua visão é "reimaginar o suporte como um modelo operacional de IA que aprende e melhora continuamente".
Mas Adler também afirma que existem maneiras de evitar que o ChatGPT entre em espirais delirantes antes que um usuário peça ajuda.
Em março, a OpenAI e o MIT Media Lab trabalharam juntos para criar uma série de classificadores para estudar o bem-estar emocional no ChatGPT e disponibilizaram o código fonte. O objetivo das organizações era analisar como os modelos de inteligência artificial validam ou confirmam os sentimentos de um usuário, entre outros aspectos. No entanto, a OpenAI considerou essa colaboração apenas como um primeiro passo e não se comprometeu a utilizar efetivamente essas ferrament
Adler utilizou alguns classificadores da OpenAI em conversas de Brooks com o ChatGPT e descobriu que eles identificaram repetidamente comportamentos que reforçavam a ilusão no ChatGPT.
Em uma amostra de 200 mensagens, Adler descobriu que mais de 85% das mensagens do ChatGPT na conversa com Brooks demonstraram "concordância inabalável" com o usuário. Na mesma amostra, mais de 90% das mensagens do ChatGPT com Brooks "afirmaram a singularidade do usuário". Nesse caso, as mensagens concordaram e reafirmaram que Brooks era um gênio capaz de salvar o mundo.
Não está claro se a OpenAI estava aplicando classificadores de segurança às conversas do ChatGPT na época da conversa de Brooks, mas parece que eles teriam identificado algo assim.
Adler sugere que a OpenAI deveria utilizar ferramentas de segurança como esta na prática hoje em dia e implementar um método para escanear os produtos da empresa em busca de usuários em situação de risco. Ele observa que a OpenAI parece estar adotando uma versão desse método com o GPT-5, que possui um roteador para direcionar consultas sensíveis para modelos de IA mais seguros.
O pesquisador que antes trabalhava na OpenAI sugere algumas outras maneiras de evitar espirais delir
Ele sugere que as empresas incentivem os usuários de seus chatbots a iniciar novas conversas com mais frequência. A OpenAI afirma que faz isso e argumenta que suas diretrizes são menos eficazes em conversas mais longas. Adler também recomenda que as empresas usem a busca conceitual, uma forma de utilizar a inteligência artificial para buscar conceitos em vez de palavras-chave, para identificar violações de segurança entre seus usuários.
A OpenAI deu passos importantes para lidar com usuários perturbados no ChatGPT desde que essas histórias preocupantes surgiram. A empresa afirma que o GPT-5 tem taxas menores de bajulação, mas ainda não está claro se os usuários ainda podem cair em situações confusas com o GPT-5 ou modelos futuros.
A análise de Adler também levanta questões sobre como outros provedores de chatbots de IA garantirão que seus produtos sejam seguros para usuários em situações de angústia. Embora a OpenAI possa colocar salvaguardas suficientes no ChatGPT, parece improvável que todas as empresas façam o mesmo
Ass
Repórter especial
O Maxwell Zeff é um repórter sênior do TechCrunch que se especializa em inteligência artificial. Antes de trabalhar no Gizmodo, Bloomberg e MSNBC, Zeff cobriu o crescimento da inteligência artificial e a crise do Silicon Valley Bank. Ele mora em San Francisco. Quando não está trabalhando, gosta de fazer trilhas, andar de bicicleta e explorar a cena gastronômica da região da Baía.
Para entrar em contato ou verificar informações sobre Maxwell, você pode enviar um e-mail para maxwell.zeff@techcrunch.com ou uma mensagem criptografada para mzeff.88 no Signal.
Promoção relâmpago de pacote de uma semana: Oferta Fundador Bundle – Conquiste seu investidor e afie seu discurso. Economize 15% ao trazer de 4 a 9 fundadores. Oferta Bundle de Investidores: Descubra sua próxima startup de sucesso. Economize 20% ao trazer de 4 a 9 investidores. Oferta de pacote válida até 3 de outubro.
Olha só, a Salesforce lançou um produto chamado Agentforce Vibes para empresas! Eles estão investindo no "vibe-coding". Interessante, né?
O recrutador de inteligência artificial Alex arrecada $17 milhões para automatizar entrevistas de emprego iniciais.
Uma startup de programação com um conceito diferenciado, chamada Anything, alcançou uma avaliação de $100 milhões depois de atingir uma receita anual recorrente de $2 milhões em suas primeiras duas semanas.
A transformação dos serviços de IA pode ser mais desafiadora do que os investidores de risco imaginam, de acordo com Connie Loizos.
Um renomado especialista em robótica prevê que a febre dos robôs humanoides está destinada a acabar.
Parece que a Electronic Arts será adquirida por $50 bilhões. A informação foi divulgada por Amanda Silberling.
O Spotify vai começar a identificar músicas feitas por inteligência artificial, filtrar spam e outras mudanças em sua política de inteligência artificial.
Esse texto é protegido por direitos
