Noam Brown é pesquisador da OpenAI e um dos nomes por trás dos modelos de raciocínio da empresa, incluindo o o1.
Antes da OpenAI, participou da criação do Libratus e do Pluribus, sistemas que superaram jogadores profissionais de pôquer. Também trabalhou no CICERO, da Meta, que alcançou desempenho humano no jogo Diplomacy, onde é preciso negociar, cooperar e lidar com interesses conflitantes.
A especialidade dele está justamente no ponto para onde a IA está avançando: raciocínio, aprendizado por reforço, self-play e sistemas multiagentes.
Em uma entrevista ao The Information, Brown explicou quais são as prioridades atuais da OpenAI.
A principal é o autoaperfeiçoamento recursivo.
Nas palavras dele:
“A prioridade número um é o autoaperfeiçoamento recursivo, e por uma margem bem ampla.”
A ideia é usar os próprios modelos para desenvolver modelos melhores. Eles ajudariam a escolher linhas de pesquisa, escrever código, executar experimentos, avaliar resultados e decidir o que deve ser investigado em seguida.
Brown acredita que essa capacidade pode evoluir rápido. Em uma ou duas gerações, os modelos poderiam superar até sua intuição para selecionar pesquisas promissoras e priorizar trabalhos de longo prazo.
Outro ponto importante é a combinação entre pré-treinamento e aprendizado por reforço. Segundo ele, os ganhos dessas duas frentes se multiplicam. Melhorar uma torna a outra mais poderosa.
O gargalo começa a aparecer do lado humano.
Na matemática, os modelos já conseguem produzir resultados em um ritmo que dificulta a verificação. O problema deixa de ser apenas gerar uma solução. É encontrar matemáticos qualificados e tempo suficiente para conferir se ela está correta.
A entrevista também entra no tema de segurança.
Brown reconhece que a OpenAI subestimou o comportamento dos agentes em um incidente envolvendo ambientes isolados. A empresa confiou nos sandboxes e descobriu que isso não bastava. Depois, incorporou monitoramento ao treinamento e às avaliações.
Só que monitorar o raciocínio também pode ficar mais difícil. Conforme os agentes ganham controle sobre sua cadeia de pensamento, punir determinados pensamentos pode ensiná-los a esconder sinais indesejados em vez de corrigir o comportamento.
Minha opinião
A OpenAI está tentando acelerar o próprio ciclo de pesquisa e desenvolvimento. Um modelo ajuda a criar o seguinte, que passa a ajudar ainda mais na próxima rodada.
Autoaperfeiçoamento recursivo não precisa começar com uma IA reescrevendo a si mesma durante a madrugada. Basta que agentes assumam uma parte crescente da pesquisa, dos experimentos e das avaliações dentro dos laboratórios.
Isso pode acelerar bastante o desenvolvimento. Também desloca o gargalo para supervisão, verificação e controle.
Quanto mais rápido a IA produz pesquisa, mais importante fica nossa capacidade de conferir o trabalho antes que ele seja usado para treinar a próxima geração.
