Paul Christiano: RLHF, ARC e segurança da IA | Ícones da Tecnologia | Ícones da Tecnologia

Dossiê · Pessoa

Paul Christiano: um dos arquitetos do RLHF, fundador do ARC e chefe de segurança do instituto de IA dos EUA

Paul Christiano é um pesquisador americano de alinhamento de IA, área que tenta fazer sistemas de inteligência artificial agirem de acordo com interesses humanos. Liderou a equipe de alinhamento de modelos de linguagem da OpenAI, foi um dos principais arquitetos do RLHF, fundou o Alignment Research Center (ARC) e chefiou a segurança de IA do instituto do governo dos EUA.

Atualizado em · 1 fontes públicas citadas

O RLHF é uma técnica que usa avaliações feitas por pessoas para treinar sistemas de IA. Paul Christiano foi um dos principais arquitetos dessa técnica na OpenAI e depois deixou a empresa para se dedicar a problemas mais teóricos do alinhamento de IA [1].

Olimpíada, MIT e Berkeley

Christiano estudou na Harker School, em San José, na Califórnia, e ganhou medalha de prata na 49ª Olimpíada Internacional de Matemática, em 2008 [1].

Formou-se em matemática no MIT em 2012. Lá pesquisou estruturas de dados, criptografia quântica e otimização combinatória [1].

Fez o doutorado na UC Berkeley, concluído em 2017 sob orientação de Umesh Vazirani, com a tese Manipulation-resistant online learning [1].

Durante o doutorado, colaborou com o AI Impacts numa metodologia preliminar para comparar supercomputadores com cérebros e organizou uma loteria de doadores que juntou quase US$ 50 mil para uma única instituição de caridade [1].

OpenAI e o RLHF

De 2017 a 2021, Christiano trabalhou na OpenAI, onde liderou a equipe de alinhamento de modelos de linguagem [1].

Foi um dos principais arquitetos do aprendizado por reforço com feedback humano (RLHF). Foi coautor do artigo Deep Reinforcement Learning from Human Preferences, de 2017, que o New York Times considerou "um passo notável na pesquisa de segurança de IA" (tradução livre) [1].

Em 2018 foi coautor de AI safety via debate e trabalhou com supervisão escalável, que busca supervisionar IAs em áreas onde pessoas teriam dificuldade de avaliar a qualidade das respostas [1].

Em 2021 deixou a OpenAI para trabalhar em questões mais conceituais e teóricas do alinhamento [1].

Paul Christiano: marcos por ano

Número de marcos da carreira de Christiano registrados pela Wikipédia em cada ano.

Contagem simples de eventos citados na Wikipédia; a página não informa a data de nascimento, então não há gráfico de idade.

Alignment Research Center e METR

Em 2021, Christiano fundou o Alignment Research Center (ARC), organização sem fins lucrativos que desenvolve métodos para explicar mecanicamente o comportamento de redes neurais. Um dos temas é extrair o conhecimento latente de modelos de machine learning avançados [1].

O ARC também desenvolveu técnicas para identificar e testar se um modelo de IA é potencialmente perigoso. Em abril de 2023, a Economist relatou que o ARC estudava criar um padrão setorial de segurança de IA [1].

Em dezembro de 2023, a equipe de avaliações do ARC se separou e virou o METR, organização independente sem fins lucrativos [1].

Governo dos EUA e a polêmica do NIST

Em 2023, Christiano entrou no conselho consultivo da Frontier AI Taskforce do governo britânico [1].

Em abril de 2024 foi nomeado chefe de segurança de IA do US AI Safety Institute, ligado ao NIST. Em março de 2024, antes da nomeação, reportagens disseram que funcionários e cientistas do NIST ameaçaram pedir demissão por causa de suas ligações com o movimento do altruísmo eficaz e de suas opiniões sobre risco de IA. O VentureBeat registrou o temor de que a nomeação comprometesse a objetividade do instituto [1].

Do outro lado, a Wikipédia cita uma defesa de suas qualificações para parte das tarefas do instituto [1].

Volta ao ARC e conselhos

Segundo a Wikipédia, Christiano voltou ao ARC como diretor-executivo em agosto de 2026. Em setembro de 2026 entrou no conselho da OpenAI Foundation como observador sem voto, comprometendo-se a se declarar impedido em assuntos ligados à OpenAI e em avaliações de modelos [1].

Ele também foi um dos curadores iniciais do Long-Term Benefit Trust da Anthropic [1].

Como esses fatos são muito recentes, a página pode mudar; a própria Wikipédia descreve de formas diferentes seu papel no conselho da OpenAI Foundation [1].

Opiniões sobre o risco da IA

Em 2017, a Wired escreveu que pesquisadores de alinhamento como ele não temiam robôs malignos, mas sim que, à medida que a IA avançasse além da compreensão humana, seu comportamento se afastasse dos objetivos humanos [1].

No podcast Bankless, em 2023, Christiano estimou em 10% a 20% a chance de uma tomada de controle pela IA com muitas ou a maioria das pessoas mortas, e disse ver uma chance de "50/50" de catástrofe logo depois de surgirem sistemas de IA de nível humano [1].

Frases e declarações públicas

“10–20% de chance de uma tomada de controle pela IA, com muitos ou a maioria dos humanos mortos.”

Podcast Bankless, 2023 (tradução livre), segundo a Wikipédia

Linha do tempo

  1. 2008

    Medalha de prata na Olimpíada Internacional de Matemática

  2. 2012

    Forma-se em matemática no MIT

  3. 2017

    Doutorado em Berkeley; entra na OpenAI; artigo sobre RLHF

  4. 2018

    Artigo AI safety via debate

  5. 2021

    Deixa a OpenAI e funda o ARC

  6. 2023

    TIME100 AI; Frontier AI Taskforce; METR se separa do ARC

  7. 2024

    Chefe de segurança de IA do US AI Safety Institute

  8. 2026

    Volta ao ARC; observador no conselho da OpenAI Foundation

Empresas ligadas a Paul Christiano

Empresas desta coleção em que a pessoa trabalhou, fundou, investiu ou com que teve relação direta. Os nomes com link já têm dossiê publicado.

Ver a rede de Paul Christiano no grafo 3D

  • OpenAI Liderou a equipe de alinhamento de modelos de linguagem de 2017 a 2021
  • Anthropic Foi curador inicial do Long-Term Benefit Trust da Anthropic

Veja também: outras pessoas

Sumário de siglas usadas

RLHF
Reinforcement learning from human feedback, aprendizado por reforço com feedback humano
ARC
Alignment Research Center, organização de pesquisa em alinhamento fundada por Christiano
METR
Organização de avaliação de modelos de IA que nasceu da equipe de avaliações do ARC
NIST
National Institute of Standards and Technology, instituto de padrões do governo dos EUA

Perguntas frequentes

Quem é Paul Christiano?+
Um pesquisador americano de alinhamento de IA, ex-OpenAI, fundador do Alignment Research Center e ex-chefe de segurança do US AI Safety Institute.
Qual a ligação de Christiano com o RLHF?+
Ele foi um dos principais arquitetos da técnica na OpenAI e coautor do artigo de 2017 Deep Reinforcement Learning from Human Preferences.
Por que a nomeação de Christiano no NIST foi polêmica?+
Reportagens de 2024 disseram que funcionários do NIST ameaçaram se demitir por causa de suas ligações com o altruísmo eficaz e de suas opiniões sobre risco da IA. Houve também quem defendesse suas qualificações.
O que é o METR?+
Uma organização independente sem fins lucrativos de avaliação de modelos, criada em dezembro de 2023 a partir da equipe de avaliações do ARC.

Referências

Fontes consultadas

  1. Paul Christiano · Wikipédia

Este dossiê usa apenas informações públicas e com fonte. Não publicamos dados pessoais privados, como endereço, documentos ou informações de saúde. Encontrou um erro? Escreva para [email protected].

Conclusão

Christiano ajudou a criar o RLHF e depois passou a estudar como verificar se esses sistemas são seguros. Sua trajetória cruza laboratórios, organizações sem fins lucrativos e governos, e também atraiu críticas pela ligação com o altruísmo eficaz.