Dossiê · Inteligência artificial
Jürgen Schmidhuber: o pesquisador alemão do LSTM que disputa o crédito pela IA moderna
Jürgen Schmidhuber orientou em 1991 a tese que analisou o problema do gradiente que desaparece e, em 1997, publicou com Sepp Hochreiter o artigo mais citado sobre o LSTM, rede que dominou o processamento de linguagem nos anos 2010. Já foi chamado de “pai da IA moderna” e também é conhecido por contestar, em público, o crédito dado a Geoffrey Hinton, Yoshua Bengio e Yann LeCun.
Atualizado em · 1 fontes públicas citadas
Jürgen Schmidhuber é um cientista da computação alemão da área de inteligência artificial, diretor científico do instituto suíço Dalle Molle (IDSIA). Segundo a Wikipédia, seu grupo está na origem da rede LSTM, que foi a técnica dominante em várias tarefas de processamento de linguagem natural nos anos 2010.[1]
O artigo também atribui a ele princípios de redes neurais dinâmicas, metaaprendizado, redes adversariais e transformers lineares. Parte dessas atribuições vem de sua própria leitura da história do campo, contestada por outros pesquisadores.[1]
Munique
Schmidhuber nasceu em 17 de janeiro de 1963 em Munique. Concluiu a graduação em 1987 e o doutorado em 1991 na Universidade Técnica de Munique (TUM), com orientação de Wilfried Brauer e Klaus Schulten.[1]
O quadro de informações da Wikipédia cita o trabalho “Evolutionary principles in self-referential learning”, com data de 1987, ano da graduação.[1]
IDSIA, Lugano e KAUST
Desde 1995 dirige o IDSIA, instituto de pesquisa em IA na Suíça. Lecionou na TUM de 2004 a 2009 e foi professor de inteligência artificial na Università della Svizzera italiana (USI), em Lugano, de 2009 a 2021.[1]
Desde 2021 também dirige a iniciativa de IA da KAUST, universidade da Arábia Saudita.[1]
Jürgen Schmidhuber: idade em cada marco
Idade de Schmidhuber em cada marco, calculada a partir da data de nascimento (17 de janeiro de 1963) e dos anos citados na Wikipédia.
Idades calculadas; podem variar em um ano conforme o mês de cada marco. Vários marcos foram feitos com alunos e coautores.
O LSTM
Em 1991 Schmidhuber orientou a tese de diploma de seu aluno Sepp Hochreiter, que analisou e superou o problema do gradiente que desaparece, quando o sinal de erro some ao atravessar muitas camadas. Schmidhuber chamou esse trabalho de um dos documentos mais importantes da história do aprendizado de máquina.[1]
O nome LSTM (long short-term memory) apareceu em um relatório técnico de 1995, e o artigo mais citado sobre a rede foi publicado em 1997 por Hochreiter e Schmidhuber. A arquitetura padrão foi apresentada em 2000 por Felix Gers, Schmidhuber e Fred Cummins.[1]
Com o aluno Alex Graves, publicou em 2005 o LSTM treinado com retropropagação no tempo e, em 2006, o algoritmo de treino CTC, aplicado ao reconhecimento de fala de ponta a ponta.[1]
Redes profundas nos anos 1990
Nos anos 1980, segundo a Wikipédia, a retropropagação não funcionava bem para redes profundas com longos caminhos de atribuição de crédito. Em 1991 Schmidhuber propôs uma hierarquia de redes recorrentes pré-treinadas por aprendizado autossupervisionado, que podia ser condensada em uma única rede. Em 1993 esse sistema resolveu uma tarefa com profundidade acima de mil.[1]
Em 1991 publicou redes neurais adversariais que disputam entre si, em um jogo de soma zero, ideia que chamou de “curiosidade artificial”. A Wikipédia diz que esse princípio foi usado em 2014 na criação da rede adversarial generativa (GAN). Em 1992 publicou o fast weights programmer, que depois se mostrou equivalente ao transformer linear não normalizado.[1]
CNNs em GPU
Em 2011 o grupo de Schmidhuber no IDSIA, com o pós-doutorando Dan Ciresan, treinou redes convolucionais em GPU, baseadas em desenhos de Kunihiko Fukushima. A implementação era 60 vezes mais rápida que em CPU, contra 4 vezes de um trabalho anterior, de 2006.[1]
Em agosto de 2011 essas redes alcançaram, segundo a Wikipédia, o primeiro desempenho sobre-humano em uma competição de visão computacional e, entre maio de 2011 e setembro de 2012, venceram outras quatro competições de imagem.[1]
A Wikipédia também descreve a ResNet, publicada em dezembro de 2015, como uma variante da highway network, no trecho dedicado às redes muito profundas ligadas a Schmidhuber.[1]
NNAISENSE
Em 2014 Schmidhuber fundou a NNAISENSE, empresa que tinha como meta criar uma IA de uso geral treinando um único sistema em sequência em várias tarefas específicas. Sepp Hochreiter, Jaan Tallinn e Marcus Hutter são conselheiros.[1]
As vendas ficaram abaixo de US$ 11 milhões em 2016, e a primeira rodada de investimento veio em janeiro de 2017. Segundo a Wikipédia, em 2026 o foco da empresa havia mudado de IA geral para gestão de ativos.[1]
Disputas de crédito
Schmidhuber afirma que recebeu menos crédito do que Geoffrey Hinton, Yoshua Bengio e Yann LeCun, que dividiram o Prêmio Turing de 2018 pelo trabalho em aprendizado profundo. Em 2015 escreveu um artigo, descrito pelo Guardian como “mordaz”, argumentando que os três citam muito uns aos outros, e publicou detalhes de várias disputas de prioridade com eles.[1]
LeCun, ao New York Times, disse que Schmidhuber é “obcecado por reconhecimento” e reivindica crédito que não merece (tradução livre). Schmidhuber respondeu que LeCun disse isso sem justificativa e sem dar um único exemplo. Segundo a Wikipédia, o termo “schmidhubered” passou a ser usado, em tom de brincadeira, para quem contesta a originalidade de outros, e há quem diga que suas contribuições são subestimadas por causa do estilo confrontador.[1]
Prêmios e reconhecimento
Recebeu o Helmholtz Award da International Neural Network Society em 2013 e o Neural Networks Pioneer Award da IEEE Computational Intelligence Society em 2016. É membro da Academia Europeia de Ciências e Artes.[1]
Já foi chamado de “pai da IA moderna”. Ele, por sua vez, atribui o título de “pai do aprendizado profundo” a Alexey Grigorevich Ivakhnenko.[1]
Linha do tempo
-
1963
Nasce em Munique, em 17 de janeiro.
-
1987
Conclui a graduação na TU Munique.
-
1991
Doutorado; orienta a tese de Hochreiter; publica as redes adversariais da curiosidade artificial.
-
1992
Publica o fast weights programmer.
-
1995
O nome LSTM aparece em relatório técnico; assume a direção do IDSIA.
-
1997
Artigo do LSTM com Sepp Hochreiter.
-
2000
Arquitetura padrão do LSTM, com Gers e Cummins.
-
2006
Algoritmo CTC, com Alex Graves.
-
2011
CNNs em GPU vencem competição de visão com desempenho sobre-humano.
-
2013
Helmholtz Award da INNS.
-
2014
Funda a NNAISENSE.
-
2015
Artigo crítico sobre Hinton, Bengio e LeCun.
-
2016
Neural Networks Pioneer Award da IEEE.
-
2021
Assume a iniciativa de IA da KAUST.
Empresas ligadas a Jürgen Schmidhuber
Empresas desta coleção em que a pessoa trabalhou, fundou, investiu ou com que teve relação direta. Os nomes com link já têm dossiê publicado.
Ver a rede de Jürgen Schmidhuber no grafo 3D
Veja também: outras pessoas
- Yann LeCun Trocou críticas públicas com Schmidhuber sobre crédito no aprendizado profundo
- Geoffrey Hinton Alvo das disputas de prioridade publicadas por Schmidhuber
- Yoshua Bengio Alvo das disputas de prioridade publicadas por Schmidhuber
- Ian Goodfellow A Wikipédia liga a curiosidade artificial de Schmidhuber (1991) à criação da GAN em 2014
Sumário de siglas usadas
- LSTM
- Long short-term memory, tipo de rede neural recorrente capaz de guardar informação por muitos passos.
- IDSIA
- Instituto Dalle Molle de pesquisa em inteligência artificial, na Suíça.
- CTC
- Connectionist temporal classification, algoritmo de treino usado em reconhecimento de fala.
- GAN
- Rede adversarial generativa, em que duas redes competem entre si.
- KAUST
- King Abdullah University of Science and Technology, na Arábia Saudita.
Perguntas frequentes
Quem é Jürgen Schmidhuber?+
Quem criou o LSTM?+
Por que Schmidhuber é polêmico?+
O que é a NNAISENSE?+
Schmidhuber inventou a GAN?+
Onde Schmidhuber trabalha?+
Referências
Sites e Artigos
Fontes consultadas
- Jürgen Schmidhuber · Wikipédia
Este dossiê usa apenas informações públicas e com fonte. Não publicamos dados pessoais privados, como endereço, documentos ou informações de saúde. Encontrou um erro? Escreva para [email protected].
Conclusão
Jürgen Schmidhuber e seus alunos produziram o LSTM, o CTC e redes convolucionais em GPU que venceram competições de visão. Sua insistência em revisar quem fez o quê no aprendizado profundo o tornou uma voz polêmica na área.