Como as redes neurais líquidas do MIT podem resolver problemas de IA, da robótica ao próprio

Jul 21, 2023

Acesse nossa biblioteca sob demanda para ver as sessões do VB Transform 2023. Cadastre-se aqui

No cenário atual da inteligência artificial (IA), o burburinho em torno de grandes modelos de linguagem (LLMs) levou a uma corrida para a criação de redes neurais cada vez maiores. No entanto, nem todas as aplicações podem suportar as demandas computacionais e de memória de modelos de aprendizagem profunda muito grandes.

As restrições desses ambientes levaram a algumas direções de pesquisa interessantes. As redes neurais líquidas, um novo tipo de arquitetura de aprendizagem profunda desenvolvida por pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL), oferecem uma solução compacta, adaptável e eficiente para determinados problemas de IA. Essas redes são projetadas para enfrentar alguns dos desafios inerentes aos modelos tradicionais de aprendizagem profunda.

As redes neurais líquidas podem estimular novas inovações em IA e são particularmente interessantes em áreas onde os modelos tradicionais de aprendizagem profunda enfrentam dificuldades, como a robótica e os carros autônomos.

“A inspiração para redes neurais líquidas foi pensar nas abordagens existentes para aprendizado de máquina e considerar como elas se encaixam no tipo de sistemas críticos de segurança que os robôs e dispositivos de ponta oferecem”, disse Daniela Rus, diretora do MIT CSAIL, ao VentureBeat. “Em um robô, você não pode realmente executar um modelo de linguagem grande porque não há realmente [poder] de computação e espaço [de armazenamento] para isso.”

Transformação VB 2023 sob demanda

Você perdeu uma sessão do VB Transform 2023? Registre-se para acessar a biblioteca sob demanda para todas as nossas sessões em destaque.

Rus e seus colaboradores queriam criar redes neurais que fossem precisas e eficientes em termos de computação, para que pudessem funcionar nos computadores de um robô sem a necessidade de estar conectado à nuvem.

Ao mesmo tempo, inspiraram-se nas pesquisas com neurônios biológicos encontrados em pequenos organismos, como o verme C. Elegans, que realiza tarefas complicadas com no máximo 302 neurônios. O resultado de seu trabalho foram redes neurais líquidas (LNN).

As redes neurais líquidas representam um afastamento significativo dos modelos tradicionais de aprendizagem profunda. Eles usam uma formulação matemática que é menos dispendiosa em termos computacionais e estabiliza os neurônios durante o treinamento. A chave para a eficiência das LNNs reside no uso de equações diferenciais ajustáveis ​​dinamicamente, o que lhes permite adaptar-se a novas situações após o treinamento. Este é um recurso não encontrado em redes neurais típicas.

“Basicamente, o que fazemos é aumentar a capacidade de aprendizagem de representação de um neurônio em relação aos modelos existentes por meio de dois insights”, disse Rus. “O primeiro é uma espécie de modelo de espaço de estados bem comportado que aumenta a estabilidade dos neurônios durante o aprendizado. E então introduzimos não linearidades nas entradas sinápticas para aumentar a expressividade do nosso modelo durante o treinamento e a inferência.”

As LNNs também usam uma arquitetura de fiação diferente das redes neurais tradicionais e permite conexões laterais e recorrentes dentro da mesma camada. As equações matemáticas subjacentes e a nova arquitetura de fiação permitem que as redes líquidas aprendam modelos de tempo contínuo que podem ajustar seu comportamento dinamicamente.

“Este modelo é muito interessante porque pode ser adaptado dinamicamente após o treinamento com base nas entradas que vê”, disse Rus. “E as constantes de tempo que ele observa dependem das entradas que ele vê, e por isso temos muito mais flexibilidade e adaptação através desta formulação do neurônio.”

Uma das características mais marcantes das LNNs é a sua compactação. Por exemplo, uma rede neural profunda clássica requer cerca de 100.000 neurônios artificiais e meio milhão de parâmetros para realizar uma tarefa como manter um carro na faixa. Em contraste, Rus e seus colegas conseguiram treinar um LNN para realizar a mesma tarefa com apenas 19 neurônios.

Esta redução significativa no tamanho tem várias consequências importantes, disse Rus. Primeiro, permite que o modelo seja executado em pequenos computadores encontrados em robôs e outros dispositivos de ponta. E segundo, com menos neurônios, a rede se torna muito mais interpretável. A interpretabilidade é um desafio significativo no campo da IA. Com os modelos tradicionais de aprendizagem profunda, pode ser difícil entender como o modelo chegou a uma decisão específica.