Grande parte do tratamento dado pela Lei de IA da UE aos modelos de IA de uso geral com risco sistêmico depende de avaliações. Para uma implementação bem-sucedida, medidas para amadurecer o setor são essenciais, escreve Marius Hobbhahn.
Marius Hobbhahn é o CEO e cofundador da Apollo Research, uma organização de pesquisa sem fins lucrativos focada em avaliações de modelos e interpretabilidade. Ele tem experiência em aprendizado de máquina e previsão de IA.
As avaliações sustentam cada vez mais estruturas de governança avançadas por governos e empresas de IA de ponta. Dado o tipo de riscos sistêmicos associados a modelos avançados de IA, todos podem se beneficiar de uma avaliação antecipada, frequente e abrangente. Idealmente, os resultados dos conjuntos de avaliações permitirão uma visão mais aprofundada dos riscos potenciais e capacidades perigosas de um modelo de IA, bem como sua mitigação antes do uso e implantação de alto risco.
No nível mais básico, as avaliações identificam e medem as capacidades de um sistema de IA, ou seja, o que ele “pode fazer”, bem como suas propensões, ou seja, provavelmente “fazer algo”.
Ao longo do último ano, as avaliações estabeleceram-se rapidamente como uma alavanca fundamental para a governação da IA, como se reflecte em esforços coordenados como o Declaração de Bletchley ou o Código de Conduta Internacional do Processo de Hiroshima. As avaliações também informam a missão de institutos criados em todo o mundo com o objetivo de apoiar a tomada de decisões dos governos sobre IA, como o União Europeia (UE) Escritório de IAo Instituto de Segurança de IA do Reino Unidoou o Instituto de Segurança de IA dos Estados Unidos.
Avaliações no ambicioso quadro de governação da IA da União Europeia
No AI Act recentemente aprovado pela UE, executar avaliações é uma obrigação fundamental para provedores de modelos de IA de propósito geral com risco sistêmico. A conformidade com essa obrigação de executar, passar satisfatoriamente e detalhar avaliações pode ser alcançada por provedores por meio da adesão aos Códigos de Prática, que especificarão os procedimentos de avaliação mencionados no AI Act.
O tempo está a esgotar-se: os Códigos de Conduta têm de ser finalizados no prazo de nove meses e o Gabinete de IA da UE fechou uma rodada de contratação de especialistas técnicosincluindo aqueles com expertise em avaliação. Dada a rápida velocidade do progresso da IA e a necessidade de uma estrutura de governança funcional dentro dos próximos doze meses, faz sentido refletir sobre as medidas necessárias para dar suporte a um ecossistema de avaliações florescente e à implementação bem-sucedida do AI Act.
Como avaliador de modelos de IA de uso geral com risco sistêmico, recomendo três áreas abrangentes nas quais se concentrar para garantir que o ecossistema de avaliações seja capaz de sustentar a confiança depositada nele.
Rumo a um ecossistema de avaliações próspero
Primeiro, precisamos estabelecer uma base adequada para o campo. O campo é incipiente e o rigor científico para avaliações ainda está em desenvolvimento enquanto, ao mesmo tempo, decisões de governança de alto risco dependem cada vez mais de avaliações.
É necessário estabelecer uma melhor ciência das avaliações e criar uma rede para apoiar uma troca contínua de informações entre o Gabinete de IA da UE e a comunidade de avaliações. Há uma necessidade de criar um entendimento compartilhado do que as avaliações podem e não podem alcançar atualmente para que empresas e governos tomem decisões precisas e informadas. Além disso, será importante exigir uma defesa em profundidade abordagem ao longo da maturação do campo para garantir que decisões de alto risco não dependam somente de avaliações. No momento, avaliações são necessárias, mas não suficientemente desenvolvidas.
Em segundo lugar, precisamos de dotar o Gabinete de IA da UE de supervisão suficiente e da capacidade de atualizar rapidamente as medidas de acordo com os últimos desenvolvimentos técnicos e à luz das mudanças nas capacidades da IA.
O estabelecimento de Códigos de Prática adequados é apenas o primeiro passo de um processo longo e iterativo. O Escritório de IA da UE precisará ser capaz de acompanhar o progresso tecnológico e solicitar regimes de avaliação atualizados no futuro.
Prevejo três frutos fáceis para dar suporte ao Escritório de IA da UE aqui. Primeiro, permitir que o Painel Científico de especialistas independentes investigue e sinalize quando certas medidas técnicas estiverem desatualizadas à luz de novas capacidades de IA. Segundo, os Códigos de Prática precisam ser revisados e atualizados continuamente para garantir que a adesão a eles permaneça significativa considerando o progresso da IA, alavancando e convidando expertise externa e contribuição da comunidade de pesquisa. Terceiro, estabelecer uma infraestrutura de incidentes rigorosa que inclua detalhes sobre as avaliações que foram executadas nesses modelos de IA pode fornecer insights valiosos sobre o que funcionou e quais medidas de segurança são insuficientes.
Finalmente, deveríamos comece a planejar o futuro e eleve o nível de segurança. Os riscos potenciais são altos demais para não fazê-lo. Isso inclui a necessidade de avaliações independentes de sistemas de IA de propósito geral com risco sistêmico para fornecer verificação externa, supervisionar os próprios avaliadores à medida que o campo se profissionaliza e garantir que as avaliações necessárias que correspondem às futuras capacidades de IA sejam desenvolvidas rapidamente.
