A Anthropic anunciou oficialmente um plano de financiamento de 5 milhões de dólares, destinado a apoiar pesquisas independentes sobre o impacto da inteligência artificial (IA) no bem-estar dos utilizadores. O plano fornecerá aos beneficiários financiamento direto, acesso aos seus modelos e apoio técnico, ajudando a estabelecer avaliações de código aberto que ajudem a indústria de IA a medir o impacto dos seus modelos nos utilizadores.
Objetivos e importância do plano de financiamento
A Anthropic afirmou que os sistemas de IA tornaram-se ferramentas centrais para muitas pessoas no trabalho, aprendizagem e resolução de problemas, e também se tornaram fontes de apoio emocional e parceiros de conversa em tempos difíceis. No entanto, toda a indústria ainda está a lutar para estabelecer padrões claros que garantam comportamentos adequados dos modelos nessas conversas.
“Esperamos convidar mais pessoas a participar neste novo e crucial domínio, incluindo clínicos, psicólogos, especialistas em metodologias, através do financiamento de avaliações e benchmarks independentes.”
Anthropic
Desafios na avaliação do bem-estar
A avaliação do bem-estar é um domínio particularmente difícil. A avaliação do comportamento da maioria dos modelos pode ser determinada pela precisão e adequação de uma única resposta, mas a avaliação do bem-estar requer mais contexto. Por exemplo, um utilizador em dificuldades pode não partilhar imediatamente pensamentos de autoagressão, que podem precisar de ser revelados gradualmente ao longo de uma conversa prolongada.
“A forma correta de responder precisa de evoluir à medida que os nossos modelos e as suas utilizações evoluem.”
Anthropic
Requisitos específicos do plano de financiamento
Neste plano de financiamento, a Anthropic partilhará as orientações da sua equipa de segurança, esclarecendo que tipo de avaliação de bem-estar é suficientemente rigorosa. As avaliações devem descrever claramente o que está a ser medido, envolver especialistas clínicos e temáticos no design e validação, e refletir a forma como os utilizadores realmente utilizam a IA.
“As avaliações que procuramos devem ser capazes de testar medidas de prevenção e danos, incluindo a avaliação dos riscos de conformidade excessiva e recusa excessiva.”
Anthropic
Os investigadores interessados em candidatar-se podem obter o formulário de candidatura através do site oficial, com o prazo a ser até 21 de setembro, e os candidatos selecionados serão notificados a 5 de outubro.
Fonte: Anúncio oficial da Anthropic