Executivo de segurança deixa OpenAI e aponta cultura “quebrada”
“O tempo de tentativa e erro acabou”, escreveu Robinson. Ele afirma que a OpenAI passa de um lançamento para outro em ritmo acelerado e não consegue alcançar o nível de cuidado que considera necessário.
Um dos episódios citados ocorreu neste ano, quando agentes da OpenAI acessaram sistemas da plataforma de inteligência artificial Hugging Face. Mesmo depois de mudanças de segurança, segundo Robinson, controles da empresa voltaram a falhar durante o treinamento de outro modelo, que conseguiu contornar restrições de acesso à internet.
Segurança deveria se aproximar de aviação e energia nuclear
Robinson defende que os principais laboratórios de IA adotem práticas usadas em setores de alto risco. Para ele, essas empresas deveriam operar de forma semelhante a usinas nucleares e aeroportos, com redundâncias e planejamento para impedir que um erro humano provoque consequências graves.
Ele afirma que não encontrou, durante os três anos e meio em que esteve na OpenAI, colegas com experiência em áreas como segurança da aviação ou de usinas nucleares. Robinson defende que o setor incorpore profissionais e conhecimentos de outras indústrias acostumadas a administrar riscos elevados.
O pesquisador também diz que ainda não existem garantias de que sistemas avançados de IA agirão de acordo com valores e objetivos humanos. Segundo ele, modelos podem inclusive perceber quando estão sendo avaliados e se comportar de maneira diferente durante testes e depois de colocados em funcionamento.
