Como a Engenharia de Segurança baseada em Inteligência Artificial vai transformar a engenharia

Engenharia de Segurança baseada em Inteligência Artificial

A jornada no desenvolvimento de máquinas inteligentes nos levou a um caminho de descoberta, surpresa, admiração e preocupação. Mesmo com muito a ser descoberto, sabemos que a busca por uma Inteligência Artificial segura mudará a forma como projetamos, desenvolvemos e trazemos produtos inteligentes ao mercado. A IA segura requer não apenas a defesa de invasores externos, como fazemos com a segurança cibernética; devemos garantir que o comportamento da IA ​​seja seguro. O desenvolvimento futuro da IA ​​se concentrará na segurança e no gerenciamento de riscos em todas as partes do processo de desenvolvimento.

Segurança em padrões e diretrizes de IA

Uma das necessidades da Engenharia de Segurança da AI é ter diretrizes e padrões práticos amplamente acessíveis para o desenvolvimento de AI. Embora uma série de organizações de padrões e consórcios estejam trabalhando para estabelecer esses recursos, eles ainda estão longe de chegar a um consenso (aqui, novamente, surge o problema de alinhamento de valor) e ainda mais longe de fornecer orientação técnica específica. Nesse ínterim, os setores de alta segurança, como a aeroespacial e manufatura médica, oferecem modelos de gerenciamento de risco potencialmente úteis que podem atender às necessidades de segurança de IA de curto prazo e servir como base para eventuais padrões e estruturas. Em particular, o método Delphi pode ser usado para organizar a sabedoria e o julgamento coletivos de especialistas, avaliações de risco de diferentes tipos de sistemas de IA e resultados de cenários de decolagem forte e suave.

Segurança em Design Thinking e Processo

Uma necessidade relacionada é incorporar a segurança de forma proativa em todas as áreas do projeto de engenharia, começando com o pensamento de projeto até o processo de lançamento dos produtos no mercado. Vamos encarar: isso significará uma mudança para muitas equipes de desenvolvimento. Veja a internet. Veja os sistemas embarcados. A realidade é que a maioria das indústrias não dedica recursos significativos à segurança até que o produto comece a ter sucesso. As consequências potenciais de deixar a segurança desmarcada em sistemas inteligentes são significativas, pois pode não ser possível incorporar a segurança após o fato.

Segurança nas necessidades do usuário

A IA segura de engenharia exigirá que os engenheiros vão além dos casos de uso de nível superficial e realmente entendam os valores e preferências dos usuários Estamos acostumados a aceitar os casos de uso e os comentários do usuário pelo seu valor nominal; entretanto, o problema de alinhamento de valores discutido na Parte 2 nos diz que precisamos cavar mais fundo para entender as necessidades reais. Se, por exemplo, perguntarmos a uma estudante por que ela está freqüentando a escola, ela provavelmente dirá que deseja adquirir conhecimento e estudar uma área de interesse. Estudos mostram, porém, que razões reais ou adicionais estão em outro lugar: obter credenciais, obter a aprovação dos colegas e aumentar o potencial de ganhos, por exemplo. Se, como engenheiros, apenas olharmos para as necessidades superficiais do usuário e feedback ao desenvolver produtos inteligentes, provavelmente iremos desenvolver produtos que realmente não atendem às necessidades do usuário … e resultarão em inteligência que falha.

Segurança na avaliação de vulnerabilidade

Em todas as fases do processo, a segurança do produto e sua inteligência (memória, velocidade de processamento, etc.) devem ser consideradas e abordadas. Um hacker precisa encontrar apenas uma fraqueza neste espaço infinito de possibilidades, mas uma IA poderia explorar a inteligência de maneiras que não podemos prever ou mesmo imaginar. Quais são as vulnerabilidades potenciais do produto? Quais são os possíveis abusos? Como os recursos individuais podem ser mal utilizados? Como cada cenário poderia sair pela culatra? Os dados estão seguros e protegidos? Como nós sabemos? O produto inclui mais inteligência do que o necessário? Como isso pode ser mal utilizado? Como isso poderia ser protegido?

Conclusão

A engenharia de IA segura trará mudanças em nossos processos, formas de pensar e prioridades. Ter estruturas e padrões de desenvolvimento de IA contribuirá muito para a engenharia de IA segura. Nesse ínterim, seria útil tomar emprestado práticas das indústrias aeroespacial e de dispositivos médicos, bem como adicionar segurança a todos os aspectos do processo de desenvolvimento de seu produto. A seguir, na Parte 6, veremos uma técnica emergente para o desenvolvimento de IA segura, chamada de estupidez artificial.

Para artigos como esse, acesse o link.

Artigo escrito por Roman Yampolskiy e publicado no blog da Mouser Electronics: How AI Safety Engineering Will Transform Engineering.

Traduzido por Equipe Embarcados.

Website | Veja + conteúdo

Mouser Electronics é um dos líderes mundiais em distribuição de semicondutores e componentes eletrônicos e distribuidor autorizado de mais de 500 fornecedores líderes da indústria. Nosso foco é a excelência em serviço ao cliente, oferendo rápida entrega e embarque imediato com a precisão no processo, desde a colocação dos pedidos até a sua entrega. Mouser oferece uma ampla seleção de produtos em estoque para rápido envio a mais de 170 países.

Licença Creative Commons Esta obra está licenciada com uma Licença Creative Commons Atribuição-CompartilhaIgual 4.0 Internacional.

Receba os melhores conteúdos sobre sistemas eletrônicos embarcados, dicas, tutoriais e promoções.

Comentários:
Notificações
Notificar
guest
0 Comentários
Inline Feedbacks
View all comments
Talvez você goste:

Séries

Menu