Kria SoM: Desenvolvendo uma aplicação de borda com IA

kria som

Uma das tecnologias essenciais que dão suporte a Indústria 4.0 é a capacidade de implementar inferência de aprendizado de máquina na borda. Dependendo das necessidades da aplicação, a inferência de aprendizado de máquina pode analisar a telemetria para modelar a manutenção preditiva para evitar uma situação de parada de linha. Como alternativa, a aplicação pode inspecionar itens fabricados ou embalados na linha de produção.

A capacidade de inspecionar visualmente os itens na linha de produção requer um sistema de alto desempenho capaz de executar o processamento de imagem e algoritmos de aprendizado de máquina em uma alta taxa de quadros (maior que 30fps quadros por segundo). Ser capaz de implementar uma solução capaz de tal processamento também requer um poder computacional significativo. É aqui que produtos como o Xilinx® Kria ™ K26 System-on-Module (SoM) e o Starter Kit KV260 Vision AI da Xilinx podem ajudar.

Xilinx® Kria™ SoM & Vision AI Starter Kit

O SoM Xilinx® Kria ™ K26 e seu Starter Kit KV260 Vision AI permitem a rápida prototipação de visão computacional e algoritmos de IA. O Kria K26 SoM fornece aos engenheiros de projeto um sistema heterogêneo de alto desempenho que combina processadores Arm® de alto desempenho e lógica programável avançada. Essa combinação permite que as aplicações sejam implementadas de forma otimizada no sistema de processamento ou na lógica programável. O resultado dessa fusão é uma solução de ponta, que oferece uma solução responsiva, determinística e com baixo consumo de energia.

O Kria difere das ofertas tradicionais da Xilinx por um SoM. Um SoM combina não apenas o circuito integrado, mas também inclui o suporte necessário para memórias voláteis e não voláteis, fontes de clock e fontes de alimentação. O Kria K26 SoM consiste no SoC (XCK26) junto com 4GB de memória DDR4, 16GB eMMC, 512Mb QSPI, módulo de segurança TPM e a infraestrutura de energia necessária (Figura 1). Conectores duplos de 240 pinos facilitam a interface com sua aplicação.

kria som
Figura 1: O SoM Xilinx Kria K26 permite que os engenheiros de desenvolvimento de projeto aproveitem a capacidade do FPGA combinado com núcleos de processador Arm® de alto desempenho. (Fonte: Mouser Electronics)

Para ajudar os engenheiros de projeto a dar os primeiros passos e começar a trabalhar, a Xilinx oferece o Kria KV260 Vision AI Starter Kit. O Starter Kit Kria KV260 Vision AI inclui um carrier card para o SoM, que fornece as seguintes interfaces:

  • 3 interfaces MIPI
  • USB 3
  • HDMI
  • Display
  • GB Ethernet
  • Pmod

Essas interfaces permitem que os engenheiros de projeto criem soluções complexas de IA baseada em visão computacional. As soluções podem suportar uma variedade de fontes de vídeo de MIPI a câmeras USB e o protocolo Ethernet Real-Time Streaming (RTSP) e coletores HDMI e DisplayPort tradicionais.

Este starter kit também vem com uma variedade de exemplos que mostram como é fácil começar a desenvolver aplicações de IA baseados em visão. Essas aplicações exemplos incluem câmeras inteligentes que podem detectar rostos; rastreamento e identificação multi-stream; detecção de defeitos; e processamento de linguagem natural. Uma das coisas boas sobre a arquitetura out-of-the-box do Kria é a capacidade de recompilar e fazer a substitução do exemplo.

Os engenheiros de projeto podem usar o Vitis ™ AI para aproveitar as estruturas de desenvolvimento de IA comumente usadas, como Caffe, TensorFlow e Pytorch. O Vitis AI permite a aceleração de algoritmos de inferência de IA tanto na borda quanto na nuvem. A pilha de tecnologia Vitis AI suporta as estruturas comumente usadas e fornece tudo o que é necessário para desenvolver e implantar algoritmos de ML / AI nos dispositivos Xilinx, incluindo o SoM Kria K26.

No centro da pilha Vitis AI está a Unidade de Processamento de Aprendizado Profundo (DPU) Xilinx, que é implementada na lógica programável e é otimizada para a implementação de Redes Neurais de Convolução (Figura 2). Ele pode ser usado para implementar redes como VGG, ResNet, GoogLeNet, YOLO, SSD, MobileNet e FPN.

Figura 2: o fluxo de trabalho do Vitis AI Stack oferece um processo para implantar aplicações de inferência de aprendizado profundo no Xilinx DPU. (Fonte: Xilinx)

Para aproveitar a natureza paralela da FPGA, o DPU executa redes que foram quantizadas para int-8 usando o AI Quantizer.

Uma vez que o modelo DPU foi implementado no hardware e a rede foi treinada e compilada usando Vitis AI, o software pode ser desenvolvido usando Vitis para criar a solução final completa (Figura 3).

Figura 3: Diagrama do modelo de implantação do Xilinx Vitis AI (Fonte: Xilinx)

Exemplo de aplicação em manufatura

Vamos examinar mais a fundo como o SoM Xilinx Kria pode ser usado para uma aplicação de manufatura. A criação de uma aplicação de manufatura não requer necessariamente nenhum projeto lógico programável. No entanto, isso exigirá o desenvolvimento de software e a capacidade de treinar e compilar um novo modelo de aprendizado de máquina usando Vitis AI da Xilinx.

O Kria K26 SoM e o KV260 Vision Starter Kit são perfeitos para aplicações onde o processamento rápido de imagens é necessário, como detectar se uma etiqueta foi ou não aplicada corretamente a uma caixa de remessa na linha de produção. Neste exemplo, o engenheiro de projeto usa o SoM Kria K26 para inspecionar embalagens na linha de produção e identificar corretamente a localização de uma etiqueta em uma caixa por meio da rede Mobilenet. Esta rede pode ser treinada a partir de um conjunto de dados de imagens contendo locais de rótulos corretos e incorretos (Figura 4 e Figura 5).

Figura 4: Um exemplo de localização de etiqueta correta usando a rede Mobilenet (Fonte: Mouser Electronics)
Figura 5: um exemplo de localização de etiqueta incorreta usando a rede Mobilenet (Fonte: Mouser Electronics)

Depois de treinada, essa rede pode ser implantada no Kria K26 SoM, em conjunto com o suporte do Linux GStreamer, para inspecionar pacotes em uma linha de produção em tempo real (Figura 6). A aplicação pode obter a resposta apropriada se detectar uma caixa com rótulo incorreto.

Figura 6: Um exemplo do módulo Xilinx identificando corretamente um rótulo (Fonte: Mouser Electronics)

Conclusão

As linhas de produção são ambientes de ritmo acelerado. A capacidade de detectar defeitos de fabricação ou embalagem antes do envio é crítica para melhorar a entrega e a satisfação do cliente. No entanto, o equipamento de inspeção automatizado precisa processar e tomar decisões sem desacelerar a linha de produção. Produtos como o Xilinx Kria K26 SoM e o Kria KV260 Vision AI Starter Kit podem ajudar.

Os engenheiros de projeto podem usar o Kria KV260 Vision AI Starter Kit para começar a desenvolver soluções de visão e prototipagem de IA e demonstrar a prova de conceitos. O SoM Kria K26 permite a portabilidade do projeto desde o conceito, prototipagem até o projeto final com o mínimo de alterações necessárias, exceto talvez da placa de interfaces (carrier board).

O custo de desenvolvimento e o risco associados à criação de uma solução de sistema embarcado com FPGAs heterogêneos complexos, memórias e circuitos de alimentação podem ser mitigados usando o Kria K26 SoM. Ao combinar a pilha Vitis AI e as soluções prontas para uso, o Kria K26 SoM permite que a equipe de desenvolvimento crie uma visão complexa e soluções baseadas em IA, explorando a natureza de alto desempenho da lógica programável sem a necessidade de ser um projeto lógico programável dedicado.

Saiba mais

Para aprender mais sobre o Kria SOM e ver um passo a passo da criação de uma solução de IA para aplicações industriais, consulte o artigo Implantando IA baseada em borda usando o projeto KRIA SoM .

Artigo escrito por Adam Taylor e publicado no blog da Mouser Electronics: Deploying Edge-Based AI Using the Kria SoM.

Traduzido e adaptado por Equipe Embarcados. Visite a página da Mouser Electronics no Embarcados

(*) este post foi patrocinado pela Mouser Electronics

Mouser Electronics é um dos líderes mundiais em distribuição de semicondutores e componentes eletrônicos e distribuidor autorizado de mais de 500 fornecedores líderes da indústria. Nosso foco é a excelência em serviço ao cliente, oferendo rápida entrega e embarque imediato com a precisão no processo, desde a colocação dos pedidos até a sua entrega. Mouser oferece uma ampla seleção de produtos em estoque para rápido envio a mais de 170 países.

Receba os melhores conteúdos sobre sistemas eletrônicos embarcados, dicas, tutoriais e promoções.

Home » Hardware » Kria SoM: Desenvolvendo uma aplicação de borda com IA
Comentários:
Notificações
Notificar
guest
0 Comentários
Inline Feedbacks
View all comments
Talvez você goste:

Séries

Menu