Sobre este projeto
it-programming / artificial-intelligence-1
Aberto
Se busca un equipo o desarrollador experto para construir una plataforma de inteligencia artificial de video en el borde. El enfoque principal es la optimización para el dispositivo con NPU INT8 de 6 TOPS, pero la solución debe ser adaptable a otros aceleradores.
El sistema deberá gestionar la ingesta de video desde diversas fuentes, ejecutar modelos de visión artificial localmente, aplicar seguimiento y reglas de negocio, y publicar video, metadatos y eventos para sistemas de gestión de video (VMS) y otros clientes interoperables.
Requisitos clave del proyecto:
* Ingesta de Video: Capacidad para descubrir y consumir cámaras onvif/rtsp de múltiples fabricantes, priorizando onvif profile t. Soportar una amplia gama de fuentes de video, incluyendo Streams IP Directos (rtsp, rtp), streaming en vivo y móvil (rtmp, rtmps, srt), hardware y dispositivos locales (webcams usb, capturadoras hdmi/sdi), redes de producción (ndi), archivos estáticos (mp4, avi, mkv) y protocolos web (hls, dash, http). Se recomienda el uso de substreams para la inferencia de IA cuando el hardware/codec lo soporte.
* Gestión de Analíticas: Permitir la selección de analíticas por cámara, con el sistema resolviendo automáticamente los modelos y reglas necesarios.
* Soporte de Modelos: Compatibilidad con modelos originados en TensorFlow, PyTorch y ONNX, con capacidad para transformarlos al formato de inferencia requerido por cada backend de hardware.
* Publicación de Datos: Publicar metadatos y eventos de analítica a través de ONVIF Profile M, y adicionalmente mediante MQTT, Webhook y api rest.
* Restreaming de Video: Exponer video original o restreamed vía onvif/rtsp, evitando la re-codificación cuando no sea estrictamente necesario.
* Capa de Abstracción: Desarrollar una capa de abstracción que permita ejecutar la misma definición de analítica en diferentes aceleradores de hardware como OmniLink V2, NVIDIA Jetson, Hailo, Coral y futuros dispositivos.
* Catálogo de Analíticas: Mantener un catálogo organizado de analíticas por nicho, incluyendo descripción, requisitos, precisión, costo computacional y opciones de configuración.
Categoria TI e Programação
Subcategoria Inteligência Artificial
Tamanho do projeto Médio
Prazo de Entrega: Não estabelecido
Habilidades necessárias