Sistemas de navegación y asistencia autónoma
Texto transcrito
[Parte superior]
12 EXPO CIENCIA Y TECNOLOGÍA
PROYECTOS DE DESARROLLO E INNOVACIÓN 2026
Detección de Objetos en Tiempo Real sobre Hardware Embebido
DIRECTOR: César Estrebou
INSTITUCIÓN: III-LIDI (UNLP)
MOTIVACIÓN
-
Transición de Cloud a Edge Computing: Tradicionalmente, el procesamiento de modelos profundos dependía de la nube. En aplicaciones de movilidad y navegación, el cambio hacia el Edge Computing (procesamiento local en el dispositivo) es imprescindible para reducir la latencia, ahorrar ancho de banda y garantizar la seguridad/privacidad de los datos
-
Desafíos de TinyML/EdgeML: El reto central reside en adaptar redes neuronales complejas para su ejecución en microcontroladores y placas de recursos reducidos en cómputo y memoria
-
Impacto Educativo: Incorporar estas tecnologías en la formación universitaria permite a los alumnos adquirir experiencia práctica directa en la integración de hardware y aprendizaje automático
TRABAJO REALIZADO
Plataforma Hardware y SO
- Luckfox Pico Mini (SoC RV1103), compuesto por un procesador ARM Cortex-A7 (1.2 GHz) con extensiones NEON y una NPU integrada
- Entorno Linux personalizado compilado mediante Buildroot, asegurando un menor tiempo de arranque (booting) y maximizando el espacio libre en memoria para los modelos
Optimización y Despliegue en NPU
- Conversión y Cuantización: Conversión del modelo (PyTorch/ONNX) al formato propietario .rknn con el RKNN-Toolkit 2 (rknn.api). Se aplicó cuantización INT8 calibrada con un dataset representativo de 100 imágenes para minimizar la pérdida de precisión
- Inferencia y Zero Copy API: Implementación de un script ejecutable en C utilizando la Zero Copy API preasignando buffers compartidos entre el Host y la NPU para eliminar transferencias innecesarias de memoria y reducir la latencia de CPU
Inferencia y Resultados
- Aceleración Masiva por NPU: En pruebas de laboratorio comparativas, la inferencia ejecutada en la CPU (ARM Cortex-A7 en FP32) requirió en promedio 1.48 segundos por fotograma, mientras que la ejecución optimizada en la NPU (INT8) completó la tarea en solo 14.9 milisegundos, representando una aceleración superior al 99% (>90 veces más rápida)
- Rendimiento Medido: Se registraron 40.1 GOPS (0.0401 TOPS efectivos) durante las corridas de inferencia en la NPU
- Balance Precisión vs. Latencia: La CPU preserva precisión flotante con latencias inviables para tiempo real. La cuantización a INT8 con NPU da una respuesta fluida para navegación autónoma en el borde.
[Parte inferior izquierda]
RESUMEN Y PALABRAS CLAVES
Se desarrolló un prototipo de visión por computadora que detecta en tiempo real peatones, semáforos y carteles en vehículos en miniatura. Se implementó un modelo YOLO optimizado en la placa Luckfox Pico (SoC RV1103), usando cuantización INT8 con aceleración por NPU. Esto permitió inferencia local de baja latencia, sentando bases para navegación inteligente de bajo costo y experimentación en TinyML.
Palabras Clave: TinyML, Edge Computing, Luckfox Pico, NPU, YOLO, Visión por Computadora, Sistemas Embebidos
[Parte inferior derecha]
CONCLUSIONES
- Se demostró la viabilidad técnica de ejecutar modelos de detección de objetos en tiempo real (YOLO) sobre hardware embebido de ultra bajo costo
- El uso coordinado de Buildroot, el RKNN-Toolkit 2 y la Zero Copy API resulta indispensable para superar las limitaciones de cómputo y memoria del hardware
- Se promovió la capacitación de los alumnos en tecnologías avanzadas de TinyML/EdgeML, optimización de redes neuronales y trabajo colaborativo en proyectos de I+D
[Franja inferior]
LIDI, LIFIA Y LINTI UNIVERSIDAD NACIONAL DE LA PLATA
Descripción de imagen
[Parte superior derecha, sección «Motivación»]
Una ilustración compara dos enfoques de procesamiento: la inferencia en la nube y la inferencia en el borde. Se representan recursos de computación remota y un vehículo en miniatura con procesamiento local, destacando la diferencia entre ambos enfoques respecto a dependencia de la red, tiempo de respuesta, latencia, privacidad, recursos de computación.
[Sección «Trabajo realizado», columna izquierda]
Un diagrama de flujo titulado «Flujo de Pipeline de Visión Embebida» presenta cinco etapas:
- Paso 1: Entrada de cámara MIPI
- Paso 2: Preprocesamiento de CPU, de datos a a preprocesados a datos para NPU
- Paso 3: Aceleración NPU INT8
- Paso 4: Detección de objetos YOLO
- Paso 5: Sistema de control/decisión
Las etapas están conectadas mediante flechas y muestran el recorrido de los datos desde la captura de imágenes hasta la detección y la toma de decisiones.
[Sección «Trabajo realizado», columna derecha]
Un recuadro titulado «ESPECIFICACIONES DEL SISTEMA» presenta las características del hardware:
- SoC: Rockchip RV1103 (ARM Cortex-A7 @ 1.2 GHz)
- NPU: 0.5 TOPS (INT8) / 40.1 GOPS
- Memoria: 64 MB DDR2 (Zero-Copy API)
- Sistema: Linux Embebido (Buildroot)
Debajo aparecen indicadores gráficos de rendimiento:
- 14.9 ms de latencia NPU
- Más de 90 veces de aceleración
- 40.1 GOPS de rendimiento
- INT8 como formato de cuantización
También se muestran dos capturas de detección de objetos en escenas viales. En una se identifican elementos de la calle mediante recuadros superpuestos; en la otra se comparan visualmente los resultados del procesamiento mostrando que la ejecución en NPU es 90 veces más rápido.
Descripción general
El cartel presenta un proyecto de navegación y asistencia autónoma centrado en la detección de objetos en tiempo real sobre hardware embebido. La propuesta utiliza una placa Luckfox Pico Mini, un sistema Linux personalizado y un modelo YOLO optimizado mediante cuantización INT8 y aceleración por NPU.