Tome un camino más rápido e inteligente hacia la automatización de pruebas C/C++ impulsada por IA. Descubra cómo >>
White Paper
Vea una vista previa de los avances fundamentales de nuestro documento técnico a continuación.
La inteligencia artificial (IA) y el aprendizaje automático (ML) están transformando los sistemas integrados esenciales para la seguridad en sectores como la automoción, la salud y la defensa. Desde vehículos autónomos hasta diagnósticos médicos, estas tecnologías habilitan nuevas capacidades revolucionarias y operaciones autónomas. Sin embargo, su integración presenta grandes desafíos.
La integración de IA/ML en estos sistemas va más allá del cumplimiento estricto. Exige un funcionamiento fiable bajo importantes restricciones. Los modelos de IA requieren una gran capacidad de procesamiento y memoria, que suelen ser escasas en el hardware integrado. Y lo que es más grave, la naturaleza impredecible de algunos modelos de IA supone un riesgo directo para los altos niveles de precisión y fiabilidad que exigen las aplicaciones críticas para la seguridad.
En este documento técnico, exploraremos estos desafíos y los últimos avances, abordando cómo:
Los dispositivos integrados operan con estrictos límites de energía, memoria y capacidad computacional. Algunos ejemplos incluyen dispositivos médicos, vehículos autónomos y controles industriales. No se trata solo de proyectos de software. Son dispositivos físicos con límites estrictos en su capacidad.
En la mayoría de los casos, no hay espacio para un chip de computadora voluminoso ni para un ventilador que enfríe el componente. Otro factor a considerar es la energía. Muchos sistemas integrados funcionan con baterías que deberían durar años. Pero los modelos de IA, especialmente los grandes, consumen mucha energía como un jardín seco absorbe la lluvia.
Incluso reduciendo el hardware y optimizando la energía, ejecutar IA compleja sin parar puede generar altas temperaturas. El calor daña los componentes electrónicos. Pero no se trata solo del dispositivo en sí.
Los sistemas embebidos Suelen trabajar en entornos hostiles: frío glacial, calor abrasador, maquinaria vibrante o incluso bajo el agua. Si el hardware no resiste a los elementos, la IA se vuelve inútil. Incorporación de IA en sistemas integrados No se trata solo de codificar algoritmos más inteligentes. Es un tira y afloja constante entre lo que la IA necesita y lo que el mundo físico permite.
Para conciliar el potencial de la IA con las realidades integradas, los desarrolladores implementan estrategias para reducir eficazmente el tamaño del modelo y la sobrecarga computacional, preservando al mismo tiempo el rendimiento crítico. Estas estrategias incluyen:
Cubriremos ambas estrategias con más detalle más adelante en este documento técnico.
Además, el determinismo, la certificabilidad y la resiliencia frente a condiciones adversas plantean desafíos que se extienden más allá de la optimización del rendimiento.
La implementación de IA/ML en sistemas embebidos críticos para la seguridad sigue una progresión estructurada. Comienza abordando las limitaciones fundamentales del hardware mediante la optimización de modelos, como la poda y la cuantificación, para garantizar la eficiencia. A continuación, se refuerza el determinismo y la predictibilidad mediante la congelación de modelos y la asignación de memoria estática.
Por último, la seguridad y la certificabilidad se logran integrando IA explicable (XAI) para lograr transparencia y envolviendo el modelo en un sistema de barandillas basadas en reglas para la protección en tiempo de ejecución, asegurando el cumplimiento de estrictos estándares de la industria.
Los sistemas críticos para la seguridad, como los controles de frenado y vuelo de automóviles, requieren un comportamiento determinista, lo que implica resultados consistentes y predecibles para entradas dadas dentro de límites de tiempo garantizados. Sin embargo, los modelos de IA/ML, especialmente las redes neuronales, son inherentemente probabilísticos y a menudo presentan resultados no deterministas. Consideremos los vehículos autónomos, que requieren la detección de obstáculos en fracciones de segundo. Cualquier latencia impredecible podría retrasar el frenado en milisegundos, lo que violaría... Normas de seguridad ISO 26262.
La congelación de los modelos entrenados (bloqueo de pesos para evitar desviaciones en el tiempo de ejecución) y el uso de la asignación de memoria estática para eliminar la variabilidad temporal refuerzan el determinismo. Esto, a su vez, garantiza respuestas predecibles en tiempo real.
Los sistemas críticos para la seguridad deben cumplir con estrictas normas de certificación, como la ISO 26262 (automoción) o la IEC 62304 (dispositivos médicos). Sin embargo, la naturaleza de "caja negra" de muchos modelos de IA/ML, con sus procesos de toma de decisiones opacos, plantea un desafío fundamental, ya que dificulta la trazabilidad de las decisiones y la demostración de su robustez.
Para abordar esto, los equipos de desarrollo integrado pueden mejorar la seguridad y la certificabilidad del sistema mediante la implementación de arquitecturas de protección. En este enfoque, el modelo de IA se trata como un componente dentro de un sistema gestionado más amplio. El sistema circundante se diseña con capas de seguridad explícitas que supervisan y limitan el comportamiento de la IA.
Esto puede incluir:
Al integrar la IA dentro de un marco de protección de este tipo, los equipos pueden crear un sistema más seguro, más predecible y más certificable en general, lo que permite el cumplimiento de estándares como ISO 26262 o las pautas de la FDA.
Los sistemas integrados suelen operar en entornos no controlados, como robots industriales y drones. Se enfrentan a ataques adversos, como entradas maliciosas diseñadas para engañar a los modelos de aprendizaje automático (ML), como datos de sensores alterados que causan una clasificación errónea. Un ejemplo específico de esto es el algoritmo de dosificación de ML de una bomba de insulina pirateada, que podría causar una sobredosis a los pacientes si las entradas adversarias eluden los controles de seguridad.
Para lograr resiliencia frente a condiciones adversas, hay un par de formas de fortalecer los modelos.
Los equipos pueden mitigar aún más los riesgos protegiendo los protocolos de actualización, como los parches OTA firmados criptográficamente, y la redundancia, como los sistemas de votación en múltiples modelos. Estas medidas crean defensas en capas que alinean la flexibilidad de la IA/ML con los estrictos requisitos de seguridad de los sistemas integrados.
La naturaleza probabilística de los resultados de IA/ML, al igual que los intervalos de confianza, refleja las métricas de fiabilidad estadística utilizadas para los componentes de hardware. Si bien las fuentes de riesgo difieren, los principios fundamentales de la mitigación de riesgos se aplican por igual. Estos principios fundamentales son:
Las organizaciones establecen criterios de aceptación de riesgos para fallos de hardware en sistemas críticos para la seguridad, como la definición de tasas de fallo tolerables para componentes como sensores o procesadores. De igual forma, deben definir umbrales de riesgo para sistemas basados en IA/ML.
Este proceso implica cuantificar y calificar los riesgos que introduce la IA/ML en el contexto de los objetivos de seguridad del sistema, los requisitos regulatorios y las expectativas sociales. Por ejemplo, un desarrollador de vehículos autónomos podría determinar que la tasa de error de clasificación de una red neuronal no debe superar un umbral determinado para alinearse con los objetivos generales de seguridad del sistema. Esto es similar a cómo se limita la tasa de fallos de un componente de hardware.
Sin embargo, existen diferencias clave en la forma en que los equipos evalúan y gestionan los riesgos. La degradación física, los defectos de fabricación o los factores de estrés ambiental suelen ser la causa principal de las fallas de hardware. Estas fallas son probabilísticas, pero están relativamente bien caracterizadas mediante datos históricos y pruebas estandarizadas, como el tiempo medio entre fallas (MTBF).
Los riesgos de la IA/ML, en cambio, surgen de la incertidumbre algorítmica, la dependencia de los datos y comportamientos emergentes que pueden desafiar el análisis determinista. Por ejemplo, un modelo de aprendizaje automático podría funcionar impecablemente en las pruebas, pero fallar de forma impredecible al exponerse a escenarios reales novedosos que no están representados en sus datos de entrenamiento.
A pesar de estas diferencias, el principio fundamental sigue siendo el mismo: las organizaciones deben definir niveles aceptables de riesgo según el contexto operativo del sistema, el daño potencial y las capacidades de mitigación.
Normas regulatorias como ISO 26262 para sistemas de automoción y IEC 61508 para seguridad industrial Ya se exige una clasificación rigurosa de riesgos para hardware y software. Un ejemplo de ello son los Niveles de Integridad de Seguridad Automotriz (ASIL).
Para la IA/ML, están surgiendo marcos análogos. La norma ISO 21448, Seguridad de la Funcionalidad Prevista (SOTIF) para sistemas autónomos, aborda las limitaciones de rendimiento de los componentes impulsados por IA. Estos marcos enfatizan que los riesgos de la IA/ML deben limitarse, validarse y monitorizarse continuamente para garantizar que se mantengan dentro de límites aceptables, al igual que los riesgos de hardware.
Definir probabilidades de falla aceptables para las salidas de IA/ML, como errores de detección de objetos en autos autónomos, que coincidan con los objetivos de seguridad generales del sistema.
Combine la ingeniería de seguridad tradicional (FMEA, análisis de árbol de fallas) con métodos específicos de IA (herramientas de explicabilidad, pruebas de robustez) para evaluar los riesgos de manera integral.
A diferencia de los componentes de hardware estáticos, los sistemas de IA/ML pueden evolucionar a través de actualizaciones o reentrenamiento, por ejemplo, lo que requiere una reevaluación constante de los riesgos.
La integración de IA y ML en sistemas integrados críticos para la seguridad presenta tanto oportunidades como desafíos. Automatización impulsada por IA Si bien mejora las capacidades del sistema, también introduce complejidades como el no determinismo, obstáculos de cumplimiento y vulnerabilidades de seguridad. Garantizar la confiabilidad requiere una combinación de técnicas de optimización de modelos, hardware especializado y rigurosas metodologías de verificación.
Técnicas como la poda, la cuantificación y el hardware especializado permiten que la IA funcione eficientemente dentro de las limitaciones integradas. Sin embargo, la seguridad y el cumplimiento normativo exigen medidas adicionales:
Estas estrategias ayudan a mitigar la imprevisibilidad inherente de la IA y se alinean con estándares de seguridad como ISO 26262 e IEC 62304. En definitiva, la implementación exitosa de la IA en sistemas embebidos depende de equilibrar la innovación con el cumplimiento normativo. A medida que evolucionan los métodos de verificación específicos de la IA, la integración de las prácticas tradicionales de seguridad del software con técnicas adaptadas a la IA será esencial para garantizar que los sistemas embebidos basados en IA sigan siendo seguros, fiables y certificables en aplicaciones del mundo real.
¿Listo para sumergirte más profundamente?
BLOG
6 minutos de lectura
BLOG
4 minutos de lectura
BLOG
3 minutos de lectura