La importancia del descubrimiento de la radiación infrarroja o Infrared Radiation (IR), también conocida como radiación térmica, se debe especialmente al hecho que cualquier objeto que se componga de materia que posea una temperatura distinta al cero absoluto, irradia energía en el espectro infrarrojo. La radiación IR de un objeto se encuentra controlada por dos factores: la naturaleza de su superficie o emisividad, que se define como la razón con la que un objeto irradia energía con respecto a un cuerpo negro (Blackbody Radiator BBR) y a su cantidad de energía almacenada o temperatura. El espectro infrarrojo usualmente se divide en tres regiones: el infrarrojo cercano (0,75-5 μm), el infrarrojo mediano (5-30 μm) y el infrarrojo lejano (30-1000 μm).

Fundamentos de los sistemas infrarrojos

La relevancia del desarrollo de dispositivos sensibles a la radiación IR se debe, principalmente, a que el proceso sensitivo en la presencia de objetos, a través de su fuente de calor, es totalmente independiente de las condiciones de luz visible que se encuentren en el ambiente. Bajo el amparo del desarrollo militar y con el perfeccionamiento de la electrónica de estado sólido (semiconductores), los detectores IR pasaron de ser simples sensores remotos de temperatura y movimiento, a sofisticados sistemas de imágenes infrarrojos con una gran variedad de aplicaciones como: la vigilancia nocturna, la percepción remota, la astronomía, la biología, los radares meteorológicos, los sistemas de armas, los equipos militares, entre muchas otras.

La gran mayoría de los sistemas de imágenes se encuentran basados en la tecnología de arreglo de detectores de plano focal o Focal Plane Array (FPA), la cual consiste básicamente en un arreglo matricial de detectores individuales que se ubican en un plano focal óptico; para el caso particular de los detectores infrarrojos es llamado Infrared Focal Plane Array (IRFPA). Cada detector IRFPA tiene la responsabilidad de convertir la energía infrarroja incidente en una señal eléctrica, la cual, luego de un proceso de conversión análogo-digital, revalida cada uno de los pixeles de la imagen entregada por el sistema. No obstante, como los detectores funcionan como entes independientes y son extremadamente sensibles a las longitudes de onda del espectro infrarrojo, por problemas netos de la física de semiconductores, usualmente se evidencia una interferencia de ruido de patrón fijo o Fixed-Pattern Noise (FPN) que aparece constantemente sobre las imágenes obtenidas. A este fenómeno se le conoce como la no-uniformidad o Non-Uniformity (NU) y constituye una de las mayores limitaciones de rendimiento de un sistema IRFPA la que se puede apreciar gráficamente en la figura 1.

En esta imagen, se puede apreciar claramente el fenómeno de la no-uniformidad representado por el ruido de patrón fijo que invade la imagen en su totalidad. Los detectores infrarrojos y su electrónica asociada son sumamente sensibles a la temperatura, el cual se ve reflejado en una constante variación o drift de su función de transferencia óptica eléctrica. Este fenómeno conlleva a que se acentúen las diferencias de las foto-respuestas entre los distintos detectores, modificándose así, la no-uniformidad del sistema de imágenes y su FPN asociado en forma constante. Producto de la no-uniformidad, y tal como se aprecia en el ejemplo de acercamiento presentado en la figura 1, el nivel de ruido dificulta las tareas de reconocimiento visual y post-procesamiento, tales como el reconocimiento de patrones o pattern recognition y el seguimiento de referencias o tracking. Por lo tanto, la corrección de la no-uniformidad o Non-Uniformity Correction (NUC) en los sistemas de imágenes, basados en tecnología IRFPA, es considerado como una necesidad primordial, especialmente para los equipos y sistemas militares; esta corrección permite aumentar considerablemente el nivel de resolución y eficiencia del sistema infrarrojo.

La corrección de No-Uniformidad (NUC)

Reconociendo que la génesis del ruido espacial (FPN), en los sistemas de imágenes IR, se debe mayormente a la disparidad (no-uniformidad) presente en los parámetros de los detectores, la gran mayoría de los métodos de corrección de no-uniformidad, que presenta la literatura actual, se preocupan de atacar el origen a partir de la obtención de los valores de cada parámetro de los detectores, con la finalidad de compensar y normalizar sus respuestas a través del uso de un modelo inverso. Los detectores infrarrojos se pueden caracterizar mediante un modelo lineal, por lo que el problema central para realizar un NUC radica en determinar los parámetros de ganancia y offset para cada uno de los detectores de un sensor IRFPA.

Los métodos NUC se clasifican en dos tipos: los basados en referencias o Reference-Based NUC, o métodos de calibración y los basados en la escena o Scene-Based NUC. Ambos utilizan la información de las lecturas del sensor para obtener de alguna manera los parámetros requeridos. En el primer caso, el cálculo de los parámetros se efectúa a través de objetos de radiación uniforme y conocida (cuerpos negros o BBR’s), en la cual se emplea la técnica conocida como la calibración de dos puntos o Two-Point Calibration (TPC). Esta técnica consiste en utilizar la información de la lectura obtenida a partir de dos BBR’s a distinta temperatura, para luego determinar exactamente, mediante un sistema de ecuaciones simple, la ganancia y el offset de cada detector. No obstante, a pesar de su simpleza y efectividad, presentan varias desventajas considerables como: el elevado costo de un BBR, la imperiosa necesidad de interrumpir el funcionamiento normal de la cámara para su calibración y que, para los fines y condiciones donde se emplean los sistemas de armas y equipos militares con esta tecnología, lo convierte en algo abiertamente impracticable.

Estas desventajas, han motivado el desarrollo de métodos NUC basados en el segundo tipo (en la escena), donde a pesar de que no se pueden calcular los parámetros de ganancia y offset con la precisión radiométrica de las técnicas de calibración, estos se pueden estimar a partir de la información espacio-temporal provista por las imágenes de la escena misma. El objetivo primordial de estos métodos NUC, es obtener estimaciones de los parámetros cercanas a las que se obtendrían al realizar constantemente una calibración con cuerpos negros.

La corrección adaptativa de No-Uniformidad (NUC)

Generalmente, todos los métodos de corrección Scene-Based poseen el inconveniente de que requieren una cierta cantidad de frames para realizar una adecuada estimación de los parámetros. Sin embargo, en este artículo se presenta la codificación de una versión mejorada del método adaptativo fundamentado en (Scribner et al, 1993), el cual se basa en una red neuronal inspirada en el funcionamiento de la retina humana. Básicamente, este algoritmo considera que los detectores vecinos reciben con una alta probabilidad la misma cantidad de radiación IR y, con esta información, se ajustan los parámetros del modelo inverso de cada detector mediante la regresión lineal. Por lo tanto, este método utiliza tanto la información espacial como temporal para realizar la estimación de los parámetros requeridos en la corrección de no-uniformidad. La codificación mejorada incluye: un kernel del menor tamaño posible, con la finalidad de mejorar la calidad de las estimaciones y reducir el número de cálculos necesarios por iteración; la utilización de la técnica de momentum para acelerar y estabilizar la estimación de parámetros de ganancia y offset brindando un cierto grado de adaptabilidad a la velocidad de la estimación de parámetros según la evolución del error de acuerdo al modelo retinomórfico y, por último, la utilización de una constante de aprendizaje variable o adaptativa, la cual dependerá de las condiciones espaciales de la escena y el nivel de ruido existente.

Presentación analítica de la NUC adaptativa mejorada

La principal idea detrás de los algoritmos basados en la escena para la corrección de no-uniformidad de sensores IRFPA, es la de definir el problema de estimación de los parámetros de cada detector a partir de la información provista por las lecturas obtenidas por la cámara. Por lo tanto, se asume que un detector infrarrojo puede caracterizarse por un modelo lineal. Así, el ij-ésimo detector, o IRFPA, la lectura Yij entregada por la cámara en un determinado tiempo n puede expresarse como:

Yij (n)=gij (n)*Xij (n)+oij (n)

Donde gij (n) y oij (n) corresponden a la ganancia y el offset del ij-ésimo detector, y Xij (n) corresponde a la radiación infrarroja incidente en la superficie del mismo detector. Luego, siguiendo en enfoque de una NUC adaptativa, el modelo anterior se puede reordenar de la siguiente manera:

Xij (n)=wij (n)*Yij (n)+bij (n)

Donde los nuevos parámetros wij (n) y bij (n) se encuentran relacionados a los parámetros de ganancia y offset de los detectores, tal como se muestra a continuación:

wij (n)= 1
gij (n)
bij (n)=
oij (n)
gij (n)

Si los parámetros de ganancia y offset del detector son conocidos, y en consecuencia los parámetros wij (n) y bij (n) también, entonces se puede calcular con certeza el valor de la radiación infrarroja incidente Xij (n) a partir de las lecturas Yij (n) obtenidas por el IRFPA. De ser así, entonces para todos los detectores ij se corrige la no-uniformidad producida por el sistema infrarrojo. Desafortunadamente, los parámetros w y b son desconocidos. Por lo tanto, la radiación real incidente X no se puede obtener, salvo que se utilicen métodos de corrección radiométricos como el TPC. Como este no es el caso, se requiere entonces poder estimar de alguna manera tales parámetros a partir de la cámara Y, para así obtener la correspondiente estimación aproximada de los valores de la radiación IR incidente o X, corrigiendo así, la no-uniformidad de acuerdo a la calidad de las estimaciones.

Si se considera que el modelo inverso del detector tiene la capacidad de realizar la corrección de no-uniformidad, a medida que los parámetros wij (n) y bij (n) se encuentran correlacionados con los parámetros reales de ganancia y offset del detector gij (n) y oij (n), entonces se puede considerar el siguiente modelo inverso para el modelo NUC para cada detector:
X̂ij (n)=wij (n)*Yij (n)+bij (n)
Donde los parámetros wij (n) y bij (n) se pueden estimar cuadro a cuadro mediante la regresión lineal. En otras palabras, el esquema de estimación mediante la regresión lineal permite que el modelo NUC, para cada detector, sea considerado como una red neuronal simple, la que consiste solamente en una neurona lineal con un único peso y su correspondiente bias, representados, en este caso, por los parámetros wij (n) y bij (n) de cada detector ij.
Por lo tanto, para lograr el efecto de corrección global de no-uniformidad se requiere de un arreglo de tantas neuronas como detectores se tengan, formando así una completa red neuronal para realizar la NUC adaptativa con la excepción que, para este caso, esta red tiene la particularidad de no poseer interconexiones entre si. Esta red neuronal permite no solo estimar los parámetros de los detectores en forma indirecta, sino que además realizar la corrección de no-uniformidad en tiempo real tal como muestra la figura 2.
En esta figura, se puede apreciar como las secuencias de imágenes corruptas Y(n) corresponden a la entrada de la red neuronal y la secuencia respectiva de las imágenes corregidas, correspondientes a la radiación incidente X(n), pertenecen a la salida. La estimación de los parámetros de peso wij (n) y bias bij (n) de cada neurona de la red de la NUC adaptativa, permite indirectamente la estimación de los parámetros reales de cada detector.
El algoritmo mejorado posee una cierta libertad para controlar la velocidad de actualización de los parámetros de cada neurona ij durante la etapa de estimación. Lo anterior, permite una adaptación dinámica espacial de la escena, incluyendo una operación de vecindad 2 o Neighborhood Operation 2, el cual tiene como objetivo identificar el contenido de la información de la escena, permitiendo controlar una variable de aprendizaje la cual será definida posteriormente.
Luego, de acuerdo al modelo lineal de corrección de no-uniformidad estipulado anteriormente para los detectores, se sabe que los parámetros pueden estimarse a través de la regresión lineal obtenida a partir de los datos de entrada Yij (n) a medida que transcurre la variable temporal n. Para lograr esta regresión lineal, se requiere de una función de error Eij (n) para cada neurona ij, calculando así, la diferencia entre la salida de la red neuronal X ̂ij (n) y una determinada salida objetivo Tij (n), tal como se muestra a continuación:
Eij (n)=Tij (n)-X ̂ij (n)
Sin embargo, para resolver el problema específico de la no-uniformidad utilizando el esquema neuronal planteado, se requiere de la elección de una función objetivo T particular que pueda inducir la estimación de parámetros. Así, basado en la analogía el modelo neuronal planteado y al funcionamiento de los procesos de adaptación neurobiológicos que ocurren en la retina, se define como función de salida deseada T al promedio de la radiación infrarroja estimada X̂ entre cada detector y sus vecinos tal como se expresa a continuación:

Donde V=2v+1 es la dimensión de la vecindad centrada en el pixel ij. Por otra parte, para los efectos de corrección de no-uniformidad, se requiere minimizar el error E_ij para todos los detectores, por lo que se define el funcional J correspondiente a la función de error al cuadrado:

Además, para minimizar el error funcional J, se requiere el cálculo de sus respectivos gradientes con respecto a los parámetros involucrados, tal como se presenta a continuación:

La minimización del error cuadrático medio o Least Mean Square (LMS) se produce cuando los gradientes se igualan a cero, por lo que el algoritmo incluye un steepest decent ampliamente empleado en filtros adaptativos y en redes neuronales. Este método se basa en que los parámetros estimados son actualizados en forma recursiva con una sola porción del gradiente respectivo. Además, en la codificación presentada en este artículo, se incluye la incorporación de un momentum, el cual es un método de optimización que es muy utilizado en redes neuronales y tiene como objetivo acelerar el aprendizaje de las redes mediante una retropropagación del error o backpropagation, evitando posibles convergencias en mínimos locales. La expresión matemática se muestra a continuación:
wij (n+1)=wij (n)-ηij (n)*Eij (n)*Yij (n)
bij (n+1)=bij (n)-ηij (n)*Eij (n)

Donde nij (n) es un parámetro variable denominado constante de aprendizaje adaptativa o adaptative learning rate responsable de definir la velocidad de la actualización de parámetros hacia la convergencia de mínimo error cuadrático medio de la forma:

Luego, kalr regula la constante de aprendizaje máxima admisible y, finalmente, σYij (n) representa la utilización de una desviación estándar espacial local de entrada, la que se puede calcular con cualquier tamaño de ventana, no obstante, se recomienda la utilización de un tamaño de 3 x 3 para proporcionar simplicidad en los requerimientos de cálculo.
Aplicación de la NUC adaptativa a un sistema de imágenes real
Habiendo recorrido los fundamentos analíticos del algoritmo de NUC adaptativo para un sistema de imágenes infrarrojo, se presenta a continuación los resultados de corrección a través de la utilización de datos reales de una cámara infrarroja de tecnología IRFPA. En la figura 3 se puede apreciar la secuencia de imágenes original (arriba) y la corregida (abajo) a través del tiempo.
En esta secuencia, se puede observar como ambas secuencias de imágenes presentan un PFN característico al principio; sin embargo, al pasar el tiempo, la secuencia de imágenes donde fue incorporado el algoritmo NUC adaptativo (abajo), empieza a mejorar su visualización hasta llegar el punto donde el FPN es corregido en su totalidad. Por cierto, es apreciable que, en algunos puntos de la secuencia, se forma un pequeño ghosting el cual es generado en el momento en que la cámara es detenida. Este punto se podría destacar como la desventaja más importante del algoritmo presentado. Al principio el sistema de imágenes mostraba un claro problema de FPN, el cual fue claramente corregido, no obstante, a medida del avance de la secuencia de imágenes, la cámara evidenció problemas en el contraste, el cual también logró ser rectificado por la NUC adaptativa. Se estima que el problema de contraste fue provocado por la presencia de filtros defectuosos en la cámara utilizada. Esta corrección de contraste, sumado a la eliminación del FPN, puede se visualizada claramente desde el segundo 34 de la misma secuencia de imágenes anterior, la cual se ve representada en la figura 4.
Metodología
Para codificar el algoritmo NUC adaptativo para sistemas infrarrojos, se utilizó el programa MatLab R2017b, en el cual se elaboró la red neuronal de acuerdo a la secuencia analítica expuesta en el presente artículo. Para aplicar el algoritmo, se utilizó un set de datos capturados con una cámara infrarroja modelo Amber AE-4128 con un sensor IRFPA de InSb de 3 a 5 μm de 128 x 128 pixeles de resolución a 16 bits por pixel. La captura de datos proviene de fuente abierta y fue realizada en su totalidad en las localidades de la base área de Wright Patterson, Estados Unidos. Estas secuencias de imágenes fueron capturadas aproximadamente en 4100 frames a 30 fps con una serie de escenas con movimiento horizontal y vertical. Las capturas se efectuaron en forma secuencial en distintos instantes de tiempo entre las 06:30 hasta las 13:00 horas.

Conclusiones

El algoritmo presentado en este artículo, posee una utilidad notable y un gran valor para un sinfín de sistemas infrarrojos, especialmente para los de naturaleza militar debido a las condiciones donde estos operan. Su ventaja más importante radica en que puede ser incorporado a cualquier sistema infrarrojo que posea una salida digital, sin importar su procedencia, fabricación o plataforma de uso. Con el estrepitoso avance de la I.A., actualmente se están desarrollando mejoras mucho más sofisticadas que las presentadas en este artículo, entre las que destacan: la implementación de mejores operadores en la constante de aprendizaje y la incorporación de estadísticas temporales; ambos con el fin de mejorar la certeza y el rendimiento en la estimación de los parámetros basados en la escena. Finalmente, a juicio del autor, pareciese una vez más que el desarrollo de tecnologías propias es algo que debería ocuparnos en el corto plazo, este tipo de adelantos lograrían incrementar significativamente las capacidades actuales de nuestros sistemas de armas, fomentando así el desarrollo tecnológico institucional, la industria militar nacional y la independencia de los proveedores y empresas militares extranjeras.