Algoritmo de operación para robot asistencial autónomo enfocado a alimentación
Operation algorithm for autonomous feeding assistance robot
Citación
Fecha
2019-07-10Autor
Pinzón Arenas, Javier Orlando
Título obtenido
Magíster en Ingeniería Mecatrónica
Publicador
Universidad Militar Nueva Granada
Palabras claves
; algoritmos; robotica
Metadatos
Mostrar el registro completo del ítem
Documentos PDF
Resumen
El presente trabajo esboza la implementación de un algoritmo para el control de un robot asistencial, el cual se enfoca en la alimentación asistida. El algoritmo aplicado al robot tiene 3 pilares fundamentales para su funcionamiento: detección de existencia o no de alimento, toma de decisiones frente a situaciones de obstaculización de su trayectoria con la mano del usuario y ejecución de la tarea de alimentación, llegando hasta el punto de contacto. Para esto se emplean técnicas de inteligencia artificial basadas en aprendizaje profundo, así como el uso de una cámara RGB-D encargada de capturar la información del entorno, con el fin de que pueda ser procesada para realizar la asistencia. Para la detección de los estados de la boca, para saber si el usuario se encuentra masticando o esperando comida, se utilizó una red neuronal con gran memoria a corto plazo, obteniendo un 99.3% de exactitud. El reconocimiento de existencia o no de alimentos en el plato, se efectuó con una red neuronal convolucional, la cual alcanzó un desempeño del 98.7%. En cuanto a la detección de obstáculos, se define la mano del usuario como el obstáculo, el cual es reconocido y localizado por medio de una red neuronal convolucional basada en regiones, logrando obtener un 77.4% de precisión en la intercepción sobre la unión media de la localización de los recuadros sobre los originales. Con las funcionalidades implementadas, se crea una interfaz de usuario en donde todos los algoritmos son acoplados dentro de un solo sistema, para generar la tarea de asistir a un usuario en su alimentación. La emulación de esta se realiza por medio de la interacción del entorno real, en donde el usuario se encuentra, y un entorno simulado, donde el robot va a realizar los movimientos, pasando la información tridimensional real de las situaciones presentadas al entorno simulado. Con esto, se realizan pruebas de funcionamiento del sistema, logrando evidenciar un desempeño alto de cada una de las funciones dentro de 3 variaciones del entorno real, alterando principalmente la iluminación, desde una baja calidad de iluminación hasta una con mucho brillo.
The present work outlines the implementation of an algorithm for the control of a robot assistant, which focuses on assisted feeding. The algorithm applied to the robot has 3 fundamental pillars for its operation: detection of existence or not of food, decision making in the face of situations of obstruction of its trajectory with the user’s hand and execution of the feeding task reaching the point of contact. For this, artificial intelligence techniques based on deep learning are used, as well as the use of a RGB-D camera in charge of capturing information from the environment, so that it can be processed to perform assistance. For the detection of the states of the mouth, to know if the user is chewing or waiting for food, a neuronal network with long short-term memory was used, obtaining a 99.3% accuracy in its validation tests. The recognition of the existence or not of food in the dish, was made with a convolutional neuronal network, which reached a performance of 98.7%. Regarding the detection of obstacles, the user's hand is defined as the obstacle, which is recognized and localized by means of a convolutional neural network based on regions, achieving a 77.4% mean precision in the interception over union of the location of the estimated boxes against the original (or labeled) ones. With the functionalities implemented, a graphic user interface is created in which all the algorithms are coupled within a single system, to generate the task of assisting a user in their feeding. The emulation of this task is done through the interaction of the real environment, where the user is, and a simulated environment, where the robot will perform the movements, passing the real three-dimensional information of the situations presented to the simulated environment. With this, the system's performance tests are carried out, demonstrating a high performance of each of the functions within 3 variations of the real environment, altering the lighting, ranging from a low quality of lighting to a bright one.