Инженерами из США и Китая был представлен робот, который самостоятельно учится физическим действиям людей по видеороликам. В частности, он может заменять людей в некоторых сценариях социального взаимодействия.

Робот называется Baxter, он произведён Rethink Robotics. Его алгоритм обучали на примере RGB-D видеороликов (дополнительно с видеорядом использовались данные о глубине сцены), которые демонстрировали разные сценарии взаимодействия людей. В частности, на роликах люди приветствовали друг друга (пожимали руки, махали рукой или давали пять), помогали друг другу встать и передавали предмет. Это позволило роботу оценивать движения людей в разных ситуациях.

После обучения одного из людей заменили на самого робота. Для получения данных он был оснащён датчиком глубины Kinect, благодаря которому Baxter мог оценивать движения человека и делать соответствующий вывод о том, как именно нужно ответить. Также робот имел датчики давления в манипуляторах, что позволяло ему оценить силу воздействия, аккуратно передавая чашку или давая «пять».

Движения Baxter сначала проверили на симуляторе, а затем пригласили 12 добровольцев для взаимодействия с роботом напрямую. Испытуемые оценили действия робота как более успешные, а движения как более естественные по сравнению с действиями робота, который не обучался, а программировался.