В Корнелльском университете программистам удалось добиться того, чего ещё не удавалось никому в мире. Они создали уникальную программу и теперь роботы начали «понимать» человеческий (естественный) язык и могут воспринимать различные формулировки и принимать самостоятельные решения относительно неправильных или пропущенных инструкций, а также подстраивать свой план действий к изменяющимся ситуациям.

Например, робота-помощника можно научить варить лапшу и потом просто просить его сделать это. Для этого ему необходимо дать набор последовательных инструкций: налить воды в кастрюлю, поставить ее на плиту, после закипания высыпать лапшу. Разработанная программа переведет эти указания в понятный роботу язык, и даже если пользователь забудет сказать: «Включи плиту», робот сам догадается о наличии пропущенного этапа.

После получения указаний и перевод их в язык робота устройство начинает осматривать окружающее его пространство и находит знакомые объекты (для этого используется программа распознавания), которые робот может сопоставлять с различными свойствами. К примеру, в кастрюлю можно наливать/выливать воду, а на плиту можно ставить посуду и нагревать. В результате робот выстраивает взаимосвязь между предметами в один алгоритм: кастрюля – кран с водой – плита.

По словам авторов разработки, добиться этого удалось при помощи новой системы машинного обучения, в рамках которой разработчики «скармливают» роботам огромное число видеороликов с самыми разными задачами, а в качестве звукового сопровождения выступают команды на разных голосах. Таким образом роботы учатся понимать и рассчитывать вероятность последовательности действий.

В рамках проведенных экспериментов роботам удалось успешно приготовить японскую лапшу (рамэн) и десерт из кофе и мороженого (аффогато). Успех составил 64%.