Инженеры сервиса OpenAI научили нейросеть играть в Minecraft при помощи видеороликов. Об эксперименте специалисты рассказали в блоге на сайте компании.
Чтобы обучить нейросеть, инженеры загрузили для нее огромную базу роликов, в которых случайные люди играют в Minecraft, а затем немного доработали ее алгоритмы. Сначала ей показали маркированные ролики, на которых были отмечены все движения мыши и нажатия клавиш — так программа училась предугадывать действия, используя информацию с различных фреймов в прошлом и будущем. Затем нейросеть самостоятельно обработала более 70 часов видео.
После этого исследователи научили нейросеть выполнять в Minecraft последовательности действий на основе обработанного материала, при этом имитируя нажатие клавиш на клавиатуре и использование мыши. С помощью поведенческого клонирования программа научилась ходить, плавать, рубить деревья, копать землю, создавать предметы вроде верстака и инструментов, добывать алмазы, охотиться и подниматься, подставляя под персонажа блоки.
Инженеры отметили, что подобная система предварительного обучения при помощи видеороликов показала высокую эффективность. Нейросеть успешнее справляется с задачами, чем при использовании метода случайной инициализации.