Израильские ученые научили нейросеть создавать изображения блюд на основе их рецептов. Об этом сегодня, 11 января, сообщает интернет-портал N+1.
Изначальная цель работы специалистов заключалась вовсе не в создании наполнения для блогов, посвященных кулинарии. Ученые всего лишь разработали нейросеть, способную формировать снимок на основе длинного текстового описания объекта, которое не содержит четких данных о его визуальных признаках, и в качестве наиболее наглядного доказательства своего успеха решили прибегнуть к гастрономической тематике.
Так, в алгоритм загружается список ингредиентов и описание этапов приготовления, на основании которых машина и выдает изображение. При этом для обучения нейросети понадобилось 52 тысяч пар рецептов и фотографий из датасета Recipe1M. Способности же алгоритма были проверены на 24 тысячах пар.
При этом результат работы также проверялся специально разработанным для этого алгоритмом, который относил изображенное блюдо к знакомому ему классу с присвоенной долей вероятности. В итоге, при такой оценке нейросеть получила 4,5 балла по пятибалльной шкале. Однако при оценке изображений живыми людьми результат оказался несколько хуже – программа смогла набрать лишь 3,72 балла.
Автор: Константин Липавский
