Я считаю, что когда фронтенд студентов мучает часто меняющийся дизайн UI, когда ты таскаешь себя за волосы и постоянно доводишь до ума, чтобы интерфейс выглядел в соответствии с дизайном, ты, должно быть, имел хорошее представление о непосредственном генерация кода из картинок. Вот такая черная технология наконец-то появилась!
Проект под названием pix2code предназначен для генерации кода пользовательского интерфейса непосредственно из скриншотов через обученную глубокую нейронную сеть.
Ничего не говори, просто сначала поставь демо. Демонстрация показывает два скриншота пользовательского интерфейса, iOS и Web, и генерирует раскадровку и HTML соответственно:
Разработанный копенгагенским стартапом UIzard, pix2code теперь гарантирует правильность около 77% кода, но точность должна повышаться по мере увеличения объема данных.
«Мы пришли к выводу, что глубокое обучение, используемое таким образом, может в конечном итоге устранить потребность в ручном программировании [графический пользовательский интерфейс (GUI)]», — написал в исследовательской статье разработчик и основатель UIzard Тони Белтрамелли.
Возможно, это нововведение могло бы позволить по крайней мере некоторым людям работать в более холодных областях, поскольку заменяется много программного обеспечения. В исследовательской работе Белтрамелли сказал, что это позволяет разработчикам сосредоточиться на фактической функциональности, которую они создают, вместо того, чтобы часами возиться с пользовательскими интерфейсами.
Нейронная сеть в Pix2Code — это сверточная нейронная сеть, сеть, способная одновременно просматривать изображения во многих разных масштабах. Это позволяет сети учиться, изучая пользовательский интерфейс и базовый код, чтобы увидеть, как каждая строка кода влияет на каждый элемент дизайна.
Чтобы облегчить будущие исследования, набор данных и код Pix2Code будут открыты в конце этого года. Белтрамелли сказал, что система станет более точной при сканировании веб-страниц для создания базы данных скриншотов и кода HTML/CSS. После внедрения вскоре вы сможете отобразить свой веб-сайт и напрямую сгенерировать его с помощью нейронной сети.
Однако демо не показывает, как выглядит сгенерированный код, возможно, он не идеален. Поэтому некоторые пользователи сети на Reddit прокомментировали так:
Есть и приветствия:
Адрес зрителя: https://github.com/tonybeltramelli/pix2code
последние статьи