寫個網(wǎng)頁更簡單了！讓AI根據(jù)手繪原型生成HTML - 教程+代碼

小新編譯自 Insight Data Blog

量子位出品 | 公眾號 QbitAI

寫個網(wǎng)頁能有多麻煩？在大多數(shù)公司里，這項工作分為三步：

1. 產(chǎn)品經(jīng)理完成用戶調(diào)研任務后，列出一系列技術要求；

2. 設計師根據(jù)這些要求來設計低保真原型，逐漸修改得到高保真原型和UI設計圖；

3. 工程師將這些設計圖實現(xiàn)為代碼，最終變成用戶使用的產(chǎn)品。

這么多環(huán)節(jié)，任何地方出一點問題，都會拉長開發(fā)周期。因此，不少公司，比如Airbnb已經(jīng)開始用機器學習來提高這個過程的效率。

△ Airbnb內(nèi)部的AI工具，從圖紙到代碼一步到位

看起來很美好，但Airbnb還沒公開該模型中端到端訓練的細節(jié)，以及手工設計的圖像特征對該模型的貢獻度。這是該公司特有的閉源解決方案專利，可能不會進行公開。

好在，一個叫Ashwin Kumar的程序員創(chuàng)建了一個開源版本，讓開發(fā)者/設計師的工作變得更簡單。

以下內(nèi)容翻譯自他的博客：

理想上，這個模型可以根據(jù)網(wǎng)站設計的簡單手繪原型，很快地生成一個可用的HTML網(wǎng)站：

△ SketchCode模型利用手繪線框圖來生成HTML網(wǎng)站

事實上，上面例子就是利用訓練好的模型在測試集上生成的一個實際網(wǎng)站，代碼請訪問：https://github.com/ashnkumar/sketch-code。

從圖像標注中獲取靈感

目前要解決的問題屬于一種更廣泛的任務，叫做程序綜合（program synthesis），即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規(guī)范或執(zhí)行追蹤法來生成代碼，但在當前任務中，我會充分利用源圖像，即給出的手繪線框圖來展開工作。

在機器學習中有一個十分熱門的研究領域，稱為圖像標注（image caption），目的是構建一種把圖像和文本連接在一起的模型，特別是用于生成源圖像內(nèi)容的描述。

△ 圖像標注模型生成源圖像的文本描述

我從一篇pix2code論文和另一個應用這種方法的相關項目中獲得靈感，決定把我的任務按照圖像標注方式來實現(xiàn)，把繪制的網(wǎng)站線框圖作為輸入圖像，并將其相應的HTML代碼作為其輸出內(nèi)容。

注：上段提到的兩個參考項目分別是

pix2code論文：https://arxiv.org/abs/1705.07962

floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

獲取合適的數(shù)據(jù)集

確定圖像標注方法后，理想中使用的訓練數(shù)據(jù)集會包含成千上萬對手繪線框圖和對應的HTML輸出代碼。但是，目前還沒有我想要的相關數(shù)據(jù)集，我只好為這個任務來創(chuàng)建數(shù)據(jù)集。

最開始，我嘗試了pix2code論文給出的開源數(shù)據(jù)集，該數(shù)據(jù)集由1750張綜合生成網(wǎng)站的截圖及其相應源代碼組成。

△ pix2code數(shù)據(jù)集中的生成網(wǎng)站圖片和源代碼

這是一個很好的數(shù)據(jù)集，有幾個有趣的地方：

該數(shù)據(jù)集中的每個生成網(wǎng)站都包含幾個簡單的輔助程序元素，如按鈕、文本框和DIV對象。盡管這意味著這個模型受限于將這些少數(shù)元素作為它的輸出內(nèi)容，但是這些元素可通過選擇生成網(wǎng)絡來修改和擴展。這種方法應該很容易地推廣到更大的元素詞匯表。
每個樣本的源代碼都是由領域?qū)Ｓ谜Z言（DSL）的令牌組成，這是該論文作者為該任務所創(chuàng)建的。每個令牌對應于HTML和CSS的一個片段，且加入編譯器把DSL轉(zhuǎn)換為運行的HTML代碼。

彩色網(wǎng)站圖像變手繪圖

為了修改我的任務數(shù)據(jù)集，我要讓網(wǎng)站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進行修改，包括灰度轉(zhuǎn)換和輪廓檢測。

最終，我決定直接修改原始網(wǎng)站的CSS樣式表，通過執(zhí)行以下操作：

1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣；

2. 模仿繪制的草圖來調(diào)整邊框的粗細，并添加陰影；

3. 將原有字體更改為類似手寫的字體；

最終實現(xiàn)的流程中還增加了一個步驟，通過添加傾斜、移動和旋轉(zhuǎn)來實現(xiàn)圖像增強，來模擬實際繪制草圖中的變化。

使用圖像標注模型架構

現(xiàn)在，我已經(jīng)處理好數(shù)據(jù)集，接下來是構建模型。

我利用了圖像標注中使用的模型架構，該架構由三個主要部分組成：

1. 一種使用卷積神經(jīng)網(wǎng)絡（CNN）的計算機視覺模型，從源圖像提取圖像特征；

2. 一種包含門控單元GRU的語言模型，對源代碼令牌序列進行編碼；

3. 一個解碼器模型，也屬于GRU單元，把前兩個步驟的輸出作為輸入，并預測序列中的下一個令牌。

△ 以令牌序列為輸入來訓練模型

為了訓練模型，我將源代碼拆分為令牌序列。模型的輸入為單個部分序列及它的源圖像，其標簽是文本中的下一個令牌。該模型使用交叉熵函數(shù)作為損失函數(shù)，將模型的下個預測令牌與實際的下個令牌進行比較。

在模型從頭開始生成代碼的過程中，該推理方式稍有不同。圖像仍然通過CNN網(wǎng)絡進行處理，但文本處理開始時僅采用一個啟動序列。在每個步驟中，模型對序列中輸出的下個預測令牌將會添加到當前輸入序列，并作為新的輸入序列送到模型中；重復此操作直到模型的預測令牌為，或該過程達到每個文本中令牌數(shù)目的預定義值。

當模型生成一組預測令牌后，編譯器就會將DSL令牌轉(zhuǎn)換為HTML代碼，這些HTML代碼可以在任何瀏覽器中運行。

用BLEU分數(shù)評估模型

我決定使用BLEU分數(shù)來評估模型。這是機器翻譯任務中常用的一種度量標準，通過在給定相同輸入的情況下，衡量機器生成的文本與人類可能產(chǎn)生內(nèi)容的近似程度。

實際上，BLEU通過比較生成文本和參考文本的N元序列，以創(chuàng)建修改后的準確版本。它非常適用于這個項目，因為它會影響生成HTML代碼中的實際元素，以及它們之間的相互關系。

最棒的是，我還可以通過檢查生成的網(wǎng)站來比較當前的實際BLEU分數(shù)。

△ 觀察BLEU分數(shù)

當BLEU分數(shù)為1.0時，則說明給定源圖像后該模型能在正確位置設置合適的元素，而較低的BLEU分數(shù)這說明模型預測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數(shù)據(jù)集上的BLEU分數(shù)為0.76。

福利：定制網(wǎng)頁風格

后來，我還想到，由于該模型只生成當前頁面的框架，即文本的令牌，因此我可以在編譯過程中添加一個定制的CSS層，并立刻得到不同風格的生成網(wǎng)站。

△ 一個手繪圖生成多種風格的網(wǎng)頁

把風格定制和模型生成兩個過程分開，在使用模型時帶來了很多好處：

1.如果想要將SketchCode模型應用到自己公司的產(chǎn)品中，前端工程師可以直接使用該模型，只需更改一個CSS文件來匹配該公司的網(wǎng)頁設計風格；

2. 該模型內(nèi)置的可擴展性，即通過單一源圖像，模型可以迅速編譯出多種不同的預定義風格，因此用戶可以設想出多種可能的網(wǎng)站風格，并在瀏覽器中瀏覽這些生成網(wǎng)頁。

總結(jié)和展望

受到圖像標注研究的啟發(fā)，SketchCode模型能夠在幾秒鐘內(nèi)將手繪網(wǎng)站線框圖轉(zhuǎn)換為可用的HTML網(wǎng)站。

但是，該模型還存在一些問題，這也是我接下來可能的工作方向：

1. 由于這個模型只使用了16個元素進行訓練，所以它不能預測這些數(shù)據(jù)以外的令牌。下一步方向可能是使用更多元素來生成更多的網(wǎng)站樣本，包括網(wǎng)站圖片，下拉菜單和窗體，可參考啟動程序組件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；

2. 在實際網(wǎng)站構建中，存在很多變化。創(chuàng)建一個能更好反映這種變化的訓練集，是提高生成效果的一種好方法，可以通過獲取更多網(wǎng)站的HTML/CSS代碼以及內(nèi)容截圖來提高；

3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網(wǎng)絡GAN來創(chuàng)建更逼真的繪制網(wǎng)站圖像。

第一步

右擊桌面，選擇新建，選擇文本文檔

第二步

打開新建的文本文檔，輸入以下內(nèi)容（建議照敲一遍）

<!doctype html>
<html>
<head>
<meta charset="utf-8">
<title>標題</title>
</head>

<body>
</body>
</html>

上面這些內(nèi)容就是超文本標記語言，也稱為HTML，現(xiàn)在HTML已經(jīng)發(fā)展到第五代——HTML5，上面這些HTML5代碼是幫助我們寫出網(wǎng)頁的基礎。

第三步

右擊文檔重命名，修改文件后綴，將文件擴展名修改為.html

什么瀏覽器打開就會出現(xiàn)什么瀏覽器圖標

如果你看不到文件的擴展名那么就打開此電腦（我的電腦），在菜單欄查看勾選文件擴展名即可。

第四步

雙擊打開它，你會發(fā)現(xiàn)一片空白。

但并不是什么都沒有，上圖中箭頭指的那一串字母就叫URL，也稱“統(tǒng)一資源定位器”。因為這個文件只是本地文件，所以它現(xiàn)在的作用是定位你的文件存放位置，顯示文檔地址，說明文檔放在什么地方。

第五步

忍受不了空空的感覺，那么就開始添加一些東西吧！

右擊選擇打開方式，選擇用記事本打開

點擊其他應用可以看到記事本

試試看把標題改成“這是一個標題”，按快捷鍵ctrl+s保存

刷新一下瀏覽器，于是標題就變成了“這是一個標題”

那么我們就可以知道，修改<title></title>里面的內(nèi)容可以改變標題；同時<title>標簽是<head>標簽中唯一要求包含的東西。

第六步

一鼓作氣，再添加一些內(nèi)容吧！

在<body></body>這一對標簽里面加上這樣一段話：

<p>Hello</p>
<p>World</p>

然后保存刷新

Hello World

恭喜你，你已經(jīng)學會了最基礎的網(wǎng)頁制作了。

這是什么意思呢？

這些被稱為標簽，上面出現(xiàn)尖括號的都屬于標簽，它們通常都是成對的，由開始標簽和結(jié)束標簽（結(jié)束標簽加上斜杠）構成一組標簽，例如<title></title>、。

標簽定義段落，我們寫文章一般是敲一下回車就換一行，但是網(wǎng)頁不一樣，你敲多少個回車都是不被識別的。

<p>有志者，事竟成，破釜沉舟，百二秦關終屬楚;


苦心人，天不負，臥薪嘗膽，三千越甲可吞吳!</p>
<p><p></p>

可以看到上面的一段話，敲多少個回車都沒有用，而下面的一段話，用兩個標簽就換行了。

在線咨詢

上一篇：HTML5前端7個框架你需要了解一下！
下一篇：HTML｜CSS控制表格和列表自動隱藏超出內(nèi)容

您的項目需求

*請認真填寫需求信息，我們會在24小時內(nèi)與您取得聯(lián)系。

整合營銷服務商