寫個網頁更簡單了！讓AI根據手繪原型生成HTML - 教程+代碼

小新編譯自 Insight Data Blog

量子位出品 | 公眾號 QbitAI

寫個網頁能有多麻煩？在大多數公司里，這項工作分為三步：

1. 產品經理完成用戶調研任務后，列出一系列技術要求；

2. 設計師根據這些要求來設計低保真原型，逐漸修改得到高保真原型和UI設計圖；

3. 工程師將這些設計圖實現為代碼，最終變成用戶使用的產品。

這么多環節，任何地方出一點問題，都會拉長開發周期。因此，不少公司，比如Airbnb已經開始用機器學習來提高這個過程的效率。

△ Airbnb內部的AI工具，從圖紙到代碼一步到位

看起來很美好，但Airbnb還沒公開該模型中端到端訓練的細節，以及手工設計的圖像特征對該模型的貢獻度。這是該公司特有的閉源解決方案專利，可能不會進行公開。

好在，一個叫Ashwin Kumar的程序員創建了一個開源版本，讓開發者/設計師的工作變得更簡單。

以下內容翻譯自他的博客：

理想上，這個模型可以根據網站設計的簡單手繪原型，很快地生成一個可用的HTML網站：

△ SketchCode模型利用手繪線框圖來生成HTML網站

事實上，上面例子就是利用訓練好的模型在測試集上生成的一個實際網站，代碼請訪問：https://github.com/ashnkumar/sketch-code。

從圖像標注中獲取靈感

目前要解決的問題屬于一種更廣泛的任務，叫做程序綜合（program synthesis），即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規范或執行追蹤法來生成代碼，但在當前任務中，我會充分利用源圖像，即給出的手繪線框圖來展開工作。

在機器學習中有一個十分熱門的研究領域，稱為圖像標注（image caption），目的是構建一種把圖像和文本連接在一起的模型，特別是用于生成源圖像內容的描述。

△ 圖像標注模型生成源圖像的文本描述

我從一篇pix2code論文和另一個應用這種方法的相關項目中獲得靈感，決定把我的任務按照圖像標注方式來實現，把繪制的網站線框圖作為輸入圖像，并將其相應的HTML代碼作為其輸出內容。

注：上段提到的兩個參考項目分別是

pix2code論文：https://arxiv.org/abs/1705.07962

floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

獲取合適的數據集

確定圖像標注方法后，理想中使用的訓練數據集會包含成千上萬對手繪線框圖和對應的HTML輸出代碼。但是，目前還沒有我想要的相關數據集，我只好為這個任務來創建數據集。

最開始，我嘗試了pix2code論文給出的開源數據集，該數據集由1750張綜合生成網站的截圖及其相應源代碼組成。

△ pix2code數據集中的生成網站圖片和源代碼

這是一個很好的數據集，有幾個有趣的地方：

該數據集中的每個生成網站都包含幾個簡單的輔助程序元素，如按鈕、文本框和DIV對象。盡管這意味著這個模型受限于將這些少數元素作為它的輸出內容，但是這些元素可通過選擇生成網絡來修改和擴展。這種方法應該很容易地推廣到更大的元素詞匯表。
每個樣本的源代碼都是由領域專用語言（DSL）的令牌組成，這是該論文作者為該任務所創建的。每個令牌對應于HTML和CSS的一個片段，且加入編譯器把DSL轉換為運行的HTML代碼。

彩色網站圖像變手繪圖

為了修改我的任務數據集，我要讓網站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進行修改，包括灰度轉換和輪廓檢測。

最終，我決定直接修改原始網站的CSS樣式表，通過執行以下操作：

1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣；

2. 模仿繪制的草圖來調整邊框的粗細，并添加陰影；

3. 將原有字體更改為類似手寫的字體；

最終實現的流程中還增加了一個步驟，通過添加傾斜、移動和旋轉來實現圖像增強，來模擬實際繪制草圖中的變化。

使用圖像標注模型架構

現在，我已經處理好數據集，接下來是構建模型。

我利用了圖像標注中使用的模型架構，該架構由三個主要部分組成：

1. 一種使用卷積神經網絡（CNN）的計算機視覺模型，從源圖像提取圖像特征；

2. 一種包含門控單元GRU的語言模型，對源代碼令牌序列進行編碼；

3. 一個解碼器模型，也屬于GRU單元，把前兩個步驟的輸出作為輸入，并預測序列中的下一個令牌。

△ 以令牌序列為輸入來訓練模型

為了訓練模型，我將源代碼拆分為令牌序列。模型的輸入為單個部分序列及它的源圖像，其標簽是文本中的下一個令牌。該模型使用交叉熵函數作為損失函數，將模型的下個預測令牌與實際的下個令牌進行比較。

在模型從頭開始生成代碼的過程中，該推理方式稍有不同。圖像仍然通過CNN網絡進行處理，但文本處理開始時僅采用一個啟動序列。在每個步驟中，模型對序列中輸出的下個預測令牌將會添加到當前輸入序列，并作為新的輸入序列送到模型中；重復此操作直到模型的預測令牌為，或該過程達到每個文本中令牌數目的預定義值。

當模型生成一組預測令牌后，編譯器就會將DSL令牌轉換為HTML代碼，這些HTML代碼可以在任何瀏覽器中運行。

用BLEU分數評估模型

我決定使用BLEU分數來評估模型。這是機器翻譯任務中常用的一種度量標準，通過在給定相同輸入的情況下，衡量機器生成的文本與人類可能產生內容的近似程度。

實際上，BLEU通過比較生成文本和參考文本的N元序列，以創建修改后的準確版本。它非常適用于這個項目，因為它會影響生成HTML代碼中的實際元素，以及它們之間的相互關系。

最棒的是，我還可以通過檢查生成的網站來比較當前的實際BLEU分數。

△ 觀察BLEU分數

當BLEU分數為1.0時，則說明給定源圖像后該模型能在正確位置設置合適的元素，而較低的BLEU分數這說明模型預測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數據集上的BLEU分數為0.76。

福利：定制網頁風格

后來，我還想到，由于該模型只生成當前頁面的框架，即文本的令牌，因此我可以在編譯過程中添加一個定制的CSS層，并立刻得到不同風格的生成網站。

△ 一個手繪圖生成多種風格的網頁

把風格定制和模型生成兩個過程分開，在使用模型時帶來了很多好處：

1.如果想要將SketchCode模型應用到自己公司的產品中，前端工程師可以直接使用該模型，只需更改一個CSS文件來匹配該公司的網頁設計風格；

2. 該模型內置的可擴展性，即通過單一源圖像，模型可以迅速編譯出多種不同的預定義風格，因此用戶可以設想出多種可能的網站風格，并在瀏覽器中瀏覽這些生成網頁。

總結和展望

受到圖像標注研究的啟發，SketchCode模型能夠在幾秒鐘內將手繪網站線框圖轉換為可用的HTML網站。

但是，該模型還存在一些問題，這也是我接下來可能的工作方向：

1. 由于這個模型只使用了16個元素進行訓練，所以它不能預測這些數據以外的令牌。下一步方向可能是使用更多元素來生成更多的網站樣本，包括網站圖片，下拉菜單和窗體，可參考啟動程序組件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；

2. 在實際網站構建中，存在很多變化。創建一個能更好反映這種變化的訓練集，是提高生成效果的一種好方法，可以通過獲取更多網站的HTML/CSS代碼以及內容截圖來提高；

3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網絡GAN來創建更逼真的繪制網站圖像。

tml簡單教程

簡單登錄界面

以下是一個簡單的HTML登錄頁面的代碼，你可以根據自己的需要進行修改：

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>登錄頁面</title>
<style type="text/css">
body {
background-color: #f2f2f2;
}
.login {
width: 400px;
height: 300px;
background-color: #fff;
border-radius: 5px;
box-shadow: 0px 0px 10px #ccc;
position: absolute;
top: 50%;
left: 50%;
margin-top: -150px;
margin-left: -200px;
}
.login h1 {
text-align: center;
font-size: 30px;
color: #333;
padding-top: 30px;
}
.login input[type="text"], .login input[type="password"] {
width: 300px;
height: 40px;
border-radius: 5px;
border: none;
outline: none;
margin-top: 30px;
margin-left: 50px;
padding-left: 10px;
font-size: 16px;
}
.login input[type="submit"] {
width: 300px;
height: 40px;
background-color: #f00;
border-radius: 5px;
border: none;
outline: none;
color:#fff;
font-size: 18px;
cursor:pointer; 
margin-top: 30px; 
margin-left:50px; 
}
</style>
</head>
<body>
<div class="login">
<h1>登錄</h1>
<form action="" method="post">
<input type="text" name="username" placeholder="請輸入用戶名"><br>
<input type="password" name="password" placeholder="請輸入密碼"><br>
<input type="submit" value="登錄">
</form>
</div>
</body>
</html>

這是一個簡單的登錄頁面，你可以根據自己的需要進行修改。如果你想了解更多關于HTML的知識，可以參考這些網站：W3Schools、MDN Web Docs。

(1) HTML+CSS+JS實現十款好看的登錄注冊界面模板，趕緊收藏起來吧！好看的登錄界面王同學要努力的博客-CSDN博客. https://blog.csdn.net/m0_46374969/article/details/115906705. (2) HTML+CSS登錄界面html登錄頁面代碼桐艾的博客-CSDN博客. https://blog.csdn.net/tongai1/article/details/105954419. (3) 如何制作一個簡單的HTML登錄頁面（附代碼） - 知乎專欄. https://zhuanlan.zhihu.com/p/143671138.

發送get請求并顯示返回內容

當客戶端使用GET方法向服務器發送請求時，請求的數據會附加在URL的末尾。服務器可以使用相同的HTTP協議來回答請求。在客戶端，可以使用JavaScript來獲取GET請求的數據。以下是一個簡單的例子：

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>GET請求</title>
<script src="https://cdn.bootcdn.net/ajax/libs/jquery/3.6.0/jquery.min.js"></script>
<script>
$(document).ready(function(){
    $("button").click(function(){
        $.get("demo_test_get.asp",
        {
          name: "Donald Duck",
          city: "Duckburg"
        },
        function(data, status){
            alert("Data: " + data + "\nStatus: " + status);
        });
    });
});
</script>
</head>
<body>

<button>發送 GET 請求</button>

</body>
</html>

在這個例子中，我們使用了jQuery庫來發送GET請求。當用戶點擊按鈕時，jQuery會向demo_test_get.asp發送GET請求，并將數據附加在URL的末尾。當服務器回答請求時，jQuery會調用回調函數，并將服務器返回的數據作為參數傳遞給它。

如果你想了解更多關于HTML、JavaScript和jQuery的知識，可以參考這些網站：W3Schools、MDN Web Docs。

(1) 發送表單數據 - 學習 Web 開發 | MDN - MDN Web Docs. https://developer.mozilla.org/zh-CN/docs/Learn/Forms/Sending_and_retrieving_form_data. (2) 純 HTML 頁面發請求獲取數據并渲染到頁面上 - CSDN博客. https://blog.csdn.net/LuckKing0925/article/details/111308084. (3) 使用Ajax發送http請求（get&post請求） - 千古壹號 - 博客園. https://www.cnblogs.com/qianguyihao/p/8485028.html.

發送post請求

在HTML中，可以使用form元素來創建一個表單，然后使用POST方法將表單數據發送到服務器。以下是一個簡單的例子：

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>POST請求</title>
</head>
<body>
<form action="http://www.example.com/login" method="post">
<label for="username">用戶名:</label>
<input type="text" id="username" name="username"><br><br>
<label for="password">密碼:</label>
<input type="password" id="password" name="password"><br><br>
<input type="submit" value="提交">
</form>
</body>
</html>

在這個例子中，我們使用了form元素來創建一個表單，然后使用POST方法將表單數據發送到http://www.example.com/login。在表單中，我們使用了兩個input元素來接收用戶名和密碼。當用戶點擊提交按鈕時，表單數據將被發送到服務器。

如果你想了解更多關于HTML的知識，可以參考這些網站：W3Schools、MDN Web Docs。

(1) POST - HTTP | MDN - MDN Web Docs. https://developer.mozilla.org/zh-CN/docs/web/http/methods/post. (2) HTML 請求方法 - w3school 在線教程. https://www.w3school.com.cn/tags/html_ref_httpmethods.asp. (3) jQuery post() 方法 | 菜鳥教程. https://www.runoob.com/jquery/ajax-post.html. (4) 發送表單數據 - 學習 Web 開發 | MDN - MDN Web Docs. https://developer.mozilla.org/zh-CN/docs/Learn/Forms/Sending_and_retrieving_form_data.

接收post請求

當客戶端使用POST方法向服務器發送請求時，服務器會將請求的數據存儲在HTTP請求的請求主體中。服務器可以使用相同的HTTP協議來回答請求。在客戶端，可以使用JavaScript來獲取POST請求的數據。以下是一個簡單的例子：

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>POST請求</title>
<script src="https://cdn.bootcdn.net/ajax/libs/jquery/3.6.0/jquery.min.js"></script>
<script>
$(document).ready(function(){
    $("button").click(function(){
        $.post("demo_test_post.asp",
        {
          name: "Donald Duck",
          city: "Duckburg"
        },
        function(data, status){
            alert("Data: " + data + "\nStatus: " + status);
        });
    });
});
</script>
</head>
<body>

<button>發送 POST 請求</button>

</body>
</html>

在這個例子中，我們使用了jQuery庫來發送POST請求。當用戶點擊按鈕時，jQuery會向demo_test_post.asp發送POST請求，并將數據存儲在HTTP請求的請求主體中。當服務器回答請求時，jQuery會調用回調函數，并將服務器返回的數據作為參數傳遞給它。

如果你想了解更多關于HTML、JavaScript和jQuery的知識，可以參考這些網站：W3Schools、MDN Web Docs。

(1) 發送表單數據 - 學習 Web 開發 | MDN - MDN Web Docs. https://developer.mozilla.org/zh-CN/docs/Learn/Forms/Sending_and_retrieving_form_data. (2) javascript能否獲取到post請求內的數據? - SegmentFault 思否. https://segmentfault.com/q/1010000004523107. (3) ChatGPT流式streaming回復的實現 - 掘金. https://juejin.cn/post/7222440107214241829.

互聯網高速發展的今天，我們通過瀏覽器可以看到各種各樣的網站，包含了各式不同的領域還有內容，通過點擊網站上的標簽和欄目我們就能夠很方便地看到網站上顯示的各種數據，而這些都是建立在HTML這種標記語言的基礎上做到的。

HTML的英文全稱為Hyper Text Markup Language，中文稱作超文本標記語言，是一種專門用來建立網站的標識語言。其中包括了許多標簽將分散的網絡數據連接到一起，聚合同一之后形成了我們現在所看到的網頁。

看到這里是不是有許多朋友想要知道這個HTML語言該怎么去學習呢？是需要找老師統一學，還是去圖書館找專業書籍自己學好呢？不用擔心，因為今天要給大家推薦的就是一個專門為大家提供各種編程語言教程的學習網站。

這個網站名叫 runoob，直接在瀏覽器上搜索即可找到。

圖片來自RUNOOB網頁截圖

在首頁可以看到該欄目的第二個就是關于HTML的學習教程，點擊左邊的方框可以調整你的課程進度，在第一章節的教程中很清晰地講解了什么是HTML，以及告訴了你一些關于網站建立的小知識。

下方的提示框會給你提供一些對HTML零基礎新手的科普，關于這種標記語言應該如何進行保存，如何查看文件后輟名，如何打開代碼文件等等，還會提供一些專用工具供你學習使用。同時網站會給你簡單介紹一些網頁編程語言的區別，還有各種用途上的區分，非常地詳細。

圖片來自RUNOOB網頁截圖

在第三章節的編輯器一欄里，會提供給你一些HTML的專用編輯器，例如VS Code，還有sublime text 等實用工具，在后面會教你如何將這些HTML必備編輯器下載并安裝，然后在瀏覽器上面運行。

通過插件還有語言編程的格式我們就能夠學會如何制作第一步的標題了，剛開始的一步比較簡單，相信大家很快就能學會如何在網頁上顯示自己打入的文字了。之后進一步的學習就是關于如何調整文字段落，還有各種標識的使用。

圖片來自RUNOOB網頁截圖

在如何進行文字排版編輯的方面，教程中也講述得很詳細，包括一些用戶們常犯的錯誤，還有一些網頁的實例，甚至是這個教學網站上的排版示范都會進行一一講解。

更深入的章節會對如何進行圖像排列，傳輸等方面進行細講，教程中把大部分網站會使用到的技巧還有排版方式都分成了許多個小片段，方便大家能夠對每個方面針對性地學習。這些內容并不多，幾乎每一個片段都是用很直白的語言進行講解，方便所有人都能夠看懂，并且在下方都會有更詳細的術語解析，還有一些比較難懂的點會舉例解釋。

圖片來自RUNOOB網頁截圖

經過十幾章節的教學之后，基本上能夠掌握HTML語言的基本用法，還有一些簡單的操作了，這個時候如果想要進階學習的話還可以在網站上查找其他的進階語言用法，例如CSS, JavaScript等等復雜一些的語言，相應的你也會學到更多如何運營網頁的方法。

當然如果想要自己建立一個網站的話，還需要更多資源還有設備，例如高速的網絡連接保持網頁的穩定性，以及穩定的服務器，用來保證自己的網頁24小時都能保持流暢可用。不過這些都是在學會了如何建立網頁之后才考慮的事了。

現在網上也有許多編程教學，在網上自學一門知識一門語言變得非常方便，但是僅僅是擁有資源還是不夠的。學習如何建立自己的網站還需要大量的努力以及知識的積累，通過不斷的練習還有實踐才能自如地使用，只有基礎扎實，建立出來的網站才能夠長久。但還需要大家能夠行動起來，只有去學習去實踐才能夠真正學會東西，希望這個教學網站推薦能夠幫到更多人！

在線咨詢

上一篇：JavaScript將HTML頁面生成PDF并下載
下一篇：CSS 中幾種最常用的水平垂直居中的方法

您的項目需求

*請認真填寫需求信息，我們會在24小時內與您取得聯系。

整合營銷服務商

寫個網頁更簡單了！讓AI根據手繪原型生成HTML - 教程+代碼

從圖像標注中獲取靈感

獲取合適的數據集

彩色網站圖像變手繪圖

使用圖像標注模型架構

用BLEU分數評估模型

福利：定制網頁風格

總結和展望

相關地址

tml簡單教程

簡單登錄界面

發送get請求并顯示返回內容

發送post請求

接收post請求

您的項目需求