小新 編譯自 Insight Data Blog

量子位 出品 | 公眾號 QbitAI

寫個網頁能有多麻煩？在大多數公司里，這項工作分為三步：

1. 產品經理完成用戶調研任務后，列出一系列技術要求；

2. 設計師根據這些要求來設計低保真原型，逐漸修改得到高保真原型和UI設計圖；

3. 工程師將這些設計圖實現為代碼，最終變成用戶使用的產品。

這么多環節，任何地方出一點問題，都會拉長開發周期。因此，不少公司，比如Airbnb已經開始用機器學習來提高這個過程的效率。

△ Airbnb內部的AI工具，從圖紙到代碼一步到位

看起來很美好，但Airbnb還沒公開該模型中端到端訓練的細節，以及手工設計的圖像特征對該模型的貢獻度。這是該公司特有的閉源解決方案專利，可能不會進行公開。

好在，一個叫Ashwin Kumar的程序員創建了一個開源版本，讓開發者/設計師的工作變得更簡單。

以下內容翻譯自他的博客：

理想上，這個模型可以根據網站設計的簡單手繪原型，很快地生成一個可用的HTML網站：

△ SketchCode模型利用手繪線框圖來生成HTML網站

事實上，上面例子就是利用訓練好的模型在測試集上生成的一個實際網站，代碼請訪問：https://github.com/ashnkumar/sketch-code。

從圖像標注中獲取靈感

目前要解決的問題屬于一種更廣泛的任務，叫做程序綜合（program synthesis），即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規范或執行追蹤法來生成代碼，但在當前任務中，我會充分利用源圖像，即給出的手繪線框圖來展開工作。

在機器學習中有一個十分熱門的研究領域，稱為圖像標注（image caption），目的是構建一種把圖像和文本連接在一起的模型，特別是用于生成源圖像內容的描述。

△ 圖像標注模型生成源圖像的文本描述

我從一篇pix2code論文和另一個應用這種方法的相關項目中獲得靈感，決定把我的任務按照圖像標注方式來實現，把繪制的網站線框圖作為輸入圖像，并將其相應的HTML代碼作為其輸出內容。

注：上段提到的兩個參考項目分別是

pix2code論文：https://arxiv.org/abs/1705.07962

floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

獲取合適的數據集

確定圖像標注方法后，理想中使用的訓練數據集會包含成千上萬對手繪線框圖和對應的HTML輸出代碼。但是，目前還沒有我想要的相關數據集，我只好為這個任務來創建數據集。

最開始，我嘗試了pix2code論文給出的開源數據集，該數據集由1750張綜合生成網站的截圖及其相應源代碼組成。

△ pix2code數據集中的生成網站圖片和源代碼

這是一個很好的數據集，有幾個有趣的地方：

• 該數據集中的每個生成網站都包含幾個簡單的輔助程序元素，如按鈕、文本框和DIV對象。盡管這意味著這個模型受限于將這些少數元素作為它的輸出內容，但是這些元素可通過選擇生成網絡來修改和擴展。這種方法應該很容易地推廣到更大的元素詞匯表。

• 每個樣本的源代碼都是由領域專用語言（DSL）的令牌組成，這是該論文作者為該任務所創建的。每個令牌對應于HTML和CSS的一個片段，且加入編譯器把DSL轉換為運行的HTML代碼。

彩色網站圖像變手繪圖

為了修改我的任務數據集，我要讓網站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進行修改，包括灰度轉換和輪廓檢測。

最終，我決定直接修改原始網站的CSS樣式表，通過執行以下操作：

1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣；

2. 模仿繪制的草圖來調整邊框的粗細，并添加陰影；

3. 將原有字體更改為類似手寫的字體；

最終實現的流程中還增加了一個步驟，通過添加傾斜、移動和旋轉來實現圖像增強，來模擬實際繪制草圖中的變化。

使用圖像標注模型架構

現在，我已經處理好數據集，接下來是構建模型。

我利用了圖像標注中使用的模型架構，該架構由三個主要部分組成：

1. 一種使用卷積神經網絡（CNN）的計算機視覺模型，從源圖像提取圖像特征；

2. 一種包含門控單元GRU的語言模型，對源代碼令牌序列進行編碼；

3. 一個解碼器模型，也屬于GRU單元，把前兩個步驟的輸出作為輸入，并預測序列中的下一個令牌。

△ 以令牌序列為輸入來訓練模型

為了訓練模型，我將源代碼拆分為令牌序列。模型的輸入為單個部分序列及它的源圖像，其標簽是文本中的下一個令牌。該模型使用交叉熵函數作為損失函數，將模型的下個預測令牌與實際的下個令牌進行比較。

在模型從頭開始生成代碼的過程中，該推理方式稍有不同。圖像仍然通過CNN網絡進行處理，但文本處理開始時僅采用一個啟動序列。在每個步驟中，模型對序列中輸出的下個預測令牌將會添加到當前輸入序列，并作為新的輸入序列送到模型中；重復此操作直到模型的預測令牌為，或該過程達到每個文本中令牌數目的預定義值。

當模型生成一組預測令牌后，編譯器就會將DSL令牌轉換為HTML代碼，這些HTML代碼可以在任何瀏覽器中運行。

用BLEU分數評估模型

我決定使用BLEU分數來評估模型。這是機器翻譯任務中常用的一種度量標準，通過在給定相同輸入的情況下，衡量機器生成的文本與人類可能產生內容的近似程度。

實際上，BLEU通過比較生成文本和參考文本的N元序列，以創建修改后的準確版本。它非常適用于這個項目，因為它會影響生成HTML代碼中的實際元素，以及它們之間的相互關系。

最棒的是，我還可以通過檢查生成的網站來比較當前的實際BLEU分數。

△ 觀察BLEU分數

當BLEU分數為1.0時，則說明給定源圖像后該模型能在正確位置設置合適的元素，而較低的BLEU分數這說明模型預測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數據集上的BLEU分數為0.76。

福利：定制網頁風格

后來，我還想到，由于該模型只生成當前頁面的框架，即文本的令牌，因此我可以在編譯過程中添加一個定制的CSS層，并立刻得到不同風格的生成網站。

△ 一個手繪圖生成多種風格的網頁

把風格定制和模型生成兩個過程分開，在使用模型時帶來了很多好處：

1.如果想要將SketchCode模型應用到自己公司的產品中，前端工程師可以直接使用該模型，只需更改一個CSS文件來匹配該公司的網頁設計風格；

2. 該模型內置的可擴展性，即通過單一源圖像，模型可以迅速編譯出多種不同的預定義風格，因此用戶可以設想出多種可能的網站風格，并在瀏覽器中瀏覽這些生成網頁。

總結和展望

受到圖像標注研究的啟發，SketchCode模型能夠在幾秒鐘內將手繪網站線框圖轉換為可用的HTML網站。

但是，該模型還存在一些問題，這也是我接下來可能的工作方向：

1. 由于這個模型只使用了16個元素進行訓練，所以它不能預測這些數據以外的令牌。下一步方向可能是使用更多元素來生成更多的網站樣本，包括網站圖片，下拉菜單和窗體，可參考啟動程序組件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；

2. 在實際網站構建中，存在很多變化。創建一個能更好反映這種變化的訓練集，是提高生成效果的一種好方法，可以通過獲取更多網站的HTML/CSS代碼以及內容截圖來提高；

3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網絡GAN來創建更逼真的繪制網站圖像。

相關地址

代碼：https://github.com/ashnkumar/sketch-code

原文：https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?'?' ? 追蹤AI技術和產品新動態

文共2416字，預計學習時長5分鐘

函數是編程中的關鍵部件之一。這些函數可執行特定任務，并可反復調用執行。將Javascript中的函數和其他編程語言中的函數相比較，其中最大的區別在于Javascript函數為一級對象，這意味著Javascript中的函數表現類似于對象，可作為變量、數組和其他對象。

本文就定義函數的三種不同方法進行討論：

1. 函數聲明

2. 函數表達式

3. 生成器函數

1. 函數聲明

函數聲明可能是最常見的方式了。觀察如下語句：

function name (parameter)
{
 statements 
}

函數聲明語句

函數由關鍵字函數、函數的強制名稱和括號內的參數組成（定義函數也可無參數）。最后，大括號內則是函數的主體，用以執行實際任務。

理解形參和實參的區別很重要。形參是定義函數時的一個變量。在調用函數時，實參則是輸入函數形參的實際數據。

首先，看一個簡單實例：

function hello(name)
{
console.log("Hello "+ name)
}
hello('stuti')
// Hello stuti
hello(12)
// Hello 12

名為hello的函數以實際參數名稱聲明，在控制臺記錄消息。從本例中，可以看出，因為實際參數上無指定類型，所以其既適用于string函數，也適用于number函數。倘若只是希望該函數是一個名稱而不是數值呢？很遺憾，由于Javascript中沒有預建法來實現這一點，必須手動確定輸入函數的實際參數類型，如下所示：

function hello(name) {
 if (typeof name === 'string')
 console.log("Hello " + name)
 else
 console.log("Please input a Name")
}
hello(12) 
// Plese input a Name

默認情況下，函數返回未定義變量。若要返回任何其他值，則函數必須具備返回語句，而由該語句指定返回值。

function something(){
}
console.log(something()) // undefined
function notSomething(){
 return 1
}
console.log(notSomething()) // 1

函數聲明中提升是什么？

簡單地說，這意味著在執行代碼時，無論何處聲明函數或變量，它們均會移動至作用域的頂部。這也就是所謂的提升。

觀察下方實例：

myName()
// My name is Stuti Chahuhan
function myName() {
 console.log(`My name is Stuti Chauhan`)
}

函數聲明中的提升

此處甚至是在聲明之前就調用了這個函數——提升。

2. 函數表達式

函數表達式與函數聲明極為相似，連語句都不甚相同。最主要的區別在于函數表達式不以關鍵字函數開頭，且函數名稱可選，在此情況下，該函數表達式則可以成為一個匿名函數。如果函數有名稱，則將其稱為命名函數表達式。

let checkNumber = function check (num){
 return (num %2==0)?"even" : "odd"
 }
console.log(checkNumber(50)) 
// even

函數表達式的例子

現在來觀察一下定義上述函數的匿名法。

//Anonymous Function 
let checkNumber = function (num){
 return (num %2==0)?"even" : "odd"
 }
console.log(checkNumber(50)) 
// even

匿名函數表達式

函數聲明和函數表達式最關鍵的區別就在于函數表達式無提升功能。若在函數表達式中嘗試與提升函數聲明相同的項目，則會出現報錯。

myName()
// ReferenceError: myName is not defined
let myName =function () {
 console.log(`My name is Stuti Chauhan`)
}

函數表達式中無提升

IIFE（立即執行函數表達式）

這意味著函數一旦定義就開始運行，而函數表達式附在分組操作符()中，

( function () {
 let num = 4
 return num
 })
//4

為什么典型的函數表達式需要IIFE？一般定義一個函數，隨后多次調用。但倘若只想調用一次用來生成輸出，并且不再使用該函數呢？由此就出現了IIFE。該函數會立即執行，并在以后不再經程序訪問。因為不需再調用該函數，所以它也不需要名稱，因此匿名函數表達式首選IIFE。

3. 生成器函數

普通函數遵循運行-完成的模型，不能在執行最后一行之前停止運行。若想在執行過程中退出，必須返回或拋出一個錯誤。

而生成器函數可以在執行過程中停止。當其調回時，仍然從停止的地方繼續。

該函數與普通函數一樣進行聲明，但不同之處在于生成器函數在function關鍵字后面帶有星號*，其間可包含任意數量的空格。

還有一點需要注意:在JavaScript中，生成器是一個函數，該函數返回一個對象，在該對象上可調用next()，每次調用next()都會返回一個結構如下的對象：

{ 
 value: Any,
 done: true|false
} 

此對象包含兩個屬性：value和done。Value是對象的實際值，而done規定了函數終止的屬性——默認值為false，當其變為true時，則函數停止。

通過一個簡單的例子來理解這點：

function * generatorFunction()
{ 
 console.log('first to execute');
 yield 'takes a pause'; 
 
 console.log(' printed after the pause'); 
 yield 'end of the function';
 
}
const gen = generatorFunction();
console.log(gen.next().value); // first to execute
 // takes a pause
console.log(gen.next().value); // printed after the pause
 // end of the function
console.log(gen.next().value); 
 // undefined

函數本體中，不使用return關鍵字——而是使用yeild，如果使用了return，則會將done屬性更改為true，函數將結束——之后的任何操作都不會執行。Yield給出為其分配的值。

首先，在調用函數前先定義函數，同時調用一個生成器函數，形成一個生成器對象，存儲在變量中。

然后在使用next()和value屬性時調用對象。第一次使用next()時，函數執行開始。首先，運行console.log (“首次執行”)并將其記錄在控制臺中，然后遇到yield—輸出 “暫停”值，執行停止。

第二次調用next()時，它從上次暫停處繼續。同樣，首先運行console.log()，再次遇到yield，生成“函數結束”值，函數停止。

第三次調用next()時，結果是未定義。這是因為由生成器函數生成的對象只能迭代一次——該對象現在是無用的，必須生成一個新對象才能重新啟動程序。

function* generator() {
 yield "some value";
 return "ends here";
 yield "will never execute";
 yield "never reach here"
}
var gen = generator()
console.log(gen.next()); 
// { value: "some value", done: false }
console.log(gen.next()); 
// { value: "ends here", done: true }
console.log(gen.next()); 
// { value: undefined, done: true }
console.log(gen.next()); 
// { value: undefined, done: true }

如果使用return而不是yield，那么數據的值就會被更改為true，之后就不會執行任何操作。與Promise結合使用時，就異步編程而言，生成器是一個非常強大的工具。該函數即使不能完全消除回調的問題，也可以減輕其問題的程度。

結論：哪種方法更好？

事實上，我們不能將其進行比較，然后說一個比另一個好——聲明的類型還是取決于具體情況或條件。

為實現更好的異步功能則使用生成器函數，針對立即執行函數的情況，則使用匿名函數表達式。

留言 點贊 關注

我們一起分享AI學習與發展的干貨

編譯組：柳玥、溫媛

相關鏈接：

https://medium.com/better-programming/three-ways-to-define-functions-in-javascript-750a908e51d9

如需轉載，請后臺留言，遵守轉載規范

JavaScript 函數有 4 種調用方式。

每種方式的不同方式在于 this 的初始化。

this 關鍵字

一般而言，在Javascript中，this指向函數執行時的當前對象。

調用 JavaScript 函數

我們知道如何創建函數。

函數中的代碼在函數被調用后執行。

作為一個函數調用

實例

function myFunction(a, b) {

return a * b;

}

myFunction(10, 2); // myFunction(10, 2) 返回 20

以上函數不屬于任何對象。但是在 JavaScript 中它始終是默認的全局對象。

在 HTML 中默認的全局對象是 HTML 頁面本身，所以函數是屬于 HTML 頁面。

在瀏覽器中的頁面對象是瀏覽器窗口(window 對象)。以上函數會自動變為 window 對象的函數。

myFunction() 和 window.myFunction() 是一樣的：

實例

function myFunction(a, b) {

return a * b;

}

window.myFunction(10, 2); // window.myFunction(10, 2) 返回 20

全局對象

當函數沒有被自身的對象調用時， this 的值就會變成全局對象。

在 web 瀏覽器中全局對象是瀏覽器窗口（window 對象）。

該實例返回 this 的值是 window 對象:

實例

function myFunction() {

return this;

}

myFunction(); // 返回 window 對象

函數作為方法調用

在 JavaScript 中你可以將函數定義為對象的方法。

以下實例創建了一個對象 (myObject), 對象有兩個屬性 (firstName 和 lastName), 及一個方法 (fullName):

實例

var myObject = {

firstName:"John",

lastName: "Doe",

fullName: function () {

return this.firstName + " " + this.lastName;

}

}

myObject.fullName(); // 返回 "John Doe"

fullName 方法是一個函數。函數屬于對象。 myObject 是函數的所有者。

this對象，擁有 JavaScript 代碼。實例中 this 的值為 myObject 對象。

測試以下！修改 fullName 方法并返回 this 值:

實例

var myObject = {

firstName:"John",

lastName: "Doe",

fullName: function () {

return this;

}

}

myObject.fullName(); // 返回 [object Object] (所有者對象)

使用構造函數調用函數

如果函數調用前使用了 new 關鍵字, 則是調用了構造函數。

這看起來就像創建了新的函數，但實際上 JavaScript 函數是重新創建的對象：

實例

// 構造函數:

function myFunction(arg1, arg2) {

this.firstName = arg1;

this.lastName = arg2;

}

// Thiscreates a new object

var x = new myFunction("John","Doe");

x.firstName; // 返回 "John"

構造函數的調用會創建一個新的對象。新對象會繼承構造函數的屬性和方法。

作為函數方法調用函數

在 JavaScript 中, 函數是對象。JavaScript 函數有它的屬性和方法。

call() 和 apply() 是預定義的函數方法。 兩個方法可用于調用函數，兩個方法的第一個參數必須是對象本身。

實例

function myFunction(a, b) {

return a * b;

}

myFunction.call(myObject, 10, 2); // 返回 20

實例

function myFunction(a, b) {

return a * b;

}

myArray = [10,2];

myFunction.apply(myObject, myArray); // 返回 20

兩個方法都使用了對象本身作為第一個參數。 兩者的區別在于第二個參數： apply傳入的是一個參數數組，也就是將多個參數組合成為一個數組傳入，而call則作為call的參數傳入（從第二個參數開始）。

在 JavaScript 嚴格模式(strict mode)下, 在調用函數時第一個參數會成為 this 的值， 即使該參數不是一個對象。

在 JavaScript 非嚴格模式(non-strict mode)下, 如果第一個參數的值是 null 或 undefined, 它將使用全局對象替代。

如您還有不明白的可以在下面與我留言或是與我探討QQ群308855039，我們一起飛！