整合營銷服務(wù)商
電腦端+手機端+微信端=數(shù)據(jù)同步管理
免費咨詢熱線：
電腦端+手機端+微信端=數(shù)據(jù)同步管理
免費咨詢熱線：
小新 編譯自 Insight Data Blog
量子位 出品 | 公眾號 QbitAI
寫個網(wǎng)頁能有多麻煩？在大多數(shù)公司里，這項工作分為三步：
1. 產(chǎn)品經(jīng)理完成用戶調(diào)研任務(wù)后，列出一系列技術(shù)要求；
2. 設(shè)計師根據(jù)這些要求來設(shè)計低保真原型，逐漸修改得到高保真原型和UI設(shè)計圖；
3. 工程師將這些設(shè)計圖實現(xiàn)為代碼，最終變成用戶使用的產(chǎn)品。
這么多環(huán)節(jié)，任何地方出一點問題，都會拉長開發(fā)周期。因此，不少公司，比如Airbnb已經(jīng)開始用機器學(xué)習(xí)來提高這個過程的效率。
△ Airbnb內(nèi)部的AI工具，從圖紙到代碼一步到位
看起來很美好，但Airbnb還沒公開該模型中端到端訓(xùn)練的細節(jié)，以及手工設(shè)計的圖像特征對該模型的貢獻度。這是該公司特有的閉源解決方案專利，可能不會進行公開。
好在，一個叫Ashwin Kumar的程序員創(chuàng)建了一個開源版本，讓開發(fā)者/設(shè)計師的工作變得更簡單。
以下內(nèi)容翻譯自他的博客：
理想上，這個模型可以根據(jù)網(wǎng)站設(shè)計的簡單手繪原型，很快地生成一個可用的HTML網(wǎng)站：
△ SketchCode模型利用手繪線框圖來生成HTML網(wǎng)站
事實上，上面例子就是利用訓(xùn)練好的模型在測試集上生成的一個實際網(wǎng)站，代碼請訪問：https://github.com/ashnkumar/sketch-code。
目前要解決的問題屬于一種更廣泛的任務(wù)，叫做程序綜合（program synthesis），即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規(guī)范或執(zhí)行追蹤法來生成代碼，但在當前任務(wù)中，我會充分利用源圖像，即給出的手繪線框圖來展開工作。
在機器學(xué)習(xí)中有一個十分熱門的研究領(lǐng)域，稱為圖像標注（image caption），目的是構(gòu)建一種把圖像和文本連接在一起的模型，特別是用于生成源圖像內(nèi)容的描述。
△ 圖像標注模型生成源圖像的文本描述
我從一篇pix2code論文和另一個應(yīng)用這種方法的相關(guān)項目中獲得靈感，決定把我的任務(wù)按照圖像標注方式來實現(xiàn)，把繪制的網(wǎng)站線框圖作為輸入圖像，并將其相應(yīng)的HTML代碼作為其輸出內(nèi)容。
注：上段提到的兩個參考項目分別是
pix2code論文：https://arxiv.org/abs/1705.07962
floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org
確定圖像標注方法后，理想中使用的訓(xùn)練數(shù)據(jù)集會包含成千上萬對手繪線框圖和對應(yīng)的HTML輸出代碼。但是，目前還沒有我想要的相關(guān)數(shù)據(jù)集，我只好為這個任務(wù)來創(chuàng)建數(shù)據(jù)集。
最開始，我嘗試了pix2code論文給出的開源數(shù)據(jù)集，該數(shù)據(jù)集由1750張綜合生成網(wǎng)站的截圖及其相應(yīng)源代碼組成。
△ pix2code數(shù)據(jù)集中的生成網(wǎng)站圖片和源代碼
這是一個很好的數(shù)據(jù)集，有幾個有趣的地方：
該數(shù)據(jù)集中的每個生成網(wǎng)站都包含幾個簡單的輔助程序元素，如按鈕、文本框和DIV對象。盡管這意味著這個模型受限于將這些少數(shù)元素作為它的輸出內(nèi)容，但是這些元素可通過選擇生成網(wǎng)絡(luò)來修改和擴展。這種方法應(yīng)該很容易地推廣到更大的元素詞匯表。
每個樣本的源代碼都是由領(lǐng)域?qū)Ｓ谜Z言（DSL）的令牌組成，這是該論文作者為該任務(wù)所創(chuàng)建的。每個令牌對應(yīng)于HTML和CSS的一個片段，且加入編譯器把DSL轉(zhuǎn)換為運行的HTML代碼。
為了修改我的任務(wù)數(shù)據(jù)集，我要讓網(wǎng)站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進行修改，包括灰度轉(zhuǎn)換和輪廓檢測。
最終，我決定直接修改原始網(wǎng)站的CSS樣式表，通過執(zhí)行以下操作：
1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣；
2. 模仿繪制的草圖來調(diào)整邊框的粗細，并添加陰影；
3. 將原有字體更改為類似手寫的字體；
最終實現(xiàn)的流程中還增加了一個步驟，通過添加傾斜、移動和旋轉(zhuǎn)來實現(xiàn)圖像增強，來模擬實際繪制草圖中的變化。
現(xiàn)在，我已經(jīng)處理好數(shù)據(jù)集，接下來是構(gòu)建模型。
我利用了圖像標注中使用的模型架構(gòu)，該架構(gòu)由三個主要部分組成：
1. 一種使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的計算機視覺模型，從源圖像提取圖像特征；
2. 一種包含門控單元GRU的語言模型，對源代碼令牌序列進行編碼；
3. 一個解碼器模型，也屬于GRU單元，把前兩個步驟的輸出作為輸入，并預(yù)測序列中的下一個令牌。
△ 以令牌序列為輸入來訓(xùn)練模型
為了訓(xùn)練模型，我將源代碼拆分為令牌序列。模型的輸入為單個部分序列及它的源圖像，其標簽是文本中的下一個令牌。該模型使用交叉熵函數(shù)作為損失函數(shù)，將模型的下個預(yù)測令牌與實際的下個令牌進行比較。
在模型從頭開始生成代碼的過程中，該推理方式稍有不同。圖像仍然通過CNN網(wǎng)絡(luò)進行處理，但文本處理開始時僅采用一個啟動序列。在每個步驟中，模型對序列中輸出的下個預(yù)測令牌將會添加到當前輸入序列，并作為新的輸入序列送到模型中；重復(fù)此操作直到模型的預(yù)測令牌為，或該過程達到每個文本中令牌數(shù)目的預(yù)定義值。
當模型生成一組預(yù)測令牌后，編譯器就會將DSL令牌轉(zhuǎn)換為HTML代碼，這些HTML代碼可以在任何瀏覽器中運行。
我決定使用BLEU分數(shù)來評估模型。這是機器翻譯任務(wù)中常用的一種度量標準，通過在給定相同輸入的情況下，衡量機器生成的文本與人類可能產(chǎn)生內(nèi)容的近似程度。
實際上，BLEU通過比較生成文本和參考文本的N元序列，以創(chuàng)建修改后的準確版本。它非常適用于這個項目，因為它會影響生成HTML代碼中的實際元素，以及它們之間的相互關(guān)系。
最棒的是，我還可以通過檢查生成的網(wǎng)站來比較當前的實際BLEU分數(shù)。
△ 觀察BLEU分數(shù)
當BLEU分數(shù)為1.0時，則說明給定源圖像后該模型能在正確位置設(shè)置合適的元素，而較低的BLEU分數(shù)這說明模型預(yù)測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數(shù)據(jù)集上的BLEU分數(shù)為0.76。
后來，我還想到，由于該模型只生成當前頁面的框架，即文本的令牌，因此我可以在編譯過程中添加一個定制的CSS層，并立刻得到不同風(fēng)格的生成網(wǎng)站。
△ 一個手繪圖生成多種風(fēng)格的網(wǎng)頁
把風(fēng)格定制和模型生成兩個過程分開，在使用模型時帶來了很多好處：
1.如果想要將SketchCode模型應(yīng)用到自己公司的產(chǎn)品中，前端工程師可以直接使用該模型，只需更改一個CSS文件來匹配該公司的網(wǎng)頁設(shè)計風(fēng)格；
2. 該模型內(nèi)置的可擴展性，即通過單一源圖像，模型可以迅速編譯出多種不同的預(yù)定義風(fēng)格，因此用戶可以設(shè)想出多種可能的網(wǎng)站風(fēng)格，并在瀏覽器中瀏覽這些生成網(wǎng)頁。
受到圖像標注研究的啟發(fā)，SketchCode模型能夠在幾秒鐘內(nèi)將手繪網(wǎng)站線框圖轉(zhuǎn)換為可用的HTML網(wǎng)站。
但是，該模型還存在一些問題，這也是我接下來可能的工作方向：
1. 由于這個模型只使用了16個元素進行訓(xùn)練，所以它不能預(yù)測這些數(shù)據(jù)以外的令牌。下一步方向可能是使用更多元素來生成更多的網(wǎng)站樣本，包括網(wǎng)站圖片，下拉菜單和窗體，可參考啟動程序組件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；
2. 在實際網(wǎng)站構(gòu)建中，存在很多變化。創(chuàng)建一個能更好反映這種變化的訓(xùn)練集，是提高生成效果的一種好方法，可以通過獲取更多網(wǎng)站的HTML/CSS代碼以及內(nèi)容截圖來提高；
3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網(wǎng)絡(luò)GAN來創(chuàng)建更逼真的繪制網(wǎng)站圖像。
代碼：https://github.com/ashnkumar/sketch-code
原文：https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細節(jié)，請在量子位公眾號(QbitAI)對話界面，回復(fù)“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)
PM完成Axure原型評審后，一定不能忘記備份這些原型html，后續(xù)可能需要查詢以及技術(shù)撕逼。
希望通過Axure原型的幾種使用場景，讓初級PM對它的來龍去脈有個清晰的了解。而不是停留在“我知道”“大概會用”的水平。
PM會經(jīng)常修改AxureRP源文件，然后生成不同的原型。
但是對外評審的原型應(yīng)該是唯一的。
并且該版本的產(chǎn)品需求文檔PRD就是這個原型。
請注意兩者不能混為一談。
一般來說我們是在Axure生成原型Html的時候，自動在瀏覽器中打開了原型并查看。
但是如何打開已備份在電腦中的原型呢，很多初級PM摸不著頭腦了。其實也不復(fù)雜，如果你學(xué)會一點html網(wǎng)頁的知識。
請進入該原型對應(yīng)的目錄，比如APP名稱V2.0版，我們會發(fā)現(xiàn)存在data、file、images、plugins、resources等文件夾，以及很多html網(wǎng)頁。請找到start.html，然后雙擊打開就是你熟悉的原型啦。
當原型評審后，PM需要將原型放到網(wǎng)上供所有團隊成員進行設(shè)計和編程。
不管是放到內(nèi)網(wǎng)展示，還是外網(wǎng)展示。其本質(zhì)都是將Axure原型的所有文件都上傳到服務(wù)器，包括所有的html文件，圖片文件，js文件，css文件。不能缺少任何文件，否則就無法正常顯示。
如果你只是修改了某個頁面，也切記生成并將所有文件上傳一遍，而不僅僅是該頁面對應(yīng)的html文件。因為其對應(yīng)的js，css文件，圖片文件也可能被修改
上傳之后然后把對應(yīng)的原型網(wǎng)址發(fā)給其他團隊成員即可查看。
由于Axure原型是由html+js+cs組成的文件，我們在生成的時候?qū)⑺麄兎胖迷谥付夸洝?/p>
嘉定我們將該產(chǎn)品的所有原型存放于D://PM/APP名稱，那么建議以“APP名稱V1.0版”的格式命名，并生成原型。
當然你也可以繼續(xù)壓縮之后存起來，不過就不太方便后續(xù)的查詢。
有時候我們需要回退版本的時候，需要把舊版本的原型也拿出來。那么請用舊版本的原型html去替換當下的原型目錄。
不過不太建議這樣，還不如新增一個版本來處理。
由于Axure生成的原型，是以Html文件進行索引內(nèi)容的。而Html是以你在Axure中新建的頁面來作為基礎(chǔ)的。如果你畫Axure原型的時候是以你產(chǎn)品中的頁面來進行命名和創(chuàng)建的。那么我們可以通過搜索“頁面名稱”關(guān)鍵詞去查詢你想要查詢的頁面。
如果你使用的搜索工具支持搜索文件內(nèi)內(nèi)容，比如Windows下面的everthing，Mac自帶的spotlight。那么可以通過搜索“頁面內(nèi)文字”關(guān)鍵詞去查詢你想要查詢的相關(guān)頁面。
不過我更建議你進入到具體版本的原型html文件夾里面進行搜索，而不是進行全局搜索。
以上就是Axure原型的使用場景。請一定要理解Axure原型的本質(zhì)是html+js+css，每次生成原型的時候會在本地生成目錄并寫入這些文件。
浪子，業(yè)務(wù)型PM，浪子PRD系列51prd.com，公眾號langzisay，個人微信nuanai88。
本文由 @浪子 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。
題圖來自 unsplash，基于 CC0 協(xié)議
一直以來，我們學(xué)習(xí)的在 JavaScript 里創(chuàng)建對象的方法都是創(chuàng)建一個構(gòu)造函數(shù)，然后為函數(shù)的原型對象添加方法。
function Animal(name) {
this.name = name;
}
Animal.prototype.getName = function() {
return this.name;
};對于子類的解決方案是，創(chuàng)建一個新的構(gòu)造函數(shù)，并且設(shè)置其原型為其父類的原型。調(diào)用父類的構(gòu)造函數(shù)，并將this設(shè)置為其上下文對象。
function Dog(name) {
Animal.call(this, name);
}
Dog.prototype = Object.create(Animal.prototype);
Dog.prototype.speak = function() {
return "woof";
};
var dog = new Dog("Scamp");
console.log(dog.getName() + ' says ' + dog.speak());如果你接觸過任何原型語言，你會覺得上面的例子看起來很奇怪。我嘗試過 IO 語言——一門基于原型的語言。在原型語言中，可以通過克隆對象并添加屬性和方法的方式創(chuàng)建一個原型。然后你能克隆剛才創(chuàng)建的原型，從而創(chuàng)建一個可以使用的實例，或者克隆它來創(chuàng)建另一個原型。上面的例子在 IO 里，看起來像下面這樣：
Animal := Object clone
Animal getName := method(name)
Dog := Animal clone
Dog speak := method("woof")
dog := Dog clone
dog name := "Scamp"
writeln(dog getName(), " says ", dog speak())在JavaScript中，也可以使用這種編碼方式！Object.create 函數(shù)和 IO 里的 clone 類似。下面是在JavaScript中，純原型的實現(xiàn)。除了語法不同之外，和 IO 版本一樣。
Animal = Object.create(Object);
Animal.getName = function() {
return this.name;
};
Dog = Object.create(Animal);
Dog.speak = function() {
return "woof";
};
var dog = Object.create(Dog);
dog.name = "Scamp";
console.log(dog.getName() + ' says ' + dog.speak());當使用構(gòu)造函數(shù)時，JavaScript 引擎會進行優(yōu)化。在 JSPerf 上測試兩個不同的操作，顯示基于原型的實現(xiàn)比使用構(gòu)造函數(shù)的方式最多慢90多倍。
另外，如果你使用類似 Angular 的框架，當創(chuàng)建控制器和服務(wù)時，必須使用構(gòu)造函數(shù)。
ES6帶來了新的 class 語法。但其只是標準構(gòu)造函數(shù)方法的語法糖。新的語法看起來更像 Java 或 c#，但其幕后仍然是創(chuàng)建原型對象。這會讓來自基于類語言的人感到迷惑，因為當創(chuàng)建原型時，他們希望類和他們的語言有相同的屬性。
class Animal {
constructor(name) {
this.name = name;
}
getName() {
return this.name;
}
}
class Dog extends Animal {
constructor(name) {
super(name);
}
speak() {
return "woof";
}
}
var dog = new Dog("Scamp");
console.log(dog.getName() + ' says ' + dog.speak());如果讓我選擇，我會用純原型的風(fēng)格。這更具有表現(xiàn)力，動態(tài)和有趣。由于虛擬機會對構(gòu)造函數(shù)方法進行優(yōu)化，所有框架都會選擇構(gòu)造函數(shù)方法，在產(chǎn)品代碼中，我會繼續(xù)使用構(gòu)造函數(shù)。一旦 ES6 變得流行，我希望使用新的類語法代替古老的構(gòu)造函數(shù)方法。
*請認真填寫需求信息，我們會在24小時內(nèi)與您取得聯(lián)系。
