果您熟悉編程，那么您肯定聽說過使用Node.js的后端開發方式。從根本上說，Node.js是一種框架，是一種在瀏覽器后臺(或外部)運行JavaScript(JS)代碼的運行時(runtime)環境。而作為一種編程語言，由JavaScript編寫的統一代碼庫，不但加快了開發進程，而且實現了過往我們無法完成的Web開發任務。

其實，Node.js后端開發并非什么新鮮事物，它既適用于企業級的應用程序，又適用于B2C類型的應用。目前，Node.js后端開發已在軟件開發人員中極為流行。您可以在Netflix或PayPal等許多產品中，找到它的身影。而為了跟上技術的發展，您有必要知道各種有關Node.js的基礎知識、相關特點、及其優勢。

Node.js的競爭對手

在Web項目的開發過程中，應用程序的后端開發質量，往往對于業務的正常運行，起到了至關重要的作用。在我們開始詳細討論Node.js之前，先來一起看看Node.js的主要后端競爭語言和框架。

PHP

PHP往往被程序員們廣泛地用于大、中型項目的后端開發。由于其體系結構是事件驅動的，因此它不適合于各種實時的連接。不過，憑借著其強大的支持社區，它能夠在眾多編程語言中脫穎而出。

Python

由于Python非常容易被上手，因此它可以被用來快速、高效地創建大、中型應用項目。不過，當Python受限于服務性能時，開發人員會選用PyPy來解決和實現。

Ruby

Ruby適用于一些中、小型項目。開發人員往往能夠受益于它所提供的全面文檔和龐大的社區。近年來，雖然Ruby和RoR(Ruby on Rails)框架廣為流行，但是其更新并不頻繁。

Java

Java屬于老牌多用途的編程語言。由于它是開發人員的入門級語言，因此大家對其有著深入地了解和運用。Java通常適用于那些需要復雜計算、以及繁雜數據處理的大型企業項目中。

.Net

.Net是一個功能強大的Microsoft框架，適用于中、小型項目中的多種后端和前端開發場景，包括Web服務、網站與桌面開發等領域。.Net不但免費，并且可以運行在不同的平臺上。

Node.js的概念與特征

作為一個運行時環境，Node.js允許程序員為應用程序編寫、編輯并運行JS代碼。簡單說來，它是一個用于在JavaScript中構建應用的平臺。其主要特征包括：

Node.js的使用領域

許多人認為Node.js僅可用于Web開發。但實際上，它的使用領域十分豐富。下面是其中的一些典型應用場景：

可見，能用到Node.js開發的領域遠不止Web后端開發。我們甚至可以通過使用諸如Electron的Node.js框架，來創建桌面端應用程序。

Node.js的框架集

盡管Node.js非常流行，但是它仍然會有一些難以執行的任務。為此，其社區開發出了許多既能簡化工作，又備受歡迎的框架集，例如：

人們通過選擇上述不同的Node.js框架，來滿足不同項目的特定需求。

Node.js的后端開發優勢

JS雖然早在多年前就已經在Web工程領域，獲得了廣泛的普及，但是如今借助著Node.js后端框架，開發人員不但可以輕松地實現過去基于事件的環境，所無法實現的功能，而且能夠使用相同的代碼，來構建服務器端和客戶端應用。此外，由于HTTP的請求和響應都屬于大文件流，而Node.js恰好適合實時處理大量信息，因此它可以利用GraphQL提供的儀表板，將收集的數據可視化。

同時，Node.js的后端開發優勢還包括：開發速度快，能夠將數據保存在本地的JSON中，擁有龐大的開發人員支持社區，可以在最高級別上執行數據流的傳輸，提供了出色的托管選項，而且適合于各種軟件平臺的開發。

如何使用Node.js增強應用程序的性能?

說到Node.js的優勢，人們往往首先想到的是降低開發的成本，以及提高開發人員的生產率。實際上，更重要的是，Node.js可以通過如下方面，為開發項目極大地提高應用程序的性能：

Node.JS在業界的流行程度

根據2020年的一份調查顯示，Node.js憑借著其綜合優勢，已榮登各個開發公司項目開發框架的榜首。通過使用Node.js來進行后端開發，許多IT領域的巨頭都在應用程序上獲得了出色的性能和廣泛的采用。其中典型的明星公司包括：Microsoft、Uber、PayPal、Amazon、BMW、Netflix、eBay、以及Intel等。他們既會將Node.js運用于小型項目，又能夠成功地構建企業級的大型應用。

Node.js的后端開發人員

根據Stackoverflow的相關統計，Node.js的后端開發人員在軟件市場上炙手可熱。就學習曲線而言，Node.js不僅易于從零開始，也方便在具有一定的其他編程知識的基礎上切入學習。當然，這會在客觀上造成魚龍混雜的狀況。因此，如果您的團隊需要雇傭Node.js后端開發人員時，應仔細考量候選人的基本技能，以及參與過哪些項目。下面是可參考的部分要點：

說到雇傭人員，我們來看兩個有關團隊組成的相關概念，即：職能型和跨職能團隊。

例如，您雇用了9個人來從事某個項目，其中有3位系統分析師、3位開發人員和3位測試人員，這就組成了一個職能型團隊。而在跨職能團隊里，由于人手有限，所有人都必須具備項目所需的各個領域的開發經驗(包括編碼、托管、以及維護等)。而相對于職能型團隊，跨職能團隊的優勢主要體現在：

綜上所述，正是由于Node.js采用了廣為大家所熟知的JS技術，因此前端與后端人員在開發過程中，彼此的邊界已變得非常清晰。無論是團隊成員，還是項目本身，都能夠充分受益于Node.js所帶來的各項優勢。

文章來源：https://developer.51cto.com/art/202101/639888.htm#topx

用nodejs,express,koa各實現一次爬蟲實戰。

三個項目代碼放到了github:https://github.com/liangchaofei/node_crawler上，可以直接下載運行。

node爬蟲

• 安裝爬蟲利器superagent和cheerio 本文不作介紹。

 npm i superagent cheerio --save

• 確定爬蟲頁面：http://bbs.tianya.cn/list-45-1.shtml
• 分析頁面dom結構

• 看出每個標題都是在class為mt5下的tr下面，所以遍歷.mt5下的tr

• 把數據當到data目錄下

express爬蟲

• 安裝包

 npm install express superagent cheerio superagent-charset --save

• 確定爬蟲頁面:https://www.qqtn.com/
• 分析頁面結構

• 看出每個標題都是在div.g-main-bg ul.g-gxlist-imgbox li a下面，進行遍歷

 $('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {
 var $element = $(element);
 var $subElement = $element.find('img');
 var thumbImgSrc = $subElement.attr('src');
 items.push({
 title: $(element).attr('title'),
 href: $element.attr('href'),
 thumbSrc: thumbImgSrc
 });
 });

• 把數據items存到img.json中

 fs.access(path.join(__dirname, '/img.json'), fs.constants.F_OK, err => {
 if (err) { // 文件不存在
 fs.writeFile(path.join(__dirname,'/img.json'), JSON.stringify([
 {
 route,
 items
 }
 ]), err => {
 if(err) {
 console.log(err)
 return false
 }
 console.log('保存成功')
 })
 } else {
 fs.readFile(path.join(__dirname, '/img.json'), (err, data) => {
 if (err) {
 console.log(err)
 return false
 }
 data = JSON.parse(data.toString())
 let exist = data.some((page, index) => {
 return page.route == route
 })
 if (!exist) {
 fs.writeFile(path.join(__dirname, 'img.json'), JSON.stringify([
 ...data,
 {
 route,
 items
 },
 ]), err => {
 if (err) {
 console.log(err)
 return false
 }
 })
 }
 })
 }
 res.json({ code: 200, msg: "", data: items });
 })

koa爬蟲

• 安裝

 npm i koa koa-router cheerio superagent --save

• 確定爬蟲頁面：https://www.freebuf.com/
• 分析頁面結構

• 遍歷div .news-list .news-info dl dt a

 $('div .news-list .news-info dl dt a').each((index, ele) => {
 data.push({
 title: $(ele).attr('title'),
 href: $(ele).attr('href')
 })
 })

• 把數據添加到data.json中

 fs.access(path.join(__dirname, 'data.json'), err => {
 if (err) {
 fs.writeFile(path.join(__dirname, 'data.json'), JSON.stringify([
 {
 data
 }
 ]), err => {
 if (err) {
 return;
 }
 })
 } else {
 fs.readFile(path.join(__dirname, 'data.json'), (err, res) => {
 data = res.toString()
 if (err) {
 return;
 }
 })
 }
 })

以上把node,express,koa都簡單的實現了爬蟲，面對復雜的頁面，還需要不斷的學習其他技術。

上面三個項目代碼放到了github上，可以直接下載運行。

如果對你有幫助，歡迎star。

微信公眾號：