擊右上方，關注開源中國OSC頭條號，獲取最新技術資訊

GoldDataSpider 是用于抓取網頁和抽取數據的工具。其核心代碼是從金色數據抓取融合平臺分離而來。

該項目提供抓取和抽取來自網頁數據，不僅可以抽取網頁內的內容，還能抽取URL、HTTP報頭、Cookie里的數據。

該項目定義了一種簡潔、靈活、敏捷的結構或者說是規則語法。極盡其所能將網頁內容、HTTP報頭、Cookie、甚至關聯其它網頁、其它網站數據，抽取出有意義有價值數據字段，組成一條數據記錄。除此之外，還能內嵌http請求，以補充數據字段，比如某些字段需要向詞典提供翻譯這樣的字段等等。

該項目還可支持從各種類型文檔抽取數據，比如html/xml/json/javascript/text等。

我們還提供了規則可視化配制，請下載采集數量不受限、爬蟲數量不受限、導出數據數量不受限的完全免費金色數據平臺社區版 。以及詳盡的文檔

使用入門

首先，我們需要將依賴加入項目當中，如下：

1、對于maven項目

<dependency>
 <groupId>com.100shouhou.golddata</groupId>
 <artifactId>golddata-spider</artifactId>
 <version>1.1.3</version>
</dependency>

2、對于gradle項目

 compile group: 'com.100shouhou.golddata', name: 'golddata-spider', version: '1.1.3'

然后你將可以使用該依賴所提供的簡潔清晰的API，如下:

@Test
public void testGoldSpider(){
 String ruleContent=
 " { \n"+
 " __node: li.sky.skyid \n"+
 " date: \n"+
 " { \n"+
 " expr: h1 \n"+
 " __label: 日期 \n"+
 " } \n"+
 " sn: \n"+
 " { \n"+
 " \n"+
 " js: md5(baseUri+item.date+headers['Content-Type']);\n"+
 " } \n"+
 " weather: \n"+
 " { \n"+
 " expr: p.wea \n"+
 " } \n"+
 " temprature: \n"+
 " { \n"+
 " expr: p.tem>i \n"+
 " } \n"+
 " } \n";
 GoldSpider spider= com.xst.golddata.GoldSpider.newSpider()
 .setUrl("http://www.weather.com.cn/weather/101020100.shtml")
 .setRule(ruleContent)
 .request();
 List list=spider.extractList();
 // List<Weather> weathers=spider.extractList(Weather.class);
 // Weather weathers=spider.extractFirst(Weather.class);
 list.forEach( System.out::println);
}

運行上面的測試，你將可以看類似下面的輸出：

{date=19日（今天）, weather=陰轉小雨, temprature=10℃, sn=8bc265cb2bf23b6764b75144b255d81d}
{date=20日（明天）, weather=小雨轉多云, temprature=11℃, sn=9efd7e7bbbfb9bb06e04c0c990568bfd}
{date=21日（后天）, weather=多云轉中雨, temprature=11℃, sn=728539ac882721187741708860324afa}
{date=22日（周六）, weather=小雨, temprature=9℃, sn=a23fa2233e750a3bdd11b2e200ed06c3}
{date=23日（周日）, weather=小雨轉多云, temprature=8℃, sn=b27e1b8a8e92a7bed384ceb3e4fdfb5f}
{date=24日（周一）, weather=多云轉小雨, temprature=8℃, sn=c142b7fd12330ca031dd96b307c0d50d}
{date=25日（周二）, weather=小雨轉中雨, temprature=6℃, sn=16f71d3c8f09394588532a3ed1a8bacf}

當作Service或者API使用

你可以在項目中，可以當作調用服務和API使用。例如如下：

@Service
public class WeatherServiceImpl implements WeatherService{
	public List<Weather> listByCityId(Long cityId){
		String url="http://www.weather.com.cn/weather/"+cityId+".shtml"
	 String rule="<同上>"
		GoldSpider spider= com.xst.golddata.GoldSpider.newSpider()
						.setUrl(url)
						.setRule(ruleContent)
						.request();
 
 return spider.extractList(Weather.class); 
	}
}

對于可視化配制，可以參考免費社區版文檔。以下就免費社區版做簡單介紹 ，詳情見官網！

免費社區版：

開源/免費

讓用戶更好理解和使用產品

我們針對數據采集免費，還開放和維護核心的開源代碼項目。讓用戶可以更好的使用、理解采集，用好采集。 讓用戶在各種場景應用金色數據采集帶來的便利，我們有信心讓客戶見到一個開放的數據平臺，讓用戶放心/省心/省力。

自由/靈活

透出一股強大的采集核心

我們的采集器，將向用戶暴露一切目標數據，除了常規網頁內容，還有如URL、HTTP報頭、Cookie等。還提供了各種解析工具和函數，讓用戶不僅能得到網頁內容里的數據，還能得到URL、HTTP報頭、Cookie里隱藏的核心數據，還能靈活做到智能防封。

分布式采集

私有云，更靈活，更安全，更放心

可以根據自身需求，隨意部署采集器數量，7*24小時不間斷運行，采集后端集中靈活控制。可自由指揮數據在哪個采集器采集。可定義定時采集，無需人員值守。

數據可關聯可追蹤

恢復/重建數據內在與外在價值

可以讓每條數據隨著目標網站目標內容更新（如商品價格）、而更新用戶應用表該條數據相關字段內容。

非侵入式融合

融合從未如此現實和簡單

完全可以在不改變用戶應用表結構（增刪改表列），而將采集數據融入到應用表中。

自動化/一體化

無需人力操作，即抓即用

不只是采集可以自動化抓取，融合也提供了手動化和強大自動化功能。還將采集與融合操作無縫對接，可將目標數據抓一條融合一條，實時流向應用表，做到即抓即用！

點擊下方鏈接，獲取軟件下載地址↓↓↓

GoldDataSpider首頁、文檔和下載 - 網頁數據抽取工具 - 開源中國