介

Oracle 用戶：

#new add

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=/u01/app/oracle/product/12.2.0/db_1

export ORACLE_SID=racdb1

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH

umask 022

stty erase ^h

軟件包：

linuxx64_12201_database.zip

注意：

1.圖形界面的展示是使用了Xmanager軟件

2.安裝中涉及到的DATA和FRA磁盤組，是在grid軟件安裝完成后，使用asmca來創(chuàng)建的

3.本文是先安裝軟件，然后dbca建庫

數(shù)據(jù)庫軟件安裝

將軟件包上傳到其中一臺服務(wù)器上，然后使用oracle用戶解壓，進(jìn)入到解壓目錄，執(zhí)行runInstaller腳本：

1.email和oracle MOS支持，自己個人使用，不需要填寫

2.只安裝軟件，后面單獨使用dbca建庫

3.選擇安裝RAC

4.勾選上節(jié)點2，然后驗證oracle用戶的ssh等效性連接

5.選擇安裝企業(yè)版

6.ORACLE_BASE和ORACLE_HOME確認(rèn)和檢查(讀取前面配置好的環(huán)境變量)

7.相關(guān)組的分配

8.安裝前的預(yù)檢查

如果是swap ,scan ip 和resolv.comfi相關(guān)的錯誤可以忽略?。?/p>

如果使用ntp的話，需要修改文件：---建議不使用ntp，直接使用oracle自帶的時間同步CTSS

9.軟件安裝的Summary

10.開始安裝軟件,并根據(jù)彈出框執(zhí)行腳本

11.數(shù)據(jù)庫軟件安裝完成

DBCA創(chuàng)建數(shù)據(jù)庫

在oracle用戶下直接輸入命令dbca，會彈出下面的窗口：

1.選擇創(chuàng)建數(shù)據(jù)庫

2.選擇高級配置

3.選擇數(shù)據(jù)庫類型和用途

4.勾選節(jié)點2

5.輸入數(shù)據(jù)庫名稱，如果需要創(chuàng)建容器數(shù)據(jù)庫，需要勾選下面的Container database選項

6.選擇數(shù)據(jù)庫文件存放位置和是否使用OMF管理

7.定義快速恢復(fù)區(qū)和是否開啟歸檔

8.安全現(xiàn)骨干配置，可以不用配置

9.內(nèi)存分配，process分配，字符集選擇，連接模式選擇

AMM在dbca中不能分配超過4G的內(nèi)存，只能選擇ASMM或者手動分配！??！

10.是否做一個CVU檢查 和 是否安裝單機(jī)版的EM

11.密碼設(shè)置

12.創(chuàng)建數(shù)據(jù)庫的

13.預(yù)檢查

SWAP和SCAN IP相關(guān)錯誤可以忽略！

14.數(shù)據(jù)庫安裝Summary

15.開始安裝

16.安裝完成

至此，Oracle 12C RAC整體就安裝完成！

后續(xù)

安裝完成后，可以使用命令來查看是否正常：

ps -ef|grep smon --查看進(jìn)程

select open_mode from v$databases; ---查看數(shù)據(jù)庫狀態(tài)

crsctl status resource -t --- 查看資源情況

crsctl check cluster ---檢查集群情況

crsctl check crs ---檢查CRS狀態(tài)

crsctl check ctss ---時間同步狀態(tài)

ocrcheck ---檢查ocr

crsctl query css votedisk ---檢查votedisk信息

景：最近的工作需要對文本先進(jìn)行標(biāo)注，然后才可以做接下來的文本分類工作。其中主要內(nèi)容是對一段文本打標(biāo)簽，標(biāo)記該文本描述了一個我們預(yù)定義的種類標(biāo)簽。

原來文本數(shù)量少的時候可以手工標(biāo)注，隨著文本數(shù)量的增多，需要借助標(biāo)注工具，調(diào)研了目前常用的幾種：

1，BRAT

https://github.com/nlplab/brat

首先是業(yè)內(nèi)常用的BRAT，官網(wǎng)地址：http://brat.nlplab.org/ ，這是很早以前出現(xiàn)的一個工具，基于web的文本標(biāo)注工具，主要用于對文本的結(jié)構(gòu)化標(biāo)注，用BRAT生成的標(biāo)注結(jié)果能夠把無結(jié)構(gòu)化的原始文本結(jié)構(gòu)化，供計算機(jī)處理。利用該工具可以方便的獲得各項NLP任務(wù)需要的標(biāo)注語料。面向unix-like系統(tǒng)

最大的特點是在標(biāo)注實體的同時可以進(jìn)行關(guān)系的標(biāo)注。而且是一個server服務(wù)端，搭建好后可以多人訪問，也適合多人協(xié)同標(biāo)注。據(jù)說可以通過tomcat搭建，博主沒自己試驗過。

經(jīng)過調(diào)研比較，我們最終選定還是用brat進(jìn)行標(biāo)注，接下來介紹如何使用brat，其他的標(biāo)注工具調(diào)研在后面有介紹。

1，安裝brat

1.1如果你是win10系列，那么你可能需要一個unix-like環(huán)境，比如

通過虛擬機(jī)virtualBox，Ubuntu18.04， https://blog.csdn.net/zcooa/article/details/80615743

或者通過在win上安裝cgwin來實現(xiàn) cgwin https://blog.csdn.net/heshushun/article/details/78664384

1.2如果你在osx或者linux系統(tǒng)上就可以直接按照下面安裝

博主是放在一個服務(wù)器server上安裝，然后通過訪問ip的方式來完成標(biāo)注工作。

先下載，http://brat.nlplab.org/installation.html，brat-v1.3_Crunchy_Frog.tar.gz這個文件

然后解壓，運行即可

tar -xf brat-v1.3_Crunchy_Frog.tar

cd brat-v1.3_Crunchy_Frog

./install.sh –u

這里會提示你輸入username，可以自己設(shè)置，將來標(biāo)注的時候，支持多人標(biāo)注。

python standalone.py #（不可用python3）

2，使用brat

以上操作在Xshell中完成，此時brat服務(wù)已經(jīng)啟動，如果你的服務(wù)器有圖形界面，或者ubuntu中，那么你可以直接用自帶的瀏覽器訪問 127.0.0.1:8001

我這里沒有圖形界面，所以命令行訪問firefox

然后會打開一個窗口，這個功能需要xmanager軟件，會提示你安裝的，

，繼續(xù)訪問127.0.0.1:8001就可以了

3，安裝完成后，做中文標(biāo)注

3.1支持中文

brat本身是不支持中文的，如果在配置文件里定義中文會報錯，解決辦法是./server/src/projectconfig.py文件的第163行，加上中文支持即可：

n=re.sub(u'[^a-zA-Z\u4e00-\u9fa5<>,0-9_-]', '_', n)

3.2 增加用戶（這個一般不需要）

官方文檔：If you want to add additional users, you can edit the config.py file, which contains further instructions.

找到config.py 對應(yīng)的行，增加：

USER_PASSWORD={ 'admn': 'admin', 'test': 'test', # (add USERNAME:PASSWORD pairs below this line.) }

重新啟動后，使用test就可以登錄了

注意：當(dāng)前用戶只能針對自己的標(biāo)注進(jìn)行修改，并不能修改其他人進(jìn)行的標(biāo)注

3.3 導(dǎo)入collection

導(dǎo)入文件的時候，必須要文件符合：文件名.xxx和文件名.ann 一一對應(yīng)的格式即可

直接將包含txt數(shù)據(jù)集的文件夾放置到安裝文件下一個data的目錄下，然后使用命令：

find 文件夾名稱 -name '*.txt'|sed -e 's|\.txt|.ann|g'|xargs touch

其意思是對每個txt文件都創(chuàng)建一個空的標(biāo)引文件.ann，因為BRAT是要求的collection中，每個txt文件是必須有一個對應(yīng)的.ann文件的，方便放置標(biāo)引內(nèi)容，這個ann文件的格式也挺規(guī)范

將要標(biāo)注的文件導(dǎo)入項目中data/路徑下即可，可以查看其中examples文件下以及tutorials文件下幫助文檔。

3.4具體標(biāo)注配置

brat通過配置文件來決定對語料的標(biāo)注可以滿足何種任務(wù)，包括四個文件

annotation.conf: annotation type configuration

visual.conf: annotation display configuration

tools.conf: annotation tool configuration

kb_shortcuts.conf: keyboard shortcut tool configuration

一般只需要修改annotation.conf即可，該文件用于對標(biāo)注的數(shù)據(jù)結(jié)構(gòu)進(jìn)行配置，典型的配置如下：

每個文件需要包含四類模塊：entities、relations、events、attributes。各個模塊都可以定義為空，其中

entities用來定義標(biāo)注的實體名稱，其格式為每行一個實體類型，比如：人名、地名、英雄名、技能名等，可以采用tab來增加二級標(biāo)注，如下面的實體標(biāo)注中技能下的二級標(biāo)注戰(zhàn)斗技能等。

relations用來定義實體間的關(guān)系，格式為每行定義一種關(guān)系，第一列為關(guān)系類型，隨后是用逗號分隔的ArgN:實體名，用來表示關(guān)系的各個相關(guān)者。比如例子中，同盟關(guān)系是存在于英雄之間

events用來定義事件，每行定義一類事件，第一列為事件名，隨后是用逗號分隔的Participant:實體名，用來表示事件的各個參與者。比如例子中，1v1事件需要多個英雄參加

attributes用來定義屬性，每行一個屬性，第一列為屬性名，隨后是用逗號分隔的Arg:<模塊類型>, Value:屬性值，注意屬性值可以有多個，比如例子中，定義了實體類型可以有攻擊力，值從1-3

[entities]

英雄

北歐英雄

希臘英雄

技能

戰(zhàn)斗技能

生活技能

采礦

種地

種白菜

種大米

[relations]

同盟Arg1:英雄, Arg2:英雄

擁有Arg1:英雄, Arg2:技能

[events]

1v1Participant1:英雄, Participant2:英雄

[attributes]

攻擊力Arg:<ENTITY>, Value:1|2|3|4|5

選中要標(biāo)注的文本，會彈出窗口，選中標(biāo)注label，然后完成標(biāo)注

標(biāo)注完成后，鼠標(biāo)移動到上面，點擊data

點擊OK將標(biāo)注信息作為ann導(dǎo)出，如下：

1 T2 OTH 3 15 一噸碳挑戰(zhàn)的目的是什么？

2 T1 NUM,MNY 37 75 加國政府由自由黨主政的2003年至2006年間，通過多少經(jīng)費來挹注為此計劃？

3 T3 OTH 92 114 廖秋成跟劉業(yè)經(jīng)教授和劉棠瑞教授學(xué)了什么學(xué)科？

踩坑記錄：

1，如果導(dǎo)入文本編碼格式不是utf-8，就無法正常導(dǎo)入。導(dǎo)入文本名稱為英文.txt

2，如果要標(biāo)注中文標(biāo)簽，直接在annotation.conf中寫入中文標(biāo)簽，會出現(xiàn)報錯信息

最終解決方案是在annotation.conf中用label1，label2來表示，然后在視覺配置visual.conf中對應(yīng)修改

如上面：

[labels]

label1 | 攻擊行為

label2 | 違紀(jì)行為

2，Chinese-Annotator

https://github.com/deepwel/Chinese-Annotator

該工具靈感來自于Prodigy，每一次的標(biāo)注只需要用戶解決一個case的問題。以文本分類為例，對于算法給出的分類結(jié)果，只需要點擊“正確”提供正樣本，“錯誤”提供負(fù)樣本，“略過”將不相關(guān)的信息濾除，“Redo”讓用戶撤回操作，四個功能鍵以最簡模式讓用戶進(jìn)行標(biāo)注操作。真正應(yīng)用中，應(yīng)該還要加入一個用戶自己加入標(biāo)注的交互方式，比如用戶可以高亮一個詞然后選擇是“公司”，或者鏈接兩個實體選擇他們的關(guān)系等等。 主要可以用來做命名實體。

優(yōu)點是界面友好，面向OSX的，沒試過win10可不可用

我們的任務(wù)更多的是對一段文本的信息進(jìn)行標(biāo)注，判斷是否這段文本表示了我們預(yù)先定義的一個label，所以這個工具不太適合，也沒有具體安裝使用。

3，YEDDA

YEDDA是由新加坡科技大學(xué)yangjie等人開發(fā)的，前身也就是SUTDAnnotator，https://github.com/jiesutd/YEDDA

開發(fā)用于在文本(幾乎所有語言，包括英語、中文)、符號甚至表情符號上注釋塊/實體/事件。它支持快捷注釋，手工注釋文本非常有效。用戶只需選中文本并按快捷鍵如A，就會自動標(biāo)注。它還支持命令注釋模型，該模型可以批量注釋多個實體，并支持將帶注釋的文本導(dǎo)出為序列文本。此外，更新版本還包括智能推薦和管理員分析。與所有主流操作系統(tǒng)兼容，在win10可以直接用，但是是基于python2開發(fā)的，所以安裝需要用python2。

需要標(biāo)注的文檔用txt文件導(dǎo)入，編碼方式為utf-8，如果編碼方式不對，會顯示亂碼。

標(biāo)注結(jié)果參考brat，用.ann文件來保存。

目前仍在更新，獲得2018ACL best demo nomination

優(yōu)點是安裝方便，標(biāo)注方便，如果要實現(xiàn)給同一個實體加多個標(biāo)簽，也可以實現(xiàn)，還有其他功能做的很贊

但是為了標(biāo)注方便，可以通過按鍵實現(xiàn)，使得快捷鍵設(shè)置不宜過多，我們的工作中要求標(biāo)注標(biāo)簽在50個以上，所以這個工具不適合，無法添加這么多工具，最后沒有采用，如果你的標(biāo)注標(biāo)簽要求較少，這個工具很適合。

4，IEPY

IEPY主要特色在關(guān)系抽取，基于java開發(fā)的，是一種開源的信息抽取工具

在github可以下載Python開發(fā) https://github.com/machinalis/iepy。可以閱讀https://iepy.readthedocs.io/en/latest/。

我們將數(shù)據(jù)加載到數(shù)據(jù)庫的方式是從csv文件導(dǎo)入數(shù)據(jù)。使用應(yīng)用程序文件夾中提供的腳本csv_to_iepy來執(zhí)行此操作。特別擅長對大型數(shù)據(jù)集進(jìn)行關(guān)系抽取。

感覺不是很好用，而且我們主要是加標(biāo)簽的工作，不適合。

5，DeepDive (Mindtagger)

2017年后已經(jīng)不再更新，DeepDive是一個從黑暗數(shù)據(jù)中提取價值的系統(tǒng)。與暗物質(zhì)一樣，暗數(shù)據(jù)是隱藏在文本、表格、圖形和圖像中的大量數(shù)據(jù)，缺乏結(jié)構(gòu)，因此現(xiàn)有軟件基本上無法處理這些數(shù)據(jù)。通過從非結(jié)構(gòu)化信息(文本文檔)創(chuàng)建結(jié)構(gòu)化數(shù)據(jù)(SQL表)，并將這些數(shù)據(jù)與現(xiàn)有的結(jié)構(gòu)化數(shù)據(jù)庫集成，DeepDive可以幫助將黑暗數(shù)據(jù)暴露出來。DeepDive用于提取實體之間復(fù)雜的關(guān)系，并對涉及這些實體的事實進(jìn)行推斷。深潛幫助人們處理各種各樣的問題

Labeling DeepDive data with Mindtagger

http://deepdive.stanford.edu/labeling

A tool for labeling data

不好用，但是可以統(tǒng)計最后的標(biāo)注標(biāo)簽以及導(dǎo)出標(biāo)注信息可以保存為不同格式。

6，snorkel

https://github.com/HazyResearch/snorkel

用于快速創(chuàng)建、建模和管理培訓(xùn)數(shù)據(jù)的系統(tǒng)。當(dāng)今最先進(jìn)的機(jī)器學(xué)習(xí)模型需要大量標(biāo)記的訓(xùn)練集，而這些訓(xùn)練集通常不存在于實際應(yīng)用中。相反，Snorkel是基于新的數(shù)據(jù)編程范式的，在這種范式中，開發(fā)人員將重點放在編寫一組標(biāo)記函數(shù)上，這些函數(shù)只是通過編程方式標(biāo)記數(shù)據(jù)的腳本。生成的標(biāo)簽是有噪聲的，但是Snorkel會自動為這個過程建模——從本質(zhì)上說，是學(xué)習(xí)，哪個標(biāo)簽函數(shù)比其他函數(shù)更準(zhǔn)確——然后使用它來訓(xùn)練一個目標(biāo)

調(diào)研后發(fā)現(xiàn)不適合我們的工作。但是這個項目有興趣的可以跟一下。

7，Prodigy

https://prodi.gy/docs/

一個由主動學(xué)習(xí)驅(qū)動的注釋工具。具體的可以看文檔。

8，其他標(biāo)注方式

https://www.jianshu.com/p/6d80d9ff43b4

9，圖像標(biāo)注軟件將來再介紹

https://www.cnblogs.com/alexanderkun/p/6936732.html

NLP相關(guān)問題可以關(guān)注我的公眾號 京西凌煙

一起學(xué)習(xí)討論