整合營(yíng)銷服務(wù)商
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
文鏈接：https://mp.weixin.qq.com/s/uZVCzpFkmEoh0hUdzw3qAw
原作者：JavaGuide
今天分享一個(gè)好用的數(shù)據(jù)庫(kù)文檔生成工具。
在項(xiàng)目中，我們經(jīng)常需要整理數(shù)據(jù)庫(kù)表結(jié)構(gòu)文檔。
一般情況下，我們都是手動(dòng)整理數(shù)據(jù)庫(kù)表結(jié)構(gòu)文檔，當(dāng)表結(jié)構(gòu)有變動(dòng)的時(shí)候，自己手動(dòng)進(jìn)行維護(hù)。
數(shù)據(jù)庫(kù)表少的時(shí)候還好，數(shù)據(jù)庫(kù)表多了之后，手動(dòng)整理和維護(hù)數(shù)據(jù)庫(kù)表結(jié)構(gòu)文檔簡(jiǎn)直不要太麻煩，而且，還非常容易出錯(cuò)！
有沒有什么好用的工具幫助我們自動(dòng)生成數(shù)據(jù)庫(kù)表結(jié)構(gòu)文檔呢？
當(dāng)然有！Github 上就有一位朋友開源了一款數(shù)據(jù)庫(kù)表結(jié)構(gòu)文檔自動(dòng)生成工具—— screw 。
項(xiàng)目地址：https://github.com/pingfangushi/screw 。
screw 翻譯過來的意思就是螺絲釘，作者希望這個(gè)工具能夠像螺絲釘一樣切實(shí)地幫助到我們的開發(fā)工作。
目前的話，screw 已經(jīng)支持市面上大部分常見的數(shù)據(jù)庫(kù)比如 MySQL、MariaDB、Oracle、SqlServer、PostgreSQL、TiDB。
另外，screw 使用起來也非常簡(jiǎn)單，根據(jù)官網(wǎng)提示，不用 10 分鐘就能成功在本地使用起來！
為了驗(yàn)證 screw 自動(dòng)生成數(shù)據(jù)庫(kù)表結(jié)構(gòu)文檔的效果，我們首先創(chuàng)建一個(gè)簡(jiǎn)單的存放博客數(shù)據(jù)的數(shù)據(jù)庫(kù)表。
CREATE TABLE `blog` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主鍵',
`title` varchar(255) NOT NULL COMMENT '博客標(biāo)題',
`content` longtext NOT NULL COMMENT '博客內(nèi)容',
`description` varchar(255) DEFAULT NULL COMMENT '博客簡(jiǎn)介',
`cover` varchar(255) DEFAULT NULL COMMENT '博客封面圖片地址',
`views` int(11) NOT NULL DEFAULT '0' COMMENT '博客閱讀次數(shù)',
`user_id` bigint(20) DEFAULT '0' COMMENT '發(fā)表博客的用戶ID',
`channel_id` bigint(20) NOT NULL COMMENT '博客分類ID',
`recommend` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否推薦',
`top` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否置頂',
`comment` bit(1) NOT NULL DEFAULT b'1' COMMENT '是否開啟評(píng)論',
`created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '創(chuàng)建時(shí)間',
`updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '更新時(shí)間',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=16 DEFAULT CHARSET=utf8mb4 COMMENT='博客';
創(chuàng)建一個(gè)普通的 Maven 項(xiàng)目即可！然后引入 screw、HikariCP、MySQL 這 3 個(gè)依賴。
<!--screw-->
<dependency>
<groupId>cn.smallbun.screw</groupId>
<artifactId>screw-core</artifactId>
<version>1.0.5</version>
</dependency>
<!-- HikariCP -->
<dependency>
<groupId>com.zaxxer</groupId>
<artifactId>HikariCP</artifactId>
<version>3.4.5</version>
</dependency>
<!--MySQL-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.20</version>
</dependency>
你可以通過下面的地址在 mvnrepository 獲取最新版本的 screw。
https://mvnrepository.com/artifact/cn.smallbun.screw/screw-core
生成數(shù)據(jù)庫(kù)文檔的代碼的整個(gè)代碼邏輯還是比較簡(jiǎn)單的，我們只需要經(jīng)過下面 5 步即可：
// 1.獲取數(shù)據(jù)源
DataSource dataSource=getDataSource();
// 2.獲取數(shù)據(jù)庫(kù)文檔生成配置（文件路徑、文件類型）
EngineConfig engineConfig=getEngineConfig();
// 3.獲取數(shù)據(jù)庫(kù)表的處理配置，可忽略
ProcessConfig processConfig=getProcessConfig();
// 4.Screw 完整配置
Configuration config=getScrewConfig(dataSource, engineConfig, processConfig);
// 5.執(zhí)行生成數(shù)據(jù)庫(kù)文檔
new DocumentationExecute(config).execute();
1、獲取數(shù)據(jù)庫(kù)源
對(duì)數(shù)據(jù)庫(kù)以及數(shù)據(jù)庫(kù)連接池進(jìn)行相關(guān)配置。務(wù)必將數(shù)據(jù)庫(kù)相關(guān)的配置修改成你自己的。
/**
* 獲取數(shù)據(jù)庫(kù)源
*/
private static DataSource getDataSource() {
//數(shù)據(jù)源
HikariConfig hikariConfig=new HikariConfig();
hikariConfig.setDriverClassName("com.mysql.cj.jdbc.Driver");
hikariConfig.setJdbcUrl("jdbc:mysql://127.0.0.1:3306/javaguide-blog");
hikariConfig.setUsername("root");
hikariConfig.setPassword("123456");
//設(shè)置可以獲取tables remarks信息
hikariConfig.addDataSourceProperty("useInformationSchema", "true");
hikariConfig.setMinimumIdle(2);
hikariConfig.setMaximumPoolSize(5);
return new HikariDataSource(hikariConfig);
}
2、獲取文件生成配置
這一步會(huì)指定數(shù)據(jù)庫(kù)文檔生成的位置、文件類型以及文件名稱。
/**
* 獲取文件生成配置
*/
private static EngineConfig getEngineConfig() {
//生成配置
return EngineConfig.builder()
//生成文件路徑
.fileOutputDir("/Users/guide/Documents/代碼示例/screw-demo/doc")
//打開目錄
.openOutputDir(true)
//文件類型
.fileType(EngineFileType.HTML)
//生成模板實(shí)現(xiàn)
.produceType(EngineTemplateType.freemarker)
//自定義文件名稱
.fileName("數(shù)據(jù)庫(kù)結(jié)構(gòu)文檔").build();
}
如果不配置生成文件路徑的話，默認(rèn)也會(huì)存放在項(xiàng)目的 doc 目錄下。
另外，我們這里指定生成的文件格式為 HTML。除了 HTML 之外，screw 還支持 Word 、Markdown 這兩種文件格式。
不太建議生成 Word 格式,比較推薦 Markdown 格式。
3、獲取數(shù)據(jù)庫(kù)表的處理配置
這一步你可以指定忽略生成哪些表。
/**
* 獲取數(shù)據(jù)庫(kù)表的處理配置，可忽略
*/
private static ProcessConfig getProcessConfig() {
return ProcessConfig.builder()
// 指定只生成 blog 表
.designatedTableName(new ArrayList<>(Collections.singletonList("blog")))
.build();
}
還可以指定只生成哪些表。
private static ProcessConfig getProcessConfig() {
ArrayList<String> ignoreTableName=new ArrayList<>();
ignoreTableName.add("test_user");
ignoreTableName.add("test_group");
ArrayList<String> ignorePrefix=new ArrayList<>();
ignorePrefix.add("test_");
ArrayList<String> ignoreSuffix=new ArrayList<>();
ignoreSuffix.add("_test");
return ProcessConfig.builder()
//忽略表名
.ignoreTableName(ignoreTableName)
//忽略表前綴
.ignoreTablePrefix(ignorePrefix)
//忽略表后綴
.ignoreTableSuffix(ignoreSuffix)
.build();
}
這一步也可以省略。如果不指定 ProcessConfig 的話，就會(huì)按照默認(rèn)配置來！
4、生成 screw 完整配置
根據(jù)前面 3 步，生成 screw 完整配置。
private static Configuration getScrewConfig(DataSource dataSource, EngineConfig engineConfig, ProcessConfig processConfig) {
return Configuration.builder()
//版本
.version("1.0.0")
//描述
.description("數(shù)據(jù)庫(kù)設(shè)計(jì)文檔生成")
//數(shù)據(jù)源
.dataSource(dataSource)
//生成配置
.engineConfig(engineConfig)
//生成配置
.produceConfig(processConfig)
.build();
}
5、執(zhí)行生成數(shù)據(jù)庫(kù)文檔
下圖就是生成的 HTML 格式的數(shù)據(jù)庫(kù)設(shè)計(jì)文檔。
除了基于 Java 代碼這種方式之外，你還可以通過 screw 提供的 Maven 插件來生成數(shù)據(jù)庫(kù)文檔。方法也非常簡(jiǎn)單！
1、配置 Maven 插件
務(wù)必將數(shù)據(jù)庫(kù)相關(guān)的配置修改成你自己的。
<build>
<plugins>
<plugin>
<groupId>cn.smallbun.screw</groupId>
<artifactId>screw-maven-plugin</artifactId>
<version>1.0.5</version>
<dependencies>
<!-- HikariCP -->
<dependency>
<groupId>com.zaxxer</groupId>
<artifactId>HikariCP</artifactId>
<version>3.4.5</version>
</dependency>
<!--mysql driver-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.20</version>
</dependency>
</dependencies>
<configuration>
<!--username-->
<username>root</username>
<!--password-->
<password>123456</password>
<!--driver-->
<driverClassName>com.mysql.cj.jdbc.Driver</driverClassName>
<!--jdbc url-->
<jdbcUrl>jdbc:mysql://127.0.0.1:3306/javaguide-blog</jdbcUrl>
<!--生成文件類型-->
<fileType>MD</fileType>
<!--打開文件輸出目錄-->
<openOutputDir>true</openOutputDir>
<!--生成模板-->
<produceType>freemarker</produceType>
<!--文檔名稱 為空時(shí):將采用[數(shù)據(jù)庫(kù)名稱-描述-版本號(hào)]作為文檔名稱-->
<fileName>數(shù)據(jù)庫(kù)結(jié)構(gòu)文檔</fileName>
<!--描述-->
<description>數(shù)據(jù)庫(kù)設(shè)計(jì)文檔生成</description>
<!--版本-->
<version>${project.version}</version>
<!--標(biāo)題-->
<title>數(shù)據(jù)庫(kù)文檔</title>
</configuration>
<executions>
<execution>
<phase>compile</phase>
<goals>
<goal>run</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
2、手動(dòng)執(zhí)行生成數(shù)據(jù)庫(kù)文檔
我們這里指定生成的是 Markdown 格式。
下圖就是生成的 Markdown 格式的數(shù)據(jù)庫(kù)設(shè)計(jì)文檔，效果還是非常不錯(cuò)的！
一篇文章我給大家說明了如何從零開始搭建一個(gè)node的服務(wù)端框架，我們用到了Egg框架。Egg框架我不再過多介紹，如果有小伙伴想了解，可以回去看我以前寫的文章，會(huì)有相關(guān)的介紹。這次我將在上次搭建的框架上進(jìn)行延伸，講一下如果用Egg框架連接數(shù)據(jù)庫(kù)，并且實(shí)現(xiàn)對(duì)數(shù)據(jù)的增刪查改。接下來我們直接進(jìn)入主題。
我本次選用的數(shù)據(jù)庫(kù)是MySQL。所以我們安裝Egg官方的數(shù)據(jù)庫(kù)插件即可，首先我們安裝插件 egg-mysql 。我們?cè)陧?xiàng)目根目錄打開命令提示符，輸入命令行：npm i --save egg-mysql ?；剀嚨却寮螺d安裝完成。
npm i --save egg-mysql命令行下載安裝插件完成后，我們下一步的工作就是在項(xiàng)目中開啟并配置egg-mysql插件。具體操作如下：
首先我們要在項(xiàng)目中開啟數(shù)據(jù)庫(kù)。找到項(xiàng)目中的/config/plugin.js文件我們需要在里面添加幾行代碼，如下所示。
//開啟數(shù)據(jù)庫(kù)插件
mysql : {
enable: true,
package: 'egg-mysql',
}然后我們還要在 config/config.default.js 中配置各個(gè)環(huán)境的數(shù)據(jù)庫(kù)連接信息。具體配置如下。
//添加數(shù)據(jù)庫(kù)連接信息
config.mysql={
// 單數(shù)據(jù)庫(kù)信息配置
client: {
// host
host: 'localhost',
// 端口號(hào)
port: '3306',
// 用戶名
user: 'root',
// 密碼
password: '123456',
// 數(shù)據(jù)庫(kù)名
database: 'testdb',
},
// 是否加載到 app 上，默認(rèn)開啟
app: true,
// 是否加載到 agent 上，默認(rèn)關(guān)閉
agent: false,
};到此步驟我們的數(shù)據(jù)庫(kù)插件已經(jīng)安裝完成并且配置好了。那我們?cè)趺磳?shí)現(xiàn)數(shù)據(jù)的增刪查改呢？大家請(qǐng)繼續(xù)往下看。
首先我們看一下怎么新增數(shù)據(jù)。我們?cè)趍ysql的testdb實(shí)例中新建一個(gè)user空表。如下圖所示。
我們的egg框架也遵循MVC的架構(gòu)所以我們一般會(huì)在service層里面寫我們邏輯處理的代碼，而controller層則是獲取前端數(shù)據(jù)，回傳數(shù)據(jù)的控制層。所以我們操作數(shù)據(jù)庫(kù)的代碼是寫在service文件夾里面的。
我們?cè)赼pp/service文件夾里面新建一個(gè)user.js文件。在里面寫個(gè)新增用戶的方法，該方法就是把數(shù)據(jù)存到數(shù)據(jù)庫(kù)中。具體代碼如下。
const Service=require('egg').Service;
class UserService extends Service {
//新增用戶data是有controller層傳遞過來的數(shù)據(jù)記錄。
async addUser(data) {
const {ctx, app}=this;
let result={};
try {
data.id=0;//定義id=0，因?yàn)閿?shù)據(jù)庫(kù)已經(jīng)設(shè)置id為主鍵，并且自增。所以只需要賦值0即可。
// 在 user 表中，插入前端提交上來的數(shù)據(jù)記錄
const info=await app.mysql.insert('user', data);
//插入成功后。
if(info.affectedRows===1){
//給前端返回一個(gè)Json的對(duì)象
result={
state: 0, //自定義的狀態(tài)碼
msg: "添加成功", //返回的消息
data: info.insertId, //新增的記錄的id
}
}
} catch (err) {
//插入數(shù)據(jù)失敗的返回結(jié)果
result={
state: 1,
msg: err,
data: null,
}
}
return result
}
};
module.exports=UserService;然后我們?cè)赼pp/controller文件夾里新建一個(gè)user.js文件。在這里我們需要獲取前端提交上來的數(shù)據(jù)，并且將數(shù)據(jù)處理的結(jié)果返回給前端。具體代碼如下。
'use strict';
const Controller=require('egg').Controller;
/**
* @Controller 用戶管理
*/
class UserController extends Controller {
/**
* @summary 新增用戶
* @router post /user/add
* @request body userAddRequest
* @response 200
*/
async addUser() {
const { ctx }=this;
//通過ctx.request.body的方式，可以獲取到前端post方式提交上來的數(shù)據(jù)
const data=ctx.request.body;
//調(diào)用service層的addUser方法。并且返回相應(yīng)的結(jié)果
const userInfo=await ctx.service.user.addUser(data);
//向前端接口響應(yīng)數(shù)據(jù)。
ctx.body=userInfo;
}
}
module.exports=UserController;最后我們定義一個(gè)路由，讓前端請(qǐng)求訪問此路由?？蚣軙?huì)監(jiān)聽路由是否被訪問，如果被訪問了則會(huì)調(diào)用我們定義在controller層的新增用戶的方法。我們?cè)赼pp/router.js文件中添加如下代碼，即可完成路由的定義。
//新增用戶路由
router.post('/user/add', controller.user.addUser);完成這步驟后，我們一個(gè)新增用戶的功能就已經(jīng)完成了。接下里我們就測(cè)試一下它的實(shí)際效果。我們運(yùn)行命令：npm run dev。啟動(dòng)項(xiàng)目，然后打開網(wǎng)頁http://127.0.0.1:7001，可以直接在swagger-ui.html頁面中進(jìn)行測(cè)試。結(jié)果如下圖所示。
經(jīng)過測(cè)試，數(shù)據(jù)已經(jīng)添加完成。所以數(shù)據(jù)庫(kù)連接也是正常的。
本次分享暫時(shí)先告一段落。請(qǐng)各位小伙伴抬起你們發(fā)財(cái)?shù)男∈?，點(diǎn)個(gè)贊唄。下次我將會(huì)進(jìn)行和大家分享對(duì)數(shù)據(jù)查改刪的方法。關(guān)注我?。。「嗑史窒聿幻月?。
IOBE編程排行榜作為衡量編程語言流行度的權(quán)威指標(biāo)，每年都會(huì)吸引眾多開發(fā)者和企業(yè)的關(guān)注。近日，TIOBE發(fā)布了2023年最新編程語言排行榜，展示了各種編程語言的市場(chǎng)份額和流行度。本文將介紹如何從TIOBE排行榜抓取數(shù)據(jù)，并將這些數(shù)據(jù)寫入數(shù)據(jù)庫(kù)的過程。
read_html函數(shù)是最簡(jiǎn)單的爬蟲，可爬取靜態(tài)網(wǎng)頁表格數(shù)據(jù)，但只適合于爬取table 表格型數(shù)據(jù)，不是所有表格都可以用read_html爬取，有的網(wǎng)站表面上看起來是表格，但在網(wǎng)頁源代碼中不是table格式，而是list列表格式，這種表格就不適用read_html爬取。
下面先學(xué)習(xí)一下read_html() 函數(shù)的參數(shù)，在代碼行中寫入
import pandas as pd
df=pd.read_html()在括號(hào)中使用Shift+Tab組合鍵調(diào)用代碼提示功能，可以看到read_html都包含以下參數(shù)。
這里例舉常用的一些參數(shù)。
下面我們使用代碼實(shí)際爬取網(wǎng)頁表格數(shù)據(jù)，比如下面的TIOBE編程排行榜排名數(shù)據(jù)。
https://www.tiobe.com/tiobe-index/
TIOBE編程排行榜排名
使用read_html爬取網(wǎng)頁數(shù)據(jù)，返回的結(jié)果是DataFrame組成的list ，在最后加上一個(gè)索引[0]即可得到爬取的表格數(shù)據(jù)，爬取的數(shù)據(jù)如下。
import pandas as pd
df=pd.read_html('https://www.tiobe.com/tiobe-index/')[0]
df.head(10)數(shù)據(jù)有冗余，我們篩選自己需要的數(shù)據(jù)字段，多余的數(shù)據(jù)字段進(jìn)行剔除，如下選取第1列、第2列、第5列、第6列、第7列的數(shù)據(jù)字段。
df_select=df.iloc[:,[0,1,4,5,6,]]
df_select.head(10)使用Python寫一個(gè)腳本，用于將上面的數(shù)據(jù)字段批量的存儲(chǔ)為.sql格式數(shù)據(jù)，如下為生成的.sql格式數(shù)據(jù)，借助特定的SQL軟件可以打開。
sql=[] # 使用列表來保存所有的 SQL 語句
for i, r in df_select.iterrows():
columns="`, `".join(r.index) # 獲取所有列名，并用逗號(hào)和空格分隔它們
values="`, `".join([f"'{r[col]}'" for col in r.index]) # 為每一列生成一個(gè)帶單引號(hào)的值，并用逗號(hào)和空格分隔它們
sql_row=f"INSERT INTO `TIOBE` (`{columns}`) VALUES ({values}) ;" # 生成完整的 SQL 插入語句
sql.append(sql_row) # 將 SQL 插入語句添加到列表中
# 將所有的 SQL 語句保存到一個(gè)文件中，例如 "output.sql"
with open('output.sql', 'w') as f:
for s in sql:
f.write(s + '\n') # 在每個(gè) SQL 語句后添加一個(gè)換行符除此之外，還可以使用 f'' 函數(shù)批量生成SQL插入語句，這部分SQL語句是可以直接復(fù)制粘貼在SQL軟件中實(shí)際運(yùn)行的，更快捷地寫插入SQL語句的代碼，代碼生成如下。
sql=''
for i,r in df_select.iterrows():
r_sql=f"INSERT INTO `TIOBE` (`Dec 2023`,`Dec 2022`,`Programming Language.1`,`Ratings`,`Change.1`)\nVALUES('{r['Dec 2023']}','{r['Dec 2022']}','{r['Programming Language.1']}','{r['Ratings']}','{r['Change.1']}',)"
sql=sql + r_sql + ';' + '\n'
print(sql)通過使用適當(dāng)?shù)姆椒ǎ瑥腡IOBE排行榜抓取數(shù)據(jù)并將其寫入數(shù)據(jù)庫(kù)是一個(gè)相對(duì)簡(jiǎn)單的過程，并且可以定期更新數(shù)據(jù)庫(kù)，以確保數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性，如果有任何其他問題或需要進(jìn)一步的幫助，可在評(píng)論區(qū)留言~
*請(qǐng)認(rèn)真填寫需求信息，我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。
