導讀

今天主要為大家詳細介紹 X- v2.3.0 版本近期更新的一些功能和新特性，同時也借此機會分享下這半年多下來的開源心路歷程。

首先，提到圖像標注軟件，可能許多從事計算機視覺相關領域的研究人員及從業者腦海中第一印象便會想到由MIT開源的主流標注軟件：LabelMe，又或者是和CVAT等耳熟能詳的主流標定軟件。可能細心的讀者會像，既然有了這么成熟的工具，那花那么多精力重新設計和開發這樣一款軟件的意義是什么呢？

我的答案最早也是：Yes。在設計X-之前，包括筆者本人我也是基本在通過上述幾款主流工具來解決日常的業務需求。這最開始也跟筆者從事的崗位性質有關，作為一名算法工程師，可能大家都或多或少能體會到，其實工作時間大部分時間是在與數據打交道；哪怕在ChatGPT以及AIGC發展如火如荼的今天，如何快速構建高質量的數據仍然是主旋律。在大多數場景下，數據的質量遠比數量要來得重要，相信在一線的從業人員對這點會深有體會。這一點其實跟我們在學校做研究的方式不同；學術屆更多地的是提出一個idea，然后在公認的數據集上刷榜，大多數時候都是在過擬合數據分布，往往也經受不住實際應用的推敲。

一開始，筆者的工作更多地是圍繞在目標檢測業務上，這其實用CVAT，甚至是LabelMe便已經能夠應付了。后來，隨著業務的多元化導致各類需求逐漸增多，但本質上還是圍繞一個核心——數據，畢竟對于落地的算法其實更講究的是穩定性，再有便是搭配一些上下游去做整體的邏輯應用，幾乎很少會頻繁的更換算法模型或者去嘗試多如牛毛的SOTA模型。為此，我們會面臨幾個問題：

數據的多樣性

眾所周知，不同的任務其對應的數據輸出形式各有不同。舉個例子：

放在以往，大家可能更多地會針對特定的場景挑選合適的工具去完成相應地標定任務，例如：

可想而知，我們需要耗費更多地精力去完成這些工作，因為每一款工具的使用都有一定的學習使用成本；

工具的易用性

針對第1點，有同學提過可以使用由 Intel 公司開發的開源工具——CVAT；當然，不得不承認，CVAT工具是一款極其優秀的大型標定軟件，毫不夸張地說，市面上幾乎所有的標注行業相關公司開發的所謂內部或者云平臺標注工具，都是基于此原型進行二次設計和開（包）發（裝）的。然而，對于絕大多數用戶而言，面對這樣一款“龐然大物”，會遇到幾個問題：

因此，我們更多地是需要一款小巧方便，最好是能開箱即用，同時也支持高度定制化的標定工具；

功能的多樣性

除了上述兩點，我先前提到的最為關鍵的一點是，我們需要思考如何更高效、更快速地建立整個數據標定流程。我們有幸身處于這個人工智能大爆發的時代，當今涌現出了許多新技術，其中一些值得一提：

例如，Meta公司開源的SAM是一項令人振奮的技術，用戶只需簡單點擊感興趣的目標，即可快速、準確地獲取精細的掩膜。另外，OpenAI公司也為我們帶來了ChatGPT等創新技術，除了可以用人類自然對話的方式來獲得逼真擬人化的互動，還可以用于甚為復雜的工具，如自動摘要提取、文本創作、代碼編寫等。最后，還有發展迅猛的多模態技術，可以幫助人們完成諸如文生成圖、圖生成文、圖文-語音交互以及以文本或圖像驅動（prompt-based）等創新應用。這些多模態技術的崛起不僅為各個領域的人工智能應用帶來了更廣泛的可能性，也推動了不同模態之間更深層次的融合。

為此，我們是不是可以考慮結合以上技術來構建更加強大、高效、快捷的標定流程呢？何樂而不為！以上便是筆者設計此款軟件的初衷和動機，希望能與大家共勉。目前該工具已完全開源，遵循 GPL 協議，感興趣的小伙伴可以通過下方鏈接訪問，順手點一個Star給予支持：

項目鏈接：

X-

總的來說，X-從設計和開發之初便有了明確的目標和動機，即要創建一個既能滿足多樣性需求，又具備易用性，同時包含多樣功能且支持高度定制化的圖像標注軟件。值得一提的是，為了最大程度地減輕大家的使用成本，X- 目前在設計交互的時候會盡可能地與主流標注工具（如、Labelme、、以及CVAT等）保持對齊，最大限度提升用戶的標注效率和使用體驗。同時，目前該工具已基本涵蓋了市面上所有主流工具的大部分功能，做到真正的 All in one!

下面簡單介紹最新 v2.3.0 版本相較于 v2.0.0 版本引入的一些新特性：

亮點功能 支持圖像和視頻導入功能

除了支持圖像級的標注功能外，X-還引入了對視頻的全面支持，實現了一鍵解析和自動標注。為了更好地滿足用戶對視頻文件標注的需求，當前集成了經典的和最新的OC-Sort（CVPR 2023）等先進的跟蹤算法。因此，無論是處理圖像還是視頻，X-致力于提供全面而高效的標注解決方案，以滿足不同場景下的標注需求。

支持一鍵導入/導出功能

當前，X- 工具箱中還提供了一鍵導入/導出的便捷功能，支持多種主流數據標注格式，包括：

因此，無論您是與其它工具協同工作，還是應用到不同的深度學習框架中進行訓練，X- 都旨在提供廣泛的輸出選項，確保用戶能夠靈活地集成標注結果到其工作流程中。

通過直接加載上述導出的標簽，我們可以快速導入到 YOLO 框架進行訓練：

支持多硬件環境和跨平臺應用

X- 支持在不同硬件環境下運行。除了常規的 CPU 推理外，還引入了 GPU 加速推理支持，當前推理后端僅支持，后續會逐步考慮添加和等后端支持。

此外，該工具具備多平臺兼容性，能夠在 Windows、Linux 和 MacOS 等不同操作系統環境下流暢運行。

不僅如此，X- 還提供了一鍵編譯腳本，賦予用戶根據其具體需求自行編譯系統的能力，使用戶能夠隨時隨地輕松地分發應用，為其提供更加靈活的定制和部署體驗，進一步簡化工具的安裝過程。

支持單幀和批量預測

X- 中提供了靈活的標注方式，支持單幀預測和一鍵處理所有圖像。用戶可以選擇逐幀標注，以更加精細地處理每一張圖像，也可以通過一鍵處理所有圖像來快速完成整個數據集的標注。

支持多種標注模式

為最大限度滿足用戶的各式需求，X- 中提供了多樣化的圖像標注功能，包括多邊形、矩形、旋轉框、圓形、線條、關鍵點等基本標注形狀。此外，工具還支持文本檢測和識別，使用戶能夠方便地標注圖像中的文字信息。更進一步，X-還引入了 KIE（Key ）標注，幫助用戶標注并提取關鍵信息，以滿足更復雜場景下的標注需求。

Tip: 旋轉框還支持實時顯示旋轉角哦！

支持多種SOTA深度學習算法

更進一步地，X- 中內置了多種先進的深度學習算法，包括但不僅限于經典的目標檢測算法如 YOLO 系列以及最熱門的 SAM 系列等算法，目前仍在不斷擴充中。

不僅如此，X- 還支持導入用戶自定義的模型，這一特性使其真正成為一個具備廣泛適用性和高度可定制性的標注工具，滿足用戶的不同需求。

提供詳細的幫助文檔和完善的社區支持

為了確保用戶能夠充分利用 X- 的功能，提供了全面而詳細的幫助文檔。這些文檔包含詳細的使用說明、標注步驟、功能解釋以及常見問題解答，旨在為用戶提供清晰、易懂的指導，使其能夠順利地使用工具完成標注任務。

除此之外，仍積極維護和支持開發者社區，致力于建立一個互助互學的平臺。在這個社區中，用戶可以分享經驗、提出問題、交流想法，得到來自開發人員的支持和解答（初步估計，目前X-的bug修復率以及功能支持率高達95%+，基本做到有問必答，有bug必解！）。通過建立積極的開發者社區，小編一直希望能為用戶提供更加全面、實時的支持，以確保大家在使用 X- 時能夠獲得最佳的體驗和幫助，同時也歡迎大家積極提PR。

SOTA 算法庫

詳情可參考[模型列表] ()，其中所有模型權重文件均提供百度網盤和github鏈接兩種方式。

Visual- LLM

作為 v2.0.0 版本的主打功能，X- 正式實現了從閉集到開集的重大突破。首次推出的功能基于 -DINO、-SAM 等模型。其中，-DINO 是 IDEA 最新開源的零樣本目標檢測模型，通過任意文本驅動，能夠根據用戶提供的文字描述來檢測圖像中指定的目標。

以檢測大熊貓為例，檢測結果顯示模型幾乎完美地定位了圖像中的每個目標（panda），當然，結果也受到用戶給定的文本提示詞（prompt）的影響，例如將提示詞從 pandas 更改為 panda 可能導致檢測結果的變化。

為了實現真正的全自動標注，推薦大家體驗最新部署的 -SAM。通過結合 X- 工具中獨家提供的一鍵運行組件和導出功能設置，用戶可以高效地進行零樣本檢測和分割，輕松獲取適用于各大主流訓練框架的標簽文件。

此外，盡管對于一些非通用目標定義仍然存在一些局限性，但通過親自上手體驗，可以更好地理解和掌握系統的運作方式。X- 的持續優化和創新為用戶提供了更廣泛、更靈活的標注解決方案。

Image

圖像字幕生成是一項融合了計算機視覺（CV）和自然語言處理（NLP）的復雜任務，其目標是使計算機能夠以自然語言自動生成對圖像內容的詳盡描述。具體而言，系統接收一張圖像作為輸入，通過 RAM 模型的強勢植入，實現了自動生成生動而詳實的文本描述。該描述旨在生動展現圖像中的主要場景、對象及它們之間的關系，從而幫助人們更深入理解圖像。

, RAM 是專用于圖像標記的識別一切模型，與 SAM 類似，作為基礎模型，它具備卓越的識別能力，在準確性和識別種類方面均超越了 BLIP 等當前領先的模型。最新版本的 X- 引入了 RAM 模型，并成功集成了該項圖像字幕生成功能。

除了圖像級別的描述之外，X- 還引入了Object-level的圖像描述功能，從而大幅豐富了系統的功能。這意味著系統不僅能夠在整體上描述圖像，還能夠深入到圖像中的各個對象層面，為用戶提供更為細致和全面的信息。

Image

當前最新版本支持、YOLOv5-cls、YOLOv8-cls以及最新的模型。

Multi-Label

為滿足廣大粉絲的需求，X- v2 版本引入了全新的多標簽屬性標注功能。首次推出的功能包括基于百度飛漿開源的 PULC 中的車輛屬性（Vehicle ）和行人屬性（Person ）模型。整體的用戶界面（UI）設計以及標注范式遵循 CVAT 開源工具箱的標準，為用戶提供更加一致和友好的體驗。現在，您可以盡情體驗這一全新的標注功能！

Object

X- 目前提供基于 Box，HBB即水平目標框（如yolov5/yolov6/yolov7/yolov8/yolox//rtdeter//等YOLO全系列產品）以及基于 Box，OBB即有向目標框（如DOTAv1.0/1.5/2.0以及數據集訓練的和）的檢測模型。

當然，你也可以替換為自定義模型。此外，為了提升小目標檢出能力，X- 中還集成了 SAHI 工具，支持切片推理，一鍵提升小目標檢測性能：

不僅如此，-by- 同樣也提供，支持對檢測后的結果進行二次分類，提供更細粒度的識別結果！例如這里可以將原本是 bird 的類別進一步更正為 ，即山雀：

Multi-Object-

目前，X- 已經內置了兩種先進的多目標跟蹤（MOT）算法，分別是經典的 和最新的 OC-Sort（CVPR 2023）。默認情況下，檢測器使用 yolov5，當然，用戶也可以根據個人偏好將其設置為其他先進的檢測和跟蹤模型。

關鍵點檢測部分主要包括人臉關鍵點回歸（Facial ）和全身人體姿態估計（Pose ）兩個關鍵領域。在這方面，FLD 的一期規劃已經植入了美團的 -face 模型。

此外，姿態估計方面當前適配了面向產業界應用的 YOLOv8-Pose 模型和高精度的 DW-Pose 兩階段檢測模型：

Lane

基于Line模式，X- 中集成了 CLRNet- (CVPR 2022) 模型供大家快速體驗:

Optical

OCR（光學字符識別）是一種通過使用機器學習和模式識別等方法自動識別圖像中的文字并提取為可編輯的文本，方便后續處理、搜索和編輯。文本標簽是許多標注項目中的一項常見任務，但遺憾的是在 Labelme 和 等工具中仍然沒有得到很好的支持，X- 中完美支持了這一項新功能。考慮到效率問題，目前工具內提供了基于 最新開源的 PP-OCRv4 輕量化模型，支持中英文、多語種文本：

圖像文本標簽：用戶可以切換到編輯模式并更新圖像的文本——可以是圖像名稱或圖像描述。文本檢測標簽：當用戶創建新對象并切換到編輯模式時，可以更新對象的文本。文本分組：想象一下，當使用 KIE（鍵信息提取）時，需要將文本分組到不同的字段中，包含標題和值。在這種情況下，你可以使用文本分組功能。當創建一個新對象時，我們同樣可以通過選擇它們并按G將其與其他對象組合在一起。分組的對象將用相同的顏色標記。當然，也可以按快捷鍵U取消組合。

注：標注的文本和分組信息將與其他標注保存在同一個 JSON 文件中。文本將保存在text對象的字段中，組信息將保存在字段中。

目前 X- 工具中提供的實例分割模型主要有兩種范式，一種是常規的分割模型，如yolov5-seg和yolov8-seg：

另外一種是基于Segment-范式，如SAM/EdgeSAM/Mobile-SAM/HQ-SAM/-SAM等：

更進一步地，針對醫學圖像場景，X-中同樣提供了多種基于 SAM 微調的高精度模型，包括:

最后，工具內還內置了 yolov5-SAM 及 YOLOv8- 模型，可以為原始的分割模型提供更加精細化的分割結果！

推理架構

X- 中的模型推理架構如下圖所示：

其中，是推理 SAM 系列模型推理功能所需的核心部件。繪圖區域是由Canvas類處理，而則作為自動標記功能和的主要部件用于管理和運行 AI 模型。

優化點： 因為Encoder的計算是需要時間的，所以我們可以把結果緩存起來，也可以對Encoder在以后的圖片上做預計算。這將減少用戶等待編碼器運行的時間。對于緩存，添加了一個 LRU 緩存來保存編碼器的結果。圖像保存在緩存中，鍵是標簽路徑。當緩存中存在圖像嵌入時，不會再次運行編碼器，這樣可以節省很多時間。緩存大小默認為 10 張圖像。對于預計算，創建一個線程來為下一個圖像運行編碼器。當加載新圖像時，它將和下一張圖像一起發送到工作線程進行編碼器計算。之后，image 會緩存到上面的LRU緩存中。如果圖像已經在緩存中，工作線程將跳過它。 SAM 模型使用步驟 選擇左側的Brain按鈕以激活自動標記。從下拉菜單Model中選擇Segment Models類型的模型。模型精度和速度因模型而異。其中，Segment Model (ViT-B)是最快的但精度不高。Segment Model (ViT-H)是最慢和最準確的。Quant表示量化過的模型。使用自動分割標記工具標記對象。

注意事項:

集成方式

Segment Model 分為兩部分：一個很heavy的編碼器和一個解碼器。編碼器從輸入圖像中提取圖像嵌入。基于嵌入和輸入提示（點、框、掩碼），解碼器生成輸出掩碼。解碼器可以在單掩碼或多掩碼模式下運行。

在演示中，Meta 在服務器中運行編碼器，而解碼器可以在用戶的瀏覽器中實時運行，如此一來用戶便可以在其中輸入點和框并立即接收輸出。在本項目中，我們還為每個圖像只運行一次編碼器。之后，根據用戶提示的變化（點、框），運行解碼器以生成輸出掩碼。項目添加了后處理步驟來查找輪廓并生成用于標記的形狀（多邊形、矩形等）。

使用手冊 如何快速開始？

X- 目前提供兩種方式供大家運行。第一種是偏向小白用戶，大家可以直接再 release 或者直接通過百度網盤鏈接下載編譯好的 GUI 版本，打開即用，具體可參考以下鏈接：

第二種方式是通過下載源碼運行，也是筆者比較建議的構建方式。具體的可以根據自己的機器和個人需求直接 pip 安裝相關的依賴庫即可。如果遇到某個包如(lap庫)安裝失敗，可以自行上網搜索下解決方案。此外，如果是想體驗GPU加速功能，需要安裝對應的 *-gpu.txt 文件，同時修改文件中的 -gpu 版本號，要與 CUDA 匹配，具體適配對照表可參考官方文檔 []。

如何修改自定義快捷鍵？

X- 中同樣提供了豐富的快捷鍵，極大提升標注效率。大家可根據自己的習慣通過修改當前設備的用戶根目錄下的 . 文件進行修改：

#Linux
cd ~/.anylabelingrc
#Windows
cd C:\\Users\\xxx\\.anylabelingrc

默認的快捷鍵設置可以參考 github 主頁示意圖。

如何支持自定義模型？

如何導入/導出自定義標簽？

如何編譯打包成可執行文件？

可參考以下打包指令：

#Windows-CPU
bash scripts/build_executable.sh win-cpu
#Windows-GPU
bash scripts/build_executable.sh win-gpu
#Linux-CPU
bash scripts/build_executable.sh linux-cpu
#Linux-GPU
bash scripts/build_executable.sh linux-gpu

注意事項：

編譯前請針對相應的 GPU/CPU 版本修改 /.py 文件中的 參數，同時根據對應參數激活對應的 GPU/CPU 虛擬環境；如果需要編譯GPU版本，請通過pip install -r -gpu-dev.txt安裝對應的環境；特別的，對于 GPU 版本的編譯，請自行修改 -win-gpu.spec 的 datas 列表參數，將您本地的-gpu的相關動態庫*.dll or *.so 添加進列表中；此外，下載 -gpu 包是需要根據 CUDA 版本進行適配，具體匹配表可參考官方文檔說明。對于 macos 版本可自行參考 -win-*.spec 腳本進行修改。 寫在最后

本文詳細為大家介紹了 X- 的設計初衷及完整的功能特性介紹。作為一款支持高度定制化的開源工具，其實大家完全可以基于該項目進行二次開發；例如我們可以聯合目標追蹤、檢測及OCR識別等做視頻人物和字幕的解析；可以編寫后端完成更高效的推理；還可以引入AI Agent構建更高效和強大的數據標定流程；

開源不易，希各位小伙伴給個 Star 鼓勵支持下吧！最后，如果你有新的想法想要探討或者碰到難以解決的問題，歡迎添加小編vx：ww10874，備注X-，與我一同探討和交流。