前言：一般性討論
大型復雜機械產品的裝配狀態檢測自動化的重要性
裝配狀態檢測是大型復雜機械產品諸如飛機、汽車、船舶等制造過程的重要組成部分。這類產品結構復雜，其裝配過程涉及大量零組件。在制造全過程中，裝配勞動量通常占總勞動量的50%～60%。因此裝配質量對大型復雜機械產品的最終品質有很大的影響。為保證產品品質，通常要求裝配檢測人員按照裝配操作規程進行細致檢查，確保工作涉及的成品、附件及零組件等裝配均符合裝配圖紙及相關規范的要求。這種人工檢測的方式費時費力、可靠性低，且檢測時存在一定的主觀性，可能造成裝配狀態檢測準確度不高，檢測結論不一致等問題；檢測人員難以長期注意力集中，有可能對個別錯、漏裝情況未及時發
現，影響裝配合格性，對最終產品使用安全造成不良影響。此外，現有狀態檢測流程要求固化，難以隨設計變更和裝配工藝變更實時調整，數據缺乏統一管理，難以在后續維保工作中貢獻更大價值。基于此，研究大型復雜機械產品自動化裝配狀態檢測，提高大型復雜機械產品裝配狀態檢測的穩定性，可回溯
性，提升檢測結果數據價值，是推動大型復雜機械產品裝配向高質量、高效
率、高精準化發展的重要任務。 我國在大型復雜機械產品的設計、制造及生產管理等核心流程數字化建設中取得了很大成就。但相應的裝配狀態檢測工作方面數字化、自動化程度還不高。
什么是裝配狀態檢測？
大型復雜機械產品裝配檢測工作可分為兩類：
?狀態檢測：驗證零件的存在性、姿態的正確性與尺寸偏差要求較低的定位正確性、簡單的連接關系正確性。
?關鍵要素檢測：驗證精確的定位正確性、復雜的連接關系正確性、性能實現與功能實現。 其中關鍵要素檢測是重要特性驗證，如螺栓預緊力是否達標，組件氣密性是否保證等，通常已具備自動化能力。大型復雜機械產品的裝配檢測中存在的問題主要體現在狀態檢測方面。
為什么這件事存在難度？
大型復雜機械產品裝配狀態檢測有其特殊性，具體表現在以下方面。
?大型復雜機械產品的體積與形狀使得難以建設專用光學檢測裝備(AOI)，通常需要多次圖像采集實現區域覆蓋，增加了自動化檢測難度；
?此類產品上存在眾多裝配精度較低部件，且裝配狀態多變，難以應用數字圖像處理(DIP)技術簡單分析裝配狀態。
?簡單使用圖像匹配技術驗證零組件的存在與否要求對零組件進行多角度大量圖像采樣，大量增加工作負擔且執行耗時。
?大型復雜機械產品的檢測要求明確的結果信息，如某部件缺失或位置不正確等。需要檢測方法能夠對待檢目標進行語義級描述。
人工智能技術近年來快速發展，在大量工業場景得到有效應用。因此使用人工智能相關技術實現裝配狀態檢測自動化成為可行研究方向。但人工智能方法目前只能對圖像數據進行簡單的分類與圖像定位，并不能滿足大型復雜機械產品裝配狀態檢測實際要求。因此還必須研究尋求能夠應用于本領域需求的特定方法。
裝配狀態檢測自動化方法的技術設計
總體而言，要實現大型復雜機械裝配狀態監測的自動化，需要綜合硬件、軟件、人工智能方法與數字圖像處理方法等多種 IT 前沿技術，并深入理解工業
產品裝配狀態規程的要求。為清楚闡釋這樣一個自動化系統是如何工作的，我們首先從業務角度，分析大型復雜機械產品的裝配狀態檢測自動化所需要的信息并將其表示為特定數據對象集結構。然后在此基礎上，介紹綜合人工智能技術與數字圖像處理技術的自動化裝配狀態檢測方法。
對裝配狀態檢測過程中關鍵要素的數字化建模
關鍵要素的數字化建模主要分為三個部分，即檢測規程(Routine Data)數字化，裝配現場采集信息(Inspection Data)數字化以及待檢物樣本 (Training Data) 數字化。
裝配狀態檢測信息數字化
裝配狀態檢測規程定義了需要進行比對的各種檢測操作。可以將裝配狀態檢測規程內各操作所蘊含的信息進行分解為存在性，定位正確性，姿態正確性以及連接關系正確性，使其轉化為可自動化的任務類型。各任務類型具體含義如下：
?零組件的存在性：所關注的零組件是否已經安裝，是否有多余的零組件被誤裝；
? 零組件定位與姿態的正確性：所關注的零組件其定位是否符合要求，是否以正確的姿態裝配，如某些支架的定位與朝向；
?零組件之間連接關系的正確性：所關注的零組件之間是否以正確的方式連接；
基于這樣的任務區分，我們就可以將檢測規程由非結構化文檔轉換為標準數據對象結構。
這里檢測任務為某具體的檢測工作，檢測項為該檢測任務中需要檢測的所有目標列表，目標即構成裝配體的各零組件。其中每個具體目標除自身ID外，還包含目標對象信息，該信息為待檢測目標的理論結構 信息。待檢目標ID具有唯一性，而目標對象可以重復。例如檢測一個 M12 標準螺栓，待檢目標是一個具體的螺栓實例，而目標對象是該類標準螺栓零件。某次檢測可能存在10個這樣的螺栓，對應10個檢測目標ID，它們具有相同的目標對象。
檢測目標中的目標位置表示了這個具體待檢目標在整裝配體上的位置信息。它是檢測目標自身的坐標在裝配體全局坐標上的相對關系。我們使用最小包圍盒(minimum bounding box, 簡寫為 MBBti 表示該相對關系。姿態要求表示了該零件檢測要求中是否包含姿態檢測，對于沒有姿態要求的零組件該值取布爾值fault，反之取布爾值true。對于有連接關系要求的檢測項，則在該檢測目標后增加關聯目標鍵，其值為需要關聯的目標列表。
現場采集信息數字化
裝配現場數字化是指對真實裝配場景的數字化表示。一般的，裝配狀態檢測場景的數字化形式為圖像數據。后續方法將從獲取的圖像數據中抽取特定信息后與數字化的檢測目標進行比對。由于大型復雜機械產品通常尺寸較大且形狀復雜，無法通過一次圖像數據采集完成所有檢測工作。因此所采集數據是一個數據對象集合。
其中采集任務指示了某一次具體的數據采集過程，檢測任務定義了本次采集數據所參照的裝配規范對象。采集數據列表中包含了一系列對檢測對象的圖像數據采集，每一個采集圖像數據都以一個字典數據結構表示，其中，采集標識指示了某一個具體的采集數據，采集位姿表示了采集該圖像數據時采集設備相對于采集系統原始坐標標架的相對位置，使用齊次坐標形式的投影矩陣(homogeneous transformation matrix, 簡寫為 HTMti 表示這個相對關系。采集焦距給出當前采集圖像時的設備焦距，采集數據即為實際獲取到的圖像數據，以三維數組標識。
此外，在大型復雜機械產品裝配實際中，通常無法保證待檢的裝配體處于同一位置，以及具備相同的外部光照條件。因此在自動化裝配狀態檢測中，對裝配體進行的圖像采集各數據其覆蓋區域也會發生變化。基于這個原因，還需要引入這被測裝配體與圖像采集設備之間的相對位置關系表示。為此定義設備定位的變換矩陣，該矩陣同樣是一個 HMT，表達圖像采集設備的坐標標架到裝配體坐標標架的變換。
待檢物樣本數字化
為構建能夠智能識別零組件的機器學習模型，就必須預先積累待識別目標的數據以及基于所積累樣本標定的數據標簽，并將其關聯起來構成待檢物樣本數
據，也即機器學習模型構建所要求的訓練集。本方法要求待檢物樣本數據構建遵循目標檢測(Object Detection)類機器學習模型構建用訓練集構建規范。
基于人工智能與數字圖像處理技術的裝配狀態檢測自動化方法
直接上流程圖：
必須說明的是，應用該方法需要構建自動圖像采集設備。該設備應具有下述能力：
?能夠自主驅動圖像采集器采集多張圖像數據，使得所采集圖像能夠覆蓋裝配體的檢測面。
?能夠在采集圖像時記錄圖像采集器當前位姿相對于其整體坐標原點的HTM。
該方法還需要構建準確裝配檢測基準，這是一個經過驗證確認正確的裝配體原型。自動圖像采集設備需要對該原型進行一次數據采集，為后續所有其它裝配檢測建立參照。 最后，該方法需要實際的待檢測裝配目標，這是所有需要進行自動化檢測的裝配體對象。
流程說明：
本方法將智能檢測過程分為兩個階段，其中：
檢測系統構建階段對每種裝配體檢測只執行一次，主要任務是根據裝配檢測要求，構建用于裝配檢測的智能識別模型與裝配檢測基準。該階段主要包含以下工作：
?檢測參考數據 (Inspection Data Reference) 采集使用自動圖像采集設備對準確裝配檢測基準進行數據采集，獲得檢測參考數據。該數據結構與裝配現場數字化信息數據完全相同，用于完成當前裝配狀態的檢測基準構
建。
?目標檢測模型構建使用前述 Training Data 數據完成一個面向圖像數據的智能目標檢測模型訓練。該過程為標準人工智能目標檢測建模過程，并可以在成熟模型基礎上進行遷移學習，以提升模型對目標檢測的分類查準率與定位精度。
?使用目標檢測模型對檢測參考數據進行識別檢測參考數據中的圖像數據輸入所完成的目標檢測模型，輸出目標檢測結果列表。
?位姿目標特征與關聯目標特征抽取為后續檢測操作中位姿檢測與連接關系檢測提供參照基礎。
這個階段的主要任務是為檢測系統執行進行數據準備。
檢測系統執行階段在所有具體的裝配體檢測任務上執行。其主要任務是使用
軟、硬件結合的智能系統對裝配體進行裝配狀態檢測，并形成檢測結論。該階段主要包含以下工作：
?使用自動圖像采集設備對待檢測裝配體進行數據采集，獲得檢測數據。
?使用檢測系統構建階段所完成的智能模型對獲取的檢測數據進行識別，獲得待檢裝配體的目標檢測結果列表，其結構與裝配系統構建階段所生成列表相同。
?從檢測規程數據中獲取各元素的 MBB 數據，以及檢測數據中的變換矩陣數據進行解算，獲取各元素最小包圍盒在采集圖像上的二維投影范圍。將計算所得二維投影范圍與本次目標解測結果進行匹配，獲取檢測規程數據中各元素與目標檢測結果中的對應關系。
?對檢測規程中要求存在性檢測的要素，直接使用第三步所獲取的對應關信息驗證其存在性。
?對要求位姿檢測的要素，使用檢測系統構建階段獲取的圖像特征數據，在本次匹配所獲取目標檢測結果中對應的數據中進行圖像特征匹配。匹配結果是以圖像空間為坐標標架的變換矩陣，將其與本次檢測所標定的HTM及裝配基準構建所標定的 HTM 聯立可求解被檢測目標位姿與基準位姿間
差異，該差異即用于判別當前裝配體位姿的正確性。 6ti對要求連接關系檢測的每個要素組合，逐一計算其中每個要素與基準位姿間差異，然后以該要素組合中各要素的位姿差異偏差判別該連接關系的正確性。
實際操作
為了驗證這種方法在大型復雜機械產品裝配狀態檢測中的適用性，我們構建了相應的軟、硬件一體化檢測系統，并在某復雜機械部件裝配工作中進行了驗證。該檢測系統涉及人工智能、自動控制、數據分析等多種關鍵技術，是典型的跨學科，跨領域復雜系統。具體的說，以下具體驗證方法被使用，以驗證本方法中的關鍵技術項。
驗證方法可以分為硬件功能實現與算法能力驗證兩部分，此外還涉及實際驗證目標的選擇與實際驗證結果說明。
自適應硬件控制系統開發目標保證保證工業相機能夠被載運到待檢部件進行多方位拍攝完成高質量圖像采集，并且能夠獲取采集圖像是相機的位姿信息，即前述HMT。此外在大型復雜機械產品裝配中，基準位置通常難以保持一致性。因此圖像采集不能依賴事先定義好的坐標值，必須記錄待檢目標與機器人之間的相對位置用于圖像匹配，硬件控制系統通過標定方法實現功能。檢測樣機硬件設備主要包括具有自適應調整能力的工程輔助設備和感知設備。具體硬件如下表所示。
其中協作型機器人用于控制工業相機相對待檢對象進行移動。設備選型主要依據工作半徑及所需最大負載確定。工業相機通過支架安裝于機器人工具端頭后的實際效果如下圖所示。
檢驗的軟件架構和數據流程架構是數字化檢驗系統的核心部分，其通過各類智能算法和三維模型對采集到的部件數據進行識別判斷，依托各種設備的數據采集和計算能力，以大數據、人工智能、圖像識別等先進技術為基礎，構建滿足當下及近未來一段時間飛機部件裝配檢驗的數字化技術體系和流程結構，并以使其滿足工程可行性。 軟件系統架構分為應用層、數據層、系統層和硬件控制等四部分，各層在數字化裝配檢驗架構體系要求的基礎上，按照功能進行劃分，層與層之間并非完全獨立存在，而是相互緊密聯系，層內各功能模塊之間也是互相緊密相關。下圖是所構建的數字化裝配檢驗系統軟件架構圖。
在上圖中，應用層是完成具體應用任務的軟件程序，數據層是包含應用層軟件所需相關數據的支持服務層，系統層是對系統進行后端開發和智能識別模型開發的部分，硬件控制是用來控制硬件層設備按照任務和數據要求進行工作的程序層。
軟件架構的核心部分是系統層和數據層，系統層包括系統開發和識別模型兩部分，數據層包括先驗數據和檢驗數據兩部分。其中智能識別算法模型是數字化裝配檢驗的核心，硬件層設備采集到的部件數據加上數據層已有的先驗數據，都需要傳送至智能算法模型進行識別判斷，因此，模型本身的好壞直接決定著判別結果的準確性。智能算法模型既可采用傳統的圖像匹配與規則識別類算
法，也可采用最新的基于深度學習的物體分類識別算法，相較于傳統機器學
習，深度學習算法所需的數據量更大，且對數據服務器性能要求更高，但傳統的機器學習在識別任務多樣性、準確性等方面又有較大欠缺，且對于復雜場景下多物體的識別能力也有不足。本文通過嘗試在識別檢測任務中，采用不同的算法模型，根據各模型判別結果優劣擇優輸出。
數據層所包含先驗數據包括裝配工藝數據和CAD三維模型數據，裝配工藝數據包括安裝尺寸、定位精度、連接狀態、表面質量、配合性質、結構形式等待檢部件的裝配數據，數字化檢驗過程就是以此為技術標準進行檢驗判別；CAD三維模型數據是部件完整裝配狀態的三維空間分布結構，當二維數據無法清晰表達部件的空間姿態和更多的細節信息時，需要通過CAD三維模型來確定部件的實際裝配布局和空間關系。
在智能識別系統構建方面，由于工業領域需要處理的目標對象缺乏大量的數據樣本，因此很難從頭訓練成熟的智能目標識別模型，必須使用遷移學習方法（Transfer Learning）。該方法將現有成熟的基于通用標簽圖像訓練生成的模型，結合本項目應用實際的待檢場景圖像，使用凍層和微調等技術手段，實現對成熟卷積網絡前端幾何特征捕捉的復用與后端面向業務的樣本分類的結合。經遷移學習，我們得到了適用于裝配場景的零組件識別，模型性能良好，對零組件的檢測性能達到 90% 以上。
最終完成的系統軟件運行界面如下所示。
總結： 針對當前大型復雜機械結構裝配狀態檢測過程中存在的問題，我們研究了綜合人工智能、數字圖像處理、機器人控制、裝配機理等跨學科領域知識，給出了一種大型復雜機械產品的裝配狀態檢測自動化，并驗證了此方法的合理性和可行性。上述研究對解決產品裝配安裝狀態監測模式創新、通過加強過程控制從而提高產品裝配的精確度和完成度有重要的技術價值和實際意義。
Tempo商業智能平臺
Tempo人工智能平臺
Tempo數據工廠平臺
Tempo指標平臺
Tempo數據治理平臺
Tempo主數據管理平臺
首頁
陜公網安備 61019002000171號
