案例簡介

上海音智達信息技術有限公司應用飛槳提供的PaddleDetection開發套件，基于視頻流數據實現了對凈化間穿戴檢測、到崗/離崗檢測、疲勞檢測等功能，并在客戶方成功上線，推理速度和準確率滿足上線要求。

相關產品

PaddleDetection

合作伙伴簡介

音智達（Advanced Analytic Service）是一家專注于幫助企業做數字化轉型與數字驅動管理的大數據公司。公司提供基于大數據技術的預測性分析及商務智能解決方案，大數據軟件產品，和大數據SaaS應用和DaaS服務。公司總部位于上海，運營遍及大中華區。音智達為亞洲地區數以百計的跨國企業及本土客戶提供數據服務，擁有豐富的數據分析與業務實施經驗，在生命科學、快消品、汽車、零售、電子消費產品、金融、保險、以及運輸行業享有眾多實踐成功案例。

業務挑戰

在工業制造現場，人員安全及行為規范有比較明確、或者非常嚴格的規定，例如在清掃化學藥品時是否穿戴防護服、操作設備時動作是否規范、在崗或者離崗是否為疲勞工作。使用計算機視覺技術實現工作服穿戴檢測、員工到崗和離崗檢測、員工疲勞檢測等人員管理的場景AI化，可以幫助客戶實現提升工廠人員管理效率和降低企業管理成本。

市場上現有的解決方案主要有兩種，一種是以智能硬件為主的硬件設備，這種方案無法滿足定制化的場景，因為每個工廠或者每個車間現場的環境及規則都不太一樣；第二種方式是比較通用的AI能力平臺，或者是AutoML平臺，這種平臺需要業務方或廠商有一定技術背景、技術能力。以上兩種解決方案，目前均無法在業務現場很好的落地。

通過分析客戶的業務場景，大致可分為以下三類：第一類是穿戴監測場景，即在凈化間里面監測是否戴口罩、戴面罩或穿防護服等防護用具；第二類是離崗和到崗監測，主要判斷指定人員有沒有在指定崗位上，或者指定人員是不是離崗超過一定時間等類似場景；第三類是疲勞監測判斷。

解決方案

針對以上幾個共性問題，我們在設計架構上主要從三個方面考慮：一是可擴展性。作為試點項目，當前每個場景僅有一個攝像頭，應考慮后期接入更多攝像頭的可拓展性。針對這一點要求，每個場景模塊需要進行獨立開發，并對應一個單獨管理的功能；第二是考慮到配置問題，希望能夠進行集中配置。在開發時使用配置文件進行業務參數和規則條件的集中配置和管理；第三是與其他模型集成的能力。違規事件的記錄出來之后，需要被類似于大屏顯示系統等其他系統進行消費。

系統組成

系統組成上，主要分為四個層級，最下面是硬件層，這里涉及到GPU服務器，還有網絡接入的硬件；再往上是操作系統層，主要是一些GPU支持組件；在這上面最主要的AI框架層中，使用了百度PaddleDetection預訓練模型，最上面就是算法的一個應用。

數據工作

在數據層面比較重要的是考慮到數據閉環，待數據采集后進行標注時會有兩個循環，一個是數據標注、檢查修改到模型訓練形成小的循環，主要用于改善數據標注質量；另一個是循環標注及模型訓練、上線試運行、結果分析到Bad case收集，主要為了提升模型數量，剛開始數據收集的數量并不是特別夠。

算法設計

從整體思路來看，把違規檢測的問題分解成單幀圖像物體檢測問題與聚合到時間緯度的規則判斷問題，主要包含凈化間穿戴檢測、離崗檢測、化金穿戴檢測、疲勞檢測和到崗檢測這五種場景。首先，我們使用的基礎模型是YOLOv3增強版，考慮到實時性要求及GPU顯存要求，五種場景跑在同一個GPU上面，GPU顯存并不是特別大；第二點是規則引擎，首先考慮涉及違規規則定義。將業務規則轉換成單幀物體檢測的規則，如用邊框的overlapping作接觸判斷；其次是單幀圖像違規規則判斷。當前這一幀是否產生違規行為，最后就是特定的時間窗口里面判斷是否產生違規行為，以防止模型在一兩幀里面做出誤判；最后考慮希望快速開發出基準模型，在試運行的時候收集Bad case進行多次迭代優化。

首先很快速的進行Baseline的構建，我們技術路線在Baseline用的是比較主流，或者說是很直接的想法，通過物體檢測之后進行接觸判斷，再應用我們的業務規則，最后得到一個違規事件的記錄，快速建立Baseline。重點是對Baseline的結果進行分析之后做的一些優化措施，主要在凈化間穿戴檢測、化金穿戴檢測、疲勞檢測和到崗檢測這四個場景里面做了比較多的優化措施，比如口罩檢測這塊，把口罩檢測分為人臉檢測和口罩檢測兩個任務來進行，還有在凈化間穿戴檢測時由于運動產生模糊問題進行數據分析工作，類似情況就是在分析問題時著眼于Bad case進行有針對性的分析和優化措施。

通過合適的時間聚合條件，將單幀違規信息聚合到事件維度，提高事件級別的識別準確率（precision），迭代期間模型試運行測試時，收集bad case數據，追加標注數據進行迭代訓練。

上線后的效果如圖：

價值成果

工廠人員行為智能監控系統，采用計算機視覺識別技術，通過監控系統將監控區域內的現場圖像傳回安保中心，有異常發生就會自動發出警報、并通知管理人員。此系統可以促進操作人員遵守工廠安全管理規定，確保自身安全。智能工廠安全監控系統提供防護服/防塵服穿戴檢測、員工異常離崗檢測、員工疲勞檢測、員工到崗檢測等監測功能。

工廠人員行為智能監控系統極大改善了工廠安全管理工作。以前我們的管理人員需要花費很大精力在員工的行為檢查和教育培訓上，但員工的安全意識在有檢查時強，在檢查人員不在時就會疏忽。每年都存在因為員工不遵守安全管理規定造成的損失。同時由于工廠人員流動性大，雖然企業在安全教育培訓上的投入很大，但是效果不明顯。

在上線智能工廠安全監控系統后，員工的安全意識大幅度提高；同時集成的郵件通知與現場報警功能使得管理人員可以拋棄傳統的人盯眼看的監控方式，極大釋放了現場人員管理的人力成本。未來，我們將考慮把該系統應用在更多的業務場景，來釋放管理人員的精力，提升企業運營效率。