因旗下部分產品存在問題 三家險企被要求全面整改
2022-04-29 21:47:01
機器學習：亟須糾正的4大類“偏差”
2022-04-29 21:47:01 來源: OFweek人工智能網
偏見是指個人對他人或其他群體所持有的缺乏充分事實依據的認識和態度，而機器學習中的偏差則是由缺乏足夠的特征和用于訓練模型的相關數據集不全面引起的。機器學習算法在訓練中嚴格按照其數學構造和數據執行任務，準確完成人類所輸入的內容，因此，機器學習模型的偏差通常是由設計和收集相關數據的人的“偏見”造成的。
數據科學家在構建算法并對機器學習進行訓練時，源自其本身某種程度的偏見會不可避免地蔓延到AI模型中，比較幸運的是，機器學習的偏差能夠被檢測和規避。不過，相關的研究人員仍需保持警惕。本文總結了需要了解和防范的4種不同類型的機器學習偏差以供參考。
1. 樣本偏差
樣本偏差是訓練數據的問題。當用于訓練模型的數據不能準確地表現模型將運行的環境時，就會產生樣本偏差。沒有任何一種算法可以與整個宇宙環境的數據交互，并在這個宇宙環境中被訓練，所以，選擇一個足夠大且具備代表性的宇宙子集來減輕樣本的偏差成為一門科學。盡管這門科學容易理解，但并非所有的數據科學家都接受過抽樣技術的訓練。
舉一個自動駕駛汽車的例子。當訓練一個在白天和夜晚都能使汽車自動駕駛的算法時，如果只選取了白天的數據進行訓練，這就等于在模型中引入了樣本偏差，用白天和夜晚的數據訓練算法才可以消除樣本偏差的來源。
2. 偏見偏差
偏見偏差是由受文化和刻板印象影響的數據所引發的結果。可以想象一下，假設有一個計算機視覺算法正在接受訓練來理解工作中的人們，而該算法暴露于數以千計的訓練數據圖，其中許多圖像顯示的是正在寫代碼的男性和在廚房干活的女性，那么，該算法很可能會將編碼員等同于男性，將家務員等同于女性。這就是偏見偏差，因為很顯然女性也能夠寫代碼，而男人也可以做飯。
這里的問題是，被選取的訓練數據有意識地或無意識地反映了社會的刻板印象。要避免這樣的情況出現，可以忽略性別和職業之間的統計關系，并使算法接觸均衡分布的示例。這顯然需要對刻板印象和偏見足夠敏感，而這則取決于人類對模型設定的表達行為的預期，僅靠數學無法克服這類偏差。負責標記和注釋訓練數據的工作人員必須接受相關的訓練，以避免他們將自己對社會的偏見或刻板印象引入到訓練數據中。
3. 計量偏差
如果用于觀察或測量的設備存在問題，這會使系統價值失真，這種偏差趨向于使數據朝某個特定的方向偏離。例如，用帶有彩色濾光片的相機拍攝的每幅訓練數據圖像都會出現顏色完全失真的情況，如此，用于訓練算法的圖像數據實際上也沒有系統地表現出算法將運行的環境。
這種偏差無法通過簡單地擴大數據收集來避免，有效的途徑是，選取多個測量裝置并讓接受過訓練的人員來比較這些裝置的輸出內容。
4. 算法偏差
最后一種類型的偏差與數據無關，屬于算法的數學性質。一方面，具備高方差的模型可以很容易擬合到訓練數據中并能接納復雜性，然而，這種模型對雜訊(又稱噪音noise)十分敏感;另一方面，具備高偏差的模型則更加剛硬，對數據和噪聲的變化不那么敏感，但容易丟失復雜性。因此，數據科學家需要在這兩個屬性之間達到適當的平衡。
數據科學家能通過了解這四種類型的AI偏差構建出更好模型和選取更好的訓練數據。AI算法是由人類構建的，訓練數據也是由人類收集、篩選、標記和注釋的，因此，數據科學家需要敏銳地識別出這些偏差，并使用一種貫徹和迭代的方式來不斷測試模型，并吸納訓練有素的研究員協助，最終規避這些機器學習的偏差。
關鍵詞： 機器學習
您可能也感興趣:
為您推薦
二季度五行業暫緩繳納養老保險費 含零售、民航等特困行業
2022-04-29 21:47:01
深圳市重疾險參保人數逐年增加 七個醫保年度賠付14.4億元
2022-04-29 21:47:01
一季度社保基金新進14只個股 養老金賬戶新進9只個股
2022-04-29 21:47:01
排行
最近更新
- 機器學習：亟須糾正的4大類“偏差”
- 碳化硅（SiC）功率器件或在電動汽車領域一決勝負
- 英特爾楊敘：全新超極本是PC與平板二合一
- 脈沖式電子圍欄工作原理及優點分析
- 發動機測試的便攜式振動分析儀
- 鉅浪混動壓軸登場，廣汽傳祺的“雙保險”
- 新蛋全球CEO鄒果慶獲評 2022年中國數字生態領袖
- 四月收官整體呈陰 五月結束探底翻紅可期丨微策略
- 廣東省出臺促進消費措施，廣汽傳祺率先響應，補貼至高10000元！
- 老字號、供應鏈、新消費品牌集中布局預制菜 疫情打開線上增量？
- 打通鄉村振興“毛細血管”——農發行合江縣支行投放1.07億元...
- 興業銀行德陽分行筑牢防范電信網絡詐騙“防火墻”
- 珠海制造業貸款余額比年初增35%
- 如何避免核酸檢測交叉感染
- 九安醫療擬使用不超27億元開展證券投資與衍生品交易
- 二氧化碳“變”葡萄糖，深圳先進院研究成果登《自然》子刊
- 九安醫療：一季度凈利潤143.12億元 同比增長37527.35%
- 成立19年兩度遇疫情 楊麗萍含淚宣布《云南映象》演出團隊暫時解散
- 中原區衛健委積極開展醫療機構放射性職業病危害建設項目竣工...
- 陳岱鎮開展職業病防治宣傳周活動
- 市疾控中心：開展職業健康行動 助力企業高質量發展
- 孝昌縣總工會開展《職業病防治法》宣傳周活動
- 宜都市衛健監督執法大隊開展《職業病防治法》宣傳周活動
- 嘉實致遠3個月定期純債債券(013544)2022年第二次收益分配
- Q1綠債產品承銷總額同比增57％ 市場稱綠債投資將迎廣闊發展空間
- 中南建設：“17 中南 01”將于5月11提前兌付及摘牌
- 中證協修訂發布《公司債券承銷業務規范》 規范承攬行為
- 信用債追蹤 | 20龍控01上漲50% 15世茂02下跌3.21%
- 泛海控股“20泛控03”公司債回售金額7億 將于4月29日摘牌
- 古井貢酒2021年營收132.7億增28.93%，年份原漿毛利率增1.7個百分點