智慧視覺是新基建等眾多行業(yè)的關鍵技術，伴隨著行業(yè)的發(fā)展，畫質技術與AI技術不斷成熟、相輔相成，并且呈現(xiàn)出越來越強的融合的趨勢。上海海思聚焦端側技術，在畫質和AI方面堅持投入不斷創(chuàng)新，致力于為行業(yè)伙伴提供最領先的智慧視覺技術與解決方案。

    視覺不但是生物演進過程中的里程碑，隨著智能時代的到來，也成為智能終端最重要的基礎能力之一，在交通管理、消費電子、工業(yè)智造、智能汽車等諸多領域有著廣泛的應用。“無圖無真相”，視覺是這些產業(yè)最不可或缺的能力，先后經(jīng)歷了看得見、看得清、看得懂的不斷升級，伴隨著從模擬，到數(shù)字化、網(wǎng)絡化、智能化的演進。在視覺技術使能的眾多產業(yè)蓬勃發(fā)展的大潮中，海思深耕ISP圖像處理、視頻編解碼、AI計算等核心技術，以更清晰更智能的視覺SoC芯片方案，與產業(yè)伙伴共同推動產業(yè)從高清到超高清的升級，不斷提升全天候圖像畫質，挖掘視頻數(shù)據(jù)價值，使能更多行業(yè)應用。

    “看得清”仍然是產業(yè)升級的重要動力

    從智慧城市、智能汽車等行業(yè)的應用來看，視覺技術面臨的主要挑戰(zhàn)來自全天候圖像捕獲、價值數(shù)據(jù)獲取等方面。雖然目前整個產業(yè)已經(jīng)進入4K/8K超高清時代，但是“看得清”仍然是產業(yè)升級動力之一，尤其是低照度、逆光等場景，仍然是業(yè)界公認的難題，普遍存在視頻畫質差、目標不清晰、進而影響后續(xù)AI識別率等難題。

    海思多年來深耕ISP圖像處理技術，通過不斷超越的技術手段，即使在極端的低照度和逆光等場景，也能提供令人驚艷的畫質。

    在暗光場景，海思綜合利用8級3D降噪和多光譜融合多種技術提供了業(yè)界最優(yōu)秀的暗光成像品質。其中8級3D降噪技術利用8級濾波器進行降噪處理，它可以在空域濾波過程中同時實現(xiàn)圖像去噪和增強，以及在時域濾波過程中混合兩種不同的時間模式。8級3D降噪技術還包含兩個用于細節(jié)增強的IE模塊和一個銳化模塊，可以在實現(xiàn)更強的去噪的同時，保留并增強更多的圖像細節(jié)。而多光譜融合則通過紅外補光，在ISP將可見光、850nm、940nm等常見光譜融合，在不增加光污染的同時，最終使圖像效果達到暗光全彩，細節(jié)紋理豐富，過曝區(qū)和非過曝區(qū)準確處理。

    例如在光線不足的地下停車場，海思的8級3D降噪與多光譜融合技術結合能夠讓圖像達到暗光全彩的效果，細節(jié)紋理更加豐富，噪聲大幅降低，能夠在暗光下精準記錄信息，大大減少視覺死角。

    在逆光等高動態(tài)范圍場景，海思能夠基于圖像目標區(qū)域（隧道出入口等）進行檢測及分類，實時調整曝光策略，提升特定區(qū)域的成像效果。在靜態(tài)場景，在目標辨識度、整體細節(jié)、清晰度、色彩飽和度等方面，表現(xiàn)均優(yōu)于業(yè)界領先水平；在出入隧道等動態(tài)場景，海思技術在實測中表現(xiàn)出曝光準確，調整迅速的特點，對行車安全有很大幫助。

    “看得懂”使能智慧視覺更豐富的應用

    近年來數(shù)據(jù)、算力、算法不斷進步，特別是視頻數(shù)據(jù)與AI結合，極大地推動了智能終端的升級和廣泛應用。全聯(lián)網(wǎng)、全高清帶來圖像質量大幅提升的同時，也帶來龐大數(shù)據(jù)量，從視頻到結構化數(shù)據(jù)的智能轉換成為行業(yè)發(fā)展重點。上海海思在2016年布局AI視覺處理芯片，2018年推出跨時代旗艦處理器，引領視覺相關產業(yè)向AI化發(fā)展，幫助行業(yè)合作伙伴在海量場景中快速獲取價值目標信息。

    由于端側的特點，實現(xiàn)算力的同時需要綜合考慮成本、功耗等多種元素。深度神經(jīng)網(wǎng)絡計算的特點是基于大量的矩陣乘法，分解下來的最基礎單元是MAC乘加運算。海思通過自研的達芬奇魔方架構對矩陣乘加計算進行加速，并針對智能終端的特點，提供新一代高性價比達芬奇端側AI引擎，通過硬件和軟件結合的優(yōu)化，實現(xiàn)PPA（Performance Power Area）以及MAC利用率大幅領先行業(yè)水平。僅有算力也是不夠的，為了滿足不同的應用場景和開發(fā)需求，開發(fā)者還迫切需要更容易使用的開發(fā)套件，高效率高質量的完成開發(fā)。海思AI芯片支持業(yè)界主流開發(fā)框架：PyTorch、TensorFlow、Caffe、MindSpore，并且支持ONNX開放神經(jīng)網(wǎng)絡交換格式，能夠靈活適配不同的開發(fā)框架。

    除了基于神經(jīng)網(wǎng)絡的應用，海思還深入分析智慧視覺應用的特點，結合豐富的實戰(zhàn)經(jīng)驗，將部分計算機視覺的算子直接硬化集成，例如圖像縮放、顏色空間轉換、基本濾波處理、目標檢測、車牌識別、3D深度檢測等基礎CV算子，不僅運算更高效，而且開發(fā)更便捷，可廣泛應用在智慧城市、無人機、機器人、AGV、輔助駕駛等多種場景。

    當視覺進入AI時代，智慧視覺也逐步成為必不可少的社會效率工具。例如智慧停車場將停車場管理帶入無人值守時代，利用攝像機+AI自動識別車牌，從取卡到“無感”，降低了人力和卡片維護系統(tǒng)成本，提升了駕車出行的效率。

    從刷卡到非接觸打卡，從人員值守到快速通勤，智慧視覺在辦公場景的應用也大大提升了園區(qū)管理的效率。2020年疫情期間，實體打卡、接觸式指紋識別打卡逐漸被智能打卡取代：多通道智慧視覺能力被應用于眾多智慧打卡機、通道閘機中，與多維感知融合，提升通勤效率同時減少人員接觸，有力保障了園區(qū)有序管理。

    視覺與AI的深度融合是產業(yè)發(fā)展的大勢所趨

    基于濾波等傳統(tǒng)技術的圖像處理技術在暗光、寬動態(tài)等場景的效果逐漸遇到一定的瓶頸，獲得顯著的改進越來越困難，而利用AI進行圖像增強逐漸成為研究新熱點并取得了顯著的進展。根據(jù)海思研究表明，利用神經(jīng)網(wǎng)絡技術對圖像中的噪聲進行檢測和去除，疊加多光譜技術不僅更好的區(qū)分了運動物體和靜止背景，而且改善噪聲形態(tài)及提高信噪比，0.1 Lux下智能識別率預估可達到95%以上。除了暗光去噪，AI還可用于寬動態(tài)DRC等多種場景。近年來AI對靜態(tài)照片的優(yōu)化已經(jīng)廣泛應用于高端手機的相機拍照并獲得了不錯的效果，而視覺行業(yè)的特點要求能夠對高分辨率、高幀率的視頻應用AI進行實時調優(yōu)，對算法算力的要求更高，特別是如何在端側算力環(huán)境下高效實現(xiàn)AI ISP功能，獲得相比傳統(tǒng)ISP更優(yōu)的效果，是海思以及產業(yè)伙伴正在探索的方向。

    視覺與AI是新基建眾多領域的關鍵技術，也是智能終端最重要的基礎能力，它們在數(shù)據(jù)、算法、算力的推動下不斷進步，滿足更多行業(yè)和場景的應用需求，并且呈現(xiàn)出越來越強的融合的趨勢。上海海思能力覆蓋感知、計算、聯(lián)接、表達、以及半導體工程工藝等多方面，特別是以視覺產業(yè)為基礎，在端側視覺感知、AI計算領域有深厚的經(jīng)驗和業(yè)界領先的核心能力，堅持投入，不斷創(chuàng)新，為行業(yè)伙伴提供最領先的技術與解決方案，為智慧城市、智慧家庭、智慧出行等場景的智能終端打造性能領先、安全可靠的半導體基石。