全景分割技術(shù)能夠描述圖像的場(chǎng)景內(nèi)容并允許其深入理解，這有助于顯著簡(jiǎn)化分析，提高性能，并為許多計(jì)算機(jī)視覺任務(wù)提供解決方案。我們可以在這些任務(wù)中找到視頻監(jiān)控、自動(dòng)駕駛、醫(yī)學(xué)圖像分析、圖像場(chǎng)景解析、地球科學(xué)和遙感。全景分割通過實(shí)現(xiàn)對(duì)特定目標(biāo)的分析而無(wú)需檢查圖像的整個(gè)區(qū)域，從而允許這些應(yīng)用，這減少了計(jì)算時(shí)間，限度地減少了對(duì)某些目標(biāo)的漏檢或識(shí)別，并確定了圖像或視頻中不同區(qū)域的邊緣顯著性。為了調(diào)查全景分割的發(fā)展，關(guān)于對(duì)things和stuff實(shí)現(xiàn)的相關(guān)任務(wù)，圖2中描述了從二值分割和目標(biāo)檢測(cè)開始到全景分割結(jié)束的圖像分割的時(shí)間線演變。通常，用于執(zhí)行每項(xiàng)任務(wù)的流行也被突出顯示。

值得注意的是，全景分割可用于其他研究領(lǐng)域，如生物學(xué)和農(nóng)業(yè)，用于分析和分割圖像。這是[72]的情況，其中全景分割用于豬的行為研究。盡管評(píng)估不會(huì)直接影響動(dòng)物的正常行為，例如食物和水的消耗、亂扔垃圾、互動(dòng)、攻擊行為等。通常，物體和關(guān)鍵點(diǎn)檢測(cè)器用于單獨(dú)檢測(cè)動(dòng)物。然而，沒有追蹤到動(dòng)物的輪廓，這導(dǎo)致了信息的丟失。全景分割通過使用不同的頭和后處理方法的神經(jīng)（用于語(yǔ)義分割）有效地分割了單個(gè)豬，以克服這個(gè)問題。實(shí)例分割掩碼已用于估計(jì)動(dòng)物的大小或重量。即使有臟鏡頭和遮擋，作者聲稱也達(dá)到了95%的準(zhǔn)確率。此外，全景分割可用于可視化戰(zhàn)場(chǎng)上隱藏的敵人，如[109]所述。

可以更加專注于檢測(cè)較小的物體，去除不必要的小物體和其他雜項(xiàng)物體。此外，使用精確的邊緣檢測(cè)方法，可以將事物之間的分離用于良好的實(shí)例分割。這也將有助于提供一些實(shí)時(shí)全景分割技術(shù)。目前，目前部署的全景分割實(shí)時(shí)應(yīng)用程序數(shù)量非常有限。因此，今后關(guān)注這一觀點(diǎn)至關(guān)重要。此外，提高全景分割模型的性能并拓寬其應(yīng)用是相關(guān)的未來方向，尤其是在數(shù)字健康、實(shí)時(shí)自動(dòng)駕駛、場(chǎng)景重建和3D/4D點(diǎn)云語(yǔ)義分割方面。

如前所述，全景分割是語(yǔ)義和實(shí)例分割的組合，而語(yǔ)義分割是場(chǎng)景的上下文像素級(jí)標(biāo)記，實(shí)例分割是該場(chǎng)景中包含的目標(biāo)的標(biāo)記。對(duì)于基于語(yǔ)義的像素，通過確定該像素屬于哪個(gè)類別來對(duì)像素進(jìn)行分類，其中實(shí)例分類利用目標(biāo)檢測(cè)的結(jié)果，然后進(jìn)行精細(xì)級(jí)別分割，以在一個(gè)同質(zhì)標(biāo)簽中標(biāo)記目標(biāo)像素。