连年来，跟着交互式应用需求的兴起，虚构执行(Virtual Reality，VR)技能越来越受到用户的庸碌接待，全景视频流媒体传输便是其中最进击的应用之一。凭据府上表露[1]， 各人几大主要的流媒体处事运营商(Facebook、YouTube)已动手提供全景视频流媒体处事[2]。为了给用户提供更好的质料体验(Quality of Experience， QoE)，大普遍VR视频的分辨率如故达到了4K(4 096×2 160)致使更高[3]。关联词，由于收集带宽的摒弃，获胜传输如斯高分辨率的视频不是一个可行的决策。因此家庭教师，关于征询者来说在带宽受限的条款下，进一步擢升用户的QoE是一项遍及的挑战[4]。
当用户不雅看VR视频时，由于表露修复视场(Field of View， FoV)的摒弃，在职一期间用户时常只可不雅看到通盘视频的某一部分。要是处事器传输通盘视频的话，大部分的带宽资源会被不行幸免地浮滥掉。因此，基于DASH(Dynamic Adaptive Streaming over HTTP)[5]的自适应分块传输模式是进行VR视频流媒体传输最为提倡的一种模式。在分块传输模式中，一个竣工的VR视频被分割成许多视频块，每个视频块被编码成不同的质料等第，处事器凭据收集带宽等成分为每个视频块自适应遴荐一种最优的质料等第并传输到客户端[6-8]。
在自适应分块传输模式中，有2个最进击的决策：视角自适应和速率自适应。前者是展望用户视角变化的中枢，后者是处事器进行资源分派的中枢。在此基础上，出现了好多相干的征询[9-12]。Qian等[9]建议了一种视角自适应的360°视频传输系统，该系统愚弄机器学习算法进行视角展望。Corbillon等[10]征询了基于通用表面模子的最优全景视频流媒体传输系统，效果表露所建议的最优系统与一般传输系统比拟随意省俭45%的带宽。文件[11]瞎想了一种速率自适应算法，该算法不错最大化预界说的360°视频的QoE值。此外，也有联接视角自适应和速率自适应的征询。Xie等[12]建议了基于概率模子的360°视频传输系统360ProbDASH，该系统通过联接速率和视角自适应搞定基于QoE的传输优化问题。
关联词，上述VR视频流媒体传输系统存在以下关节性摒弃：①只筹议了单个用户，却忽略了多用户的情况。②仅针对下行链路(视频处事器到末端用户)传输，忽略了上行链路(VR视频汇集修复到视频处事器)传输。事实上，VR视频直播是另一种进击的应用，在学术界和工业界都受到越来越多的存眷[13-14]。在VR视频直播中，汇集修复用于纪录VR视频，并将视频及时传输到处事器。多用户不错使用相干表露修复请乞降不雅看VR视频。显著，在带宽有限的敛迹下，应仔细征询高下行链路视频速率自适应传输算法。此外上行视频和下行视频是具有相干性的，单独优化瞎想会裁汰系统举座性能，这使得在该VR视频直播应用中速率自适应算法变得愈加梗阻。因此，本文瞎想了一种面向多用户的高下行链路妥洽全景视频流媒体汇集和传输系统。该系统不仅加入了上行和下行链路传输，还同期筹议了多用户情况下的速率自适应。此外，在所瞎想的系统基础上，界说了一个QoE驱动下的多用户资源分派问题。
1 高下行链路妥洽VR视频流媒体汇集和传输 1.1 系统模子图 1为系统应用场景。系统上行端VR汇集修复一共有C个相机，下行端共有N个用户。开头，每个相机拍摄出疏导码率的高清视频，每个视频都被编码成不同的质料等第，赢得不同码率的视频，由处事器为C个视频各遴荐一种质料等第进行上行传输。然后，处事器将这C个视频缝合成一个竣工的VR视频，并进行分块和压缩处理。临了，处理过的VR视频和会过下行链路传输到每个用户。此外，假定下行链路中还存在从用户到处事器的端到端响应信谈，此响应信谈不错将每个用户的带宽信息及及时的视角信息传输到处事器，更好地匡助处事器进行视频速率自适应遴荐。
本文瞎想系统的结构如图 2所示。系统主要由4部分构成：C个相机、处事器、客户端和N个用户。
QoE驱动上行模块和下行模块一皆完成优化传输的使命，即合理进行视频码率自适应遴荐去最大化所有用户的QoE。具体来说，处事器的使命经过为：开头，上行处理模块为C个相机各遴荐一种合适的码率等第，当这些视频上传到处事器后，经过缝合、映射等处理生成了一个VR视频。然后， 下行处理模块把竣工的全景视频分红多块，而且将每块视频编码成不同的质料等第。此时，在响应信谈中特征数据(用户及时FoV信息、下行链路带宽信息)的匡助下，下行处理模块不错详情被传输的块并为每块视频遴荐最合适的质料等第。临了，这些块都将通过下行链路进行传输，在传输的同期，下行处理模块还将为每块视频遴荐一种合适的调制与编码计策(Module and Coding Scheme，MCS)。在客户端中，当所有视频块通过下行链路传输到客户端，它们经过解码、映射、渲染等处理，最终通过表露修复呈现给每个用户。此外，客户端的另一个功能是把用户的及时FoV信息和下行链路带宽信息通过响应信谈传输给处事器。
1.2 问题酿成假定系统中在上行端有C个相机(每个相机用c示意)，下行端有N个用户(每个用户用n示意)。在各个方朝上均匀装配的C个相机随意酿成一个VR视频汇集系统，对每个相机c来说，其随意拍摄产生D′种不同码率等第(每种码率等第为d′)的视频，用λc， d′UL示意码率等第为d′的相机c产生视频的码率。假定上行链路总带宽为BWUL。当C个视频上传到处事器，处事器会对其进行缝合以生成一个VR视频，再将其分红T块(每块用t示意)，然后每块被编码成D种质料等第(d示意每种质料等第)。用λt， dDL示意质料等第为d的视频块t的码率。显著，下行链路中每块视频的质料等第必定小于上行链路中每个视频的质料等第。不才行链路中，假定一共有YDL个资源块(RB)，同期下行链路不错提供M种MCS决策(每种决策用m示意)。用RmDL示意在MCS决策为m时，单个资源块所能提供的比特率。
关于用户n来说，TFoVn示意其FoV所秘籍的视频块。因此，用户n的QoE值不错界说为
式中：χt， d， mDL为一个二进制变量，惟有当质料等第为d的块t以MCS决策m传输时值才为1，不然为0；λt， DDL为块t以最高的质料等第D传输时的码率。
通过QoE抒发式，本文的QoE驱动高下行链路妥洽VR流媒体自适应汇集和传输的问题不错描摹为：详情上行链路中每个相机所拍摄的视频的码率等第，为下行链路中全景视频的视频块遴荐一种质料等第和一种MCS决策，来最大化通盘系统中的所有用户的QoE值。不错用问题P1来示意。
问题P1:
问题P1的解变量是2个二进制变量χc， d′UL和χt， d， mDL。χc， d′UL与χt， d， mDL访佛，都是二进制变量，惟有当相机c产生的视频以码率等第d′上传时值才为1，不然为0。
敛迹条款(3)和敛迹条款(4)是上行部分的敛迹。敛迹条款(3)示意任何一个相机c只可遴荐一种码率等第，敛迹条款(4)示意传输的C个视频的总码率不应当超出通盘上行链路的总带宽。
敛迹条款(5)~敛迹条款(7)是下行部分的敛迹。敛迹条款(5)和敛迹条款(6)辞别示意浪漫视频块只可遴荐一种MCS决策、一种质料等第。敛迹条款(7)确保了传输的所有视频块的总码率不最初通盘下行链路所有资源块所能提供的比特率。
敛迹条款(8)是通盘系统高下行链路妥洽的敛迹，示意下行链路中浪漫视频块的码率不大于上行链路中浪漫相机产生的视频的码率。
2 基于妥洽KKT条款和分支定界法的速率自适应遴荐算法显著，问题P1是一个非线性整数缠绵(NIP)问题。通过分析该问题的性质，若将问题P1的求解变量随性为纠合变量后，其主张函数和敛迹条款均为便于求解的凸函数。因此，先将问题P1进行纠合随性家庭教师，将非线性整数缠绵问题变成非线性缠绵问题，用KKT条款[15]求出该非线性缠绵问题的解；再选用分支定界法求解出原问题P1的0-1变量解。
2.1 随性后非线性缠绵问题的KKT条款先对问题P1的2组解χc， d′UL和χt， d， mDL进行随性，该问题变成了非线性缠绵问题，可用KKT条款求解。
该问题的拉格朗日函数为
式中：
因此，不错得到相干的KKT条款为
勾引twitter通过妥洽KKT条款相干的公式(式(16)~式(21))进行求解， 不错得出经过随性的非线性问题的最优解，记为χrelax，接下来使用分支定界法求出原始问题的0-1变量解。
2.2 基于分支定界的高下行链路VR视频速率自适应遴荐算法肇始输入为χrelax和Zrelax，Zrelax示意χrelax对应的最优主张函数值。输出效果为所求的0-1变量解χ0-1和相应的最优主张函数值Z0-1。
算法1 高下行链路VR视频速率自适应遴荐算法。
输入：用KKT条款求解出的对应随性问题的解χrelax和随性问题的最优主张函数值Zrelax。
输出：问题P1的适应0-1敛迹条款的最优解χ0-1和问题P1的最优0-1解对应的最优主张函数值Z0-1。
动手化：k=0， L=0， U=Zrelax。
1.从χrelax中浪漫选则一个不适应0-1敛迹条款的解χj， 在(0， 1)畛域内立时产生一个立时数ε。
2. IF 0≤χj < ε， THEN将敛迹条款χj=0加入到问题P1中，酿成子问题Ⅰ。
3. ELSE，将敛迹条款χj=1加入到问题P1中，酿成子问题Ⅱ。
4. END IF
5.继续求出子问题Ⅰ和子问题Ⅱ的随性问题解，记为χk，并将对应最优主张函数值记为Zk。
6. U=max{Zk}， χk∈[0， 1]。
7. L=max{Zk}， χk∈{0， 1}。
8. IF Zk < L， THEN剪掉这个分支。
9. ELSE IF Zk>L，THEN回到分支风物并重迭。
10. ELSE Zk=L，THEN问题P1的最优解如故找到，Z0-1=Zk，χ0-1=χk。
11. END IF
3 仿信得过验与效果 3.1 仿信得过验为了考据本文算法的有用性，遴荐了6个用Insta 360 Pro2全景相机所拍摄的视频行为上行链路的原始视频，每个视频的分辨率都为960×720，长度为35 s，帧率为30 fps(fps为帧/s)。图 3为所选用的6个原始视频的缩略图。选用HEVC (High Efficiency Video Coding)编码器对每个原始视频进行压缩，辞别以17，20，23，26这4种量化参数(Quantization Parameter， QP)压缩，为每个视频成就4种码率等第：{1.5， 2， 2.5， 3}Mbit/s。使用VR视频合成软件AVP(Kolor Autopano Video Pro)完周详景视频的合成使命。把VR视频分红4×4=16块，每块秘籍视角为90°×45°。为每块下行视频成就6种不同码率等第以供遴荐：{0.2， 0.4， 0.6， 0.8， 1， 1.2}Mbit/s。图 4为使用6个原始视频所合成的VR视频缩略图。实验中，用户端使用VR头戴式表露修复HTC Vive，使用户进行不雅看以此来赢得不同用户的FoV。具体遴荐了100个用户和48个的VR视频[16]，用户不雅看不同的VR视频，通过所赢得的100个用户FoV数据，经过预计分析得出有60%的用户FoV大致为120°×90°，这证据大普遍用户在不雅看实验所用全景视频时，视角都会在这个畛域内。因此，将FoV成就为120°×90°。不才行传输过程中，为每块视频提供4种MCS决策。具体见表 1。在仿信得过验中，使用所瞎想的算法平均求解一次最优解需要1 min。
3.2 仿真效果为了评释本文算法的性能，选用3种算法来对比。第1种算法是在上行部分中选用平中分派资源，即把上行链路中的收集带宽资源平中分派到不同的相机中。第2种算法是下行速率自适应算法，该算法与传统的VR视频传输算法疏导，都是基于DASH的自适应分块传输算法，只筹议从处事器到用户的下行部分自适应传输。第3种是下行视角自适应算法，该算法通过联接用户视角展望和收集带宽展望，来及时地进行从处事器到用户的下行部分自适应传输。
分析不同上行链路带宽条款下所有用户的QoE值，性能如图 5所示。随意明晰地发现，当上行链路带宽疏导期，本文算法随意达到更高的QoE值，证据在上行部分有着更好的性能。此外，下行速率自适应算法在不同上行带宽条款下，在4种算法之中性能较差。
对比下行链路中不同资源块数量对系统举座QoE的影响，如图 6所示。不错发现，在4种算法中，本文算法在不同下行链路资源块数量条款下仍有较高的QoE值，性能要远高于下行速率自适应算法和上行平中分派资源算法，略高于下行视角自适应算法。同期不错发现，下行视角自适应算法的性能要优于下行速率自适应算法，这也体现出了视角展望与收集带宽展望在VR视频自适应传输中的进击性。下行视角自适应算法的性能仍要略低于本文算法，这也证据了高下行传输一体化的优良性。
表 2给出了4种算法在疏导高下行链路带宽、用户数量时的系统QoE值和比较情况。不错发现，本文算法的QoE值比上行平中分派资源算法擢升了14.27%，比下行视角自适应算法擢升了11.58%，比下行速率自适应算法擢升了23.47%。
图 7为用户数量与系统QoE值的关系。不错发现，系统QoE值随总用户数的增多而一直增多，然则增多的速率会冷静下落，致使会裁汰。这是因为当用户数量增多到一定进程时，系统为了确保每个用户都能常常地不雅看视频，殉难了每个用户所得到的码率等第，即下落了每块视频的码率等第。
4 论断本文建议了一种基于QoE的多用户自适应传输系统，通过对仿真效果的分析不错得出如下论断：
1) 建议的VR视频传输系统与传统的360°全景视频传输系统比拟，不仅筹议了下行传输也筹议了上行传输部分。
2) 建议的基于妥洽KKT条款和分支定界法的速率自适应遴荐算法不错搞定所建议的传输系统中的资源分派问题。
3) 建议的速率自适应遴荐算法与上行链路平中分派资源算法比拟系统QoE值擢升了14.27%家庭教师，与传统的VR视频速率自适应算法比拟系统QoE值擢升了23.47%。
