连年来，跟着交互式应用需求的兴起，假造实践(Virtual Reality，VR)技巧越来越受到用户的泛泛宽宥，全景视频流媒体传输即是其中最迫切的应用之一。笔据贵寓露出[1]， 巨匠几大主要的流媒体就业运营商(Facebook、YouTube)已入手提供全景视频流媒体就业[2]。为了给用户提供更好的质地体验(Quality of Experience， QoE)，大大皆VR视频的分辨率如故达到了4K(4 096×2 160)以致更高[3]。但是，由于收集带宽的限度结衣波多野家庭教师，径直传输如斯高分辨率的视频不是一个可行的决策。因此，关于接头者来说在带宽受限的条目下，进一步普及用户的QoE是一项远大的挑战[4]。
当用户不雅看VR视频时，由于露出成就视场(Field of View， FoV)的限度，在职一时期用户常常只可不雅看到总共这个词视频的某一部分。若是就业器传输总共这个词视频的话，大部分的带宽资源会被不行幸免地销耗掉。因此，基于DASH(Dynamic Adaptive Streaming over HTTP)[5]的自妥当分块传输样式是进行VR视频流媒体传输最为提倡的一种样式。在分块传输样式中，一个好意思满的VR视频被分割成许多视频块，每个视频块被编码成不同的质地品级，就业器笔据收集带宽等成分为每个视频块自妥当遴选一种最优的质地品级并传输到客户端[6-8]。
在自妥当分块传输样式中，有2个最迫切的决策：视角自妥当和速率自妥当。前者是瞻望用户视角变化的中枢，后者是就业器进行资源分拨的中枢。在此基础上，出现了好多酌量的接头[9-12]。Qian等[9]建议了一种视角自妥当的360°视频传输系统，该系统运用机器学习算法进行视角瞻望。Corbillon等[10]接头了基于通用表面模子的最优全景视频流媒体传输系统，效果露出所建议的最优系统与一般传输系统比拟大约简略45%的带宽。文件[11]瞎想了一种速率自妥当算法，该算法不错最大化预界说的360°视频的QoE值。此外，也有衔尾视角自妥当和速率自妥当的接头。Xie等[12]建议了基于概率模子的360°视频传输系统360ProbDASH，该系统通过衔尾速率和视角自妥当惩处基于QoE的传输优化问题。
但是，上述VR视频流媒体传输系统存在以下关节性限度：①只筹商了单个用户，却忽略了多用户的情况。②仅针对下行链路(视频就业器到终局用户)传输，忽略了上行链路(VR视频网络成就到视频就业器)传输。事实上，VR视频直播是另一种迫切的应用，在学术界和工业界皆受到越来越多的花样[13-14]。在VR视频直播中，网络成就用于纪录VR视频，并将视频及时传输到就业器。多用户不错使用酌量露出成就请乞降不雅看VR视频。较着，在带宽有限的不停下，应仔细接头高下行链路视频速率自妥当传输算法。此外上行视频和下行视频是具有酌量性的，单独优化瞎想会裁汰系统举座性能，这使得在该VR视频直播应用中速率自妥当算法变得愈加繁重。因此，本文瞎想了一种面向多用户的高下行链路长入全景视频流媒体网络和传输系统。该系统不仅加入了上行和下行链路传输，还同期筹商了多用户情况下的速率自妥当。此外，在所瞎想的系统基础上，界说了一个QoE驱动下的多用户资源分拨问题。
1 高下行链路长入VR视频流媒体网络和传输 1.1 系统模子图 1为系统应用场景。系统上行端VR网络成就一共有C个相机，下行端共有N个用户。最初，每个相机拍摄出交流码率的高清视频，每个视频皆被编码成不同的质地品级，得回不同码率的视频，由就业器为C个视频各遴选一种质地品级进行上行传输。然后，就业器将这C个视频缝合成一个好意思满的VR视频，并进行分块和压缩处理。临了，处理过的VR视频和会过下行链路传输到每个用户。此外，假定下行链路中还存在从用户到就业器的端到端响应信谈，此响应信谈不错将每个用户的带宽信息及及时的视角信息传输到就业器，更好地匡助就业器进行视频速率自妥当遴选。
本文瞎想系统的结构如图 2所示。系统主要由4部分构成：C个相机、就业器、客户端和N个用户。
QoE驱动上行模块和下行模块一齐完成优化传输的使命，即合理进行视频码率自妥当遴选去最大化总共用户的QoE。具体来说，就业器的使命经由为：最初，上行处理模块为C个相机各遴选一种合适的码率品级，当这些视频上传到就业器后，经过缝合、映射等处理生成了一个VR视频。然后， 下行处理模块把好意思满的全景视频分红多块，况兼将每块视频编码成不同的质地品级。此时，在响应信谈中特征数据(用户及时FoV信息、下行链路带宽信息)的匡助下，下行处理模块不错笃定被传输的块并为每块视频遴选最合适的质地品级。临了，这些块皆将通过下行链路进行传输，在传输的同期，下行处理模块还将为每块视频遴选一种合适的调制与编码战略(Module and Coding Scheme，MCS)。在客户端中，当总共视频块通过下行链路传输到客户端，它们经过解码、映射、渲染等处理，最终通过露出成就呈现给每个用户。此外，客户端的另一个功能是把用户的及时FoV信息和下行链路带宽信息通过响应信谈传输给就业器。
1.2 问题酿成假定系统中在上行端有C个相机(每个相机用c暗意)，下行端有N个用户(每个用户用n暗意)。在各个方进取均匀装置的C个相机大约酿成一个VR视频网络系统，对每个相机c来说，其大约拍摄产生D′种不同码率品级(每种码率品级为d′)的视频，用λc， d′UL暗意码率品级为d′的相机c产生视频的码率。假定上行链路总带宽为BWUL。当C个视频上传到就业器，就业器会对其进行缝合以生成一个VR视频，再将其分红T块(每块用t暗意)，然后每块被编码成D种质地品级(d暗意每种质地品级)。用λt， dDL暗意质地品级为d的视频块t的码率。较着，下行链路中每块视频的质地品级必定小于上行链路中每个视频的质地品级。不才行链路中，假定一共有YDL个资源块(RB)，同期下行链路不错提供M种MCS决策(每种决策用m暗意)。用RmDL暗意在MCS决策为m时，单个资源块所能提供的比特率。
关于用户n来说，TFoVn暗意其FoV所掩饰的视频块。因此，用户n的QoE值不错界说为
式中：χt， d， mDL为一个二进制变量，惟有当质地品级为d的块t以MCS决策m传输时值才为1，不然为0；λt， DDL为块t以最高的质地品级D传输时的码率。
通过QoE抒发式，本文的QoE驱动高下行链路长入VR流媒体自妥当网络和传输的问题不错形容为：笃定上行链路中每个相机所拍摄的视频的码率品级，为下行链路中全景视频的视频块遴选一种质地品级和一种MCS决策，来最大化总共这个词系统中的总共用户的QoE值。不错用问题P1来暗意。
问题P1:
问题P1的解变量是2个二进制变量χc， d′UL和χt， d， mDL。χc， d′UL与χt， d， mDL近似，皆是二进制变量，惟有当相机c产生的视频以码率品级d′上传时值才为1，不然为0。
不停条目(3)和不停条目(4)是上行部分的不停。不停条目(3)暗意任何一个相机c只可遴选一种码率品级，不停条目(4)暗意传输的C个视频的总码率不应当超出总共这个词上行链路的总带宽。
不停条目(5)~不停条目(7)是下行部分的不停。不停条目(5)和不停条目(6)诀别暗意轻易视频块只可遴选一种MCS决策、一种质地品级。不停条目(7)确保了传输的总共视频块的总码率不卓越总共这个词下行链路总共资源块所能提供的比特率。
不停条目(8)是总共这个词系统高下行链路长入的不停，暗意下行链路中轻易视频块的码率不大于上行链路中轻易相机产生的视频的码率。
2 基于长入KKT条目和分支定界法的速率自妥当遴选算法较着，问题P1是一个非线性整数筹算(NIP)问题。通过分析该问题的性质，若将问题P1的求解变量苟且为辘集变量后，其主义函数和不停条目均为便于求解的凸函数。因此，先将问题P1进行辘集苟且，将非线性整数筹算问题变成非线性筹算问题结衣波多野家庭教师，用KKT条目[15]求出该非线性筹算问题的解；再秉承分支定界法求解出原问题P1的0-1变量解。
2.1 苟且后非线性筹算问题的KKT条目先对问题P1的2组解χc， d′UL和χt， d， mDL进行苟且，该问题变成了非线性筹算问题，可用KKT条目求解。
该问题的拉格朗日函数为
式中：
因此，不错得到酌量的KKT条目为
通过长入KKT条目酌量的公式(式(16)~式(21))进行求解， 不错得出经过苟且的非线性问题的最优解，记为χrelax，接下来使用分支定界法求出原始问题的0-1变量解。
2.2 基于分支定界的高下行链路VR视频速率自妥当遴选算法肇端输入为χrelax和Zrelax，Zrelax暗意χrelax对应的最优主义函数值。输出效果为所求的0-1变量解χ0-1和相应的最优主义函数值Z0-1。
算法1 高下行链路VR视频速率自妥当遴选算法。
输入：用KKT条目求解出的对应苟且问题的解χrelax和苟且问题的最优主义函数值Zrelax。
输出：问题P1的适当0-1不停条目的最优解χ0-1和问题P1的最优0-1解对应的最优主义函数值Z0-1。
驱动化：k=0， L=0， U=Zrelax。
1.从χrelax中轻易选则一个不适当0-1不停条目的解χj， 在(0， 1)界限内飞速产生一个飞速数ε。
2. IF 0≤χj < ε， THEN将不停条目χj=0加入到问题P1中，酿成子问题Ⅰ。
3. ELSE，将不停条目χj=1加入到问题P1中，酿成子问题Ⅱ。
4. END IF
5.连续求出子问题Ⅰ和子问题Ⅱ的苟且问题解，记为χk，并将对应最优主义函数值记为Zk。
6. U=max{Zk}， χk∈[0， 1]。
7. L=max{Zk}， χk∈{0， 1}。
8. IF Zk < L， THEN剪掉这个分支。
9. ELSE IF Zk>L，THEN回到分支法度并叠加。
10. ELSE Zk=L，THEN问题P1的最优解如故找到，Z0-1=Zk，χ0-1=χk。
11. END IF
3 仿果真验与效果 3.1 仿果真验为了考证本文算法的有用性，遴选了6个用Insta 360 Pro2全景相机所拍摄的视频算作上行链路的原始视频，每个视频的分辨率皆为960×720，长度为35 s，帧率为30 fps(fps为帧/s)。图 3为所秉承的6个原始视频的缩略图。秉承HEVC (High Efficiency Video Coding)编码器对每个原始视频进行压缩，诀别以17，20，23，26这4种量化参数(Quantization Parameter， QP)压缩，为每个视频成就4种码率品级：{1.5， 2， 2.5， 3}Mbit/s。使用VR视频合成软件AVP(Kolor Autopano Video Pro)完周到景视频的合成使命。把VR视频分红4×4=16块，每块掩饰视角为90°×45°。为每块下行视频成就6种不同码率品级以供遴选：{0.2， 0.4， 0.6， 0.8， 1， 1.2}Mbit/s。图 4为使用6个原始视频所合成的VR视频缩略图。实验中，用户端使用VR头戴式露出成就HTC Vive，使用户进行不雅看以此来得回不同用户的FoV。具体遴选了100个用户和48个的VR视频[16]，用户不雅看不同的VR视频，通过所得回的100个用户FoV数据，经过狡计分析得出有60%的用户FoV毛糙为120°×90°，这证据大大皆用户在不雅看实验所用全景视频时，视角皆会在这个界限内。因此，将FoV成就为120°×90°。不才行传输过程中，为每块视频提供4种MCS决策。具体见表 1。在仿果真验中，使用所瞎想的算法平均求解一次最优解需要1 min。
3.2 仿真效果为了讲解本文算法的性能，秉承3种算法来对比。第1种算法是在上行部分中秉承对等分拨资源，即把上行链路中的收集带宽资源对等分拨到不同的相机中。第2种算法是下行速率自妥当算法，该算法与传统的VR视频传输算法交流，皆是基于DASH的自妥当分块传输算法，只筹商从就业器到用户的下行部分自妥当传输。第3种是下行视角自妥当算法，该算法通过衔尾用户视角瞻望和收集带宽瞻望，来及时地进行从就业器到用户的下行部分自妥当传输。
分析不同上行链路带宽条目下总共用户的QoE值，性能如图 5所示。大约了了地发现，当上行链路带宽交流期，本文算法大约达到更高的QoE值，证据在上行部分有着更好的性能。此外，下行速率自妥当算法在不同上行带宽条目下，在4种算法之中性能较差。
对比下行链路中不同资源块数量对系统举座QoE的影响，如图 6所示。不错发现，在4种算法中，本文算法在不同下行链路资源块数量条目下仍有较高的QoE值，性能要远高于下行速率自妥当算法和上行对等分拨资源算法，略高于下行视角自妥当算法。同期不错发现，下行视角自妥当算法的性能要优于下行速率自妥当算法，这也体现出了视角瞻望与收集带宽瞻望在VR视频自妥当传输中的迫切性。下行视角自妥当算法的性能仍要略低于本文算法，这也证据了高下行传输一体化的优良性。
表 2给出了4种算法在交流高下行链路带宽、用户数量时的系统QoE值和比较情况。不错发现，本文算法的QoE值比上行对等分拨资源算法普及了14.27%，比下行视角自妥当算法普及了11.58%，比下行速率自妥当算法普及了23.47%。
图 7为用户数量与系统QoE值的关连。不错发现，系统QoE值随总用户数的增多而一直增多，但是增多的速率会寂静着落，以致会裁汰。这是因为当用户数量增多到一定进程时，系统为了确保每个用户皆能深广地不雅看视频，糟跶了每个用户所得到的码率品级，即着落了每块视频的码率品级。
勾引色情 4 论断本文建议了一种基于QoE的多用户自妥当传输系统，通过对仿真效果的分析不错得出如下论断：
1) 建议的VR视频传输系统与传统的360°全景视频传输系统比拟，不仅筹商了下行传输也筹商了上行传输部分。
2) 建议的基于长入KKT条目和分支定界法的速率自妥当遴选算法不错惩所在建议的传输系统中的资源分拨问题。
3) 建议的速率自妥当遴选算法与上行链路对等分拨资源算法比拟系统QoE值普及了14.27%结衣波多野家庭教师，与传统的VR视频速率自妥当算法比拟系统QoE值普及了23.47%。
