随着互联网视频的高清趋势,以及运营商的接入带宽提速,网络视频用户迅速增长,截至2012年底中国网络视频用户达到3.72亿,较上年底增加 了4653万人,增长率为14.3%。网民中上网收看视频的用户比例较上年底提升了2.5个百分点,达到65.9%。视频和下载流量(weB类和P2P 类)在互联网总流量占比超过80%,其中P2P流量占比超过45%。
【摘要】P2P应用造成网络堵塞、网速降低和不稳定,被许多业内人士称为“带宽杀手”,对P2P流量的管理和调度,成为了运营商非常棘手的一个 难题,目前,有效管理P2P流量,限制P2P下载,控制P2P传输,拦截P2P视频的手段较为有限,本文将从疏导角度出发,为运用商应对P2P流量爆发式 增长提供有效的管控手段。
【关键词】计算机网络论文发表,P2P,CDN,CACHE,流量调度
1前言
基于P2P的应用异军突起,P2P应用涉及的领域越来越广,已从单一的大文件下载转变为更多的新型多媒体应用,如P2P高清点播、直播和P2P语音通信等,越来越多的互联网用户选择在线观看新闻、电影、直播等原本在电视或本地计算机上观看的媒体资源。
目前CP(内容提供商)流量调度策略与运营商流量调度策略不一致,导致了大量跨省/跨网流量,增加了运营商的骨干压力,盲目的限制、控制、拦截又会带来大量的用户投诉,因此合理调度这些流量,成为运营商需要解决的一个课题。
2传统的P2P应对策略
为了解决P2P流量产生的影响,运营商和CP(内容服务提供商)一般采用如下方法进行应对:
(1)限制:运营商对P2P应用的流量限制一般借助于深度数据包解析(DPI)设备,将这些设备接入运营商网络,通过对流量的深度识别,然后对相关P2P流量进行限制。
(2)流量本地化:由于P2P内容具有很高的重复性,运营商可以通过在网络中部署P2PCache(缓存)服务器来本地化P2P流量。
(3)传输优化:P2P应用常常采用基于逆向工程的技术来感知网络状况。如估算P2P节点或主机的邻近性以及它们之间的传输时延或带宽,以提高P2P内容传输的效率。
3推荐应对策略:P2P+CDN
P2P+CDN架构是基于CDN的,在骨干层面上保留了原有的CDN系统架构和功能,在边缘节点采用P2P技术进行媒体文件共享及分发。P2P+CDN的网络架构采用3层结构,分为中心层、边缘层和P2P自治域层。
从中心层到边缘层和传统的CDN组织架构一样,由一个中心节点管理控制多个边缘节点,并对边缘节点分发节目。在边缘层以下的P2P自治域层是 P2P+CDN架构的主要特点。为了便于P2P的管理,将系统服务的网络分成若干个区域,称之为P2P自治域,用户的数据交换仅限于在其所在的P2P自治 域内,尽量避免跨域间的P2P交换,由此将用户的数据流控制在一个域内,减轻网络负载。
P2P+CDN流量优化系统应具备三个主要功能,感知、调度、CACHE。
3.1感知
感知通过分光或镜像的方式,采集业务流量,完成流量和设备实时监控数据的采集、处理和分析,与调度系统联动,实现P2P流量优化调度。
感知是P2P+CDN系统的核心组成部分,在网络出口监听报文,过滤出需关注的报文做相应处理。目前常用的P2P应用识别检测技术有:常用端口 检测法、动态流行为检测法DFI(DynamicFlowInspection)、深度包检查法DPI(DeepPacketInspection)。感 知系统过滤P2P客户端发到外网TrackServer的报文,将其重定向到调度子系统上,调度子系统为其提供的Peerlist中的Peer指向 Cache子系统,调度子系统通知Cache子系统管理此文件。客户端连接Cache子系统,由Cache子系统为其提供P2P服务。
感知还需对业务进行管理,包括实现P2P接入业务开通和管理,业务开通状态的CP才能和P2P系统进行有效交互。一个运营商内部所有的客户端每 天发出的P2P业务请求是一个庞大的数字,感知系统如果重定向所有的请求,则调度子系统的负荷会很重,因此,需要有针对性地重定定,如和AAA同步,重点 关注VIP用户或开通此类业务的用户的流量,实施差异化服务。
感知除以上功能外,需要注意以下几个问题:
(1)热点统计:根据流量优化子系统的服务日志信息,提供对内容存储、内容使用、内容分布的统计分析功能,提供内容热点排名统计;
(2)报表分析:对监控产生的各种数据进行记录和分析,自动生成常规报表和各种个性化报表,支持分析各类业务管理需要。
3.2调度
调度子系统使得运营商能够进行P2P流量优化业务的核心控制、配置和管理;通过选择和配置针对P2P流量的网络资源优化策略,系统输出优化信息和数据到P2P服务商,使其可以优化自身的Peer选择过程,达到P2P流量优化的目的。
(1)调度策略模块是调度系统的核心,根据从管理模块获取的运营商网络信息,计算出P2P流量优化调度策略,并通过通信服务模块与P2P服务商对接,指导其流量调度策略。
调度策略包括:①全局域流量优化策略,根据运营商提供的网络拓扑、链路带宽、上下行流量、优先级等信息计算生成网内流量优化策略,提供运营商、 大区、省网、城域网及BRAS级别的流量优化策略,使P2P流量尽可能在网内实现本地化;②支持任意级别特定集合域或者子集域流量优化策略,在不改变整体 策略的情况下进行特定的域调度;另外可以根据管理区域、链路区域定义子集域。③QOS优化策略:根据IP地址池范围和用户特性,计算生成高带宽宽带用户、 3G用户的流量优化策略,优先保证这些用户的P2P业务体验;④支持以上多种环境和策略的叠加,形成全局策略,通过通信服务模块提供给P2P服务商。 (2)通信服务模块,该模块承担流量优化和配置计算信息传递给P2P服务商的通信服务功能,是用于对接P2PTracker服务器和P2P客户端的通信接 口设备。
通信模块功能包括:①与优化计算模块接口获取全局策略;②提供规范和标准的P2P服务接口以及对接的SDK和文档;③记录详细的通信服务日志,包括但不限于时间、应用、协议、源IP、源端口、目标IP、目标端口、上行流量、下行流量、P2P内容特征等信息。
(3)设备监测:通过设备监测模块获取数据,对优化计算模块、通信服务模块和内容分发模块的可用性、设备性能、网络指标进行实时监测,实时获得业务系统的资源使用情况和健康状态;
(4)配置管理:能够根据运营商的网络信息生成IP地址策略,能够获取网络拓扑文件并解析生成可视化图像,配合流量优化和配置计算模块实现基于 域和拓扑的流量优化策略;能够根据文件内容、文件格式、文件大小和访问热点情况等定义内容缓存策略,由内容策略触发流量优化子系统的自动内容更新;
(5)资源管理:形成统一的内容目录数据库,承担关于内容的元数据的存储和索引。全局内容目录维护内容在各节点的分布情况。支持对系统内存储的资源文件进行浏览、排序、查询、查看、下载、删除等管理操作;
3.3CACHE
CACHE针对P2P服务进行流量补偿,通过部署P2PCACHE系统来实现对其下载热点内容资源进行本地缓存,提升下载速度和用户体验,同时需具备内容审计功能。
通过与P2P服务提供商(主要是主流的商用P2P服务,如迅雷、PPS、PPlive等)进行合作,通过P2P服务和本系统的对接,接收系统输出的优化信息和数据,优化其P2P流量。
CACHE包括两个功能模块:内容加速模块、资源收集模块。
(1)资源收集模块:是P2P服务提供商上传文件或用户使用P2P文件的存放点,CACHE子系统通过资源收集模块收集、上传媒体文件。
通过对用户行为的统计,有两个特点:一是在Cache子系统上缓存的内容是有“热度”的,就是说,有些缓存内容客户请求的次数很频繁,有些内容 则很少甚至没有访问;二是热点是随时间变化的,会经历一个由“冷”到“热”,再到“冷”的过程。为此,用热点判断算法和替换算法来调整系统负载平衡,通过 对用户下载行为和内容命中率的分析,为不同的用户或内容提供区别服务,以得到较好的Cache子系统利用率和命中率。
(2)内容加速模块:内容加速模块由系统根据内容对象的热度和访问状况对其网内内容进行分发。对于系统已经存储的资源,由调度系统调度用户访问 本系统,系统响应网内用户的P2P请求,向用户提供全部或部分数据流量。通过重复利用数据流量实现访问加速与流量本地化的目标。同时由于系统同步保存了热 点内容,可以有效降低因网络Peer数目不足或者缺乏部分文件分片而导致用户不能正常完成下载的比率。
内容加速模块具备以下功能:
基于HTTP、HTTPS或其它特定协议接口的文件下载服务;
支持迅雷、PPS、PPTV、旋风、QQLive、风行、Uusee、QVOD等国内主流P2P内容分发服务;
具有负载均衡能力,多台设备之间的负载差不能超过20%;
提供资源管理接口,可以根据文件infohash值查询、删除系统中的文件;
提供客户端认证功能,只允许合作的P2P客户端可以访问;
提供区域限制功能,只为规定区域内的用户提供分发下载服务;
提供流量控制功能,能够控制到设备级别和应用级别所占用的网络带宽;
提供日志功能,能够详细记录内容分发日志和内容访问日志。
3.4P2P+CDN模式特点
P2P+CDN流量优化系统在具备长期流量优化领域服务ISP经验的基础上,并吸收国外先进技术和理念,才能被设计和开发出来,并在后期运营过 程中不断优化和完善,到时系统将成为一套具备全网优化网内各类P2P流量的能力、支持智能管道增值业务开发和运营的系统,并最终达成双赢,同时也将极大的 促进P2P产业链发展。
系统建议部署在运营商省网或城域网的IDC机房,对P2P流量的优化服务可以覆盖全省的宽带和3G上网用户,大幅降低骨干网流入省网的P2P流量并提高宽带用户P2P视频和下载体验。
4结束语
宽带互联网发展到今天,电信运营商的网络建设的指导方针已经从传统的面向基础设施建设转变为面向应用需求。原有的根据用户数/带宽为模型的网络建设已经不在适合今天网络建设的要求。现在网络建设模型是以应用/用户需求模型为主导。
从以业务、流量为导向规模扩容网络容量,到根据应用、客户需求提供差异化服务为建设依据的转变是一个长期的过程,P2P+CDN模式是运营商实现转变的一个有效手段之一。
参考文献:
[1]仇德成,汪树勋,徐德启.《Cache技术在P2P中的应用》.
[2]2012年中国电信集团.《中国电信CDN总体技术要求》.
[3]陈辉,吕月梅,宋俊德.《P2P网络搜索新技术》.