• 建站服务
  • 建站做站公司
  • seo推广公司
  • 建站价格套餐
  • bob客户端苹果版建设流程
  • bob客户端苹果版dns日志怎么分析

    2019-04-28 20:43:13 栏目:bob客户端苹果版建设

    随着互联网的飞速发展,移动终端和智能手机的普及使得用户能够更加快速方便地获取信息,同时人们对移动网络服务的质量要求越来越高。面对信息爆炸式增长产生的流量,运营商的收入没有实现跨越式提升,反而面临数据流附加值被互联网公司“吸”走,沦为管道的挑战。为应对上述挑战,电信运营商开始从战略层面对大数据展开部署,通过对海量数据深度分析来挖掘其核心价值,将数据转化为精准营销、精细化运营以及开拓市场的生产力[1,2,3]。

    电信运营商常见的大数据应用主要有信令分析系统[4,5,6]和DPI分析系统[7,8]。其中,信令监测系统采用高阻跨接、分光、端口镜像或交换机内部收敛等方式获取信令链路上传递的各类原始信令和协议数据,进行信令协议解码、分析处理、网络和业务性能指标统计,从而再现业务接续全过程,帮助维护人员掌握并分析网络和业务运行情况,及时发现和排除网络中的故障和隐患。参考文献[4]全面分析了信令采集与监测系统的研究现状与进展情况。参考文献[5]结合现有信令监测系统功能架构和业务需求,论述了信令监测系统的发展趋势,提出了基于大数据的信令监测系统建设方案,并讨论了系统建设中的关键技术。参考文献[6]在传统信令监测系统的基础上结合大数据特征,设计了信令监测系统建设方案,讨论了其方案的关键技术和功能架构,并详细介绍了其方案在网络优化、业务经营、网络安全3方面的应用。而对于基于DPI的大数据分析系统,现有的监测技术大致有基于端口数据包的监测技术、基于应用层特征的深度分组检测(deep packet inspection,DPI)技术和基于流量行为的深度流检测(deep flow inspection,DFI)技术[7]。参考文献[8]针对基于正则表达式匹配算法的深度数据分组检测方法,提出了基于优先级的迁移边压缩方法,融合相同目的状态最多的迁移边,从而减少存储空间需求。参考文献[9]分析了基于DPI的大数据分析技术原理、分类以及在网络中的部署方式,然后以实例的形式说明了通过DPI技术能够获取到的各类数据,并结合移动大数据的当前应用领域,指出了DPI数据的适用范围,并提出了DPI数据在移动大数据的应用过程中面临的挑战。

    尽管目前基于信令分析系统和DPI分析系统的大数据应用受到了业界广泛的研究,然而对于信令分析系统,其信令数据庞大,存储成本高,同时信令数据复杂,分析投入成本巨大且分析效率低[10]。而对于基于DPI的分析系统,可以采用软件实现,优点是系统更新简单,但是基于软件实现的系统不能满足网络高速数据分组处理的吞吐量要求[9]。硬件实现的 DPI 系统具有效率高等优点,但是系统升级难、成本高,且系统识别知识库需要占用大量内存,硬件片内存储空间有限,制约了知识库冗余,系统拓展性不够。因此,针对上述分析系统的不足,本文提出了一种基于大数据融合算法的DNS日志分析系统[11]。在该系统中, DNS日志相对较小,便于转储且分析相对较容易;DNS日志包含的信息量大且数据集中,与其他数据的相关性强同时DNS日志分析成本低,因此DNS日志是运营商利用所掌握的数据进行深入分析、挖掘市场价值性价比比较高的切入点[12]。

    2行业现状

    目前行业对于DNS日志的大数据分析,只是单纯地分析DNS日志或者结合一个数据库进行分析。单纯地分析DNS日志,可以了解DNS的服务质量以及DNS请求次数等信息;而DNS日志结合认证信息库分析用户行为,可以了解用户的属性;DNS日志结合IP地址信息库分析用户请求资源的调度结果,如参考文献[13-14],统计流量流向,为本网率提升提供依据;DNS日志结合备案库分析用户访问域名的合法性,并能分析bob客户端苹果版所属公司包含的所有域名;DNS日志结合bob客户端苹果版漏洞库和病毒域名库分析互联网bob客户端苹果版和网络的安全性,了解bob客户端苹果版和网络存在的安全问题;DNS日志结合bob客户端苹果版/应用库分析用户的访问bob客户端苹果版/应用类型、所属行业的信息。目前行业分析存在的问题如下[15,16,17]。

    (1)融合数据库较少

    缺少定制化分析工具和方法,互联网内容安全性和合法性管理困难。

    (2)DNS服务质量难衡量

    DNS解析错误原因分析难、DNS调度分析困难、网内重复引入相同内容,造成资源浪费,且优化服务质量难以衡量。

    (3)设备投入成本高

    为应对用户访问量大、日志多、精细化分析困难,采用大量设备投入来提升分析能力,效率低且成本高。

    就这些问题本文设计了一种基于大数据融合算法的DNS日志分析系统,通过DNS日志数据融合多个信息库分析整个互联网内容的合法性和安全性、用户访问内容的流量流向,作为运营商提升网络安全管理、提供调度优化的依据。

    3系统介绍

    DNS日志融合多元数据库信息,实现多维度分析。基于此,运维人员可以挖掘更多有价值的信息,有利于问题故障定位和决策支撑。传统以DNS日志或者DNS日志融合单一数据库分析问题视角有限,根据统计结果可以了解域名维度的流量流向,但是更深层次的用户行为偏好访问、热门资源备案情况关联、本网率问题排查等无法洞察。本系统将联动bob客户端苹果版库、域名库、IP地址库等,利用大数据分析技术,从更高层次、更宏观层面分析问题,从更细化、更微观层面定位问题并解决。与此同时,系统优化了数据库存储结构,即便是融合多数据库,日志处理任务更多,但依旧保持处理速度快、性能优的特点。

    3.1 系统架构

    基于大数据融合算法的DNS日志分析系统架构如图1(a)所示,其主要分为数据访问层、业务逻辑层与表示层。通过将DNS日志数据与六大信息库融合分析,能够得到更有价值的信息,帮助运营商提升管理效率、优化网络安全,为提升本网率提供决策依据。各模块具体介绍如下。

    (1)数据访问层

    由六大信息数据库(域名库、bob客户端苹果版库、CNAME域名库、IP地址库、备案库、安全信息库)和DNS日志组成。该层负责数据采集,并将六大信息数据库和DNS日志形成DNS融合数据库,如图1(b)所示。再将DNS日志融合数据库输入业务逻辑层。

    (2)业务逻辑层

    该层主要负责分析处理数据访问层提交的数据。业务逻辑层根据DNS日志融合数据库,对用户行为、用户属性、热点资源、流量流向、域名是否合法、网络是否安全等进行分析,得到DNS请求异常统计、域名备案信息统计、DNS请求访问公司统计、DNS访问内容分类统计、DNS查询次数统计、出网次数统计、DNS访问域名统计和DNS解析IP地址统计结果,然后将该分析结果存入数据库,并输入表示层。

    (3)表示层

    该层用于呈现分析结果给运维人员,从而为运维人员优化网络提供建议。首先,表示层根据输入的分析结果形成报表,展示每日、每月的网络状态,如热点资源、流量流向、网络安全性等。如果分析结果显示当前网络处于异常状态,该层则输出告警信息,以警示运维人员。该层通过展示业务逻辑层的分析结果呈现网络状态,为运营商提高网络运营效率、保证网络顽健性提供依据。

    图1 DNS融合大数据分析系统 下载原图

    3.2 功能特性

    DNS融合大数据分析系统的功能特性主要有以下5个方面。

    (1)热门bob客户端苹果版类型分析

    通过DNS日志分析融合bob客户端苹果版库如图2所示和域名库如图3所示,可以全方位统计分析用户访问网内外内容,掌握用户访问习惯和趋势;同时可以了解热门bob客户端苹果版类型,为运营商内容引入提供参考。该系统分别从3个维度进行统计:从bob客户端苹果版和域名的维度进行统计,根据热门访问bob客户端苹果版及类型排序,对出网访问次数多的bob客户端苹果版进行统计,对网外的bob客户端苹果版/域名解析来源,对网内bob客户端苹果版/域名访问解析具体分布;从移动应用维度进行统计,根据热门访问应用及类型进行排序,对出网访问次数多的应用进行统计,对网外的移动应用解析来源,对网内移动应用访问解析分布;从公司的维度进行统计,根据热门公司访问进行排序,统计公司包含域名的出网情况。

    图2 bob客户端苹果版库 下载原图

    图3 域名库 下载原图

    (2)域名备案情况分析

    通过DNS日志分析融合备案信息库,统计用户访问域名备案情况,了解引入网内的域名是否已备案,提升运营商IDC备案管理的效率;运营商可以了解域名所属公司的业务蓝图,为市场开拓提供依据。

    该系统可以统计网内引入域名的备案情况,分析互联网域名的备案情况,统计分析公司包含的bob客户端苹果版及域名。

    (3)安全性分析

    根据DNS日志分析融合安全信息库,可以分析用户安全和bob客户端苹果版安全,为运营商保障IDC安全和互联网安全提供重要信息。

    该系统可以扫描bob客户端苹果版的安全漏洞并进行统计分析,快速了解各个bob客户端苹果版的安全漏洞,以做出相应的措施;系统支持定期更新应用漏洞信息数据,定期扫描,及时了解用户访问应用的安全隐患,保障本网IDC安全;结合病毒域名信息分析哪些用户IP地址已中毒,可按病毒的危害程度做出相应的处理措施,保障互联网安全。

    (4)流量分析

    根据DNS日志分析融合IP地址库如图4所示,可以从各个角度分析流量流向,为资源引入、调度优化提升本网率提供重要依据。

    该系统将DNS日志分析与IP地址库融合,可以进行流量流向分析,分析用户请求域名被调度在网内、网外的具体分布,并统计多维度的点击本网率;可以量化考核运营商优化效率,通过网内请求次数、缓存、CDN、IDC的请求次数以及网内请求的比例情况;可以建立引入偏差机制,对于已引入但仍然被调度出网的请求进行重点分析;统计分析重复引入资源,基于CDN、缓存、IDC内容以及各个厂商之间引入的内容进行分析,减少资源重复引入;设置告警阈值,基于本网率的变化、DNS请求次数变化、出网次数变化、网内次数变化等指标产生告警,帮助运营商迅速定位并及时优化。

    图4 IP地址库 下载原图

    (5)分析结果展示

    DNS融合大数据分析系统可以灵活地定制报表。该系统默认提供多种类型的报表模板,并支持自定义报表模板功能,用户可设置导出时间、导出数据库、导出内容等,灵活定制,让用户能自主导出各式各样的报表且导出报表效率高。

    此外,DNS融合大数据分析系统还具备IP地址反查功能。通过分析指定IP地址所服务的域名,了解内容服务厂商单台设备服务的CP(content provider);并且,该系统还具备日志扫描分析功能。针对DNS日志数据量大,查找、定位问题困难的现象,日志扫描分析功能将日志按照时间段、源/目的IP地址、域名等条件进行扫描并下载,生成报表,方便用户更简单、更快速地定位问题。

    4 实施效果

    目前该系统已在运营商部署上线,通过近期的运营数据可以看出提升优化效果明显。从性能上,日志数据处理效率有了明显提升,设备成本降低近50%。原本依靠DPI日志采集需要多台设备处理分析热点资源和流量流向,目前聚焦DNS日志采集,单台x86服务器(配置硬盘40 TB,160 GB内存,48核CPU)利用大数据分析技术和数据库优化存储技术即可处理每天日志数据量4 TB左右,次日实现分析结果呈现。

    从功能上,满足运营商网络优化运营需求,对数据关联分析包括如下几个方面。

    4.1 关键词:流量流向,关联数据库:bob客户端苹果版库、域名库、IP地址库

    综合bob客户端苹果版库、域名库以及重要资源库,从公司、bob客户端苹果版和域名维度分析DNS请求查询数网内外分布,网内流量分布如省内、省外、IDC各占比。公司信息维度的流量分布如图5所示,bob客户端苹果版信息维度的流量分布如图6所示,域名信息维度的流量分布如图7所示。

    图5 公司信息维度的流量分布 下载原图

    图6 bob客户端苹果版信息维度的流量分布 下载原图

    图7 域名信息维度的流量分布 下载原图

    4.2关键词:出网定位,关联数据库:域名库、IP地址库

    出网资源主要集中在国外bob客户端苹果版,如Google、Yahoo、Apple等,出网资源统计如图8所示,因为这些出网资源未引入电信中。而对于引入资源仍然出现出网情况系统也进行统计分析,如图9所示。以apple.com为例,下钻发现除了地级电信、IDC,主要去向为国外Apple公司和akamaiCDN节点,如图10所示。

    图8 出网资源统计 下载原图

    图9 引入资源仍出网统计 下载原图

    图10 apple.com DNS请求分布 下载原图

    4.3 关键词:行为偏好,关联数据库:bob客户端苹果版库、域名库、CNAME域名库

    热门访问资源排行榜一定程度反映用户访问的偏好习惯。以2018.3.22数据为例,如图11所示,排名靠前的bob客户端苹果版有腾讯网、百度、迅雷在线、淘宝、360安全中心、新浪网、苹果官网、京东商城等。

    图11 热门bob客户端苹果版资源 下载原图

    按照热门bob客户端苹果版维度,分析运营商重点关注指标——本网率和本省率情况。本网率越低说明用户需要出网访问次数越多,可能带来时延,影响用户体验。所以对bob客户端苹果版进行细分,统计分析流量占比高的游戏类、视频类和信息安全要求高的网银类、证券类的TOP10关注度最高的bob客户端苹果版本网率和本省率大小,如图12所示。

    图12 热点bob客户端苹果版本网率统计 下载原图

    从图12数据可以看出某一时间段内的趋势变化。当本省率和本网率未达到要求或者下降过多时,定位具体bob客户端苹果版进行分析。以TOP10证券类分析为例,发现2018-03-18本网率下降明显。针对这一现象,获取当日TOP10的证券数据和前后日数据进行对比分析,发现中信证券办公网本网率6.5%过低,继续下钻发现该bob客户端苹果版大部分域名资源访问均出网,电信并未引入该资源,造成本网率低。当该bob客户端苹果版访问量过高将造成出网次数增多,从而出现本网率下降的现象。

    4.4 关键词:安全备案漏洞扫描,关联数据库:域名库、IP地址库、bob客户端苹果版库、备案库、安全信息库

    DNS日志结合域名库、备案库信息了解域名备案情况,提供安全绿色上网环境。IDC机房对安全备案有着较高的要求,以域名维度开展关联该域名的公司备案信息分析和漏洞扫描,将能大大提升IDC的安全性,IDC热门资源备案信息如图13所示。

    图13 IDC热门资源备案信息 下载原图

    5结束语

    DNS融合大数据分析系统具有以下优点:强大的日志分析性能,日志分析效率可达10 GB/min、800×106条/s,分析粒度细化到分钟、小时、天、月;分析内容范围全面,分析流量流向(调度分析)、内容热度、内容的合法性、安全性等;融合六大信息库进行数据分析,包含的库有:备案信息库、IP地址库、安全信息库、bob客户端苹果版库、域名库、CNAME域名库;支持按用户类型、用户地域分析访问内容,系统提供针对用户类型(手机、固网),用户所在地市进行分析。DNS融合大数据分析系统分析内容范围广,分析深度高,为电信运营商提升管理效率、优化网络安全、提升本网率提供决策依据。

    扫二维码与福州嘉艺网络项目经理沟通

    我们在微信上24小时期待你的声音

    解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流

    上一篇:福州响应式bob客户端苹果版建设公司哪家好 下一篇:福州专业bob客户端苹果版设计公司