腾讯云副总裁黎巍：如何处理井喷的数据并维护信息安全？金秋九月，2017国际大数据产业技术创新高峰论坛暨大数据系统软件国家工程实验室第一次会议盛大开幕，大数据系统软件国家工程实验室作为大数据系统软件技术研发与工程化的国家级创新平台，将通过大数据系统软件技术的跨界合作与国际交流，建立和完善大数据领域的技术创新平台，集聚整合创新资源，加强产学研用结合，突破一批关键共性技术并实现产业化，促进大数据产业的快速发展，为培育和发展战略性新兴产业提供驱动力。

本届论坛特别邀请到腾讯云副总裁黎巍带来《社交网络大数据——从建设到赋能》的主题报告。

演讲精华内容经数据派整理如下：

黎巍：在万花齐放的全球即时通讯市场，QQ和微信作为即时通讯软件，是拥有全球用户数量最大的此类软件。

15年前，当QQ还在为用户人数过百万而庆贺时，谁也想不到只用了十几年的时间，腾讯的用户数量呈指数型增长，同时在线人数达到了2亿。

整个产业的演变，很快颠覆了传统的认知。

据相关媒体报道，2021年，全球IoT（物联网）数据总量将超过280亿。

并且随着全球物联网的发展，冰箱、电视机等家用设备都将具备摄像头和互联网功能，就如同传统意义上的一台台电脑，但不是传统的一台台显示终端，而是都要进入到网络，产生数据，这就是“大数据井喷”的时代。

谈到腾讯和大数据，就不能不谈社交网络。

腾讯产品业务中有三款作为腾讯所有业务发展的平台级产品，即：QQ、QQ空间和微信。

截至目前，QQ每月的活跃用户是8.5亿，同时在线最高突破2.68亿。

仅QQ这款软件，每天在群、C2C个人聊天产生的消息超过了2000亿。

如此庞大的数量级，相当于在这个平台上每天生产出2000万册图书；QQ空间里有6亿多的活跃用户，每天上传的图片、照片数量也已经超过6亿；微信作为腾讯的后起之秀，目前的月活数量已经达到9.63亿，远远赶超了QQ。

这三个社交软件汇总到整个腾讯基础存储计算的平台上，公司内存储的数据量超过了200PB，日计算量超过15PB，每天腾讯公司接入数据超过3万亿，每天实时计算超过1万亿。

从下图可以看出，腾讯社交网络平台的数据量之大。

这么庞大的数据、如此海量的信息，每天源源不断地在生产，基础设施如何适应这些数据的成长，对一个企业来说是财富，同时也是巨大的社会责任。

整个IT服务设施自适应能力，是未来承载大数据非常重要的基础。

这里的数据，尤其是核心、敏感的数据，不允许出现任何问题。

因为一旦出问题，影响的是千家万户，影响的是整个社会的方方面面。

我在腾讯这十几年来，见证了公司业务的高速成长，每天也都在迎接着一些挑战。

最近几年，我主要负责社交网络安全，包括云计算安全。

因此，巨大的安全挑战就是我们每天必须要面对的。

在生产环节，产生这些数据以后，公司内部存储、使用是否安全，会不会导致一些数据的泄露；当真正利用这些数据用在产品业务里时，这些数据在传输、调用过程中，会不会有问题；甚至一些历史上已经过了很长时间不用的数据，是否就可以随意丢弃；整个数据的销毁一旦出现泄露，会产生怎样的后果等等。

2015年8月，天津港发生巨大爆炸事件，相当于21吨TNT炸药的威力，而腾讯天津数据中心就在爆炸附近，更严重的是，这个数据中心承载着腾讯QQ、微信的数据，是腾讯在整个亚洲最大的云计算数据中心。

爆炸现场分分秒秒都面临着挑战，随时有可能停电、停水，数据中心也会随时停止运转。

当时公司做了一次史无前例的壮举，30分钟之内，在深圳、上海进行大量的服务器扩容上线，把天津的在线QQ用户以1000万颗粒度调度到了上海和深圳的灾备机房。

不过设想一下，如果天津港爆炸事件波及到了腾讯在天津的数据中心，用户在线使用会受到怎样的影响呢？腾讯内部的可伸缩的服务架构可以保障QQ的使用，在出现极端情况自动调度时，会自动把内部服务按照颗粒度进行降维，比如一些不那么重要的视频、语音服务，可以同时挤到上海和深圳，这时候带宽等出现一些拥挤时，这些重的服务会降维，但基础的登录、发文本消息仍然可以运行。

所以整个柔性可用（是服务存在除了正常服务，和挂掉之外的第三种状态，这就是“服务降级”的另一种说法）是根据外部变化，快速去适应。

从天津大爆炸来看QQ用户迁徙，这里承载了腾讯多年来在海量服务上的实战经验累积。

天津大迁徙能够做到用户无感知，主要仰仗内部的SET模型，是弹性伸缩的高效服务模型。

这套模型架构，在十年前创立时，它的基础架构参照的是集装箱原理。

海量服务后台各种服务、各种同步的逻辑非常复杂。

以集装箱原理，把所有的服务模糊掉耦合，变成一个个可以度量，甚至每一个SET模型都可以独立运转，都可以独立异地部署。

所以，当QQ在线用户数量无论是2亿、10亿或是100亿，在内部后台服务看到的只是扩充一个个集装箱，整个后台监控大屏可以看出哪里出问题，看到每一个集装箱的问题。

在这个模型里，每一个SET内部可以扩展，可以承载几万客户，也可以扩展承载上千万客户，同时每个SET扩展几百万客户，很多SET平行运转。

这样使得可管理性、可度量性大大增强，自动化部署和自动化运维会非常快。

这是整个腾讯后台服务弹性伸缩模型中非常重要的基础的构造，也是天津大迁徙最终能够实现无感知基础的架构。

这么庞大的用户量同时从一个地方要更换IP、更换链接，切换到另外一个地方，一些资料、状态、信息数据如何处理，这肯定会有一些时间延迟。

这方面，腾讯为什么能做到无感知延迟？其原因是腾讯在全中国是以深圳、上海、天津三地骨干网进行连接，三地大数据中心全部都是有储备的，这个意思就是QQ、微信，最核心用户的一些信息数据在三地是完整的。

这里不是简单磁盘数据，而是在天津、上海、深圳三地都保持着100多T的内存数据。

在切换时，不需要从另外一个地方同步数据、导数据，可以做到快速切换。

例如，对于不是那么敏感的资料和信息数据，音乐之类的数据，一般主要是在深圳和上海两地进行备份容灾。

所以，整个分布式容灾能力，日常容灾、备份能力，也是保证整个服务遇到危机时，不会因为移地而受到影响。

不过设想一下，如果天津港爆炸事件波及到了腾讯在天津的数据中心，用户在线使用会受到怎样的影响呢？腾讯内部的可伸缩的服务架构可以保障QQ的使用，在出现极端情况自动调度时，会自动把内部服务按照颗粒度进行降维，比如一些不那么重要的视频、语音服务，可以同时挤到上海和深圳，这时候带宽等出现一些拥挤时，这些重的服务会降维，但基础的登录、发文本消息仍然可以运行。

所以整个柔性可用（是服务存在除了正常服务，和挂掉之外的第三种状态，这就是“服务降级”的另一种说法）是根据外部变化，快速去适应。

从天津大爆炸来看QQ用户迁徙，这里承载了腾讯多年来在海量服务上的实战经验累积。

经过十八年的发展，腾讯作为一家互联网公司，在海量的服务、容灾容错，各种异地分布式积累方面储备了大量的经验和教训，所以着重考虑把这些能力、资源、经验贡献到社会和企业。

最近几年，因为云计算的兴起，我们开始通过“云”这个平台和管道赋能到企业和社会，实现资源的整合再平衡，以及社会潜能的释放。

目前，包括整个处理平台的开放和腾讯大数据的开放。

腾讯的业务数据量非常庞大，每天面临的国内外黑产、黑客的攻击层出不穷。

这么多年来，给我们积累了大量的经验和数据，在整个腾讯平台上，现在具备100亿恶意网址检测的存储数据，APK样本过亿级。

整个中国从事非法获益的手机库有过亿黑手机，超过百万黑银行卡信息数据。

这些数据经过我们最近几年深度学习的算法挖掘，数据价值越来越大。

现在这个平台开放以后，除了腾讯，包括帮助国内很多公司和网站，每天识别恶意网址超过百万，每天识别恶意诈骗电话超过百万，每天检测出在网上传播的各种恶意样本超过千万级。

我们把这些能力最后汇集成一些产品和服务系统（基本上都是公益的），开放给社会。

另外，这几年国内电话诈骗，钓鱼、仿冒银行短信，甚至基站都是伪造的，普通网民很难识别，一年多前，腾讯把反伪基站系统、反钓鱼网站系统提供给包括运营商、各地公安部门，在一些地方部署以后，伪基站的部署量有了70%的下降。

大家都知道，QQ有几亿用户，那用户之间会产生多少关系？这方面，腾讯在过去一年内，基于一些大型图挖掘的算法、平台研究，做了目前能够看到的国内，甚至全球最大的图挖掘计算，是500亿的大型图挖掘计算。

计算结果令我们非常震惊，基本看到了整个社交网络星云图，在边缘有非常多的毛刺，这些毛刺就是异常、有问题的网络，通过这样的星云图，进一步从里面深入挖掘分析，再进一步把在网上利用QQ平台从事各种非法获益的社团挖掘出来，甚至通过社团的边缘连接点，已经能够比较好的将其上下游绘制出来。

这些年，应用在整个社交网络里面一些诈骗、有害信息的处理，这方面对团伙的挖掘和打击非常有效。

这是社交网络大数据重要的研究应用。

当我们应对恶意进攻时发现，把这些数据汇集以后进行的用户画像的价值非常大。

通过这些画像可以有力地打击网上非法获益产业。

在国内，现在非常典型的非法获益产业，行业称之为“羊毛党”。

银行或电商做一个活动，有很多奖品，发现很多奖品都被专门的“羊毛党”骗走了，单一中小企业应对这些“羊毛党”是非常难的。

因为他们非常聪明，有大量资源和信息可以绕过。

把大量用户IP、设备各种行为进行画像，身份属性画像以后，对用户做了画像、DNA建模以后，通过单点绕过我们监测也很难。

这个平台开放到了云上，给到一些电商互联网金融企业进行反欺诈、防“羊毛党”的打击工作也是卓有成效的。

十年前，腾讯内部就把安全，尤其是数据安全，定位为我们核心的生命线。

经过十几年的摸爬滚打，腾讯从整个数据的创建、存储、传输、访问、使用，包括到最后的销毁，已经具备了一个全流程的数据安全的防控体系。

作为内部来说，包括用户在使用时，最基本身份的管理、授权的管理、认证的管理，一定要非常清楚是谁在用这个数据，而在十年前，这些却都是安全漏洞。

另外，腾讯海量的数据，在这些海量数据里要寻找恶意数据，如果用传统规则的一些算法和方法，是很难发现这些恶意的。

所以最近一两年，我们利用机器学习、深度学习一些引擎应用在大数据上，发现了一些恶意数据爬取、访问，在云平台上给用户提供了全生命周期的安全防护。

数据是企业和社会发展的重要动力，也是我们未来生产和生活的动力源泉。

随着近些年人工智能、大数据、云计算等方面的突破，相信未来数据利用的效能一定会越来越高，对整个社会、对企业的生态都会产生非常积极有价值的影响。