赛车

美团云出席GITC全球技术大会 携手助力“互联网+”

2019-10-09 15:04:06来源:励志吧0次阅读

11月19-20日,由麒麟会主办的“GITC全球互联网技术大会”在国家会议中心隆重召开。会议以“技术助力’互联网+’”为主题,邀请了互联网各界高层管理人员和技术专家,互相交流技术、加深商业合作。美团云作为国内领先的O2O电商云和大数据解决方案提供商参与了此次会议,并由美团网高级技术专家谢丹博和美团云架构师邱剑,分别发表以《站在云端的美团运维》和《美团大数据的云之道》为主题的演讲。美团云在为外部客户提供公有云服务

的同时,将输出美团的技术积累,大力推进技术发展,迎接互联网发展新纪元。

站在云端的美团运维

美团的业务突破了传统模式,却因快速成长的运维带来了各种挑战。业务持续的快速增长意味着对资源、业务支撑的需求也变大;不规律的营销活动带来短期尖峰以及产品发布、迭代周期快速促使稳定性遭质疑。纵使运维团队已经从无到有,但研发团队与运维的比例却处于50:1的状况,人力无法跟上,工作效率急需提高。运维演进道路可分为四个阶段:初期探索阶段、基础设施云平台化、运维场景自动化、资源调度弹性化。

一、初期探索阶段。机器规模少、各事业部只研发着自己的运维,没有SRE团队。这样的情况持续了1~2年,随着美团业务的快速增长压力越来越大。当时美团的业务规模还没现在这么大,业务平台也较简单,因此经过内部讨论,较顺利地迁移到新环境上。

二、基础设施云平台化。尝试了open-stack的方案,使用自己的系统网络运维团队、SRE团队和运维研发团队,开始研发自己的云服务,即美团云。美团云对运维产生了极大的改变。根据业务需求,美团云提供深度的资源隔离、调度机制。根据业务特点拆分宿主机池,同服务分布在不同宿主机甚至网段。离线业务与在线业务划分开来,并且有了以开源软件为主的自动化工具。运维团队则不用再顾虑系统问题,运维自动化平台雏形初现。

三、运维场景自动化。运维自动化的核心应该聚焦场景,解决痛点。简单的堆砌功能,缺乏运维场景的整体思考和把控,事倍功半。运维自动化应该着眼做全流程自动化而不是单一需求自动化。监控、发布、关联关系,每一个都是运维自动化绕不开的道路,需要当做技术方向来研究。美团云的“一键扩容”是运维场景自动化的典型例子。

四、资源调度弹性化。原有虚拟机技术的虚拟化,创建(分钟级)、维护成本高。服务依赖环境不好解决,docker可以解决这个问题。美团云提供基于docker的云平台。调度器基于弹性伸缩预先定义好的策略,综合监控数据进行实时触发。

演讲最后,谢丹博表示,“云服务化大势所趋。对于成长期的企业来说,服务越早云化越有利于后面的发展。规模太大,迁移、使用新技术必然成本过高。通过将工具整合为平台,将平台转化为产品,一切基础设施和运维系统都可以云服务化。”

美团大数据的云之道

美团云是美团业务支撑的基础,有公有云、私有云和研发云平台。自2012年起美团云不断研发迭代,产生了比较丰富的产品栈,拥有了很多的云产品。美团云现有共享存储和分布式块存储,而美团的大部分业务还属于本地存储。5年来美团数据量以每年3倍的速度在增长,大量的数据铸就了美团大数据平台。美团云大数据的大体现在规模上,总存储量有10P+,日均存储量100T+,有2000+节点。集群是多机房部署,多机房统一名字空间,以及,百万+峰值每秒消息接入。在这些大数据中大部分是分析与运营。基于美团云整体架构独特,每天有700+份报表,3000+指标数,而这些完全依赖于美团的大数据平台。

大数据平台可分为4个层次。最底层的数据接入,上层实时计算和离线计算,再上层数据仓库和最上层的BI、数据挖掘、NLP与机器学习。从数据流架构来看,通过离线、在线两种平台,分析出来的数据放在HBase上,在这基础之上来实现最上层的BI、数据挖掘和NLP与机器学习。美团要求数据分析师和运维分析师需要懂MySQL,这样他们自己就可以通过查询来获得想要的数据。

基础平台提供的是计算、网络、存储。美团大数据的架构完全依托于美团云基础之上。那么美团云如何给美团大数据提供服务的呢?首先是资源交付。基于云平台的完全打通,提供一台主机不管是虚拟机还是物理机,只要部署好各配置,交付之后就能访问相应主机,自动汇报,相应人员也能收到相应的报警。因为统一管理,可根据业务需要来提供服务。

邱剑还介绍了“一键扩容”的功能。对于一个高速增长的互联网公司来说,业务扩容是典型的高频次运维场景,涉及的环节比较多,如果每个环节分别去操作,效率太低。一键扩容要做到打通整个流程链条,任何一个环节出问题都会影响整体的效率和质量。

在调度优化方面,美团云采用大数据专属机型和独享网络的方式。首先是Hadoop独享内网,通过标签的策略调度。在初始阶段Hadoop独享内网还属于千兆,规模扩大后升级为万兆,目前已经到双万兆。由于机房容量的约束,所以将Hadoop分到不同机房,因此这涉及到跨机房Hadoop调度。美团云采用双度冗余,动态优先级分配带宽。

邱剑表示,“美团云大数据产品是基于美团的大数据技术沉淀和实践推出的新业务。经过美团大规模业务的验证,值得信赖。”

合肥康安癫痫病医院评价
邢台不孕不育专科医院可以用医保吗
合肥康安癫痫病医院的评价
邢台不孕不育专科医院看病能走医保吗
合肥康安癫痫病医院患者评价
分享到: