跳转到内容
数据来源
数据来源 今天 近七天 近30天 总计
全部 30496 184311 199141 675077871
智联招聘 0 0 0 56809864
中华英才 0 0 0 166340532
联英人才 7077 13486 13486 23903823
前程无忧 23419 170825 185655 404352876
百度招聘00014202466
天眼查招聘0009468310
来源分布
今日分析数据量:30496   近7日分析数据量:184311   近30日分析数据量:199141   数据分析总量:675077871   查看详情

动态报道

获取各行业最新动态 助您积极应对人才趋势变化

人才那些事儿 振兴中国“芯” 清华大学成立集成电路学院
 
人才那些事儿 振兴中国“芯” 清华大学成立集成电路学院
重磅报告:《2021人才趋势报告》
揭开未来区块链之谜
谁在“谋杀” Hadoop?
为什么工厂老板们从不「迷信」人工智能?
  •    为给我国集成电路产业发展提供有力的人才支撑,4月22日,清华大学集成电路学院正式成立,由原清华微电子与纳电子学系与电子工程系共建。    清华大学校长邱勇 在成立仪式现场表示,清华大学成立集成电路学院,旨在集中优势力量投向关键核心技术的主战场,加快培养国家急需的高层次创新人才,为实现集成电路学科国际领跑、支撑我国集成电路事业自主创新发展做出贡献。    超20万人才缺口如何填?   前段时间,由中国电子信息产业发展研究院联合中国半导体行业协会等单位编制了《中国集成电路产业人才白皮书(2019-2020年版)》(下称《白皮书》),数据显示,截至2019年年底,我国直接从事集成电路产业的人员规模约为51.19万人,较上年增加11%。按当前产业发展态势及对应人均产值推算,《白皮书》预测,到2022年前后全行业人才需求将达到74.45万人左右,其中设计业为27.04万人,制造业为26.43万人,封装测试为20.98万人。这意味着,目前行业人才存在着超过20万人的缺口。   与此同时,高校人才流入严重不足。据《白皮书》统计,截至2019年,全国范围内国家示范性微电子学院仅有28所,更让人担忧的是,示范性微电子学院博士毕业生更愿意进入高校或科研院所工作,本科生直接就业的比例远低于硕/博毕业生,进一步导致了行业人才的匮乏。   基于此,清华大学此次专门成立集成电路学院可谓恰逢其时,有望在一定程度上缓解行业人才需求的供给失衡问题。值得一提的是,清华大学自1956年设立半导体专业以来,在集成电路领域迄今已培养本科生4000人以上,硕士生3000人以上,博士生500人以上,2016年至2020年,超过七成的毕业生进入集成电路产业和科研一线。可以说,清华大学一直以来都是国内集成电路人才培养的一支重要力量。    让未来不再被“卡脖子”   据介绍,新成立的清华大学集成电路学院计划结合集成电路科学与工程一级学科的特点和发展趋势,设置集成纳电子科学、集成电路设计与设计自动化和集成电路制造工程3个二级学科,拟重点发展纳电子科学、集成电路设计方法学及EDA、集成电路设计与应用、集成电路器件与制造工艺、封装与系统集成、MEMS 与微系统、集成电路专用装备和集成电路专用材料等学科方向,完整覆盖集成电路全产业链。   除了面向行业提供紧缺人才之外,清华大学设立集成电路学院还拥有更重要的意义,那就是在建设交叉型学科方面开展探索与实践,为中国传统教育体系寻求另一种更契合未来发展趋势的新路径。      今年1月13日,国务院学位委员会、教育部印发通知,决定设置“交叉学科”门类(门类代码为“14”)、“集成电路科学与工程”一级学科(学科代码为“1401”)和“国家安全学”一级学科(学科代码为“1402”)。“交叉学科”成为了我国第14个学科门类。    清华大学集成电路学院院长吴华强 表示,集成电路是一个典型的交叉学科,学院将探索“1+N”联合机制,“1”是指集成电路学院,“N”是多学科交叉融合,通过实现学科的深度交叉融合,致力于在破解当前“卡脖子”难题的同时,让未来不再被“卡脖子”。   为更好地符合交叉型学科建设需求,清华大学集成电路学院在师资团队方面,将通过兼聘、双聘等灵活务实的用人机制,同时将与产业链各个领域的头部企业进行全方位产教融合,面向产业最先进技术和最迫切需求,开展高层次人才培养和高水平科学研究。       布局长远从根本上解决产业“缺芯”之痛   据AutoForecast Solutions最新统计数据,截至今年3月底,全球6家汽车制造商因芯片短缺,减产汽车超过6.5万辆。截至目前,芯片短缺已致全球汽车市场累计减产115.7万辆,预计2021年全球汽车市场将因此减产超200万辆。    罗兰贝格全球高级合伙人兼大中华区副总裁郑赟 预测,按照目前情况乐观估计,芯片短缺带来的不利影响将持续到今年二季度;保守来看,今年前三季度都可能受到影响。   但业内人士指出,对于汽车产业来说,当下的芯片供应不足只是短期的,今年内就有望得到缓解,但人才短缺才是制约产业更长远发展的关键所在。   在今年上海车展期间, 紫光国微副总裁苏琳琳 在接受媒体采访时坦言,近年来,消费电子产品及新能源汽车的增长促进了芯片需求的大幅增长,而资本的加入更进一步加剧了对人才的需求,导致了“整个市场都在抢人”,车载芯片尤为突出。   在苏琳琳看来,中国企业要想布局车规级芯片领域,只能从其他芯片板块选人进行培训和转岗,或从海外直接招聘成熟的车规级芯片人才。   发展集成电路已上升为国家重大战略。正如 奇瑞汽车股份有限公司党委书记、董事长尹同跃 所言:“芯片产业是一个集技术、资本与人才一体的产业生态。”汽车行业想要从根本上解决“缺芯”之痛,人才培养必不可少。有理由相信,在清华大学这样国内顶级高校的带领与引导之下,必将有更多的优秀青年人才投身于此,为我国产业链的自主可控、为关键核心技术的掌握、为汽车强国和制造强国梦想的实现,贡献属于自己的一份力量。 ------------------------------------------------------------------------------------------------------------------------------------------ 来源:全国能源信息平台   免责声明:以上内容转载自中国汽车报,所发内容不代表本平台立场。
  • 本报告来源于米高蒲志,报告将针对亚太地区的数字化就绪程度、组织架构、灵活办公、领导力、绩效管理以及多元化与包容性等问题分享全新洞察和市场情绪分析。报告的调查结果收集自亚太地区12个市场共计5500多家企业和21,000名员工的反馈,其中3500多名受访者是总监或首席管理层。 在展望2021年时专注于四个重点领域,而这些领域似乎与获取的市场反馈极为一致。 1. 高潜力人才仍旧稀缺 虽然这一点在各市场和各行业之间会存在差异,但高潜力人才向来较为重视职业安全感,往往需要有极大的动力驱使才会选择从目前的公司离职。许多企业目前选择在短期内整合业务并保护业务形态,可是,留住一流人才对企业的未来发展至关重要。 2. 对中国企业的投资不断增加 可以看到亚太部分地区出现了令人振奋的复苏迹象,尤其是中国和日本。亚洲市场的过往表现向我们展示了其强劲的复苏反弹能力——此次,这种复苏迹象已然初现。在中国市场的业务表现持续改善,同时也专注于巩固与进行海外投资的中资企业之间的关系。 3. 技术和医疗保健与生命科学行业人才需求强劲 无论是在新冠肺炎疫情之前,还是在2020年整年,都能看到,这两个行业的人才需求持续强劲,事实证明这些行业在招聘上弹性十足。我们所有的办公室均有非常明确的目标和行动计划,目的就是为了在2021年及未来在这些行业的各类招聘工作中取得进一步进展。 4. 临时工和灵活人才岗位需求增加 这种就业形式在某些亚太市场已经存在了数十年之久,目前已经非常成熟。然而,在部分亚洲市场,这种形式仍处于萌芽状态,发展势头稳步攀升。新冠肺炎疫情以及相关市场的不确定性加速了这一早已存在的需求增长。这将是我们在该地区大多数市场持续关注的焦点。 中国市场 01人才招聘市场前景 新冠肺炎疫情及其引发的经济衰退对整个亚太地区造成了巨大的影响,中国也未能幸免。在招聘方面,中国大陆在2020年的招聘活动减少了30%。尽管如此,市场已展现回暖态势,调查显示中国约54%的企业希望在2021年扩充员工规模。 02灵活人才服务 进入业务复苏期后,贵企业将如何填补现有员工队伍中的技能缺口? 03年薪增幅 04奖金期望 05人才吸引策略 06薪酬期望 07吸引&招聘人才 当企业展望疫情后企业复苏的美好未来时,问题随之而来:招聘活动将如何发展变化以适应世界格局与工作环境的变化?以下几个趋势日趋明朗,并且在未来几年可能会继续发展。 1.优秀的求职者将继续收获高薪 2.灵活人才和临时工需求量 3.注重健康的工作文化 4.招聘过程以人为本 5.重视文化契合度 08雇主品牌 70后和90后的求职者将健康的企业文化作为影响雇主品牌排名的首要因素,而80后的求职者则将职业发展机遇视为首要因素。调查结果反映了真实的中国市场情绪。70后在财务方面相对自由,比较稳定,90后比较灵活,所以两代人都重视文化契合度;而80后目前正处于压力最大的年龄段,对职业发展机遇有更多的期待。 09求职者体验 良好的求职者体验由多个要素组成,其中包括:减少申请过程中的阻碍和重复工作;将耗时的“低接触”流程自动化,以加快节奏;建立起与求职者沟通的机制,尽可能实时地回答求职者的问题;跟进被淘汰的求职者,向他们推荐其他可能合适的相关机会等等。 10从吸引人才到留住人才 在人才管理方面,企业十分重视组织内部人才的保留。然而,许多企业却忽略了应该首先制定良好的人才吸引策略,才能确保首先招聘到合适的人才。 11人才保留策略 人才保留是企业保持长期成功的关键因素,也是衡量企业整体文化、价值观以及员工对组织投入度的有力指标。为了提高人才保留率,组织不能只考虑物质福利,还必须为员工打造面面俱到的体验。以下是提高员工保留率的几种策略: 12员工体验 来源: 米高蒲志(Michael Page) 免责声明:本文来自腾讯新闻客户端自媒体,不代表本网的观点和立场。  
  • 一. 区块链现状 传统区块链:点对点交易过程中,在全节点进行分布记账,形成串联性区块记账链。产生于2009年,其特点是: 任何需要保存的信息,可写入区块链,形成读写数据库,不可修改。 任何人都可以架设服务器,加入区块链网络,成为一个节点的平台。 每个节点都是平等的,都保存着整个数据库同步,保证区块链一致。 没有中心节点,没有管理员,无法被控制,形成彻底无中心的架构。 陈纯院士用简洁明了的比喻,解答了什么是区块链:单点发起、全网广播、交叉审核、共同记账。 传统区块链架构 陈纯认为,联盟链核心技术要突破, 中国需要解决4项关键技术:高性能、安全隐私、高可用性以及高可扩展性 ,关键技术为: 链上链下数据协同“发威”:若要大规模应用区块链,不能平地起高楼,在它面前有诸多大数据集成平台,最重要的是解决链上链下的问题。因为区块链本就是点对点传输的,但网络技术若没有突破,区块链系统性能很难得到提升,即链上链下难以链接。区块链发展应加强监。 没有一个好的监管,就像马路上没有红绿灯,车子最终会乱成一团糟。紧扣区块链节点的追踪与可视化、联盟链条穿透式监管技术等技术发展趋势,我们正在积极探索区块链可监管的解决方案。 2019年11月8日,在北京悠唐皇冠假日酒店,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划主办召开“ 2019可信区块链峰会 ”。2019年12月7日,中国科学院学部“ 区块链技术与应用 ”科学与技术前沿论坛在深圳开幕,纵论“区块链技术与应用”。 二. 盲点与解析 从宏观全局来看,对信任问题的 管理 使得公共区块链转化为联盟区块链和私有区块链。2018年2月,阿里巴巴 曾鸣认为 :区块链真正的挑战是从共识到信用的巨大跨越,因为区块链解决了共识问题,却没有解决信任问题。所以,传统的区块链,必须由未来区块节点(见下面第三章)的信任认证系统,来实现节点间的数据信息源的信任共享和业务协同。 从微观技术而言,2020年6月19日中国信通院CAICT发表三篇“规模化区块链应用实践的必然选择”,具体解析如下: 第一篇,规模化区块链应用实践的必然选择之一:扩容 ,该文指出:“区块链数据存储代价大、性能低、网络延迟高等问题逐步凸显,随着节点和交易量增多日益加剧。容量战略:目前区块链扩容方案主要有:链内扩展技术和链外扩展技术,也称作第一层扩容技术和第二层扩容技术。区块扩容和隔离见证方案局限性较大,会造成硬分叉和中心化问题,影响到整个区块链网络的平衡。区块链作为分布式系统,占有硬件和服务资源量较大,盲目扩展会付出巨大的资源代价”。 运用未来的节点云架构(目前,鲜为人知,见下面第三章),记账成为局域流水的管理系统,自然就没有分布式账本,也就不存在容量问题!什么是节点云,事实上与大家熟知的 可重组芯片 有点类似,这个光辉思想早在90年代就由刘大力首先提出,2000年徐崇伟首创软定义安全云,都是“可重组逻辑”的这一设计思想。 当代专家们的视野局限于应用层的区块链,熟不可知,真正的区块链老祖是在90年代首创的IPSec VPN通讯层中,不仅有签名证书等,更精彩的是点对点、点对群的动态协议,如果运用低层扩展到应用层的同步协调,足以让当今区块链望洋兴叹,我们的这个设计架构,目前鲜为人知。我们为国家级贡献架构项目的要点,通常不是局限于应用技术的挑战,其命脉在于前瞻性、方向性、基础性架构的精准设计。 第二篇,规模化区块链应用实践的必然选择之二:云化 ,该文指出:“区块链的独特技术之处在于它是融合密码学、P2P网络、分布式存储等多种技术的组合体,技术门槛高致使其开发成本高。而区块链云化产品BaaS平台将区块链技术封装在底层,使功能模块化,开发人员直接调用封装后的API接口即可完成一键部署,降低中小企业用区块链技术的门槛,从而推动区块链应用的落地”。 首先,区块链云:当今的区块链只是应用层平台的开发,完全限制了其自身的技术发挥,形成P2P网络、分布式存储,等。在这个基础上,区块链云化又是什么呢?事实上它只是区块链软件包的服务平台而已:资源管理层、区块链底层平台、区块链服务层,以及运维服务和管理服务。然而,由于隐含局域和平台固化,在此基础上进一步开发创新的结果,都无形中受制于P2P而僵化。 其次,节点云:是生态链架构的自然拓扑点,为我们首创,鲜为人知!未来实现平台间的数据共享和业务协同,基于区块节点的加密系统,分布底层融通模型的自主智能协调,将是跨各项各业,形成未来自然生态链的要素,适合任何应用场景落地。 第三篇,规模化区块链应用实践的必然选择之三:跨链 。该文指出:“从单一应用场景寻求协同为目标,开源的跨链方案主要是以资产互换或转移为主,但在基于区块链的加密数字货币类系统中受到底层经济价值模型的复杂逻辑干扰,在非代币类的区块链系统中难以满足应用需求,导致跨链并没有实现大规模推广”。 这是生态链的方向性问题:平台跨链还是节点云?这二个架构设计的模块结构区别是:1)跨链特点:各单一资源链间的转换,只是利用平台,2)节点云是:各行各业资源的融通链,利用通讯和平台。 目前,节点云为首创,鲜为人知!未来实现节点间的数据信息源的信任共享和业务协同是基于区块节点的加密认证系统,分布底层经济价值模型的自主智能协调,将是跨各项各业,形成未来自然生态链,适合任何应用场景落地。 三. 未来区块云 顺应时代性潮流趋势:从农耕、手工、机器、电子、数字的未来趋势:商贸数化的虚拟劳动生产力,为此,我们开创了以节点云架构为特色的公共网络基础架构,重构点面网络为拓扑设施。我们的基础理论是“一阴一阳谓之道”的 能量本性原理 : 信息通信基础架构的四大普遍原理 我们做什么:部署 虚拟生产力 ,实现公共基础设施的拓扑网络架构体系: 在战略上,发展马克思“社会关系和劳动生产力”的学说:虚拟社会关系与虚拟生产力的理论。 在战术上,解决互联网致命问题:a)数据孤岛,b)局域异构,c)安全可靠,d)资源共享。 互联网上,打造一个虚拟社会生产关系链,将现实社会各个生产关系和业务环节接入生态链。 能量场上,建造四大信息模块:局域主权管理,行业生态流通,节点安全拓扑,应用智能协调。 我们怎么做:开创网络拓扑性,重构区块节点链,实现自主、安全、发展的拓扑基础设施,亮点如下: 构架拓扑网:封闭域、监控域、主权域、客权域、托管域、自由域(全面兼容IP系统:零更新) 重组区块域:虚拟逻辑层次的节点区块,可控中枢神经的区块管理,生态安全融通的智能协调。 前瞻性特点:奠基国家虚拟生态链,为推动人类命运共同体提供虚拟生产力的技术支撑 我们的目标:为各国提供 虚拟生产力 架构体系, 虚拟生产力架构体系 实现全球虚拟生态链,启蒙实现 共产主义虚拟生产力 的诞生。 四. 后叙 在融合发展的同一趋势上,实际上存在着架构路线的方向性问题,也就是设计思想的境界问题。在这个前提之下,才是技术实践:协议开发,继行能力,等等。 国家级架构性项目的要点,通常不是局限于技术挑战,而是表现在思想境界的格局;通常也不局限于平台技术,而是结合于通讯模块的创新,其命脉在于作为国家公共基础的拓扑架构。 当前IP点面辐射架构,固化于平台运转技术,此乃科普之作,目也。 IP拓扑架构的纵、横、节、点的全方位协调,才是大鹏展翅,纲也。 要为国家大局的基础设施着想,必须纲举目张! 来源: 揭秘未来区块链之谜
  • 抱团取暖,裁员闭店, Hadoop  三大发行商遭“团灭” 在 Hadoop 的发展史上,有三家公司不得不提,分别是 Cloudera、Hortonworks 和 MapR。 Cloudera 是第一家 Hadoop 商业化公司,成立于 2008 年 8 月,创始人来自 Google、FaceBook 和 Yahoo!,其首席架构师 Doug Cutting 也是 Hadoop 的第一位作者;Hortonworks 成立于 2011 年,是由 Yahoo! 的 Hadoop 团队拆分而成;MapR 成立于 2009 年,创始人 M.C.Srivas 来自于 Google。 这三家公司同属于 Hadoop 发行版提供商。所谓的“发行版”,其实是开源文化特有的,虽然在很多外行眼中,发行版只是将开源代码打包,然后在添加一些自己独创的边角料。但其实发行版真正比拼的是对海量生态系统组件的价值筛选、兼容和集成保证以及支撑服务。 同样是提供发行版,这三家公司的商业模式可以说是完全不同。Cloudera 主要是发布 Hadoop 商业版和商用工具,其核心组件 CDH 开源免费,与 Apache 社区同步;而数据治理和系统管理组件闭源,用户需要获得商业许可,除了之外,商业组件也会提供企业生产环境中必需的运维功能。 Hortonworks 的商业模式是 100% 完全开源的策略,所有产品开源,用户可免费使用。真正用来盈利的是技术服务支持。 MapR 的商业模式遵循了传统软件厂商的模式,采用私有化实现,用户通过购买软件许可来使用。 虽然三家公司的商业模式不尽相同,但是都曾从 Hadoop 中获得了红利,Cloudera 的估值在顶峰时高达 41 亿美元,而 Hortonworks 和 MapR 的估值也曾超过 10 亿美元。 不过,最近剧情急转直下,2018 年 10 月,Cloudera 和 Hortonworks 宣布合并,Cloudera 的股东将拥有新公司 60% 的股权,Hortonworks 的股东持有 40% 的股权。合并时,双方对于未来的盈利能力信心十足,“到 2020 年预计每年收入有望超过 10 亿美元。”但是,事情发展并不如预期,合并半年多后,2019 年 6 月 6 日美股开盘,Cloudera 股价暴跌 43%,曾经 41 亿美元的估值缩水为 14 亿美元。 相比于抱团取暖的 Cloudera 和 Hortonworks,MapR 的处境更为艰难了,甚至走到了“闭店裁员”的窘境,“如果再获得新的资金注入,MapR 可能会裁员 122 人,并关闭位于 Santa Clara 的总部。”据外媒报道,MapR 裁员将于 6 月 14 日生效,但是就在前几日,有消息称 MapR 将寻找新资金的最后期限延长到了 7 月 9 日。 眼看 Hadoop 三大商业公司起高楼,为何忽然之间楼斜了呢?众说纷纭,有人说是因为数据库的发展,有人说是因为云计算的崛起,还有人说是自身模式有问题?...... 为了弄清楚原因,我们采访了多位各领域的技术专家。 MongoDB 和 Elasticsearch 会是 Hadoop 的竞争对手吗? 在一篇外媒的 分析文章 中,提出了这样一个观点:在受欢迎指数、收益等方面,大数据其他开源供应商(如 Elastic 和 MongoDB 公司)和 Hadoop 三大商业公司呈现出了此消彼长的态势,之前没有人认为 MongoDB 和 Elasticsearch 这样的技术以及它们背后的公司能够挑战 Hadoop 及相关产品,但是现在它们做到了。 事实真如这篇文章分析的那样吗?MongoDB、Elasticsearch 和 Hadoop 真的已经成为了竞争关系吗? 针对此,我们采访多位 MongoDB 和 Elasticsearch 的技术专家,大家的观点出奇的一致,那就是从目前来看,MongoDB 和 Elasticsearch 与 Hadoop 并不构成竞争关系,甚至连重合点都很少。 “MongoDB 和 Elasticsearch 与 Hadoop 在本质上是离线处理和在线处理两个完全不同的方向,”MongoDB 中文社区主席唐建法这样认为:“Hadoop 的底层存储是基于无索引的 HDFS ,核心应用场景是对海量结构化、非结构化数据的永久存储和离线分析,例如客户肖像、流失度分析、日志分析、商业智能等。而 MongoDB 和 Elasticsearch 的核心场景是实时交互,通常用于人机交互场景,例如电商移动应用,其特征是响应时间一般是毫秒级到秒级。” 当然,它们之间也不是完全没有竞争的地方,但 MongoDB 、Elasticsearch 真正竞争的是 Hadoop 内的生态组件,例如  HBase 、Hive、Impala 等。以 Elasticsearch 为例,它满足了比较基础的即席查询需求、在线业务检索需求,甚至是轻量的 BI 需求,这些在功能上与 Hadoop 会有所重合。 除了竞争关系,这篇外媒评论文中还提到了一个重要观点,那就是 Hadoop 使用繁琐,用户体验糟糕,MongoDB 和 Elasticsearch 使用方便,而这也导致了 Hadoop 的“衰败”。 “Hadoop 使用繁琐”的观点得到了众多技术专家的赞同。Hadoop 的本质其实就是 HDFS 存储 +MapReduce 计算框架,但是 Hadoop 发行商为了提高自己的商业竞争力,在 Hadoop 技术上增加了各种组件。Elastic 社区首席架构师吴斌称,“假设你发现了一个符合需求的组件,那么在部署使用它之前,可能还需要部署它的存储和配置管理组件,这时就不得不把精力放在诸如 HDFS、Zookeeper 等组件之上。在真正使用服务之前,用户就在 HDFS 和 Zookeeper 上付出了不少代价,这个过程往往会让入门级选手心灰意冷,进而追求门槛更低的服务,例如 Elasticsearch 或者 MongoDB。” 即使成功迈过了入门的门槛,很多企业也会因为复杂性难以充分利用 Hadoop。MongoDB 中文社区主席唐建法曾在两间银行看到过这样的情况,他们一家使用 MapR,一家使用 Cloudera,在系统上线 2 年后的今天,只完成了一个最简单的业务场景,行内一部分业务数据的归档功能。他们提到了一个共同的问题就是,如果说写进数据湖(Hadoop) 还算可以做得到, 把数据从里面读出来使用是更加困难的! 公有云会给 Hadoop 致命一击吗? 在很多分析文章中,都把 Hadoop 近日来的“颓势”归因为公有云的发展,Hadoop 的出现代表了当时革命性的技术,而云计算代表了数据处理的新方法,解决了与 Hadoop 相同的问题。Hadoop 主要是应用了比之前廉价的存储,但是云计算的出现,让存储变得更加廉价,且用户体验也获得了成倍提升。 云计算厂商打造了完全集成的一站式云原生服务,并且在云上提供了很多组件来替代原有的 Hadoop 组件,例如 AWS 的 S3 替代了 HDFS,K8S 替代了 Yarn。而 Hadoop 因其庞然的架构,本身并不适合以弹性灵活快速扩展的公用云环境。 公有云的出现给了 Hadoop 一定的压力,但会成为 Hadoop 的致命一击吗? 综合多位技术专家的意见,答案是否定的。 本地化部署的 Hadoop 颓势确实和公有云产品有关。 吴斌认为:“云计算厂商提供的托管服务在部署和运维上给予了用户太多便利,且从计算资源角度来看,云厂商大大降低了用户的成本,尤其是竞价实例,在给终端用户节省成本的同时,也做到了资源的合理利用和自身利益的较大化。” 在采访中,唐建法还提到了另外一种情况:“支撑大部分实体经济的企业,例如制造业、金融业、政府等强监管行业,还远远没有达到把企业全量数据存放到公有云的阶段,甚至会出于数据安全的考虑,永远不放在公有云上。”也就是说,公有云也不是银弹,即使发展得更好,也不可能完全侵占 Hadoop 的应用场景。 在很多分析文章都把云公司和 Hadoop 发行版公司放在了对立的两端,事实上它们并不是天然的对手,Hadoop 发行版公司也在积极的向云端转型,甚至 Cloudera 原本的初衷就是提供云服务。Cloudera 创始人在某次访谈中提到:“Cloudera 在创建时原本打算做的服务是类似于现在 AWS 的 Elastic MapReduce 那样的云上服务。但很快发现这个模式太超前,所以转向了做 Hadoop 发行商的角色。” 云会威胁 Cloudera 吗?Cloudera 创始人 Mike Olson 在 2018 年接受采访时,是这样回答的:“如果五年后我们只是一个本地部署供应商,我们将成为一个注脚。我们的大好机会是帮助客户迁移到云,并提供云和本地部署之间的可移植性。由于我们在早期所做的赌注,我们可以让用户在不编码到专有 API 的情况下进行迁移。我们与所有的超大规模云提供商都有良好的合作关系。当然,他们在某种程度上与我们竞争,但我的机会不是击败 Redshift 。 Redshift 的目的是帮助那些希望训练 机器学习 模型的客户在所有云提供商中提供这种能力。而我们的目标是将客户想要的所有可移植性与他们需要的法规和遵从性功能集成并提供给他们。” Hadoop 三大发行商的衰落是否代表了 Hadoop 的衰败? “Hadoop 三大发行商的衰落是否代表了 Hadoop 的衰败?”这是很多人关心的问题,也是技术人在热情讨论的问题。首先,需要明确的是 Hadoop 三大发行商无法全权代表 Hadoop,其次,与前几年相比,Hadoop 的热度确实在下降。 与其说 Hadoop 衰败,倒不如说是 Hadoop 走下了神坛。 早些年前,Hadoop 是与大数据划等号的存在,但是现在,大家对于大数据产品的需求更丰富了,眼光也更挑剔了。最早大家只要求能够处理海量数据,后来追求高效实时,而现在大家还要求经济便宜,功能丰富。 唐建法认为 Hadoop 生态的衰败并非是指技术,而是市场炒作的一种理性回归。 因为低成本、海量扩展能力,以及对半结构化、非结构化数据的支持,Hadoop 在大数据分析、历史数据归档方面是有独特地位的。如果 Hadoop 能够专注于擅长的离线场景,并提升用户使用体验,那么基于 Hadoop 的技术方案在未来还是很有前景的。 Hadoop 真正面临的竞争态势是什么? 既然 Hadoop 真正的竞争对手不是 MongoDB、Elasticsearch 等其它开源产品,也不是公有云,那么真正的对手是谁? 首先,我们不能简单的把 Hadoop 理解成一款产品,它是一种生态。所以,Hadoop 真正面临的其实是生态之争,而不是某款产品之争。 Elasticsearch 技术专家表示:“与 Elasticsearch 生态相比, Hadoop 的产品功能相对比较分散。Elastic Stack 的整合程度则非常高, 且 Elasticsearch 的分析速度更快更实时,从数据接入到前端分析展现都有完整的产品,打通了整条数据分析的链路,开箱即用,用户体验要好的多。” 而云计算厂商通常会选择更多的生态伙伴来一起合作,例如 Google 宣布将 MongoDB 纳入 Market Place 产品目录,AWS 与 MongoDB 签署全球推荐合作伙伴,腾讯云和 Elastic 达成合作。 与单个产品或环节的竞争不同,生态之间的竞争更加复杂多样,既包括了产业链上的生态,也包括了跨行业的生态,所以竞争结果不只是简单的争长竞短、你死我活,也有可能是互相融合、共同繁荣。Hadoop 生态与其它大数据生态各自有自己的使用场景和成熟的生态链,它们之间不只有竞争,更有互补的地方,从这个角度来看,Hadoop 未来的机会不是打败对手,而是做好自己。