• 最新论文
  • 动视为《使命召唤7:黑色行动》投资为公司史上最多 动视为《使命召唤7:黑色行动》投资为公司史上最多 星环科技孙元浩:用自研框架取代Hadoop,加速实现基础软件国产化替代 数字观察 你家做菜还用味精吗?说味精致癌冤枉它吗? 舟山健身教练学习什么 河北:“阳光扶贫”照亮贫困户稳定脱贫路 星环科技孙元浩:用自研框架取代Hadoop,加速实现基础软件国产化替代 数字观察 星环科技孙元浩:用自研框架取代Hadoop,加速实现基础软件国产化替代 数字观察 你家做菜还用味精吗?说味精致癌冤枉它吗? 星环科技孙元浩:用自研框架取代Hadoop,加速实现基础软件国产化替代 数字观察 舟山健身教练学习什么 舟山健身教练学习什么 BAT网易华为一起搞事情,倪光南都来了!
  • 推荐论文
  • 动视为《使命召唤7:黑色行动》投资为公司史上最多 动视为《使命召唤7:黑色行动》投资为公司史上最多 星环科技孙元浩:用自研框架取代Hadoop,加速实现基础软件国产化替代 数字观察 你家做菜还用味精吗?说味精致癌冤枉它吗? 舟山健身教练学习什么 河北:“阳光扶贫”照亮贫困户稳定脱贫路 星环科技孙元浩:用自研框架取代Hadoop,加速实现基础软件国产化替代 数字观察 星环科技孙元浩:用自研框架取代Hadoop,加速实现基础软件国产化替代 数字观察 你家做菜还用味精吗?说味精致癌冤枉它吗? 星环科技孙元浩:用自研框架取代Hadoop,加速实现基础软件国产化替代 数字观察 舟山健身教练学习什么 舟山健身教练学习什么 BAT网易华为一起搞事情,倪光南都来了!
  • 热门标签
  • 日期归档
  • 星环科技孙元浩:用自研框架取代Hadoop,加速实现基础软件国产化替代 数字观察

    来源:www.jlxsmy.com 发布时间:2019-11-20

    随着2019年的临近,创始人孙元浩简要总结了2019年迄今取得的成就。

    首先,从产品线的角度来看,星环科技自2017年以来已经基本确定了三条产品线。大数据产品是主要产品线,而人工智能机器学习平台和集装箱智能大数据云平台是围绕客户对人工智能建模、集装箱布局等需求延伸的产品线。基于使用大数据基础软件的基本需求。

    同时,大数据产品线坚持自主研发,技术不断更新和迭代,应用范围越来越广。它已经成功地取代了国外制造商,如Teradata或Cloudera和小发猫,一些典型的客户案例已经登陆。

    其次,随着产品更新,星环科技的客户群不断扩大,覆盖金融、政府、能源、交通、教育、制造、运营商、媒体等20多个行业。其中,财政部、国家邮政局、国家商标局、中国人民银行、国泰君安、招商证券、中国邮政、中石油和广州供电局是星环的基准客户

    Starring Technology成立于2013年,总部位于上海,定位为提供大数据和人工智能的技术平台。 创始人孙元浩曾担任英特尔亚太研发有限公司数据中心软件部门首席技术官,他于2009年带领团队研究Hadoop,并于2011年发布了英特尔Hadoop发行版 随着大数据概念的兴起,越来越多的人知道Hadoop,一种专门处理大数据的软件。

    2013年,孙元浩带领创始团队成立星环科技

    值得一提的是,2019年10月,领星科技完成了对D2回合的融资,仅比领星D1回合融资晚了半年多 同时,星环技术(Star Ring Technology)也被选为iDark Horse数字手表《产业互联网产业独角兽》榜单中的硬独角兽。

    大数据进入3.0时代

    是人工智能、大数据和云计算的融合阶段

    我们知道自从计算机诞生以来,信息技术已经潜移默化地影响了人类生活的方方面面 特别是,在过去十年左右,大数据、人工智能和云计算等技术得到了蓬勃发展,使得人们的生活方式每隔几年就会发生巨大变化。

    此时,企业每天生成的数据量呈爆炸式增长。面对海量数据,传统数据库的信息技术架构和处理技术已经逐渐不能满足海量数据处理的需求。 按照传统方式,数据量的存储和处理将消耗大量的时间和硬件成本。

    在孙元浩看来,目前大数据已经进入3.0时代。随着技术的不断延伸和发展,大数据、人工智能和云计算之间的界限越来越模糊,三种技术不断相互影响和融合。

    “我们的意思是大数据3.0是从技术角度进行分类的。大数据技术可以分为三代 明星科技成立之初,处于大数据1.0阶段。大多数公司使用开源软件和应用编程接口来开发程序。 问题是产品有限,只有大公司才有能力处理大数据。

    大数据2.0是一个各种花卉争夺战的时代。越来越多的玩家参与了技术竞赛,许多全新的技术诞生了,这些技术可以解决更多商业场景中的实际问题。

    自2017年以来,处理结构化数据的问题已经基本解决,人们开始关注非结构化数据处理,尤其是图像、视频、语音和文本处理。 在此期间,人们将在非结构化数据领域表现突出的深度学习技术与大数据技术相结合,大数据技术开始进入3.0时代。 “

    孙元浩告诉iDark Horse Digital Observation,大数据3.0时代的技术必须首先有四个统一的:优先、统一和集成的数据平台来取代混合架构

    当前的企业数据服务架构通常需要包括不同的数据服务系统,如数据湖、数据仓库、数据集市、综合搜索等。许多企业采用复杂的混合架构,不仅产生巨大的数据冗余,而且严重限制了数据应用的及时性 新的大数据平台需要能够一站式满足所有需求,解决大数据的4v需求,应对从快速响应到大规模分析的所有级别的需求,并消除混合架构模型

    第二,统一开放的界面 据报道,作为一种经过历史测试的结构化查询语言,SQL具有很大的用户基础和灵活性。开发人员可以在不知道架构细节的情况下高效地开发应用程序。然而,在过去,应用程序接口开发方法存在应用程序兼容性差和开发难度大的问题。

    新一代大数据平台需要使用SQL来支持所有功能,包括数据仓库、OLTP数据库、搜索引擎、实时计算、时间空数据库等。降低开发人员的门槛,加快产品开发和在线

    第三,统一管理和部署 云计算的灵活性和无处不在的访问可以使更多的数据服务和开发者使用大数据技术,因此新的大数据技术需要提供云计算的能力。

    在硬件层面,大数据平台以统一的方式管理和分配中央处理器、图形处理器、网络、存储和其他资源。它实现了基于容器技术的大数据应用在云上的统一部署。平台租户按需申请大数据技术和产品 此外,云计算可以大大降低运营和维护成本,使得单个团队可以同时运行大量大数据系统软件。

    第四,统一的数据仓库和数据资产管理 数据商业化是大数据技术的终极价值体现,在新的架构设计中,星环技术也将这一元素作为一个重要的设计考虑点

    在数据层,平台上的所有数据都以统一的方式存储,建立统一的数据仓库和数据资产目录,然后根据应用场景传输到不同的数据集市。每个业务部门根据需求进行调用,从而打开数据孤岛,提高数据质量,转换数据价值

    在模型层,通过建立模型市场,租户可以选择一个密钥将经过培训的模型发布到模型市场,其他租户可以直接调用它,而无需重复培训。

    在应用层,平台中的用户可以将经过验证的应用发布到企业应用市场,并与其他用户共享。所有正在运行的应用程序都是统一管理的。

    其次,大数据3.0的技术本质是融合 随着时代和商业的不断发展,人们提出了新的要求。能否在云平台上部署分布式架构大数据,以更好地实现数据共享并解决数据孤岛和烟囱开发等问题

    因此,在大数据3.0时代,大数据技术、人工智能技术和云计算技术开始融合到一个平台上,以满足不同层次企业客户的大数据需求。

    简而言之,大数据技术解决了计算能力的深度学习和数据量的训练问题,并开始产生巨大的生产价值 同时,大数据技术通过传统机器学习算法的分布式实现扩展到人工智能领域。

    此外,随着数据在一个平台上不断收集,通过容器技术,大数据和人工智能的基本公共能力建立在容器云平台上,集成了人工智能、大数据和云计算。

    “伴随着大数据3.0的出现,大数据的新的基础架构开始出现,要实现上面提到的四个统一:统一的编程语言或者操作语言,统一的计算引擎,统一的存储管理系统,统一的资源调度系统,和一个不同,即不同的数据模型。

    总体来说,大数据3.0阶段,统一和融合是主旋律。”

    围绕上述思路,在大数据3.0时代,产业趋势出现变化,而星环科技的业务模式,也将会出现变化。

    根据孙元浩介绍,星环科技的具体的做法是:

    第一,建立统一的数据的平台,将大数据技术和人工智能技术融汇起来,也可以依赖智能化的方式来梳理数据,并保证数据质量。2018年星环科技发布的新一代智能大数据云平台TDC,践行了大数据、人工智能与云计算的融合趋势,推动服务容器化以及大数据生态上云。

    第二,建模型生态、应用生态。星环科技认为,必须要有标准的接口才能形成生态,星环科技的大数据平台提供SQL、R和Python三种语言,用户和生态伙伴就不必关心底层使用哪种引擎实现,就可以极大程度的降低开发成本。

    其三,通过云化的PaaS层提供开发平台,用户无需关注底层细节,让服务随处可用。过去,当客户需要去用大数据服务的时候,先要立项,再找厂商走流程,初次获取成本高,需要构建团队,而且经常采用烟囱式的开发。

    星环科技希望的是,服务可以立马可用,不管是做数据、提供数据、分析数据,还是做开发模型的人,都能够找到他期望的工作平台和工作方式。

    那么,对于星环科技来说,如何才能形成这种四个统一、一个不同的呢?

    自研框架取代Hadoop

    想要加速实现基础软件国产化替代

    i黑马数字观察了解到,从2013年公司成立到现在,星环科技这6年主要经历三个发展阶段。上文提到,最初星环科技的产品主要是基于Hadoop和Spark实现的,星环科技抱着想让更多客户享有大数据能力的想法,专注在大数据的数据库化上。

    “2013-2014年,星环科技还属于基于开源技术,做产品化探索阶段,当时还是以纯大数据为主,提供分析型数据库产品。”

    到了2014年,星环科技进入第二个阶段。但随着星环科技的产品和业务不断发展,Hadoop在技术和商业方面的局限性慢慢凸显出来。

    星环科技的业务想围绕基础软件这一层,继续往上走。Hadoop是最底层,再往上还有很多工作,开源软件是无法做好这部分内容,特别是针对企业级服务市场。

    但是Hadoop起源于互联网公司,存在很多优点:处理数据量很大,支持非结构化数据,海量存储而且成本很低。

    而对于服务企业级市场,开源软件在应用上存在很多不足。例如,银行的数据分析有三十几个模块,这些模块都是基于Oracle或者是小发猫的数据库,可能涉及几十万行代码,将这些都改成与Hadoop接口相适应的程序是不现实的。而且开源的Hadoop最开始都没有一个图形化的界面,都是以命令行来操作的。

    上述这些都制约了Hadoop在企业级市场的发展,但是企业级客户又很看好这种软件的未来。

    另一方面,孙元浩指出,Hadoop作为基础框架,其设计需要结合硬件情况,而Hadoop是基于15年前的技术环境设计的,是低速硬盘,低速网络时代。

    如今的硬件技术环境发生根本性变化,网络普及万兆,存储每秒钟能够做上百万次操作,当时的架构已经完全跟不上硬件的发展。

    其次,从企业应用需求的角度来看,Hadoop软件是仿造谷歌的系统来构建的,最初的目标是用于互联网公司的日志处理和营销推广等场景。

    当Hadoop技术应用到各行各业时,就发现它在功能缺失、一致性和可靠性、高性能并发等问题上的局限性,无法突破,甚至有分析机构说Hadoop技术已死。

    “例如,过去我们企业做交互分析时候,数据量一个TB就够了,尤其是在美国,数据量基本是100G就足够支撑企业的交互分析需求,这也促使美国的基础软件服务商没有动力去开发高度可扩展的引擎。

    但在中国的情况不太一样,随着移动化、大数据、云计算、物联网、人工智能的发展,多重技术浪潮叠加发展,促使中国企业的数据量呈现爆发式增长,像运营商或者金融行业,终端客户都是to C的,客户群体很大,数据量也很大,动辄几百个TB,传统的Hadoop技术根本支撑不了,传统的大数据引擎产品也满足不了客户需求。

    不仅是并发量承载的问题,资源隔离、资源调度等问题,传统的Hadoop也存在很大的问题。在这种环境下,我们如果想活下去,满足客户的需求,就必须有绝招,像我们这样的创业公司,没有背景没事,可以拼技术,所以我们从2015年开始研发闭源基础架构。”

    依托于星环科技的创始团队技术基因浓厚,本身就擅长研发,还具有丰富的框架设计和开发经验,慎重考虑后,选择了完全脱离Hadoop框架,从2015年开始,星环科技的团队开始重新设计研发自己的大数据处理框架。目的是想把将之前传统的底层框架都替换掉。

    据悉,星环科技重构一个五层架构,脱离了原来架构,更容易在技术上突破,如在分析数据库,星环科技远远甩开了国外的大数据厂商,也超过了传统数据库厂商。在一些数据技术上面,星环科技可以把批处理与事件驱动的流处理融合,实现了别人难以实现的技术突破。

    到了2017年,星环科技不但把引擎和资源调度器给彻底改造了,还把AI的产品独立出来。“如果说前几年还是在产品形态探索阶段,那么这两年基本确定我们的产品方向,继而重点研发自己的技术架构。

    同时,2014年之后也是我们商业化探索阶段,已经打磨出一些标杆性客户。到了2015年是星环科技真正商业化落地阶段,拓展市场。”而2017年到现在,是星环科技规模化增长的阶段,开始在市场宣传和销售方面进行投入。”

    在谈到从开源到闭源自主框架研发的难点与挑战,孙元浩表示,“早些时候星环科技要坚持自己的技术路线,需要和Hadoop技术路线兼容,很多企业客户看到我们不用Hadoop技术,就不敢用,所以我们需要花很多时间和精力,研究产品的兼容性。

    其次,即使很多客户想用我们自研产品,也不敢轻易完全替换Hadoop,需要长时间的测试和验证,同类产品反复对比。所以,我们都是从很简单的基础应用部分开始替换,让客户慢慢接受,然后我们开始在更多的应用上替换。”

    覆盖ABC三大领域

    为头部企业提供一站式基础软件平台

    经过多年发展,星环科技实现了AI、大数据、云计算的融合,充分发挥大数据平台的多年积累和技术优势,完善人工智能平台建设,并推出新一代智能大数据云平台。

    首先,星环科技打造的一站式大数据平台Transwarp Data Hub ( TDH ),这是一站式的企业级大数据平台,也是核心的产品。

    据悉,TDH主要提供5类核心产品:分析型数据库(Transwarp Inceptor和Transwarp ArgoDB),实时流计算引擎(Transwarp Slipstream),知识库(Transwarp Search和Transwarp StellarDB),操作型数据库(Transwarp Hyperbase),数据科学平台(Transwarp Discover)。通过部署、安装、使用TDH,企业能够更有效的利用数据构建核心商业系统,加速商业创新。

    其次,星环科技还把机器学习的建模平台给分离出来,形成一个独立产品线智子人工智能平台Transwarp Sophon。平台对应有四种不同的引擎,包括统计、机器学习、深度学习还有图的分析引擎,在其上提供交互式的建模工具。

    在原有产品基础上,星环科技所有产品实现了容器化部署,将应用、数据、模型统一化,可以提供IT所需要的基础设施、中间件、PaaS平台包括应用hosting。

    这样在产品布局上,星环科技的三大产品线覆盖ABC三大领域。可以满足各种不同层次的大数据需求,解决了深度学习计算力和训练数据量的问题,开始产生巨大的生产价值。

    同时,大数据技术通过将传统机器学习算法分布式实现,向人工智能领域延伸;此外,随着数据不断汇聚在一个平台,通过容器技术,在容器云平台上构建大数据与人工智能基础公共能力,将人工智能、大数据与云计算进行融合。

    目前,星环科技的产品覆盖了20多个行业,金融、政府、能源、交通、制造、教育这些行业都有覆盖到,客户数量也是在快速增长,细分行业的市场份额超过70%。

    针对星环科技去Hadoop,自研技术架构,i黑马数字观察也询问了不少技术型投资人以及相关技术专家,有疑问是可能性是有,但是生态如何建立?

    其实星环科技早就开始生态建设,今年,星环科技提出坚持“平台+生态”规模化发展战略,构建“数据驱动”的大生态。此次融资后也会在生态上加大投入,推动更多行业深入使用大数据、AI和云计算技术,着力推进与生态伙伴的合作深度与广度,打造全新的生态体系。

    “一个公司要想独立发展,要能够基业长青,就不能建立在别人的成果基础上,一定要自己创造出来,创新的东西才能保持公司的长期存在。具有前瞻性的技术引领者一向是会面对很多质疑的,但时间会给出证明。我也坚信,星环科技会成为世界级的伟大的基础软件公司,我们也在不断为此努力。”孙元浩针对外界疑问回应到。

    友情链接: