手机版

浪潮云湖大数据平台:多模大数据存算,助力政企数字化转型

时间:2023-08-29 15:19:36作者:马慧思来源:互联网

中共中央、国务院办公厅印发的《全国一体化政务大数据体系建设指南》提出:“加强数据汇聚融合、共享开放和开发利用,促进数据依法有序流动”。运用大数据技术实现数据流转赋能,助力政企数字化转型,营造良好数字生态逐渐成为行业发展共识。

拥抱数据新要素 打造云湖大数据平台

在新要素方面,浪潮云以数据为核心,秉持“数据优先”原则,围绕“数采-数算-数用”的全生命周期数据服务支撑能力,打造浪潮云湖大数据平台,提供开箱即用、易扩展,连接 OLAP 和数据湖等众多框架的多模大数据存储计算平台,致力于流批一体和湖仓一体的探索与实践。

浪潮云湖大数据平台以数据驱动业务为目标,打通各部门数据壁垒,进行全量、多源异构数据汇聚与存储,支持构建原始库、标准库、主题/专题库、共享库等数据资源中心,赋能政企数字化转型。

多源异构大数据存储 实时数据秒级响应

浪潮云湖大数据平台作为通用的数据存储与计算产品,提供多源异构数据统一入湖、入湖数据统一分析处理优势能力,具备核心读写性能提升,拥有容错灾备能力、高并发、灵活扩展的分布式架构,支持实时采集和离线采集等企业级增强功能。

核心读写性能提升:CPU每秒数万记录处理能力,测试性能较开源提升2倍左右,同时API和社区保持完全兼容。通过优化平台参数并调优,对大量的业务数据进行读写、更新等数据流转、赋能操作,满足客户需求并取得良好的运行情况和性能。

自定义报警管理:通过配置邮件、企业微信等途径进行及时告警,智能诊断快速定位问题。其中邮件告警支持开启邮箱验证、启动TLS证书验证、开启SSL验证等能力;展示方式支持文本、表格、附件等形式。企业微信告警支持“应用”和“群聊”两种报警方式、markdown和文本两种展示方式。

一站式作业运维:支持作业实例一键式可视化上线、下线操作,全生命周期、运行模式等多维度作业实例检索与展示。提供作业总览、集群信息、作业快照、异常信息、数据血缘、历史版本、告警记录等全生命周期的作业运维能力。

可视化作业开发:一站式开发管理平台,包括丰富的StreamSQL在线分析能力和内置多个领域函数库,并可按需自定义函数。提供作业配置、作业信息、历史版本、SQL格式化和SQL 检查、实时查看执行信息、执行结果和执行历史记录等能力,包括多版本作业代码比较和回滚,并支持一键式作业发布和下线功能。

流批一体数据解决方案 助力政企数字化转型

离线数据分析:把互联网、Web 应用、手机 App 等业务服务器上的海量日志同步到浪潮云湖大数据平台的数据节点或 OSS 后,使用 Hive、Spark、Presto 等主流计算框架快速获取数据洞察力。使用 NiFi 等工具加载分散于RDS 或其他存储引擎的数据,并把分析后的数据同步到 RDS,为数据可视化产品提供数据支撑。

流式数据分析:通过 API、SDK 把位于业务服务器上实时产生的数据推到 Kafka 消息中间件之后,可在浪潮云湖大数据平台产品中选择合适的流式数据处理引擎来分析数据,以实现对业务变动的实时告警;还可以把分析结果实时同步到 RDS 等存储引擎,以便于通过数据可视化产品对业务状态进行实时可视化检测。

浪潮云湖大数据平台适用于数据流转交换、实时数据数仓、实时数据分析、实时大屏、数据血缘溯源等多种业务场景,目前已经形成了覆盖数字政务、通信、税务、健康医疗、互联网+等多个行业的数据落地场景,助力政企客户开拓业务新模式。

未来,浪潮云将持续提升基于多源融合、高效读写、流批一体的大数据底座支撑能力,加强数据汇聚融合、共享开放和开发利用,促进数据依法有序流动,赋能数字经济、数字社会、数字生态高质量发展。

推荐阅读

  • 浪潮云超高清融媒体制作云项目荣获“技术赋能优秀案例奖”

    10月26日,2023中国报业媒体技术创新发展大会暨“百家媒体看徐州”采风活动在徐州隆重举行。来自国家级、省级、地市级和县级的媒体,以及包括江苏省报业协会等行业协会在内的近200名代表参会,大会围绕媒体技术赋……

    时间:2023-10-29 08:58:40
  • 标准引领!浪潮云受邀出席中国云计算标准和应用大会并斩获多项大奖

    9月13日,由中国电子技术标准化研究院主办的第十二届云计算标准和应用大会在北京成功召开,浪潮云作为协办单位受邀出席并斩获“云计算标准化优秀成员单位”等多项大奖,浪潮算力云ICP获评云基准测评最高等级—“云基……

    时间:2023-09-14 14:50:20
  • 长宁县领导调研民营企业

    8月29日,县委常委、县纪委书记、县监委主任罗晓平带队调研民营企业—四川长宁融顺生物质新材料公司。 罗晓平来到四川长宁融顺生物质新材料公司,实地了解企业发展情况,与企业负责人深入交流,详细了解企……

    时间:2023-09-05 14:10:40
  • 创新引领 品质见证!浪潮海岳多款产品荣获“新一代信息技术创新产品”

    4月20日,由赛迪顾问主办、以“数实融创·价值重生”为主题的2023 IT市场年会召开。大会是中国IT产业界延续时间最长的年度顶级盛会,已连续举办24届。凭借领先的技术优势和行业实践经验,浪潮通软获评“新一代信息技……

    时间:2023-04-23 13:49:52
  • 河南时之瑞十年庆典|新时代赋予新使命 新选择造就新未来

    10 月 27 日下午,河南时之瑞商贸有限公司十年庆典暨客户答谢会在郑州银基冰雪酒店皇宫厅成功举办,来自全国各地的合作伙伴共计500多人共同见证了这一盛大时刻。 河南时之瑞商贸有限公司董事长张文海……

    时间:2023-10-30 14:20:13
  • AIIA 2023人工智能产业峰会|可信AI分论坛亮点领先看

    《新一代人工智能发展规划》提出,在大力发展人工智能的同时,必须高度重视可能带来的安全风险挑战,加强前瞻预防与约束引导,最大限度降低风险,确保人工智能安全、可靠、可控发展。 随着人工智能应用越……

    时间:2023-03-30 15:06:55
  • 浪潮通软战略签约中机六院,共建智能制造生态圈

    近日,浪潮通用软件有限公司与机械工业第六设计研究院有限公司签署战略合作协议。机械工业第六设计研究院有限公司智能制造院院长刘俊,浪潮集团副总裁、浪潮通用软件有限公司总经理魏代森出席签约仪式。 ……

    时间:2023-09-21 09:39:07
  • 构建“万物智联”数据基座,浪潮KaiwuDB 亮相 IOTE2024 国际物联网展

    4月24日,IOTE2024 第二十一届国际物联网展在上海世博中心拉开帷幕,本届大会以“AIoT+X 释放数字经济潜力”为主题,汇集 350 余家参展企业到场展示先进的物联网技术、产品及场景化解决方案。浪潮KaiwuDB 受邀亮相……

    时间:2024-04-25 15:22:57
  • 成功验收!广州市政总院携手浪潮海岳,开启智慧人力新里程

    近日,广州市政总院人力资源管理项目成功验收,该项目基于浪潮海岳软件打造人力资源信息平台,实现人力业务全面信息化、数字化、智能化,为广州市政总院高质量发展注入新动能、塑造新优势。 广州市政总院……

    时间:2024-05-20 10:06:12
  • 海若技能大揭秘丨海若农业大模型,农业生产的“慧眼”

    中国作为农业大国,在中华上下五千年的文明发展史中长盛不衰。农业文明支撑着我们从远古到当下,从荒芜到繁华。 中国农业的蓬勃发展,一方面离不开中国人民勤劳的付出与耕耘,另一方面也离不开科技的加持。近……

    时间:2024-05-30 12:14:05
随机推荐