-
何为数据湖？用于大数据分析的大规模可扩展存储
所属栏目：[大数据] 日期：2022-06-27 热度：66
从那时起，数据湖技术不断发展，现在正在与数据仓库争夺大数据存储和分析的市场份额。各种工具和产品支持数据湖中更快的SQL查询，而全球三个主要云计算提供商都提供了数据湖存储和分析。甚至还推出了将治理、安全性和分析与成本更低的存储结合起来的数据湖[详细]
-
不良数据会造成更严重后果的几个原由
所属栏目：[大数据] 日期：2022-06-27 热度：115
现在回想起来，这是有道理的。当时不仅存在基础设施方面的挑战，而且使用网络的人并不多，网站也没有那么有价值。随着云计算、电子商务和SaaS的兴起，这种情况发生了变化，确保可靠性成为企业的关键任务，站点可靠性工程(SRE)应运而生。 数据如今处于相似[详细]
-
数据分析常见的误区有哪几种
所属栏目：[大数据] 日期：2022-06-27 热度：190
数据分析常见的误区有哪些？ 1、盲目的收集数据 一个正常运营的产品每天会产生大量的数据，如果把这些数据都收集起来进行分析，不仅会使工作量增加，浪费大量时间，很可能还会得不到想要的分析结果。作为一名数据分析人员，更不应该为了分析而分析，而是应[详细]
-
如何管理高度可扩大系统中的元数据
所属栏目：[大数据] 日期：2022-06-27 热度：79
元数据过去对数据中心架构的影响很[详细]
-
做数据治理前 应该明白并避开的几大坑
所属栏目：[大数据] 日期：2022-06-27 热度：137
Gartner 的一项调查显示，超过90%的数据治理项目都以失败告终。 这个数据可能会劝退一大波正准备做或者正在观望数据治理的企业：既然这笔投资90% 的概率失败，那为什么要继续。 1. 目标不明晰 数据治理是一个复杂的系统工程，一个明确合理的目标，能让数据[详细]
-
大数据平台核心架构图鉴 提议收藏
所属栏目：[大数据] 日期：2022-06-27 热度：103
大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。 所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。 01数据采集 数据采集的任务就是把数据从各[详细]
-
几款日常的开源无代码测试工具
所属栏目：[大数据] 日期：2022-06-26 热度：86
编程语言一直是自动化测试、自动化测试人员、框架甚至工作职责中不可或缺的一部分。如果一个遗留项目已经使用了Java进行测试，该公司会为该项目寻找具备Java专业知识的人员。同样，如果新项目需要从零开始构建测试流程，那么首要考虑的事情就是团队擅长哪[详细]
-
远程访问装有GPU的电脑很不方便 如今有一个值得试试的办法
所属栏目：[大数据] 日期：2022-06-26 热度：74
由于多种原因，很多人无法将在本地存储了大量文件的电脑和软件带回家，好在有办法做到从任何地方发起高质量的远程访问，而无需额外费用。下面介绍几种经过测试的方法，实现方便地远程管理办公电脑。 DOC怎么了？ 普通员工只需使用远程桌面协议（RDP协议）[详细]
-
大规模分布式计算学习引擎Ray在字节跳动NLP场景下的践行
所属栏目：[大数据] 日期：2022-06-26 热度：116
RayRTC 是字节基础架构组与字节 AML 组共同合作，在内部 RTC（Realtime Text Classification）文本训练平台上基于 Ray 进行的下一代 Serverless ML 的探索。RTC 文本分类平台是一个一站式的 NLP 服务平台，包括了数据预处理，标注，模型训练，打分，评估，[详细]
-
使用Java和Python进行数据统计和剖析
所属栏目：[大数据] 日期：2022-06-26 热度：200
Java 和 Python 是当今最流行的两种计算机语言。两者都非常成熟，并提供了工具和技术生态系统，帮助我们解决数据科学领域出现的挑战性问题。每种语言都各有优势，我们要知道什么时候应该使用哪种工具，或者什么时候它们应该协同工作相互补充。 Python 是一[详细]
-
云迁移之后 企业凭什么充分挖掘数据潜力
所属栏目：[大数据] 日期：2022-06-26 热度：167
近年来，基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）等业务模式正飞速发展，也推动着云投资屡创新高。根据GlobalData的报告，2024年亚太地区云计算市场规模预计将达到1918亿美元，2019至2024年期间的复合年增长率为7.7%。 然而，云迁[详细]
-
字节跳动数据平台技术揭晓
所属栏目：[大数据] 日期：2022-06-26 热度：170
ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一，拥有着同类型DBMS难以企及的查询速度。作为该领域中的后起之秀，ClickHouse已凭借其性能优势引领了业内新一轮分析型数据库的热潮。但随着企业业务数据量的不断扩大，在复杂query场景下，ClickHouse[详细]
-
数据科学家应对的几大挑战及解决方法
所属栏目：[大数据] 日期：2022-06-26 热度：104
每天，全球各地的组织都在寻找2.5万亿字节的数据，以获得对其业务的见解和价值驱动的行动。为了实现这一目标，需要高技能的科学专家或数据科学家参与开发业务中的企业AI。在不断增长的业务领域中，数据科学家的每一个行动都有助于改进业务的功能。 下面来[详细]
-
终于有人把MPP大数据系统架构讲清楚了
所属栏目：[大数据] 日期：2022-06-26 热度：154
本文首先回顾并行硬件架构的发展，并进一步介绍基于并行硬件架构的数据库一体机系统与基于MPP架构的数据库软件系统。数据库一体机系统在银行等大型企业中采用广泛，一体机的优点是开箱即用、功能丰富、稳定、售后服务好，缺点是价格昂贵、扩展不灵活。基于[详细]
-
为何很多人宁可用 Excel 也不用 Python
所属栏目：[大数据] 日期：2022-06-26 热度：200
有人说，Python即使不是最好的编程语言，也是最受欢迎的语言之一。因为它简洁易用，功能强大，对初学者也很友好。在众多培训机构的小广告中，学了Python就能批量处理Excel表格，Python是实现办公自动化的利器，从此告别996之类的口号随处可见。但实际工作[详细]
-
云数据仓库中的数据安全思虑
所属栏目：[大数据] 日期：2022-06-26 热度：160
近年来，由于云计算与云存储具有一定的廉价性和可扩展性，云数据仓库（Cloud data warehouses，CDW）得到了广泛的应用并飞速发展。同时，CDW不但能够存储比本地数据库更多的数据，而且可以通过现代化数据管道，简化了ETL的各种流程，因此许多企业都开始用[详细]
-
Kafka 万亿级消息实践之资源组流量掉零故障排查分析
所属栏目：[大数据] 日期：2022-06-25 热度：190
Kafka 万亿级消息实践之资源组流量掉零故障排查分析： 一、Kafka 集群部署架构 为了让读者能与小编在后续的问题分析中有更好的共鸣，小编先与各位读者朋友对齐一下我们 Kafka 集群的部署架构及服务接入 Kafka 集群的流程。 为了避免超大集群我们按照业务维[详细]
-
用Elastic Block Store EBS 改善性能和数据可用性
所属栏目：[大数据] 日期：2022-06-25 热度：69
如今，许多数据库即服务（DBaaS）解决方案将计算层和存储层分开来，比如包括Amazon Aurora和Google BigQuery。由于数据存储和数据复制可以由现有服务来处理，DBaaS无需担心这种复杂性，这种解决方案很有吸引力。然而，这种设计的性能有时可能不如传统方式[详细]
-
大数据依赖不可取
所属栏目：[大数据] 日期：2022-06-25 热度：102
当下没有人会忽视大数据的重要作用。在生活的一切方面，大数据都潜在地发生着作用，特别是在管理层面，大数据已经成为重要的辅助工具。站在当前的角度来看，没有大数据，经济社会管理工作几乎就没有办法正常进行。 对传统统计数据的依靠和对现代大数据的依[详细]
-
区块链为大数据分析提供机会
所属栏目：[大数据] 日期：2022-06-25 热度：100
大数据能够获得实践应用并被各行各业青睐，最重要的原因还是大数据分析得出的结论具有指导意义，能够为行业决策提供数据统计基[详细]
-
技术迷途者指南 我有问题 你有解吗
所属栏目：[大数据] 日期：2022-06-25 热度：67
在日常工作中，我们可能会遇到各种技术问题，比如运维、开发、框架、操作系统等领域，不同的技术人，碰到的难题也不尽相同。为了帮助大家更好的解决问题，51CTO技术交流群针对一些技术问题展开了深入的讨论交流。51CTO对其中精彩问答进行了整理，并通过文[详细]
-
挖掘互联网开放数据可带来巨大商业价值
所属栏目：[大数据] 日期：2022-06-25 热度：134
星巴克的门店选址方法 20世纪80年代末，美国星巴克公司董事会名誉主席霍华德舒尔茨(Howard Schultz)曾经在西雅图总部组建地产团队，专门研究咖啡门店的选址。 他们除了有着专业的地产团队外，还有地理信息系统进行数据化分析，从而决定开店位置和营销方式[详细]
-
2022年优秀预测分析工具和软件
所属栏目：[大数据] 日期：2022-06-25 热度：74
数据管理一直是企业面临的挑战。随着新的数据源不断涌入，使用合适的工具比以往任何时候都更为关键。预测分析工具和软件是完成这项任务的最佳解决方案。数据专家和商业管理者必须能够组织和清理数据，以启动这一进程。随后是对数据进行分析，并与同事分享[详细]
-
使用替代数据的五个隐性成本
所属栏目：[大数据] 日期：2022-06-25 热度：87
如今，替代数据源已嵌入到各个行业的企业业务流程中。根据Lowenstein Sandler 律师事务所2022 年的一项调查，92% 的投资机构(从对冲基金、私募股权到风险投资)都在以中等或很大的程度使用替代数据来为决策提供依据。受访者还预计，他们在 2022 年对替代数[详细]
-
具备可视化的数据不仅可以节流 还可以开源
所属栏目：[大数据] 日期：2022-06-25 热度：96
当数据团队在谈论具备可视化的数据和数据质量高的好处时，通常只会涉及数据不完整带来的负面影响：决策不力、收入流失，甚至降低客户的信任度。 Gartner预测，糟糕的数据质量使企业每年损失1290万美元，因此具备可视化的数据成为非常重要的选择。 如果公司[详细]
