-
Hadoop、Spark、Hive究竟是什么，做算法要不要学？
所属栏目：[大数据] 日期：2021-11-23 热度：89
最近我发现，很多萌新说着想要做算法工程师，但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python，再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型。 显然，这样的想法是有问题的，如果真这么干，即使通过了面试[详细]
-
针对各领域的八个数据驱动的内容营销技巧
所属栏目：[大数据] 日期：2021-11-23 热度：86
事实表明，大数据为营销领域带来了一些显著的变化，并且在在线内容营销方面尤其具有影响力。 许多营销人员已经使用人工智能和数据分析来对各种市场活动进行更明智的洞察。数据分析工具对按点击付费(PPC)营销、媒体购买以及其他形式的付费流量特别有用。大数[详细]
-
Python高级算法与数据结构:采用treap实现双索引之一
所属栏目：[大数据] 日期：2021-11-23 热度：130
前面介绍的堆结构只能对数据进行部分排序，也就是它只能知道部分元素的排序，例如从根节点出发，沿着左孩子或右孩子前行，我们能得知所遍历的元素一定是递增(小堆)或是递减(大堆)关系，但是我们无法得知左子树与右子树两部分节点的排序关系。 在很多应用场[详细]
-
可算有人把 Hadoop 生态的主要讲明白了！
所属栏目：[大数据] 日期：2021-11-23 热度：92
Hadoop是一个由Apache基金会开发的分布式系统基础架构。开发人员可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速并行运算以及海量数据的分布式存储。Hadoop大数据技术架构如图1所示。 然而，Hadoop不是一个孤立的技术，而是[详细]
-
HDFS 基层交互原理，看这篇就够了
所属栏目：[大数据] 日期：2021-11-23 热度：124
HDFS全称是 Hadoop Distribute File System，是 Hadoop最重要的组件之一，也被称为分步式存储之王。本文主要从 HDFS 高可用架构组成、HDFS 读写流程、如何保证可用性以及高频面试题出发，提高大家对 HDFS 的认识，掌握一些高频的 HDFS 面试题。本篇文章概览[详细]
-
大数据集群开始 kerberos 认证后 Hive 作业执行失败
所属栏目：[大数据] 日期：2021-11-23 热度：85
大数据集群开启 kerberos 安全认证后，HIVE ON SPARK 作业执行失败。通过客户端 beeline 提交作业，报错 spark client 创建失败，其报错信息是： Failed to create spark client for spark session xxx: java.util.concurrent.TimeoutException: client xxx[详细]
-
因HIVE元数据与HDFS上的数据不一致引起的问题修补
所属栏目：[大数据] 日期：2021-11-23 热度：139
客户端报错如下： Unable to move source xxx to destination xxx 客户端报错 问题分析 客户端的报错信息，并没有完全展现问题背后的全貌。我们进入 hiveserver2 所在节点查看hiveserver2的日志，可以看到如下相关信息： 2021-09-01 11:47:46,795 INFO org.[详细]
-
简谈大数据风控平台的功能需要
所属栏目：[大数据] 日期：2021-11-23 热度：142
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。 智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清[详细]
-
数据研发，如何平衡效率与质量
所属栏目：[大数据] 日期：2021-11-23 热度：98
数据开发的效率，是如何尽快的将产品设计、业务过程，转换为数据模型;数据开发的质量，则是如何尽快的将数据加工过程中的问题，识别出来。向业务交付的内容，是开发的内容;而如果开发的时候，忽略质量的问题，虽然交付的时候不会有感知，但往往会在排查问题[详细]
-
浅谈人工智能、大数据等技术在交通行业的应用
所属栏目：[大数据] 日期：2021-11-23 热度：91
我们将浅谈一下人工智能、大数据、云计算、物联网等技术将会给交通行业带来哪些便利与变革： 1.数据资源整合 由于我国线路众多，与交通相关的绝大多数部门都有自己的信息化平台，并产生着海量数据，但是现在的每个部门及单位内的系统平台大都是独立的，信息[详细]
-
时代大数据安全和隐私
所属栏目：[大数据] 日期：2021-11-23 热度：158
随着大数据的发展，大数据的安全问题越来越受到行业的重视。 日前，中国信息通信研究院指出了目前大数据发展面临的安全问题，提出了促进大数据安全技术发展的具体建议。 大数据已经严重影响了经济运行机制、社会生活方式和国家治理能力，需要从大安全的角度[详细]
-
从技术视角看大数据行业的发展走势
所属栏目：[大数据] 日期：2021-11-23 热度：62
关于该趋势，明哥在前期发布过一篇博文，大数据与云计算深度融合的趋势体现在哪些方面? 对该趋势做了自己的解读，这里再次简要描述下。该博文链接如下: 大数据与云计算深度融合的趋势体现在哪些方面? 云原生(Cloud Native)理念，本质上是一套利用云计算技术[详细]
-
Hdfs 相对路径和静态代码块引起的问题
所属栏目：[大数据] 日期：2021-11-23 热度：89
HIVE 作为大数据生态的数仓解决方案，因为历史的原因在很多行业很多公司都有着广泛的应用。对于比较复杂的业务逻辑，HIVE SQL 往往比较难以表达，此时大家在开发中往往会辅以 HIVE UDF。所以充分理解和掌握 HIVE UDF正确的表写和使用方式，是大数据从业人[详细]
-
大数据时代，移动联通大数据技术的价值，你知道了多少
所属栏目：[大数据] 日期：2021-11-23 热度：179
大数据时代，移动联通大数据技术的价值，你掌握了多少 大数据技术就是在多种类型的大量数据信息中，快速获得有使用价值信息的技术性，然后做到大数据精准营销。拥有大量信息本身并不能造就出多少使用价值，必须选用具体方法进行处理分析才能够获得其智能化[详细]
-
大数据与云计算之间的联系
所属栏目：[大数据] 日期：2021-11-23 热度：131
大数据处理大量的结构化，半结构化或非结构化数据，以进行存储和处理以进行数据分析。大数据有五个方面，通过5V来描述 数量数据量 种类不同类型的数据 速度系统中的数据流率 价值 基于其中包含的信息的数据价值 准确性 数据保密性和可用性 云计算以按需付费[详细]
-
内存容量就减半是怎么回事
所属栏目：[大数据] 日期：2021-11-23 热度：77
这个问题一般发生在一些老式的主板上或者非常老版本的BIOS导致的 解决办法: 1,把内存换回来,应该就解决问题了. 2,购买新的内存,一定要买同品牌同型号相同参数的的内存. 3,不想换内纯,只想解决这个问题,可以尝试刷新BIOS.[详细]
-
安装系统提示解压缩文件出错
所属栏目：[大数据] 日期：2021-11-23 热度：101
出现这类情况有2中可能，光驱和内存。XP对硬件的检查没有windows7之类的内核那么智能，只要有一点的小问题就会提示错误。 光驱问题。读取数据的时候不很稳定，造成读出来的数据不完整。这类情况建议更换光驱，毕竟维修的价值不大了光驱属于耗材。读盘的时候[详细]
-
电脑一开机就嘀嘀的响个不停
所属栏目：[大数据] 日期：2021-11-23 热度：93
这种故障时比较常见的由于使用不当造成的。所谓的使用不当是只错误的操作或者不良的使用环境造成的。电脑属于精密的电子产品，对使用环境也相对严格些即使现在技术相对以前先进了。 问题中描述的问题属于由于环境的空气湿度大，导致内存的金手指与主板卡槽[详细]
-
开机进入系统提示注册表读取错误
所属栏目：[大数据] 日期：2021-11-23 热度：174
这类问题是典型的没有对系统做定期维护的习惯导致的。Windows相对Linux和Mac系统来说最大的的区别就是在于Windows系统在使用过程中会产生积累很多很多的注册表(.reg)和动态数据连接文件(.dll)这些文件很多时候系统并不会自动清除过期的或者有问题的，时间[详细]
-
内存是什么
所属栏目：[大数据] 日期：2021-11-23 热度：100
在计算机的组成结构中，有一个很重要的部分，就是存储器。存储器是用来存储程序和数据的部件，对于计算机来说，有了存储器，才有记忆功能，才能保证正常工作。存储器的种类很多，按其用途可分为主存储器和辅助存储器，主存储器又称内存储器(简称内存，港台[详细]
-
什么是内存频率
所属栏目：[大数据] 日期：2021-11-23 热度：153
计算机系统的时钟速度是以频率来衡量的。晶体振荡器控制着时钟速度，在石英晶片上加上电压，其就以正弦波的形式震动起来，这一震动可以通过晶片的形变和大小记录下来。晶体的震动以正弦调和变化的电流的形式表现出来，这一变化的电流就是时钟信号。而内存本[详细]
-
FBGA是什么
所属栏目：[大数据] 日期：2021-11-23 热度：189
FBGA是一种在底部有焊球的面阵引脚结构，使封装所需的安装面积接近于芯片尺寸。 BGA发展来的FBGA封装技术正在逐渐展现它生力军本色，金士顿、勤茂科技等领先内存制造商已经推出了采用FBGA封装技术的内存产品。 FBGA作为新一代的芯片封装技术，在BGA、TSOP[详细]
-
下降能源消耗——生产间歇的汽车车身装配线
所属栏目：[大数据] 日期：2021-11-23 热度：159
当今，能源利用效率已经成为制造业生产过程中必须考虑的因素。为了满足这一需求，在生产间歇中随时关闭那些不工作的部分以减少能源消耗，就成为一种必须具备的能力。工业 4.0 将更大程度地利用现有条件实现这一能力，以保证它能够融入到生产设施从计划到运[详细]
-
全新的由于服务和实时保障的 CPS 平台
所属栏目：[大数据] 日期：2021-11-23 热度：147
具有战略意义的工业4.0 计划将极大地促进全新的CPS 平台更加适应具有协作性特点的商业化进程和连接智能工厂和智能产品的全生命周期各方面的整个商业网络。 这些平台将提供服务和实际应用，并且能联系到所有参与的人员、物体和系统（见图 4），同时还将拥有[详细]
-
工作场所的全新社会基础设备
所属栏目：[大数据] 日期：2021-11-23 热度：123
工业 4.0 将给德国带来若干创新变革，而德国当前正处于人口结构变化的困境中，它拥有世界上第二年老的人口，仅次于日本。在许多德国制造公司，员工的平均年龄在四十多岁。年轻员工的数量在不断下降，某些行业的熟练技工和学徒申请者已出现短缺。为了确保人[详细]
