Ubuntu 网络配置 Ubuntu 网络配置Ubuntu 从 17.01 开始之后的版本,都已放弃在/etc/network/interfaces 里固定 IP 的配置,而是改成 Netplan 方式,Netplan 是一个在 linux 系统上轻松配置网络的实用工具。您只需创建所需网络接口的 YAML 描述以及每个接口应配置的功能。根据此描述,Netplan 将为您选择的渲染器工具生成所 2024-01-24 技术 > Linux #技术 #网络 #Ubuntu #Linux
Flink 常见面试问题 Flink 常见面试问题Flink 介绍Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink 提供了诸多高抽象层的 API 以便用户编写分布式任务: DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处 2023-08-31 技术 > 大数据 #技术 #面试 #大数据 #Flink
Flume 常见面试问题 Flume 常见面试问题Flume 介绍Flume(Apache Flume)是一个开源的分布式日志收集系统,主要用于将大量的日志数据从多个源(如应用服务器、Web 服务器)收集、汇总,并将数据传输到中央数据存储系统(如 Hadoop 的 HDFS、HBase)或其他存储介质。其设计的初衷是帮助用户在大规模分布式系统中方便、快速地收集、聚合和移动大量的日志数据。 关键特点和组件: 可靠性: F 2023-08-31 技术 > 大数据 #技术 #面试 #大数据 #Flume
Zookeeper 常见面试问题 Zookeeper 常见面试问题Zookeeper 介绍Zookeeper 是一个典型的分布式数据一致性的解决方案。 Zookeeper 从设计模式角度来理解,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生了变化,Zookeeper 就负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应。 Zookeep 2023-08-31 技术 > 大数据 #技术 #面试 #大数据 #Zookeeper
Spark 常见面试问题 Spark 常见面试问题基础组件介绍Spark Core: 功能:Spark 的核心引擎,提供基本的分布式任务调度、内存管理和错误恢复功能。包括有向循环图(DAG)、RDD(弹性分布式数据集)、Lingage(操作链)等基础组件。 应用场景:通用的大数据处理任务,提供基本的数据处理能力。 Spark Streaming: 功能:用于实时数据流处理,支持高通量和容错性,可以对多种数据源进行处理,包括 2023-08-29 技术 > 大数据 #技术 #面试 #大数据 #Spark
Kafka 常见面试问题 Kafka 常见面试问题基础Kafka 简介Apache Kafka 是由 LinkedIn 开发并后来捐献给 Apache 软件基金会的一个开源流处理平台。它基于发布-订阅的消息队列架构,设计用于构建高吞吐、持久、可扩展且能够处理大量实时数据流的系统。 Kafka 的主要作用: 消息中间件: Kafka 可以作为高性能的消息队列使用,支持消息的生产和消费,解耦数据生产者和消费者之间的依赖关系。 2023-08-31 技术 > 大数据 #技术 #面试 #大数据 #Kafka
数据仓库 数据仓库数据仓库分层数据仓库的分层是一种重要的架构策略,主要基于以下考虑: 提高处理效率:分层设计允许数据进行预处理,各个层次可以根据需要对数据进行汇总、聚合或转换,为上层应用提供经过优化的数据。这种方法通过牺牲存储空间(存储预处理和汇总后的数据)来换取处理时间,从而提高查询的响应速度,提升用户体验。 减少对原始源的依赖:数据仓库不仅仅是一个数据存储点,而是一个独立的、专为分析设计的系统。通过 2024-01-10 技术 > 大数据 #技术 #大数据 #数仓建模
Hive 常见面试问题 Hive 常见面试问题基础Hive 介绍Hive 是建立在 Hadoop 之上的开源数据仓库工具,其本质是将 Hive 查询语言(HiveQL)转化成 MapReduce 程序。以下是对 Hive 的主要特性和使用方面的详细解释: 面向分析: Hive专注于数据分析,能够高效执行复杂的查询和聚合操作,尤其适用于处理大量数据集和OLAP场景。 SQL-like 查询语言: HiveQL类似于传统的 2023-08-29 技术 > 大数据 #技术 #面试 #大数据 #Hive
Hadoop 常见面试问题 Hadoop 常见面试问题基础ETL 介绍Extraction-Transformation-Loading 的缩写,中文名称为数据提取、转换和加载。 Hadoop 介绍Hadoop 是一个分布式系统基础架构,主要是为了解决海量数据的存储和分析计算的问题。旨在通过将数据分布在集群中的多个计算机上进行并行处理来解决大数据处理的问题。 Hadoop 主要组件Hadoop 的组成在不同版本中有所变化。以 2023-11-08 技术 > 大数据 #技术 #面试 #大数据 #Hadoop
Cloudflare Pages + Hexo 搭建个人博客 Cloudflare Pages + Hexo 搭建个人博客介绍Hexo官网:Hexo Hexo 是一个基于 Node. js 的静态网站生成器,它可以让你快速、简单地搭建个人博客或静态网站。Hexo 使用 Markdown(或其他类似的标记语言)来书写内容,并通过模板引擎将这些内容转换成静态网页。 一些主要的特点包括: 快速搭建:Hexo 具有快速搭建网站的特点,可以帮助你快速创建个人博客或者 2024-01-05 折腾 > 博客 #折腾 #Cloudflare #博客 #Hexo