CentOS中HBase如何进行资源调度

发布时间 - 2025-07-30 00:00:00    点击率:

在centos系统中,hbase的资源调度主要依赖于yarn(yet another resource negotiator)来实现。以下是hbase在centos中进行资源调度的基本步骤:

1. 安装和配置YARN

首先,确保你的CentOS系统上已经安装了Hadoop和YARN。如果没有安装,可以参考Hadoop官方文档进行安装和配置。

安装Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

配置Hadoop

编辑/usr/local/hadoop/etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://localhost:9000value>
    property>
configuration>

编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>
configuration>

编辑/usr/local/hadoop/etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.nodemanager.resource.memory-mbname>
        <value>4096value>
    property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcoresname>
        <value>4value>
    property>
configuration>

2. 启动Hadoop集群

启动HDFS和YARN:

start-dfs.sh
start-yarn.sh

3. 配置HBase使用YARN

编辑HBase的配置文件/usr/local/hbase/conf/hbase-site.xml,添加以下配置:

<configuration>
    <property>
        <name>hbase.rootdirname>
        <value>hdfs://localhost:9000/hbasevalue>
    property>
    <property>
        <name>hbase.cluster.distributedname>
        <value>truevalue>
    property>
    <property>
        <name>hbase.zookeeper.quorumname>
        <value>localhostvalue>
    property>
    <property>
        <name>hbase.zookeeper.property.dataDirname>
        <value>/usr/local/hbase/zookeepervalue>
    property>
    <property>
        <name>hbase.master.info.portname>
        <value>16000value>
    property>
    <property>
        <name>hbase.regionserver.info.portname>
        <value>16020value>
    property>
    <property>
        <name>hbase.regionserver.handler.countname>
        <value>100value>
    property>
    <property>
        <name>hbase.regionserver.global.memstore.sizename>
        <value>0.4value>
    property>
    <property>
        <name>hbase.regionserver.wal.codecname>
        <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodecvalue>
    property>
    <property>
        <name>hbase.regionserver.hlog.blocksizename>
        <value>64Mvalue>
    property>
    <property>
        <name>hbase.regionserver.hlog.writer.implname>
        <value>org.apache.hadoop.hbase.regionserver.wal.HLogWriterFactoryvalue>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.countname>
        <value>1value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.implname>
        <value>org.apache.hadoop.hbase.regionserver.wal.Syncervalue>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpointname>
        <value>100value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.intervalname>
        <value>300000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>60000value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.sizename>
        <value>104857600value>
    property>
    <property>
        <name>hbase.regionserver.hlog.syncer.checkpoint.timeoutname>
        <value>6000


# centos  # apache  # red  # yarn  # Resource  # xml  # hbase  # hadoop  # hdfs  # 如果没有  # 来实现  # 配置文件  # 文档  # 安装了  # 依赖于  # span  # fs  # property  # configuration 


相关栏目: 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571


相关推荐: Linux系统命令中screen命令详解  香港代理服务器配置指南:高匿IP选择、跨境加速与SEO优化技巧  Python函数文档自动校验_规范解析【教程】  图册素材网站设计制作软件,图册的导出方式有几种?  VIVO手机上del键无效OnKeyListener不响应的原因及解决方法  敲碗10年!Mac系列传将迎来「触控与联网」双革新  如何在宝塔面板中创建新站点?  jQuery中的100个技巧汇总  韩国服务器如何优化跨境访问实现高效连接?  Laravel全局作用域是什么_Laravel Eloquent Global Scopes应用指南  电商网站制作多少钱一个,电子商务公司的网站制作费用计入什么科目?  如何快速重置建站主机并恢复默认配置?  文字头像制作网站推荐软件,醒图能自动配文字吗?  国美网站制作流程,国美电器蒸汽鍋怎么用官方网站?  Laravel任务队列怎么用_Laravel Queues异步处理任务提升应用性能  如何在香港免费服务器上快速搭建网站?  深圳网站制作的公司有哪些,dido官方网站?  如何挑选优质建站一级代理提升网站排名?  高端云建站费用究竟需要多少预算?  Laravel如何理解并使用服务容器(Service Container)_Laravel依赖注入与容器绑定说明  高性价比服务器租赁——企业级配置与24小时运维服务  Laravel怎么实现模型属性的自动加密  Laravel如何使用Laravel Vite编译前端_Laravel10以上版本前端静态资源管理【教程】  Laravel Seeder填充数据教程_Laravel模型工厂Factory使用  Laravel如何处理异常和错误?(Handler示例)  php485函数参数是什么意思_php485各参数详细说明【介绍】  Windows10电脑怎么查看硬盘通电时间_Win10使用工具检测磁盘健康  网页设计与网站制作内容,怎样注册网站?  Laravel与Inertia.js怎么结合_使用Laravel和Inertia构建现代单页应用  IOS倒计时设置UIButton标题title的抖动问题  如何在 Pandas 中基于一列条件计算另一列的分组均值  如何为不同团队 ID 动态生成多个非值班状态按钮  nodejs redis 发布订阅机制封装实现方法及实例代码  如何在IIS中配置站点IP、端口及主机头?  Laravel怎么实现一对多关联查询_Laravel Eloquent模型关系定义与预加载【实战】  Swift中switch语句区间和元组模式匹配  如何在腾讯云服务器快速搭建个人网站?  Python文件流缓冲机制_IO性能解析【教程】  网站优化排名时,需要考虑哪些问题呢?  标准网站视频模板制作软件,现在有哪个网站的视频编辑素材最齐全的,背景音乐、音效等?  php静态变量怎么调试_php静态变量作用域调试技巧【解答】  Laravel怎么导出Excel文件_Laravel Excel插件使用教程  最好的网站制作公司,网购哪个网站口碑最好,推荐几个?谢谢?  php 三元运算符实例详细介绍  如何正确下载安装西数主机建站助手?  laravel怎么通过契约(Contracts)编程_laravel契约(Contracts)编程方法  Windows驱动无法加载错误解决方法_驱动签名验证失败处理步骤  实例解析angularjs的filter过滤器  Bootstrap整体框架之JavaScript插件架构  高端智能建站公司优选:品牌定制与SEO优化一站式服务