QConf分布式配置管理工具 QConf

chenhaozjnubit | | 2018-01-29
https://github.com/Qihoo360/QConf/blob/master/README_ZH.md简介 EnglishQConf 是一个分布式配置管理工具。 用来替代传统的配置文件,使得配置信息和程序代码分离,同时配置变化能够实时同步到客户端,而且保证用户高效读取配置,这使的工程师从琐碎的配置修改、代码提交、配置上线流程中解放出来,极大地简化了配置管理工作。特点一处修改,所有机器 [阅读全文]
ė714次浏览 60条评论 0 zookeeper

zookeeper: web ui工具的安装

chenhaozjnubit | | 2018-01-26
ookeeper官方没有提供web用户界面,这使很多人在使用zookeeper(动物管理员)同时,并不是很容易的理解zookeeper的数据结构,还好淘宝有位大神用Nodejs写了一个web的ui工具,虽然界面不是很华丽,但用起来还是挺方便的。网上有其实有些资料可以直接拿来配置,但笔者遭遇几个错误,无奈之下,只有自己写了。       下 [阅读全文]
ė687次浏览 60条评论 0 zookeeper

ZooKeeper学习总结 第一篇:ZooKeeper快速入门

chenhaozjnubit | | 2017-04-14
1. 概述Zookeeper是Hadoop的一个子项目,它是分布式系统中的协调系统,可提供的服务主要有:配置服务、名字服务、分布式同步、组服务等。它有如下的一些特点:简单Zookeeper的核心是一个精简的文件系统,它支持一些简单的操作和一些抽象操作,例如,排序和通知。丰富         Zookeeper的原语操作 [阅读全文]
ė657次浏览 60条评论 0 zookeeper

两种分布式锁实现方案

chenhaozjnubit | | 2016-07-20
声明 本文为Gleasy原创文章,转载请指明引自Gleasy团队博客 第一节:两种分布式锁实现方案(一) 第二节:两种分布式锁实现方案(二) 一。为何使用分布式锁? 当应用服务器数量超过1台,对相同数据的访问可能造成访问冲突(特别是写冲突)。单纯使用关系数据库比如MYSQL的应用可以借助于事务来实现锁,也可以 使用版本号等实现乐观锁,最大的缺陷就是可用性降 [阅读全文]
ė1195次浏览 60条评论 0 redis zookeeper

Zookeeper开源客户端框架Curator简介

chenhaozjnubit | | 2016-07-15
Curator是Netflix开源的一套ZooKeeper客户端框架. Netflix在使用ZooKeeper的过程中发现ZooKeeper自带的客户端太底层, 应用方在使用的时候需要自己处理很多事情, 于是在它的基础上包装了一下, 提供了一套更好用的客户端框架. Netflix在用ZooKeeper的过程中遇到的问题, 我们也遇到了, 所以开始研究一下, 首先从他在github [阅读全文]
ė1093次浏览 60条评论 0 zookeeper

基于zookeeper和quartz实现分布式定时调度

chenhaozjnubit | | 2016-07-13
目的 利用zookeeper的特性,来控制quartz实现分布式调度,保证quartz的单点运行,同时解除quartz自身分布式部署对数据库的依赖,保证同一时刻只有一个quartz应用在执行任务。 实现方式 利用zk的分布式独占锁,控制quartz应用执行节点,让拿到独占锁的quartz应用执行调度,没有拿到独占锁的quartz处理等待状态。 [阅读全文]
ė2751次浏览 60条评论 0 zookeeper quartz

Curator框架应用

chenhaozjnubit | | 2016-07-11
CuratorFramework Curator框架提供了一套高级的API, 简化了ZooKeeper的操作。 它增加了很多使用ZooKeeper开发的特性,可以处理ZooKeeper集群复杂的连接管理和重试机制。 这些特性包括: 自动化的连接管理: 重新建立到ZooKeeper的连接和重试机制存在一些潜在的错误case。 Curator帮助你处理这些事情,对 [阅读全文]
ė862次浏览 60条评论 0 zookeeper

zookeeper watcher使用注意点

chenhaozjnubit | | 2016-07-07
背景  项目中使用了zookeeper进行的类似工作流引擎的工作流转,将一次工作请求拆分了4个节点(S/E/T/L)。S阶段做完后,通过zk的watcher触发下一个E节点进行处理,S和E可能为不同的jvm上,所以需要走一个分布式的消息进行通知。 思路 基于zookeeper做持久化watcher,项目中直接使用zookeeper官方api,大致 [阅读全文]
ė957次浏览 60条评论 0 zookeeper

Zookeeper开发常见问题

chenhaozjnubit | | 2016-06-29
背景与目的 Zookeeper开发过程中遇到一些常见问题,为了后续开发不犯同样的错误,总结一下此类问题,并进行分析和解决。 适合人员 主要适合zookeeper开发、测试及运维相关人员。 问题与解决 一、 关于zookeeper_init函数的使用 问题描述: [阅读全文]
ė1580次浏览 60条评论 0 zookeeper

zookeeper 分布式锁服务

chenhaozjnubit | | 2016-06-24
分布式锁服务在大家的项目中或许用的不多,因为大家都把排他放在数据库那一层来挡。当大量的行锁、表锁、事务充斥着数据库的时候。一般web应用很多的瓶颈都在数据库上,这里给大家介绍的是减轻数据库锁负担的一种方案,使用zookeeper分布式锁服务。 zookeeper是hadoop下面的一个子项目, 用来协调跟hadoop相 关的一些分布式的框架, 如hadoop, h [阅读全文]
ė1007次浏览 60条评论 0 zookeeper

跟着实例学习ZooKeeper的用法: 分布式锁

chenhaozjnubit | | 2016-06-21
锁 分布式的锁全局同步, 这意味着任何一个时间点不会有两个客户端都拥有相同的锁。 可重入锁Shared Reentrant Lock 首先我们先看一个全局可重入的锁。 Shared意味着锁是全局可见的, 客户端都可以请求锁。 Reentrant和JDK的ReentrantLock类似, 意味着同一个客户端在拥有锁的同时,可以多次获取,不会被阻塞。 它是由类 [阅读全文]
ė730次浏览 60条评论 0 zookeeper

ZooKeeper 典型应用场景一览

chenhaozjnubit | | 2016-05-20
ZooKeeper 典型应用场景一览 数据发布与订阅(配置中心) 发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,服务式服务框架的服务地址列表等就非常适合使用。 1. 应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样:应用在启动的时候 [阅读全文]
ė693次浏览 60条评论 0 zookeeper

zookeeper 大量连接断开重连原因排查

chenhaozjnubit | | 2016-03-10
问题现象 最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G,后来设置下日志为滚动输出,参考: http://blog.csdn.net/hengyunabc/article/details/19006911 但是改了之后,发现一天的日志量就是100多M,滚动日志一天就被冲掉了,这个不科学。 再仔细查看下日志里的内 [阅读全文]
ė1297次浏览 60条评论 0 zookeeper

dubbo学习之dubbo管理控制台装配及集成zookeeper集群部署

chenhaozjnubit | | 2015-12-25
转载:http://www.myexception.cn/open-source/1485302.html dubbo管理控制台开源部分主要包含:路由规则,动态配置,服务降级,访问控制,权重调整,负载均衡,等管理功能。 1、下载dubbo 地址:http://code.alibabatech.com/mvn/releases/com/alibaba/dubbo-ad [阅读全文]
ė1510次浏览 60条评论 0 dubbo zookeeper

myid文件缺失导致zk无法启动(myid file is missing)

chenhaozjnubit | | 2015-12-23
myid文件缺失 现象 :zookeeper无法启动; 异常 :$dataDir/myid file is missing; 原因 :zk集群中的节点需要获取myid文件内容来标识该节点,缺失则无法启动; 解决 :在zk数据文件存放目录下(见 $ZK/conf/zoo.cfg,d [阅读全文]
ė2353次浏览 60条评论 0 zookeeper

ZooKeeper-3.3.4集群安装配置

chenhaozjnubit | | 2015-12-22
ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运 [阅读全文]
ė853次浏览 60条评论 0 zookeeper