Mongodb secondary上面replSet error RS102 too stale to catch up解决

chenhaozjnubit | | 2017-09-22
1 https://101.130.92.32:28018/_replSet 监控网站上报错:replSet error RS102 too stale to catch up Tue Aug 13 05:18:06 [rsSync] replSet See https://www.mongodb.org/display/DOCS/Resyncing+a+Very+Stale+Replica+ [阅读全文]
ė849次浏览 60条评论 0 MongoDB

mongodb读取从库延时数据问题的一种解决方案

chenhaozjnubit | | 2017-09-21
摘要:         某java项目是读多写少的情况,虽然用缓存格挡了很多读的请求,但还是会有不少请求落到mongodb库上。mongodb进行了读写分离,写入往主库,读取从从库,这样减轻了主库的压力。但由于从库同步数据的延时性,某数据在主库写入后马上从从库读,会读取到旧数据并 [阅读全文]
ė1467次浏览 60条评论 0 MongoDB

监控系统---使用Ganglia监控MongoDB

chenhaozjnubit | | 2017-09-14
序言:说道监控问题,官网推介了很多工具,有的是命令行形式,比如mongostat,mongotop,有的是图形界面模式,但也有收费免费之分,比如官网自己的Cloud Manager,Compass就是收费企业版才能用的,当然也可以试用免费开源的官网也推介了很多,比如Ganglia、Zabbix等等Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Gang [阅读全文]
ė857次浏览 60条评论 0 MongoDB

GridFS

chenhaozjnubit | | 2017-09-11
GridFS 简介GridFS 是 MongoDB 的一个用来存储/获取大型数据(图像、音频、视频等类型的文件)的规范。它相当于一个存储文件的文件系统,但它的数据存储在 MongoDB 的集合中。GridFS 能存储超过文档尺寸限制(16 MB)的文件。 GridFS 将文件分解成块,将每块数据保存在不同的文档中,每块大小最高为 255 KB。 GridFS 默认使用 fs.files 和 f [阅读全文]
ė563次浏览 60条评论 0 MongoDB

MongoDB自动删除过期数据--TTL索引

chenhaozjnubit | | 2017-09-07
前序:由于公司业务需求,对于3个月前的过期数据需要进行删除动作,以释放空间和方便维护本来想的是使用crontab写个脚本定时执行,但是看到Mongo本身就有自动删除过期数据的功能,所以还是用一下吧这个方法就是使用TTL索引,后续我再写一个脚本定时删除的任务介绍:TTL索引是MongoDB中一种特殊的索引, 可以支持文档在一定时间之后自动过期删除,目前TTL索引只能在单字段上建立,并且字段类型必须是 [阅读全文]
ė1353次浏览 60条评论 0 MongoDB

mongdb Assertion: 13000:invalid keyNode 问题

chenhaozjnubit | | 2017-08-24
日志:----- BEGIN BACKTRACE -----{"backtrace":[{"b":"400000","o":"B5E669"},{"b":"400000","o":"B074D1"},{"b":"400000","o":"AEB7DF"},{"b":"400000","o":"AEB88C"},{"b":"400000","o":"9015B0"},{"b":"400000","o [阅读全文]
ė586次浏览 60条评论 0 MongoDB

MongoDB Java异步驱动快速指南

chenhaozjnubit | | 2017-08-14
导读mongodb-java-driver是mongodb的Java驱动项目。本文是对MongoDB-java-driver官方文档 MongoDB Async Driver Quick Tour 的翻译(原创翻译)。mongodb-java-driver 从3.0版本开始同时支持同步、异步方式(分别是不同的驱动应用)。异步的好处,众所周知,就是支持快速、非阻塞式的IO操作,可以提高处理速度。请注 [阅读全文]
ė655次浏览 60条评论 0 MongoDB

java连接mongodb的一个奇葩问题及奇葩解决方式

chenhaozjnubit | | 2017-06-29
昨天在eclipse中编写代码,本来连接mongodb进行各项操作都是正常的,但是有一会儿突然之间就没法连接了,还一直抱错,错误如下:信息: Cluster created with settings {hosts=[192.168.0.4:27017], mode=SINGLE, requiredClusterType=UNKNOWN, serverSelectionTimeout='30000 [阅读全文]
ė1157次浏览 60条评论 0 MongoDB

mongodb系列之-治理mongodb->db.currentOp()

chenhaozjnubit | | 2017-06-23
今天公司的dba在内部分享了针对mysql上具体的每个crud语句操作如何进行控制管理(利用的inntop工具),挺好的。这里,我也献丑下,在mongodb中如何管理具体的每个crud操作(比如某个查询语句慢,太占资源,直接可以将其kill掉,这貌似很暴力哈,不过没关系,有时候不得已而为之...不过mongodb中可不是用第三方的工具哦,而是自家实现的功能,顶...)    & [阅读全文]
ė909次浏览 60条评论 0 MongoDB

Mongo性能检查

chenhaozjnubit | | 2017-06-22
前几天,公司游戏突然出现大面积无法登录的情况。查看登录服务器的日志发现,一直在提示“Out of semaphores to get db connection”的错误,且CPU、内存的占用很高,磁盘IO达到100%。很明显,一方面是由于Mongo的线程池耗尽了,另一方面就是服务器的能力已经达到了极限,需要重新规划服务器架构。虽然问题最后解决了,但是在此记录一番留作记录,也希望于其他读者有用处。检 [阅读全文]
ė580次浏览 60条评论 0 MongoDB

Mongodb中的repairDatabase()

chenhaozjnubit | | 2017-05-31
MongoDB中的repairDatabase():官网定义: repairDatabase确认并修复数据存储中的错误和不一致的地方,类似于Linux下的文件操作命令fsck 。当数据库被意外重启或破坏时,使用repairDatabase命令来确保数据完整。实际操作:压缩数据库中所有的collections,等同于分别在每个collection上进行compact命令。减少了磁盘中数据文 [阅读全文]
ė853次浏览 60条评论 0 MongoDB

MongoDB修改oplog size

chenhaozjnubit | | 2016-11-10
> oplog简介:oplog:operations log的简写,存储在一个特殊的数据库中(local),oplog就存储在其中的oplog.$main集合里面,这个集合是一个固定集合,新的记录会自动替换旧的记录,以保证oplog不会超过预设的大小,其中的每个文档都代表主节点上执行的一个操作,oplog会记录包含所有对数据有修改的操作(查询操作不会记录),默认下,oplog大小会占用64位的实例 [阅读全文]
ė810次浏览 60条评论 0 MongoDB

如何估计Oplog的大小

chenhaozjnubit | | 2016-07-26
用户问题: 最近我的一个复制集的从机出了故障,由于修复的时候耽搁了几个小时,等从机加入到复制集的时候已经超出oplog的有效窗口,只能执行resync 的动作把数据从头复制过来,很占时间。我们知道复制集的oplog size 默认是磁盘容量的5%(最小1G,最大50G), 如果我希望增大oplog的有效窗口,我该如何选择oplog的大小呢? [阅读全文]
ė711次浏览 60条评论 0 MongoDB

Logrotate with MongoDB

chenhaozjnubit | | 2016-06-17
MongoDB packages are shipped with logging enabled in configuration but without a script to rotate the logfile. There are two build-in ways to let MongoDB rotate its logfile. You c [阅读全文]
ė737次浏览 60条评论 0 MongoDB

【Mongodb】3.0 配置身份验证db.createUser()说明

chenhaozjnubit | | 2016-04-27
定义: 创建一个数据库新用户用db.createUser()方法,如果用户存在则返回一个用户重复错误。 语法: db.createUser(user, writeConcern)     user这个文档创建关于用户的身份认证和访问信息;     writeConcern这个文档描述保证MongoDB提供写操作的成功报告。 · use [阅读全文]
ė824次浏览 60条评论 0 MongoDB

MongoDB增加内部认证

chenhaozjnubit | | 2016-03-30
1)登录MongoDB的PRIMARY节点,生成keyfile到/home/mongodbData/keyfile: [root@localhost ~]# openssl rand -base64 741 > /home/mongodbData/keyfile [root@localhost ~]# cd /home/mongodbData/ [root [阅读全文]
ė856次浏览 60条评论 0 MongoDB

通过mongodump和mongorestore实现Mongodb备份和恢复

chenhaozjnubit | | 2016-03-25
Mongodb自带了mongodump和mongorestore这两个工具来实现对数据的备份和恢复。 mongodump能够在Mongodb运行时进行备份,它的工作原理是对运行的Mongodb做查询,然后将所有查到的文档写入磁盘。但是存在的 问题时使用mongodump产生的备份不一定是数据库的实时快照,如果我们在备份时对数据库进行了写入操作,则备份出来的文件可 [阅读全文]
ė1292次浏览 61条评论 0 MongoDB

Resync a Member of a Replica Set

chenhaozjnubit | | 2016-03-22
A replica set member becomes “stale” when its replication process falls so far behind that the primary overwrites oplog entries the member has not yet replicated. The member cannot catch up and [阅读全文]
ė1036次浏览 60条评论 0 MongoDB

让mongodb的secondary支持读操作

chenhaozjnubit | | 2016-03-21
对于replica set 中的secondary 节点默认是不可读的。在写多读少的应用中,使用Replica Sets来实现读写分离。通过在连接时指定或者在主库指定slaveOk,由Secondary来分担读的压力,Primary只承担写操作。 如果通过shell访问mongo,要在secondary进行查询。会出现如下错误: imageSet:SECONDARY> [阅读全文]
ė841次浏览 60条评论 0 MongoDB

在MongoDB中实现聚合函数

chenhaozjnubit | | 2016-02-26
随着组织产生的数据爆炸性增长,从GB到TB,从TB到PB,传统的数据库已经无法通过 垂直扩展来管理如此之大数据。传统方法存储和处理数据的成本将会随着数据量增长而显著增加。这使得很多组织都在寻找一种经济的解决方案,比如NoSQL数 据库,它提供了所需的数据存储和处理能力、扩展性和成本效率。NoSQL数据库不使用SQL作为查询语言。这种数据库有多种不同的类型,比如文档结构存 储、键 [阅读全文]
ė923次浏览 60条评论 0 MongoDB

Mongo连接池操作MongoOptions

chenhaozjnubit | | 2016-02-22
mongojavaautoconnectretry  MongoOptions java驱动中,可以在获取mongo实例时,指定一些参数,如下: ServerAddress serverAddress=new ServerAddress("127.0.0.1",27017); MongoOptions mong [阅读全文]
ė808次浏览 60条评论 0 MongoDB

关于MongoDB最大连接数的查看与修改

chenhaozjnubit | | 2016-02-18
在Linux平台下,无论是64位或者32位的MongoDB默认最大连接数都是819,WIN平台不知道,估计也没有人在 WIN平台下使用MongoDB做生产环境 [root@DELL113 mongodb-linux-i686-2.4.1]# mongo admin -u root -p password MongoDB shell ver [阅读全文]
ė1431次浏览 60条评论 0 MongoDB

Mysql or Mongodb LBS快速实现方案

chenhaozjnubit | | 2016-01-06
前两篇文章: 查找附近的xxx 球面距离以及Geohash方案探讨 (http://www.wubiao.info/372) 微信、陌陌 架构方案分析 (http://www.wubiao.info/401) 探讨了,LBS查找附近的XXX;其中包括了,Mysql自定义存储函数方案,以及通过GeoHash、redis自建索引方案。 [阅读全文]
ė1602次浏览 60条评论 0 MySQL MongoDB lbs

Mongodb集群搭建的三种方式

chenhaozjnubit | | 2015-12-18
  Mongodb是时下流行的NoSql数据库,它的存储方式是文档式存储,并不是Key-Value形式。关于Mongodb的特点,这里就不多介绍了,大家可以去看看官方说明:http://docs.mongodb.org/manual/        今天主要来说说Mongodb的三种集群方式的搭建:R [阅读全文]
ė707次浏览 60条评论 0 MongoDB

MongoDB 分页查询的方法及性能

chenhaozjnubit | | 2015-12-07
传统的SQL分页 传统的sql分页,所有的方案几乎是绕不开row_number的,对于需要各种排序,复杂查询的场景,row_number就是杀手锏。另外,针 对现在的web很流行的poll/push加载分页的方式,一般会利用时间戳来实现分页。 这两种分页可以说前者是通用的,连Linq生成的分页都是row_number,可想而知它多通用。后者是无论是性能和复杂程度都是最好的, [阅读全文]
ė887次浏览 60条评论 0 MongoDB

关于 redis、memcache、mongoDB 的对比

chenhaozjnubit | | 2015-09-22
from:http://yang.u85.us/memcache_redis_mongodb.pdf 从以下几个维度,对 redis、memcache、mongoDB 做了对比。 1、性能 都比较高,性能对我们来说应该都不是瓶颈。 总体来讲,TPS 方面 redis 和 memcache 差不多,要大于 mongodb。 2、操作的便利性 memcache [阅读全文]
ė807次浏览 60条评论 0 MongoDB redis memcache

Mongodb java api操作

chenhaozjnubit | | 2015-09-02
本篇文章主要介绍了mongodb对应java的常用增删改查的api,以及和spring集成后mongoTemplate的常用方法使用,废话不多说,直接上代码: 1.首先上需要用到的两个实体类User和Home,对应用户和家乡 import java.util.List; import org.springframework.data.mongod [阅读全文]
ė1034次浏览 60条评论 0 MongoDB

MongoDB整合Spring

chenhaozjnubit | | 2015-09-01
4.1 创建maven项目 4.1.1 repositories 创建maven项目,其中repositories使用spring的maven库:   Java代码         & [阅读全文]
ė2550次浏览 60条评论 0 MongoDB

mongodb 3.0新增用户

chenhaozjnubit | | 2015-08-31
db.createUser( { "user" : "devUser",                  "pwd": "devUser",                  "roles [阅读全文]
ė992次浏览 60条评论 0 MongoDB

MongoDB学习笔记(索引)

chenhaozjnubit | | 2015-08-21
一、索引基础:     MongoDB的索引几乎与传统的关系型数据库一模一样,这其中也包括一些基本的优化技巧。下面是创建索引的命令:     > db.test.ensureIndex({"username":1})     可以通过下面的名称查看索引是否已经成功建立:    &n [阅读全文]
ė944次浏览 60条评论 0 MongoDB

MongoDB 那些坑

chenhaozjnubit | | 2015-08-18
MongoDB 是目前炙手可热的 NoSQL 文档型数据库,它提供的一些特性很棒:如自动 failover 机制,自动 sharding,无模式 schemaless,大部分情况下性能也很棒。但是薄荷在深入使用 MongoDB 过程中,遇到了不少问题,下面总结几个我们遇到的坑。特别申明:我们目前用的 MongoDB 版本是 2.4.10,曾经升级到 MongoDB 2.6.0 版本,问题依然 [阅读全文]
ė749次浏览 60条评论 0 MongoDB