在对超过百万条记录的集合进行聚合操作。

    DBObjectmatch=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}");DBObjectgroup=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}");AggregationOutputoutput=logCollection.aggregate(match,group);

偶尔会发生Read timed out 异常。

    com.mongodb.MongoException$Network:Readoperationtoserver/192.168.10.202:27017failedondatabaseadLogTableatcom.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253)atcom.mongodb.DB.command(DB.java:261)atcom.mongodb.DB.command(DB.java:243)...Causedby:java.net.SocketTimeoutException:Readtimedoutatjava.net.SocketInputStream.socketRead0(NativeMethod)atjava.net.SocketInputStream.read(SocketInputStream.java:152)

通过多次测试,发现执行一次聚合平均时间为5s,超过5s时就会报错!

然后查看MongoDB的配置信息:

    socket-timeout="5000"//5s

socket-timeout的默认配置为0,也就是没有限制。

没有超时限制,系统出了问题也不容易发现,应该根据实际情况,给出合理的超时时间。

通过多次测试发现最长执行时间为6秒,就把超时时间设置成了10000。

    socket-timeout="10000"//10s

注意:MongoDB在与Spring整合时,如果要配置多个MongDB源,只会启用***一个<mongo:options>配置。

应该把参数配置信息存储在properties文件中。

    <mongo:mongohost="${mongodb.ip}"id="mongo202"port="${mongodb.port}"><mongo:optionsconnections-per-host="200"threads-allowed-to-block-for-connection-multiplier="100"connect-timeout="1000"max-wait-time="1000"auto-connect-retry="true"socket-keep-alive="true"socket-timeout="10000"slave-ok="true"write-number="1"write-timeout="0"write-fsync="true"/></mongo:mongo>

通过Java API获取配置参数

    DBCollectionlogCollection=mongoTemplate.getCollection(collName);MongoOptionsmongoOptions=logCollection.getDB().getMongo().getMongoOptions();System.out.println(mongoOptions.getSocketTimeout());

***一点: ConnectionTimeOut和SocketTimeOut的区别:

一次完整的请求包括三个阶段:

建立连接 数据传输 断开连接

如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut,就会抛 ConnectionTimeOutException,即服务器连接超时,没有在规定的时间内建立连接。

如果与服务器连接成功,就开始数据传输了。

如果服务器处理数据用时过长,超过了SocketTimeOut,就会抛出SocketTimeOutExceptin,即服务器响应超时,服务器没有在规定的时间内返回给客户端数据。