发表于 | | 阅读次数:
问题过程我司需要接收很多外部数据，数据源的形式很多，ibmmq, activemq, redis pubsub, 等等都有。为了将这些数据接到内部amq/kafka，之前运行了一大批进程，管理起来十分复杂，因此最近用apache-camel对这些进程作了整合。 上线几个小时之后，kafka磁盘空间开始报警。初步断定是这次上线导致的。 排查流程主要还是对kafka不熟悉，只是能用而已，因此排查过程走 ...
阅读全文 »

发表于 | | 阅读次数:
Integer类实质上也是一个普通的java类，即使值相同，也是不同的对象。 例如 Integer a = <span class="hljs-number">148</span>; Integer b = <span class="hljs-number">148</span> ...
阅读全文 »

发表于 | | 阅读次数:
storm的周边生态非常丰富，与kafka,activemq,hdfs,hbase等的交互都有现成的工具包可以使用。大部分工具，包括今天介绍的这几个，在jstorm中也可以完全正常的使用。 storm-jms实现了与activemq等jms实现的交互。 这里主要介绍JmsSpout。由于storm中发送队列数据与普通java程序没有任何区别，专门封装一个bolt显得有些多此一举。 https:// ...
阅读全文 »

发表于 | | 阅读次数:
UI说明jstorm的UI相对于storm提供了更为丰富的监控项。UI本身是在tomcat中运行的一个war包，进行二次开发也相对容易。 cluster页Cluster Summary, Cluster Stats, Topology Summarycluster的整体信息, conf中是nimbus节点的配置。 Topology Summary当前运行的所有topology列表及概要信息，con ...
阅读全文 »

发表于 | | 阅读次数:
运行机制topology里spout/bolt的整体结构不再细讲，主要说说storm/jstorm topology运行时与传统java程序可能存在的区别。其实区别非常少，主要也体现在初始化上，本文的目的在于帮助开发人员在无需了解storm内核原理的情况下，排查topology程序可能出现的问题。 1个topology会包含多个spout线程和bolt线程，分散运行在数个worker（进程）中。同 ...
阅读全文 »

发表于 | | 阅读次数:
activemq的web console是基于jetty实现，其权限管理也是基于jetty. 根据需求，可以给不同的用户赋予不同的权限。jetty的权限管理还算灵活，虽然配起来比较麻烦，可以分别设定某个角色（role）下的用户是否有对某个页面的访问权限。下面简要介绍一下配置方法，只需要修改/conf 下的 jetty.xml， jetty-realm.properties1.& ...
阅读全文 »

发表于 | | 阅读次数:
Storm UI对于排查storm使用过程中遇到的问题会很有帮助，但是有些属性的含义不是很明确，虽然都是很简单的概念，如果不知道的话也会很难受。 先说一点，鼠标只到UI上的标题栏时，是可以看到这一属性的具体属性的，几篇google rank很高的文章，其实就是把这个信息整理了下来。 其实大部分属性都是很直白的，看到名字就知道是什么意思，我在这儿之把一些可能造成困扰的属性列一下，方便大家查问题。 & ...
阅读全文 »

发表于 | | 阅读次数:
最近在使用activemq 的连接池时，发现它存在很严重的内存泄露问题。 通过jmap监控，可以看到java.util.concurrent.locks.ReentrantLock, org.apache.activemq.pool.PooledConnection这两个类占用的空间非常大，而且增长速度也很快。 网上查了一下，正好找到activemq的bug 报告.:https://is ...
阅读全文 »

发表于 | | 阅读次数:
公司使用activemq和camel做消息的分发，之前数据量不是很大，所以一直没怎么考虑效率问题，对camel的工作原理研究也不深。单是最近随着业务量的增加，camel的效率逐渐成了瓶颈，所以根据日志大概了解了camel的工作原理。虽然camel是被嵌入到activemq中，但在工作过程中，camel和activemq其实还是相对独立的。我们在camel中会配置一个到activemq的连接. ht ...
阅读全文 »

发表于 | | 阅读次数:
转自http://leyew.blog.51cto.com/5043877/860255#559183-tsina-1-46862-ed0973a0c870156ed15f06a6573c8bf0 前几天开始学习lda,走了不少弯路，对lda仍然是一头雾水。看了这篇文档以后总算明白lda是干啥的了   LDA（Latent Dirichlet Allocation）学习笔记最近在看LDA ...
阅读全文 »