发表于 | | 阅读次数:
这篇文章只讲使用，不讲原理，简单粗暴。 分布式锁，顾名思义，就是分布式的锁，应用于一些分布式系统中。例如，有一个服务部在数太机器上，然后有可能操作数据库中的同一条记录。这时，就需要分布式锁。 分布式锁实现的方式很多，一般来说需要一个实体来代表一个锁，占用锁时就新建这个实体，锁释放时也对应将相应实体删除。同时，一般还需要一个锁超时过期的策略，避免一些异常情况造成锁无法被释放。 zookeeper和r ...
阅读全文 »

发表于 | | 阅读次数:
主要还是通过一个例子加深一下对java多线程里wait,notify的理解，因此写了一个例子，三个线程分别输出A,B,C三个字母，控制这三个线程的执行顺序，从而实现ABCABCABC..这样的输出。 这个问题主要还是需要设计一下锁的策略，这里只是提供了一种方式： 每个线程占用两把锁，分别代表自己(self)和前一个线程（prev）, 三个线程的持有锁情况如下表所示： 线程号prev锁self锁Ac ...
阅读全文 »

发表于 | | 阅读次数:
问题过程我司需要接收很多外部数据，数据源的形式很多，ibmmq, activemq, redis pubsub, 等等都有。为了将这些数据接到内部amq/kafka，之前运行了一大批进程，管理起来十分复杂，因此最近用apache-camel对这些进程作了整合。 上线几个小时之后，kafka磁盘空间开始报警。初步断定是这次上线导致的。 排查流程主要还是对kafka不熟悉，只是能用而已，因此排查过程走 ...
阅读全文 »

发表于 | | 阅读次数:
Integer类实质上也是一个普通的java类，即使值相同，也是不同的对象。 例如 Integer a = <span class="hljs-number">148</span>; Integer b = <span class="hljs-number">148</span> ...
阅读全文 »

发表于 | | 阅读次数:
storm的周边生态非常丰富，与kafka,activemq,hdfs,hbase等的交互都有现成的工具包可以使用。大部分工具，包括今天介绍的这几个，在jstorm中也可以完全正常的使用。 storm-jms实现了与activemq等jms实现的交互。 这里主要介绍JmsSpout。由于storm中发送队列数据与普通java程序没有任何区别，专门封装一个bolt显得有些多此一举。 https:// ...
阅读全文 »

发表于 | | 阅读次数:
UI说明jstorm的UI相对于storm提供了更为丰富的监控项。UI本身是在tomcat中运行的一个war包，进行二次开发也相对容易。 cluster页Cluster Summary, Cluster Stats, Topology Summarycluster的整体信息, conf中是nimbus节点的配置。 Topology Summary当前运行的所有topology列表及概要信息，con ...
阅读全文 »

发表于 | | 阅读次数:
运行机制topology里spout/bolt的整体结构不再细讲，主要说说storm/jstorm topology运行时与传统java程序可能存在的区别。其实区别非常少，主要也体现在初始化上，本文的目的在于帮助开发人员在无需了解storm内核原理的情况下，排查topology程序可能出现的问题。 1个topology会包含多个spout线程和bolt线程，分散运行在数个worker（进程）中。同 ...
阅读全文 »

发表于 | | 阅读次数:
activemq的web console是基于jetty实现，其权限管理也是基于jetty. 根据需求，可以给不同的用户赋予不同的权限。jetty的权限管理还算灵活，虽然配起来比较麻烦，可以分别设定某个角色（role）下的用户是否有对某个页面的访问权限。下面简要介绍一下配置方法，只需要修改/conf 下的 jetty.xml， jetty-realm.properties1.& ...
阅读全文 »

发表于 | | 阅读次数:
Storm UI对于排查storm使用过程中遇到的问题会很有帮助，但是有些属性的含义不是很明确，虽然都是很简单的概念，如果不知道的话也会很难受。 先说一点，鼠标只到UI上的标题栏时，是可以看到这一属性的具体属性的，几篇google rank很高的文章，其实就是把这个信息整理了下来。 其实大部分属性都是很直白的，看到名字就知道是什么意思，我在这儿之把一些可能造成困扰的属性列一下，方便大家查问题。 & ...
阅读全文 »