发表于 | | 阅读次数:
Jstorm的UI中提供了大量非常详细的监控参数，对于我们排查问题帮助非常大，关于UI，可以参考我之前的另一篇文章： https://lcy362.github.io/posts/31996/ 。 不过，UI这种方式用起来有时可能会不太方便，比如需要查历史数据的时候。所以我们希望将监控数据输出到别的存储介质中，方便后续查询、分析。 由于jstorm的监控相比于apache-storm进行了完全的重 ...
阅读全文 »

发表于 | | 阅读次数:
apache-camel 作为数据路由的利器，使用起来非常方便。不过与此同时，也有一个问题，就是由于封装的过于完善，隐藏了很多技术细节，所以一旦有问题，排查会比较困难。好在官方提供了一个debug工具，可以帮助我们正常的打断点、调试，http://camel.apache.org/debugger.html， 在本文中会对官方文档做一些补充。 首先需要引入camel-test包：12345< ...
阅读全文 »

发表于 | 分类于 | | 阅读次数:

问题

用过storm或者jstorm的都知道，如果在bolt代码中发生了没被catch住的异常，所在worker进程会退出。本文就从源码角度分析一下具体设计，其实并不是“有异常然后进程崩了”这么简单。

阅读全文 »

发表于 | | 阅读次数:
除了通过properties，xml等格式的配置文件对log4j进行配置外，log4j还提供了各种接口，可以用代码动态修改log4j的配置，例如给一个logger增加一个appender。方法很简单，就是新建一个appder，然后添加到logger上，示例代码如下：123456789KafkaLog4jAppender kafkaAppender = new KafkaLog4jAppender( ...
阅读全文 »

发表于 | | 阅读次数:
有时候我们需要写一些简单的性能测试代码，恰好在stackoverflow上看到一篇经验之谈，https://stackoverflow.com/questions/504103/how-do-i-write-a-correct-micro-benchmark-in-java， 怎样写基准测试来尽量屏蔽掉环境的影响。 翻译出来贴在这儿： 来自Java HotSpot作者的撰写微基准的提示： 规则0： ...
阅读全文 »

发表于 | | 阅读次数:
在java里， 我们可以使用Executors.newFixedThreadPool 来创建线程池， 然后就可以不停的创建新任务，并用线程池来执行了。 在提交任务时，如果线程池已经被占满，任务会进到一个队列里等待执行。 这种机制在一些特定情况下会有些问题。今天我就遇到一种情况：创建线程比线程执行的速度要快的多，而且单个线程占用的内存又多，所以很快内存就爆了。 想了一个办法，就是在提交任务之前，先检 ...
阅读全文 »

发表于 | | 阅读次数:
maven里的mirror和repository是两个比较容易混淆的概念，它们的作用都是配置远程maven仓库的地址。顾名思义，repository就是直接配置站点地址，mirror则是作为站点的镜像，代理某个或某几个站点的请求，实现对repository的完全代替。 repository有两种形式可以配置多个repository, 配置多个profile或者在同一个profile中配置多个rep ...
阅读全文 »

发表于 | | 阅读次数:
eclipse里有一个功能叫做“打可执行(runnable) jar包”, 用这个功能可以把一个工程自身和所有依赖包打成一个fat jar，并且指定Main方法，这样直接使用java jar xxx.jar就可以运行代码了。 但是在不使用eclipse的时候呢？其实，借助maven，我们很容易实现同样功能。maven提供了一个shade plugin,可以用来打fat jar, 同时也提供了指定m ...
阅读全文 »

发表于 | | 阅读次数:
activemq提供了一种插件(plugin)开发的机制(http://activemq.apache.org/developing-plugins.html), 可以方便的添加各种自定义功能。其效果类似于直接去修改activemq的源码，无论从方便性还是风险程度上，使用plugin都要比去修改源码要好很多。通过这种方式，理论上我们可以实现几乎所有能想到的功能。 开发指南首先需要在工程中添加act ...
阅读全文 »

发表于 | | 阅读次数:
在命令行运行java程序时，如果想引入第三方jar包该怎么办呢。方法其实有很多，一般都是去折腾classloader. 这里介绍一种操作相对简单的方法，就是在运行之前把需要的jar包都加入到classpath中。 具体来说，就是写一个shell脚本，定义一个参数，可以就叫CLASSPATH, 也可以叫别的。 CLASSPATH=yourownjar.jar:xxx.jar:/xx/xx/xxx1 ...
阅读全文 »