Mobility

聚沙成塔


  • 首页

  • 标签

  • 分类

  • 归档

  • 站点地图

  • 搜索

一次kafka空间激增排查:kafka的数据压缩、批量发送等

发表于 2016-12-29 | | 阅读次数:
问题过程我司需要接收很多外部数据,数据源的形式很多,ibmmq, activemq, redis pubsub, 等等都有。为了将这些数据接到内部amq/kafka,之前运行了一大批进程,管理起来十分复杂,因此最近用apache-camel对这些进程作了整合。 上线几个小时之后,kafka磁盘空间开始报警。初步断定是这次上线导致的。 排查流程主要还是对kafka不熟悉,只是能用而已,因此排查过程走 ...
阅读全文 »

深入理解java 整型数, Integer的缓存

发表于 2016-12-02 | | 阅读次数:
Integer类实质上也是一个普通的java类,即使值相同,也是不同的对象。 例如 Integer a = <span class="hljs-number">148</span>; Integer b = <span class="hljs-number">148</span> ...
阅读全文 »

storm/jstorm生态与周边工具,storm连接activemq,kafka,hdfs等

发表于 2016-11-16 | | 阅读次数:
storm的周边生态非常丰富,与kafka,activemq,hdfs,hbase等的交互都有现成的工具包可以使用。大部分工具,包括今天介绍的这几个,在jstorm中也可以完全正常的使用。 storm-jms实现了与activemq等jms实现的交互。 这里主要介绍JmsSpout。由于storm中发送队列数据与普通java程序没有任何区别,专门封装一个bolt显得有些多此一举。 https:// ...
阅读全文 »

jstorm UI 介绍

发表于 2016-11-16 | | 阅读次数:
UI说明jstorm的UI相对于storm提供了更为丰富的监控项。UI本身是在tomcat中运行的一个war包,进行二次开发也相对容易。 cluster页Cluster Summary, Cluster Stats, Topology Summarycluster的整体信息, conf中是nimbus节点的配置。 Topology Summary当前运行的所有topology列表及概要信息,con ...
阅读全文 »

五分钟学会写storm代码: jstorm/storm编码原理与普通java程序的区别

发表于 2016-11-16 | | 阅读次数:
运行机制topology里spout/bolt的整体结构不再细讲,主要说说storm/jstorm topology运行时与传统java程序可能存在的区别。其实区别非常少,主要也体现在初始化上,本文的目的在于帮助开发人员在无需了解storm内核原理的情况下,排查topology程序可能出现的问题。 1个topology会包含多个spout线程和bolt线程,分散运行在数个worker(进程)中。同 ...
阅读全文 »

activemq web console的权限配置

发表于 2016-01-05 | | 阅读次数:
activemq的web console是基于jetty实现,其权限管理也是基于jetty. 根据需求,可以给不同的用户赋予不同的权限。jetty的权限管理还算灵活,虽然配起来比较麻烦,可以分别设定某个角色(role)下的用户是否有对某个页面的访问权限。下面简要介绍一下配置方法,只需要修改/conf 下的 jetty.xml, jetty-realm.properties1.& ...
阅读全文 »

storm ui 中一些关键属性的含义

发表于 2015-11-06 | | 阅读次数:
Storm UI对于排查storm使用过程中遇到的问题会很有帮助,但是有些属性的含义不是很明确,虽然都是很简单的概念,如果不知道的话也会很难受。 先说一点,鼠标只到UI上的标题栏时,是可以看到这一属性的具体属性的,几篇google rank很高的文章,其实就是把这个信息整理了下来。 其实大部分属性都是很直白的,看到名字就知道是什么意思,我在这儿之把一些可能造成困扰的属性列一下,方便大家查问题。 & ...
阅读全文 »

activemq 5.6 连接池的内存泄露问题

发表于 2015-08-08 | | 阅读次数:
最近在使用activemq 的连接池时,发现它存在很严重的内存泄露问题。 通过jmap监控,可以看到java.util.concurrent.locks.ReentrantLock, org.apache.activemq.pool.PooledConnection这两个类占用的空间非常大,而且增长速度也很快。 网上查了一下,正好找到activemq的bug 报告.:https://is ...
阅读全文 »

关于apache camel的消息转发效率

发表于 2015-08-08 | | 阅读次数:
公司使用activemq和camel做消息的分发,之前数据量不是很大,所以一直没怎么考虑效率问题,对camel的工作原理研究也不深。单是最近随着业务量的增加,camel的效率逐渐成了瓶颈,所以根据日志大概了解了camel的工作原理。虽然camel是被嵌入到activemq中,但在工作过程中,camel和activemq其实还是相对独立的。我们在camel中会配置一个到activemq的连接. ht ...
阅读全文 »

一篇不错的lda模型入门文档

发表于 2012-12-02 | | 阅读次数:
转自http://leyew.blog.51cto.com/5043877/860255#559183-tsina-1-46862-ed0973a0c870156ed15f06a6573c8bf0 前几天开始学习lda,走了不少弯路,对lda仍然是一头雾水。看了这篇文档以后总算明白lda是干啥的了   LDA(Latent Dirichlet Allocation)学习笔记最近在看LDA ...
阅读全文 »
1…567

流沙

62 日志
5 分类
51 标签
RSS
GitHub StackOverflow 知乎
© 2021 流沙
由 Hexo 强力驱动
|
主题 — NexT.Gemini v6.0.1