"#{thinking} on lzy"
lzy.je · 共 30 篇文章
超轻量 pthread 集结点实现
我需要的 pthread 线程集结点功能,使用同一集结点的线程将通过 rend_wait 函数等待,当集结点到达指定数量的线程后同时激发继续执行。使用 pthread 的 mutex 和 cond 超轻量实现。下面 rend.h 是集结点实现,rendezvous.c 是测试应用。 /* * rend.h * * Created on: 2009-11-14 * Author: liuzy (lzy.dev@gmail.com) */ #ifndef REND_H_ #define REND_H_ #include <pthread.h> #include <assert.h> struct…
2009-11-16 20:53 · Programing · 评论(0)
htmlparser 中修改 HTML 内容的方法
htmlparser( HTML Parser )是 sourceforge.net 上的一个成熟的 java 项目。它可以解析 HTML 页面,用来抽取或修改其内容,通过过滤器、访问者来访问程序关心的标签(Tag)。 htmlparser 写道 HTML Parser is a Java library used to parse HTML in either a linear or nested fashion. Primarily used for transformation or extraction, it features filters, visitors, custom t…
2009-08-24 16:03 · Programing · 评论(0)
启用 IHS GZip 压缩提高网络 IO 性能
默认安装配置下 IHS 并未启用 GZip 压缩选项,我们也可以通过 IHS 本身的 httpd.conf 文件配置和通过 HttpWatch、Fiddler 等工具查看前端 HTTP 响应内容来确认 IHS GZip 压缩是否启用、正确。一般情况下应该考虑启用 Web 服务器上 GZip 压缩,这样可以有效缩短客户端到 Web 服务器间的网络 RTT 指标,尤其是在中低速网络情况下;同时对于广泛使用的以文本类型 XML 数据为主的 Ajax 应用的数据推送,这种压缩也非常有效。 IHS 中启用 GZip 压缩功能超级简单,只需要在 httpd.conf 配置文件最后添加如下内容,就可以启用…
2009-08-16 02:17 · Performance · 评论(1)
Easymock & DbUnit 入门介绍
下面内容是昨天应甲方要求给项目组做的 Easymock 和 DbUnit 工具入门介绍及实践方面交流的文字部分。贴在这里一方面作以记录,另一方面为也有此需要的兄弟提供些素材。(我也参考&引用了不少,呵呵时间紧。) 单元测试与 mock 测试方法 单元测试是对应用中的某一个模块(class)的功能(method)进行验证。在单元测试中,我们常遇到的问题是应用中其它的协同模块尚未开发完成,或者被测试模块需要和一些不容易构造、比较复杂的对象进行交互。由于不能肯定外围依赖模块的正确性,我们也无法确定测试中发现的问题是由哪个模块引起的。 Mock 对象能够模拟其它协同模块(class)的行为,被测试模…
2009-07-18 14:00 · Programing · 评论(1)
JRE Hack 浅度研究
很多时候对应用软件代码层面的性能调优受到很多主观、客观条件的影响,本文所述的 JRE Hack 就是在这样的背景下展开的。当前的应用中需要记录大量的调试信息,程序直接采用了 System.out.println 方法来将这些内容输出到日志文件中(WebSphere 的 outputStreamRedirect 默认配置到了 ${SERVER_LOG_ROOT}/SystemOut.log 文件),因此 System.out.println 方法大量遍布在整个程序代码中。而由于该方法是线程安全的,即被同步(临界区保护)形成了串行执行,结果造成整体业务处理串行点很多,性能比较低下。解决 方法也很…
2009-06-14 01:12 · Programing · 评论(4)
活用 LoadRunner 对应用接口 Profiling
在二年前开始使用 LoadRunner 工具,那时还是 8.0 版 Mercury 的产品,一年前开始使用 HP 的 LoadRunner 9.0,很好很实用的工具。用了这么长时间也没写过与它有关的东西,主要是觉得真是没什么可写的,仅仅是一个负载生成工具,为了在性能测试中生成需要的压力而已,能够很灵活的开发基于 C 或其它语言(如 C#)程序脚本,当然了为了使用它的一些自动指标采集等功能,需要基于它的框架/结构和函数集来开发,基本程序脚本可以通过“录制”来自动生成大半,更多时候运气好的话基本直接可以做参数化了,这个过程不会太困难。 这里想说的是使用 LoadRunner 工具来对应用系统的接…
2009-06-06 14:17 · Troubleshooting & tuning · 评论(0)
记一次 java class loader 引发的严重内存泄露
本周负责对一个 Web 应用进行故障分析,最终发现应用停止响应故障是由于在特定情况下 java class loader 所引发的严重内存泄露造成的,在此作以记录。 该 Web 应用故障表现为运行一段时间后,会出现服务停止响应的情况,间隔时间也很随机。在对其 javacore 分析后发现,停止响应的原因在于 jvm heap 耗尽,导致 web container 工作线程抛出了 out of memory 异常。 进一步对 heap dump 分析发现,应用 jvm 中发生了严重的内存泄露,而且泄露对象数量和占用的内存空间都很多,其根本的原因是由于 jvm class loader 泄露。…
2009-05-29 03:21 · Troubleshooting & tuning · 评论(0)
几个常见的 Socket 连接错误及原因
下面列出了几个在客户与服务进程连接中常见的几个 Socket 错误,并分析了原因。后续再逐渐补充吧。 ECONNABORTED 该错误被描述为“software caused connection abort”,即“软件引起的连接中止”。原因在于当服务和客户进程在完成用于 TCP 连接的“三次握手”后,客户 TCP 却发送了一个 RST (复位)分节,在服务进程看来,就在该连接已由 TCP 排队,等着服务进程调用 accept 的时候 RST 却到达了。POSIX 规定此时的 errno 值必须 ECONNABORTED。源自 Berkeley 的实现完全在内核中处理中止的连接,服务进程将永…
2009-05-11 21:54 · Troubleshooting & tuning · 评论(0)
RLIMIT_*
用于取得 *nix 平台上的 RLIMITs 值,我猜应该是完整列表吧。参考了 apue2e。 #if defined(SOLARIS) #define _XOPEN_SOURCE 500 /* Single UNIX Specification, Version 2 for Solaris 9 */ #define CMSG_LEN(x) _CMSG_DATA_ALIGN(sizeof(struct cmsghdr)+(x)) #elif !defined(BSD) #define _XOPEN_SOURCE 600 /* Single UNIX Specification, Versio…
2009-04-27 19:57 · Misc tools · 评论(0)
Linux 创建多进程 & 线程时的进程栈段处理(学习记录)
最近有日子没写博客了,这段时间有点事忙活一阵子,好在已经接近尾声。也该轮到投些时间好好研究下真刀真枪的东西,干些有意义的事。这两天抽时间继续往下看了看 Linux 内核和 Unix 编程的书,边看边琢磨,想到个关于进程在 fork 子进程或 pthread 出 lwp 时父亲进程的栈段是如何处理的问题,结合 Linux 内核的说明对这个问题有了明确的理解,在此做个笔记。大家也一起研究、分享下~ 历史上来说,*nix 里的 C 程序进程由以下几部分组成: 正文段。也有叫代码段的。存放着 CPU 执行的机器指令。它一般是共享、只读的。 初始化数据段。存放着程序中明确赋初值的变量。 非初始化数据段…
2009-04-21 21:48 · Kernel · 评论(0)
提高 .NET 应用 XML 处理性能的几点开发经验
把这二周做的一个 .NET 应用性能优化的实践经验分享出来,记录的同时也请大家踊跃发言,分享更多。由于业务特点、整体架构设计和外围系统等因素,这个应用的性能瓶颈主要是由于 XML 相关处理造成的,其中包括大 XML 数据(50M 以上)的解析和查询、从外围系统下载 XML 数据、B/S 结构中的并发处理快速响应要求等。通过本次实践,对 .NET Framework 提供的 XML 处理有了更加深入的研究和理解,并做了一些验证并实施。最终结果还是很理想的,主要降低服务器 CPU 利用率的目标也达到,从之前的 50% 以上 (双核机器,实际上单个核心已经饱和)降低到 10% 左右,有些业务可降到…
2009-03-21 12:52 · Performance · 评论(1)
Flex 3 RIA 应用 + WCF 服务开发注意事项(2009-5-20 updated)
这两天应需要研究了下 WCF 服务和 Flex 3 RIA 相关的开发技术,并上手写了一些代码,发现之前的考虑有不少细节问题需要注意、解决,打算用这篇持续更新的文章来做以记录,将通过 Flex 3 RIA 应用来使用 WCF 服务过程中发现的问题和解决方法以注意事项的形式记录清楚。正所谓吃一堑长一智,也请大家多多分享,一起补充。 WCF 服务使用的 SOAP 版本 “Provider com.bea.xml.stream.MXParserFactory not found” 异常 启用 “basicHttpBinding” 绑定的 Session 支持 “The maximum array …
2009-03-17 22:41 · Service · 评论(0)
使用 .Net Memory Profiler 诊断 .NET 应用内存泄漏(方法与实践)
做过应用诊断与优化的朋友都知道内存泄漏和带来的危害,对这种情况的分析和定位一般会比较困难,尤其在 .NET/Java 应用中,隐式的堆内存管理以及托管对象间纷繁复杂的引用关系,使分析和定位问题更加复杂。本文以我的了解,尽量说明了: 一种对 .NET/Java 托管内存类应用的内存泄漏分析和诊断方法; 使用 .Net Memory Profiler 工具对一个真实 ASP.NET 应用中存在内存泄漏问题的分析、诊断实践过程作为示例。 本文包括以下问题、不足: 本文以我的现有理解写成,尤其是“方法”相关的内容,每个人在不同情况下会有不同的方式; 不是 .Net Memory Profiler 工…
2009-03-06 00:59 · Troubleshooting & tuning · 评论(5)
使用开源免费工具检查 Web 应用潜在的安全缺陷
这几天应工作的需要,一直在调查、研究一些开源、免费的 Web 应用安全缺陷检测软件。经过试用,感觉这方面的工具很多,但和 Rational AppScan 这种商用软件相比都不够强大、全面(当然,可比性也不大),各个工具都覆盖了一些方面的问题,但又都不全面,可能这也就是开源社区“产品”的特点和优势吧,呵呵。在这里把觉得比较好的三款工具实践过程在这里做个简单记录、分享。 这里要说的三个工具分别是: Google Ratproxy (1.54 beta,Apache 2.0 协议) Nikto (2.03,GPL 协议) Wapiti (2.0.0-beta,GPL 协议) 拿到的版本都是最新的…
2009-02-24 21:57 · Security · 评论(6)
Linux 引导加载学习笔记
本文以是我的学习记录,其中一些文字和图片来自参考资料所列文档,感谢作者对其知识和分享! 最近在自学 Linux kernel 方面的东西,这两天了粗浅的研究了下 kernel boot 过程,在此记录。 这里所指 Linux 引导加载未涉及虚拟化环境,即系统未运行在 hypervisor 之上。 Linux 通过执行不同阶段的引导加载程序(boot loader)程序来引导操作系统,在完成内核等引导之后,最终会由调度器接管 CPU,其通过启用中断来周期性的抢占控制权,处理多个用户进程/客户进程(kvm 虚拟化)。Top level 的引导过程如下图。 整个 Linux 系统引导共分 5 步执…
2009-02-16 23:23 · Kernel · 评论(3)