ITeye博客

爪哇人

Heart.X.Raid · 共 118 篇文章

[置顶] 博客声明

开这个博客一来作为自己的学习笔记;二来也希望能 得到志同道合者广泛的交流。为此,本人声明几点: (1)对访客的所有评价绝对不会删除(即使是非恶意的粗言秽语)。但是 本人真心希望大家所给出的评价是立足于交流学习之目的。 (2) 对于本人原创之文章,允许转载,但要求注明文章作者Heart.Raid以及文章来源URL。 (3) 对于本人转载之文章,我会在文章开始处写明原创作者姓名和原始URL链接。如要再次转载,希望大家注明原始作者姓名和原始URL。 ~ 热诚 欢迎广大IT同行扔砖头... 另外,对于一些经典的文章,我会进行全文转载 。原因就是怕以后对这些文章的链接丢失,找不到这些武功秘籍将是一件很…

2009-08-04 22:26 · 评论(0)

【文本分类】 特征抽取之χ2统计量

全文转载: http://www.blogjava.net/zhenandaci/archive/2008/08/31/225966.html 作者: Jasper 大家应该还记得, 开方检验(χ2,又称Chi-square) 其实是数理统计中一种常用的检验两个变量独立性的方法。 开方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。具体做的时候常常先假设两个变量确实是独立的(行话就叫做“原假设”),然后观察实际值(也可以叫做观察值)与理论值(这个理论值是指“如果两者确实独立”的情况下应该有的值)的偏差程度,如果偏差足够小,我们就认为误差是很自然的样本误差,是测量手段不够…

2010-09-24 19:44 · 自然语言处理技术 · 评论(1)

【文本分类】 特征抽取之信息增益

全文装载: http://www.blogjava.net/zhenandaci/archive/2009/03/24/261701.html 作者:Jasper (from BlogJava) 在前面的《文本分类概述》文章中,我们讲到了基于统计学习的方法进行分类的关键在于对训练集语料的特征选择的好坏。那么训练集中哪些词可以作为特征,哪些词则不能呢?我们必须对训练集中所有词语量化其重要程度。 信息增益 (IG, Information Gain ) 就是一种很有效的特征量化方法(特征选择方法)。 在信息增益中,重要性的衡量标准就是看特征能够为分类系统带来多少信息,带来的信息越多,该特征越重要…

2010-09-19 16:12 · 自然语言处理技术 · 评论(1)

【文本分类】文本表示 --- VSM

要使得计算机能高效的处理真实文本,就必须找到一种理想的形式化表示方法,这种表示一方面能真实的反映文档内容(主题、领域或结构等),另一方面也要有对不同文档的区分能力。 目前文本表示通常采用向量空间模型(vector space model, VSM) 。VSM是20世纪60年代末期由G. Salton等人提出的,是当前自然语言处理中常用的主流模型。 下面首先给出VSM设计的基本概念: (1) 文档(document): 通常是文章中具有一定规模的字符串。文档通常我们也叫文本。 (2) 特征项 (feature term): 是VSM中最小的不可分的语言单元,可以是字、词、词组、短语等。一个文档…

2010-09-17 14:22 · 自然语言处理技术 · 评论(0)

【文本分类】 概述

部分转载: http://www.blogjava.net/zhenandaci/archive/2008/05/31/204646.html 作者:Jasper 文本分类(text categorization) 问题就是将一篇文档归入预先定义的几个类别中的一个或几个,而文本的自动分类则是使用计算机程序来实现这样的分类。 通俗点说,就好比你拿一篇文章,问计算机这文章要说的究竟是体育,经济还是教育,计算机答不上就打它的屁屁(……)。 注意这个定义当中着重强调的两个事实。 第一,用于分类所需要的类别体系是预先确定的。 例如新浪新闻的分类体系,Yahoo!网页导航的分类层次。这种分类层次一旦确定…

2010-09-17 12:16 · 自然语言处理技术 · 评论(0)

Java内存泄露问题

内存泄露 所谓内存泄露就是指一个不再被程序使用的对象或变量一直被占据在内存中。 java中有垃圾回收机制,它可以保证一对象不再被引用的时候,即对象编程了孤儿的时候,对象将自动被垃圾回收器从内存中清除掉。由于Java 使用有向图的方式进行垃圾回收管理,可以消除引用循环的问题,例如有两个对象,相互引用,只要它们和根进程不可达的,那么GC也是可以回收它们的,例如下面的代码可以看到这种情况的内存回收: public class GarbageTest { public static void main(String[] args) throws IOException { try { gcTest(…

2010-08-29 08:49 · J2SE - JVM与CLASS · 评论(4)

Java面试过程中会遇到的问题

1、abstract的method是否可同时是static,是否可同时是native,是否可同时是synchronized? abstract的method 不可以是static的 ,因为抽象的方法是要被子类实现的,而static与子类扯不上关系! abstract的method 不可以是native的, native方法表示该方法要用另外一种依赖平台的编程语言实现的,不存在着被子类实现的问题,所以,它也不能是抽象的,不能与abstract混用。例如,FileOutputSteam类要硬件打交道,底层的实现用的是操作系统相关的api实现,例如,在windows用c语言实现的,所以,查看jdk…

2010-08-28 09:37 · IT职场面笔题 · 评论(1)

JVM加载class文件的原理

当Java编译器编译好.class文件之后,我们需要使用JVM来运行这个class文件。那么最开始的工作就是要把字节码从磁盘输入到内存中,这个过程我们叫做【 加载 】。加载完成之后,我们就可以进行一系列的运行前准备工作了,比如: 为类静态变量开辟空间,将常量池存放在方法区内存中并实现常量池地址解析,初始化类静态变量等等。这篇文章我们要好好谈谈JVM是如何加载class文件的? 1、JVM加载类的过程 当我们使用命令来执行某一个Java程序(比如Test.class)的时候:java Test (1) java.exe 会帮助我们找到 JRE ,接着找到位于 JRE 内部的 jvm.dll ,…

2010-08-26 11:30 · J2SE - JVM与CLASS · 评论(2)

JVM垃圾回收机制总结(8) :反思和参考资料

垃圾回收的悖论 所谓“成也萧何败萧何”。Java的垃圾回收确实带来了很多好处,为开发带来了便利。但是在一些高性能、高并发的情况下,垃圾回收确成为了制约Java应 用的瓶颈。目前JDK的垃圾回收算法,始终无法解决垃圾回收时的暂停问题,因为这个暂停严重影响了程序的相应时间,造成拥塞或堆积。这也是后续JDK增加 G1算法的一个重要原因。 当然,上面是从技术角度出发解决垃圾回收带来的问题,但是从系统设计方面我们就需要问一下了: 我们需要分配如此大的内存空间给应用吗? 我们是否能够通过有效使用内存而不是通过扩大内存的方式来设计我们的系统呢? 我们的内存中都放了什么 内存中需要放什么呢?个人认为, 内存…

2010-08-26 11:25 · J2SE - JVM与CLASS · 评论(0)

JVM垃圾回收机制总结(7) :调优方法

JVM调优工具 Jconsole,jProfile,VisualVM Jconsole : jdk自带,功能简单,但是可以在系统有一定负荷的情况下使用。对垃圾回收算法有很详细的跟踪。详细说明参考 这里 JProfiler :商业软件,需要付费。功能强大。详细说明参考 这里 VisualVM :JDK自带,功能强大,与JProfiler类似。推荐。 如何调优 观察内存释放情况、集合类检查、对象树 上面这些调优工具都提供了强大的功能,但是总的来说一般分为以下几类功能 堆信息查看 可查看堆空间大小分配(年轻代、年老代、持久代分配) 提供即时的垃圾回收功能 垃圾监控(长时间监控回收情况) 查看堆内类…

2010-08-26 11:23 · J2SE - JVM与CLASS · 评论(0)

JVM垃圾回收机制总结(6) :透视Java的GC特性

全文转载: http://topic.csdn.net/u/20091211/12/c79a9293-fdd5-4f81-b18f-a4a29c8d9be2.html 作者: yang677888 (from CSDN) 1、 使用 System.gc() 可以不管JVM使用的是哪一种垃圾回收的算法,都可以请求 Java的垃圾回收。 在命令行中有一个参数-verbosegc可以查看Java使用的堆内存的情况,它的格式:java -verbosegc classfile class TestGC { public static void main(String[] args) { new Te…

2010-08-26 11:21 · J2SE - JVM与CLASS · 评论(0)

JVM垃圾回收机制总结(5) :JDK垃圾收集器的配置命令

全文转载: http://pengjiaheng.iteye.com/blog/548472 作者:和你在一起 [from JavaEye] 以下配置主要针对分代垃圾回收算法而言。 堆大小设置 年轻代的设置很关键 JVM中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。 典型设置: java -Xmx3550m -Xms3550m -X…

2010-08-24 15:48 · J2SE - JVM与CLASS · 评论(0)

JVM垃圾回收机制总结(4) :新一代的垃圾回收算法

全文转载: http://pengjiaheng.iteye.com/blog/548472 作者: 和你在一起 (from JavaEye) 垃圾回收的瓶颈 传统分代垃圾回收方式,已经在一定程度上把垃圾回收给应用带来的负担降到了最小,把应用的吞吐量推到了一个极限。但是他无法解决的一个问题,就是Full GC所带来的应用暂停。在一些对实时性要求很高的应用场景下,GC暂停所带来的请求堆积和请求失败是无法接受的。这类应用可能要求请求的返回时间在几百甚 至几十毫秒以内,如果分代垃圾回收方式要达到这个指标,只能把最大堆的设置限制在一个相对较小范围内,但是这样有限制了应用本身的处理能力,同样也是不可 …

2010-08-23 16:02 · J2SE - JVM与CLASS · 评论(0)

JVM垃圾回收机制总结(3) :按代垃圾收集器

全文转载: http://pengjiaheng.iteye.com/blog/524024 作者:和你在一起 [from JavaEye] 为什么要分代 分代的垃圾回收策略,是基于这样一个事实: 不同的对象的生命周期是不一样的 。 因此,不同生命周期的对象可以采取不同的收集方式,以便提高回收效率。 在Java程序运行的过程中,会产生大量的对象,其中有些对象是与业务信息相关,比如Http请求中的Session对象、线程、Socket连接,这 类对象跟业务直接挂钩,因此生命周期比较长。但是还有一些对象,主要是程序运行过程中生成的临时变量,这些对象生命周期会比较短,比如:String对 象,由于…

2010-08-23 15:42 · J2SE - JVM与CLASS · 评论(1)

JVM垃圾回收机制总结(2) :基本算法概述

1、引用计数收集器 (Reference Counting) 引用计数是垃圾收集的早期策略。在这种方法中,堆中每一个对象都有一个引用计数。一个对象被创建了,并且指向该对象的引用被分配给一个变量,这个对象的引用计数被置为1。当任何其他变量被赋值为对这个对象的引用时,计数加1。当一个对象的引用超过了生存期或者被设置一个新的值时,对象的引用计数减1。任何引用计数为0的对象可以被当作垃圾收集。当一个对象被垃圾收集的时候,它引用的任何对象计数值减1。 在这种方法中,一个对象被垃圾收集后可能导致后续其他对象的垃圾收集行动。 这种方法的好处是,引用计数收集器可以很快地执行,交织在程序的运行之中。这个特性对…

2010-08-23 13:47 · J2SE - JVM与CLASS · 评论(0)