一般信息

几乎所有已知的HTML解析器都实现了 W3C DOM API ( JAXP API的一部分，用于XML处理的Java API )，并返回一个可供JAXP API直接使用的 org.w3c.dom.Document 。主要的区别通常在于所讨论的解析器的特性。大多数解析器在某种程度上对非格式的超文本标记语言(“标签汤”)都是宽宏大量的，比如 JTidy 、 NekoHTML 、 TagSoup 和 HtmlCleaner 。您通常使用这种HTML解析器来“整理”HTML源代码(例如，将HTML有效的 <br> 替换为XML有效的 <br /> )，这样您就可以使用W3C DOM和JAXP API以“通常的方式”遍历它。

唯一脱颖而出的是 HtmlUnit 和 Jsoup 。

HtmlUnit

HtmlUnit 提供了一个完全自带的应用程序接口，它可以让你以编程的方式像act浏览器一样工作。例如，输入表单值、单击元素、调用JavaScript等。它不仅仅是一个HTML解析器。它是一个真正的“无GUI的real浏览器”和HTML单元测试工具。

Jsoup

Jsoup 还提供了一个完全自己的应用程序接口。它为您提供了使用 jQuery -like CSS selectors 选择元素的可能性，并提供了一个灵活的API来遍历HTML DOM树以获取感兴趣的元素。

特别是对HTML DOM树的遍历是Jsoup的主要优点。使用过 org.w3c.dom.Document 的人都知道使用冗长的 NodeList 和 Node API遍历DOM是多么痛苦。诚然， XPath 让生活变得更容易，但这仍然是另一条学习曲线，最终可能仍然很冗长。

这里有一个例子，它使用一个“普通的”W3C DOM解析器，比如JTidy和XPath来提取问题的第一段和所有回答者的名字(我使用XPath是因为没有它，收集感兴趣的信息所需的代码将增长10倍，而不需要编写实用程序/助手方法)。

String url = "http://stackoverflow.com/questions/3152138";
Document document = new Tidy().parseDOM(new URL(url).openStream(), null);
XPath xpath = XPathFactory.newInstance().newXPath();
Node question = (Node) xpath.compile("//*[@id='question']//*[contains(@class,'post-text')]//p[1]").evaluate(document, XPathConstants.NODE);
System.out.println("Question: " + question.getFirstChild().getNodeValue());
NodeList answerers = (NodeList) xpath.compile("//*[@id='answers']//*[contains(@class,'user-details')]//a[1]").evaluate(document, XPathConstants.NODESET);
for (int i = 0; i < answerers.getLength(); i++) {
    System.out.println("Answerer: " + answerers.item(i).getFirstChild().getNodeValue());
}

下面是一个如何使用Jsoup执行完全相同的操作的示例：

String url = "http://stackoverflow.com/questions/3152138";
Document document = Jsoup.connect(url).get();
Element question = document.select("#question .post-text p").first();