Go语言视频零基础入门到精通

javalearner

下面的例子演示如何利用正则表达式从一个URL中查找并输出所有类似下面的超链接：

               <a href="http://www.sina.com">

    首先我们从命令行输入URL地址，打开输入流，读取URL的内容并转化为字符串存入HTMLString中。然后以"(<a\s*href=[^>]*>)"构造正则表达式，最后在字符串htmlString中查找匹配的字符串。

import java.io.*;
import java.net.*;
import java.util.regex.*;
public class GetHref {
     public static void main(String[] args) {
         InputStream in = null;   
         PrintWriter out = null;
         String htmlString=null;  
  
   
   
     
   

   
   
  
         try {
             // Check the arguments
             if ((args.length != 1)&& (args.length != 2))  
                 throw new IllegalArgumentException("Wrong number of args");
      
             // Set up the streams
             URL url = new URL(args[0]);   // Create the URL
             in = url.openStream();        // Open a stream to it
             if (args.length == 2)         // Get an appropriate output stream
                 out = new PrintWriter(new FileWriter(args[1]));
             BufferedReader bin=new BufferedReader(new InputStreamReader(in));
             String line;
             StringBuffer sb = new StringBuffer();
             while((line=bin.readLine())!=null){
               if(out!=null) out.println(line);
               sb=sb.append(line);
             }
             htmlString=sb.toString();
           // System.out.println(sb.toString());
}
         // On exceptions, print error message and usage message.
         catch (Exception e) {
             System.err.println(e);
             System.err.println("Usage: java GetURL <URL> [<filename>]");
         }
         finally {  // Always close the streams, no matter what.
             try { in.close();  out.close(); } catch (Exception e) {}
         }

         Pattern p = Pattern.compile("(<a\s*href=[^>]*>)");         
         Matcher m = p.matcher(htmlString);
         boolean result = m.find();
         while(result){
            for(int i=1;i<=m.groupCount();i++){
             System.out.println(m.group(i));
            }
          result=m.find();
         }
     }
}
程序运行结果：
C:java>java    GetHref http://127.0.0.1:8080/zz3zcwbwebhome/index.jsp
<a href="mailto:zz3zcwb@sina.com">
<a href="javascript:" class="bb" onclick="window.external.addFavorite("http://ww
w.zzedu.gov.cn","java学习室")">
<a href="javascript:" class="bb" onClick="this.style.behavior="url(#default#home
page)"this.setHomePage("http://10.10.1.1/index.jsp");">
<a href="learn.jsp">
<a href="download.jsp">
<a href="article.jsp">
<a href="#">
<a href="#">
<a href="#">
<a href="#" class="FrameTeitle">
<a href="#" class="FrameTeitle">
<a href=view.jsp?id=89>
<a href=view.jsp?id=88>
..........................
  网上的另一个程序：

1. /**//*
   
2. 功能 根据输入的网址、起止字符串，采集网址页面的超链接
   
3. */
   
4. 
   
5. 
   
6. import java.net.*;
   
7. import java.io.*;
   
8. import java.util.regex.*;
   
9. 
   
10. public class GetHtmlLink
    
11. {
    
12.     String sourceURL;//需要采集的网页网址
    
13.     String sourceContent;//网页页面内容
    
14.     //String URLs; //采集到的超链接
    
15.     //String title;//采集到的链接文字
    
16.     String beginStr;//网页内容匹配区域开始字符串
    
17.     String endStr;//网页内容匹配区域结束字符串
    
18.     String matchContent;//网页内容匹配区域
    
19.    
    
20.     public static void main(String[] args)
    
21.     {
    
22.         GetHtmlLink ghl=new GetHtmlLink("http://www.xxx.com","< body","< /body>");
    
23.         //System.out.println("text="+ghl.getMatchContent());
    
24.       
    
25.         ghl.getLink(ghl.matchContent);
    
26.          
    
27.         
    
28.     }
    
29.    
    
30.     //根据传来的网页网址、匹配区域起止字符串初始化
    
31.     public GetHtmlLink(String sourceURL,String beginStr,String endStr)
    
32.     {
    
33.          this.sourceURL=sourceURL;
    
34.          this.beginStr=beginStr;
    
35.          this.endStr=endStr;
    
36.          sourceContent=getSourceContent();
    
37.          //System.out.println("source="+sourceContent);
    
38.          matchContent=getMatchContent();
    
39.     }
    
40.    
    
41.     //获取网页页面内容
    
42.     public  String getSourceContent(){
    
43.         StringBuffer sb=new StringBuffer();
    
44.         try
    
45.         {
    
46.             URL newURL=new URL(sourceURL);
    
47.             BufferedReader br=new BufferedReader(new InputStreamReader(newURL.openStream()));
    
48.                                                                
    
49.                     
    
50.             String temp;
    
51.             while((temp=br.readLine())!=null)
    
52.             {
    
53.                 sb.append(temp);
    
54.             }
    
55.             
    
56.         }catch(MalformedURLException e){
    
57.             e.printStackTrace();
    
58.         }
    
59.         catch(IOException e){
    
60.             e.printStackTrace();
    
61.         }
    
62.        return sb.toString();
    
63.     }
    
64.    
    
65.    
    
66.      //获取匹配区域
    
67.     public String getMatchContent()
    
68.     {
    
69.         
    
70.         String regex=beginStr+".*"+endStr;
    
71.         //System.out.println(regex);
    
72.         Pattern pt=Pattern.compile(regex);
    
73.         Matcher mt=pt.matcher(sourceContent);
    
74.         if(mt.find())
    
75.         {
    
76.             return mt.group();
    
77.         }
    
78.         else return null;
    
79.         
    
80.   }
    
81. 
    
82.   //获取需要并打印:超链接和标题
    
83.   public void getLink(String s)
    
84.   {
    
85.       int counter=0;//计算器 计算超链接的个数
    
86.    
    
87.       
    
88.       String regexURL="< a\s*?href=([^>]*?)>(.*?)< /a>";//*?懒惰匹配
    
89.       Pattern pt=Pattern.compile(regexURL);
    
90.       Matcher mt=pt.matcher(s);
    
91.    
    
92.       while(mt.find())
    
93.       {
    
94.           counter++;                       
    
95.            //打印mt.group(0);
    
96.            System.out.println(mt.group());
    
97.                
    
98.                //获取并打印标题
    
99.                 String title=mt.group(2);
    
100.                System.out.println("标题："+title);
     
101.                
     
102.                 //获取并打印网址
     
103.                 String urls=mt.group(1);
     
104.               // System.out.println("网址："+urls);
     
105.                String urlsRegex="(.*?\.((html)|(jsp)|(com)|(cn)|(net)|(asp)|(htm))).*?";
     
106.             
     
107.                Matcher mt2=Pattern.compile(urlsRegex).matcher(urls);
     
108.                while(mt2.find())
     
109.                {
     
110.                 System.out.println("网址："+mt2.group(1));
     
111.               }
     
112. 
     
113.                 //System.out.println("网址："+urls);
     
114. 
     
115.                 System.out.println();//空行
     
116.          
     
117.          
     
118.       }
     
119.       
     
120.          System.out.println("共有"+counter+"个符合结果");
     
121.   }
     
122.   
     
123. 
     
124.    
     
125. }
     

复制代码

源码下载：http://file.javaxxz.com/2014/11/3/000222359.zip