Go语言视频零基础入门到精通

五菱 · 发表于 2011-9-16 11:19:08

1、要想运行次爬虫程序首先要有个前提条件，因为本爬虫程序采用了分词的技术，所以需要加载一个字典文件，此字典文件在爬虫程序中要求放在此目录结构下：c:\dictionary\dictionary.txt，词典默认认为是按照词语长到短的顺序排列的
2、此爬虫程序爬到的网页内容存储到数据库中，运用的是SQL Server 2005,在此数据库下有一个叫javadatabase的数据库，下面有个叫做webinfo的表格，表格的列有：id(int),url(varchar(50)),title(varchar(max)),body(text),bodyppl(text)

3、程序中运用了基于字符串匹配的分此方法中的正向最大匹配法

4、此爬虫程序采用的是广度优先的搜索方法搜索网络中的网页，仅仅实现了搜索“河北大学”的网络资源，程序中采用队列的方式存储已经访问过的网页的URL，以避免重复的抓取同一个网页的现象发生，待抓取的网页存储在一个链表中，链表的每个结点存储着待抓取的网页的URL信息

下载地址：
Java编写的spider网络爬虫程序源码下载

wangwjb · 发表于 2011-10-24 14:08:23

让我下载一下嘛，看看！

zztmptmp · 发表于 2012-3-6 11:20:26

多谢分享

fc1314 · 发表于 2012-3-9 17:20:10

看看呢

fc1314 · 发表于 2012-3-9 17:25:46

楼主跟本没有数据库，请你发给我我QQ115889198

		自动登录	找回密码
密码			立即注册

JAVA高级面试进阶视频教程	Java架构师系统进阶VIP课程	分布式高可用全栈开发微服务教程	Go语言视频零基础入门到精通	Java架构师3期(课件+源码)
Java开发全终端实战租房项目视频教程	SpringBoot2.X入门到高级使用教程	大数据培训第六期全套视频教程	深度学习（CNN RNN GAN）算法原理	Java亿级流量电商系统视频教程
互联网架构师视频教程	年薪50万Spark2.0从入门到精通	年薪50万！人工智能学习路线教程	年薪50万！大数据从入门到精通学习路线	年薪50万！机器学习入门到精通视频教程
仿小米商城类app和小程序视频教程	深度学习数据分析基础到实战	最新黑马javaEE2.1就业课程	从 0到JVM实战高手教程	MySQL入门到精通教程

分布式高可用全栈开发微服务教程

Go语言视频零基础入门到精通

Java开发全终端实战租房项目视频教程

SpringBoot2.X入门到高级使用教程

大数据培训第六期全套视频教程

Java亿级流量电商系统视频教程

年薪50万Spark2.0从入门到精通

年薪50万！人工智能学习路线教程

Java编写的spider网络爬虫程序源码 下载

相关帖子

Java编写的spider网络爬虫程序源码下载