java分析网页的组成:
URLListjava存储已经访问过的网页:
5实验结果
f实验结果基本达到预期实验目标。Crawler的爬行策略是指当Crawler搜索到一个网页之后,下一步
应该转移到哪一个网页的方法。优点是能遍历所有网页,缺点是资源耗费大。我认为Crawler不具备访问动态网页的功能,有待改进。
6实验心得与体会
通过本次实验,我初步了解了Crawler的工作原理及设计Crawler程序的一般步骤,加深了我对网页检索的理解,在本次实验中,我也遇到了不少问题,通过查阅资料,最后都得到了解决。该程序还有许多待完善的地方,在以后学习中我力争加以完善。
fr