【作者简介】

赖伟威 毕业刚满一年的Java Coder，立志做可靠的系统架构师。大学期间与几位志同道合的同学创办CFuture工作室。现在深圳打拼中。

1.    你能否先介绍一下你自己，包括技术背景、工作经历、学习经历

• 基本资料
  姓名：赖伟威    生日：1989    性别：男    OSC ID：自风   
• 技术背景
  软件工程师，Java Web前后端。
• 工作经历
  2012-2013 深圳一创业小公司
• 学习经历
  2008-2012 广东海洋大学软件学院

• 业务需求
  我所在公司的主产品是一个聚合其他各大团购网站信息的平台。在该平台上需要展示他们的团购详细信息（标题，特点，条款，图片轮转，详细图文内容，价格，已购买数量，过期时间，商家信息，地址等等），鉴于其他网站技术有限，不能提供专业的API供我司获取数据用，因此有必要使用网络爬虫去抓取这些团购信息。
• 为什么选择自主开发
  上述业务需求需要对网络抓取过来的数据处理成我们所需要的业务数据，这点对数据的解析要求比较高，我们都知道网站上的结构会经常发生变化，这是维护的必要，因此就需要一个能够灵活应对这种变化的爬虫程序，最好是能够无需编写或修改Java代码就能完成维护，这样部署起来非常方便。此外，我们这种数据是非常垂直化的，跟谷歌、百度这种爬虫不同，我们对页面内容是有区别对待的，只有某种特定的页面数据才是我们要的数据。而且经常还要应付各种分页（列表分页、ajax分页、单篇信息分页等等）。
  带着这样的需求，稍微的在网络搜索了几番，发现常见的爬虫程序都不能满足这几项要求，至少它们本身并不是特意被打造成垂直爬虫的。于是便有了自己开发的打算。这里要特别说一下，我们搜索的主要都是开源的爬虫，对于那些商业化的爬虫，确实有满足我们需求的存在，但是，我们还是希望有自主控制的权利。

• 首先它的名字就非常霸气 : )
  
• 说正经的：Spiderman是一个专门打造为垂直领域数据抓取的网络爬虫程序。比如要抓取新闻、抓取团购信息、抓取商品信息、抓取博客、抓取图片、抓取论坛、抓取招聘信息等等这些。
• 特点列表：
  1) 微内核，插件式，扩展性非常强，且符合filter的实现思路，开发者很容易就能将自己的业务处理“插”到爬虫的任意节点。比如你想把抓取回来的数据持久化到数据库，那编写一个实现Pojo扩展点的实现类，然后在配置文件安装一下即可。
  2) 多线程，性能好不好就看Java多线程的那几个Pool了
  3) 强大的解析能力，支持XPath、正则、表达式引擎（感谢FEL作者）
  4) 设计：Spiderman为每个网站都独立分配了DB、Queue、线程池保证多网站抓取的时候各个网站的抓取都是并行的。
  5) 独特的配置：使用Spiderman的核心是编写网站配置文件，该配置文件非常强大,详细可以翻阅这篇文章http://my.oschina.net/laiweiwei/blog/100866
  6) 支持调度，不断的重新抓取数据，至于数据如何更新，这个跟具体的持久化方案有关，开发者完全可以自己控制。
  7) 支持分页（列表分页、ajax分页、文章单篇分页）
  ...
• 优势：这个说不准哦，用了才知道。对于垂直数据抓取，在没有进行详细调查的情况下暂时没发现哪个爬虫能跟Spiderman一较高下。

• 见笑了，其实Spiderman连一个正式版本都还没发布，目前公布的都是开发版的。所以暂时还没开始推广，不过在开源中国上发布了几篇文章介绍了下它，没想到关注的人还挺多的，很多人私底下也经常跟我讨论，都对Spiderman表达了认同，并且都愿意为它口头上进行推广，再次要特别的感谢这些人，谢谢你们！

• 我所在的公司一直在使用，其他公司我相信也有在使用的，至少跟我联系咨询的已经有好几个了。

• 哎，惭愧，暂时孤零零一个人，借这个机会看看能不能拉到第二个、第三个......有兴趣的童鞋可以联系我。

• 垂直数据抓取、解析
• 更多的插件实现
• 有人提需求就为其实现
• 希望能靠近一下分布式......

• 踏实学习基础理论
• 踏实、坚持不懈地去实践，去开发项目
• 实践后再总结
• 尝试去造轮子，造更多的轮子，哇啊啊啊啊啊......(需要造点气势)