Browse: Home / Lucene笔记01

Lucene笔记01

By Charles | 4390 views | 2008/12/10

由于项目需要，开始学习Lucene，现在手头在看的就一本书《 in Action》，别的材料手头也没有，不过，有一点非常遗憾，就是这本书已经非常旧了，所以，决定一边看，一边验证，主要是参看一下源代码，也是没有办法的事情，就在博客上做点小笔记好了。

From the very beginning

第一章，就有两个小例子，用来展示一下Lucene的功能，可惜，那两个例子是基于Lucene 1.x版本的，现在Lucene的版本已经发展到了2.4.0，并且在向3.0迈进了，很多东西的结构都变了。

两个代码例子，我照着敲了一遍，发现根本就跑不了，根据我的理解，我又改了点东西，记录在下面：

Indexer的代码范例：

  1.  package MainTest;
  2.  
  3.  import java.io.File;
  4.  import java.io.FileReader;
  5.  import java.io.IOException;
  6.  import java.util.Date;
  7.  
  8.  import org.apache.lucene.analysis.standard.StandardAnalyzer;
  9.  import org.apache.lucene.document.Document;
  10.  import org.apache.lucene.document.Field;
  11.  import org.apache.lucene.index.IndexWriter;
  12.  import org.apache.lucene.index.IndexWriter.MaxFieldLength;
  13.  
  14.  public class Indexer {
  15.  
  16.      /**
  17.       * @param args
  18.       * @throws Exception
  19.       */
  20.      public static void main(String[] args) throws Exception {
  21.          if (args.length != 2){
  22.              throw new Exception("Usage: java " + Indexer.class.getName()+ " <index dir> <data dir>");
  23.          }
  24.         
  25.          File indexDir = new File(args[0]);
  26.          File dataDir = new File(args[1]);
  27.         
  28.          long start = new Date().getTime();
  29.          int numIndexed = index(indexDir, dataDir);
  30.          long end = new Date().getTime();
  31.         
  32.          System.out.println("Indexig "+numIndexed + " files took " + (end - start) + " milliseconds");
  33.      }
  34.     
  35.      public static int index(File indexDir, File dataDir)
  36.          throws IOException{
  37.          if (!dataDir.exists() || !dataDir.isDirectory()){
  38.              throw new IOException(dataDir + " does not exist or is not a directory");
  39.          }
  40.         
  41.          IndexWriter writer = new IndexWriter(indexDir, new StandardAnalyzer(), true, MaxFieldLength.LIMITED);
  42.         
  43.          indexDirectory(writer, dataDir);
  44.         
  45.          int numIndexed = writer.maxDoc();
  46.          writer.optimize();
  47.          writer.close();
  48.          return numIndexed;
  49.      }
  50.     
  51.      private static void indexDirectory(IndexWriter writer, File dir)
  52.          throws IOException{
  53.         
  54.          File[] files = dir.listFiles();
  55.         
  56.          for(int i = 0; i< files.length; i++){
  57.              File f = files[i];
  58.              if (f.isDirectory()){
  59.                  indexDirectory(writer,f);
  60.              }else if (f.getName().endsWith(".txt")){
  61.                  indexFile(writer,f);
  62.              }
  63.          }
  64.      }
  65.  
  66.      private static void indexFile(IndexWriter writer, File f)
  67.          throws IOException{
  68.         
  69.          if(f.isHidden() || !f.exists() || !f.canRead()){
  70.              return;
  71.          }
  72.         
  73.          System.out.println("Indexing " + f.getCanonicalPath());
  74.         
  75.          Document doc = new Document();
  76.          //doc.add(Field.Text("contents", new FileReader(f)));       
  77.          //doc.add(Field.Keyword("filename", f.getCanonicalPath()));
  78.          Field contents = new Field("contents",new FileReader(f));
  79.          Field filename = new Field("filename", f.getCanonicalPath(), Field.Store.YES, Field.Index.NO);
  80.          doc.add(contents);
  81.          doc.add(filename);
  82.          writer.addDocument(doc);
  83.         
  84.      }
  85.  }

Searcher的代码范例，这部分好像变化了很多东西啊：

  1.  package MainTest;
  2.  
  3.  import java.io.File;
  4.  import java.util.Date;
  5.  
  6.  import org.apache.lucene.analysis.standard.StandardAnalyzer;
  7.  import org.apache.lucene.document.Document;
  8.  import org.apache.lucene.queryParser.QueryParser;
  9.  import org.apache.lucene.search.IndexSearcher;
  10.  import org.apache.lucene.search.Query;
  11.  import org.apache.lucene.search.ScoreDoc;
  12.  import org.apache.lucene.search.TopDocCollector;
  13.  import org.apache.lucene.store.Directory;
  14.  import org.apache.lucene.store.FSDirectory;
  15.  
  16.  public class Searcher {
  17.  
  18.      /**
  19.       * @param args
  20.       * @throws Exception
  21.       */
  22.      public static void main(String[] args) throws Exception {
  23.          if (args.length != 2){
  24.              throw new Exception("Usage: java "+ Searcher.class.getName() + " <index dir> <query>");
  25.          }
  26.         
  27.          File indexDir = new File(args[0]);
  28.          String q = args[1];
  29.         
  30.          if (!indexDir.exists() || !indexDir.isDirectory()){
  31.              throw new Exception(indexDir + " does not exists or is not a directory.");
  32.          }
  33.         
  34.          search(indexDir, q);
  35.      }
  36.     
  37.      public static void search(File indexDir, String q)
  38.          throws Exception{
  39.          Directory fsDir = FSDirectory.getDirectory(indexDir);
  40.          IndexSearcher is = new IndexSearcher(fsDir);
  41.         
  42.          QueryParser qp = new QueryParser("contents", new StandardAnalyzer());
  43.         
  44.          Query query = qp.parse(q);
  45.         
  46.          int hitsPerPage = 10;
  47.          TopDocCollector collector = new TopDocCollector(hitsPerPage);
  48.  
  49.          long start = new Date().getTime();
  50.          is.search(query, collector);
  51.          ScoreDoc[] hits = collector.topDocs().scoreDocs;
  52.          long end = new Date().getTime();
  53.         
  54.          System.err.println("Found " + hits.length + " document(s) (in " + (end - start) + " milliseconds) that matched query '" + q + "':");
  55.         
  56.          for (int i = 0; i < hits.length; i++){
  57.              int docId = hits[i].doc;
  58.              Document doc = is.doc(docId);
  59.              System.out.println(doc.get("filename"));
  60.             
  61.          }
  62.      }
  63.  }

以上代码都在jdk 1.6.x + lucene 2.4.0上测试通过的。

作者：Charles

原文链接：Lucene笔记01

《Becomin' Charles》版权所有，转载时必须以链接形式注明作者和原始出处及本声明。

Posted in | Tagged , , | 6 Responses

6 responses to “Lucene笔记01”

  1. hujiong
    hujiong
    2009/05/23 at 09:38 | | Reply

    好东西, 我现在也在学习Lucene, 公司的项目需要用到Lucene, 能否加你qq聊哈. 我的qq是: 834797303, 谢谢!!!

    1. Charles
      Charles
      2009/05/24 at 22:15 | | Reply

      呵呵，我使用邮件较多，请使用本站Contact form，可以直接发到我邮箱。

  2. ruchal
    ruchal
    2009/03/19 at 16:16 | | Reply

    请问用 is.search(query, collector); 这种方法搜索的话，我如果要把自己定义的字段排序加进去，该怎么做呢？

    1. Charles
      Charles
      2009/04/14 at 19:19 | | Reply

      以前之所以没回答你，是因为那个时候我也不明白。真是抱歉了。这两天，又回过头来继续研究，觉得你这个问题，应该使用另一个重载的search函数。search(query,filter,number,sort)，最后一个参数，可以指定自定义的排序字段。呵呵，想必隔了这么久，你应该早就找到了吧。

  3. 高空作业车
    高空作业车
    2008/12/15 at 15:50 | | Reply

    可能是都看不懂吧

  4. 洒水车
    洒水车
    2008/12/15 at 15:49 | | Reply

    看到没人坐沙发，我来

Leave a Reply

无觅相关文章插件，快速提升流量