（二）solr data import

 solr 的 data import 导入 mysql数据

（1）、编辑 example/solr/conf/solrconfig.xml 添加 request handler
 
 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
      <lst name="defaults">
         <str name="config">data-config.xml</str>
      </lst>
  </requestHandler>
 
（2）、创建 example/solr/conf/data-config.xml
 
<dataConfig>
  <dataSource type="JdbcDataSource"
              driver="com.mysql.jdbc.Driver"
              url="jdbc:mysql://192.168.2.242:3306/demo?characterEncoding=UTF-8"
              user="demo"
              password="*****"/>
  <document>
    <entity name="contract"
            query="select id,contract_name,contract_num,add_time from contract">
        <field column = "id" name="contractId"/>        

       <field column = "contract_name" name = "contractName" />

        <field column = "contract_num" name="contractNum" />
    </entity>
  </document>
</dataConfig>
 
（3）、编辑example/solr/conf/scheme.xml
 
在fields里头添加
 
   <field name="contractNum" type="string" indexed="true" stored="true"/>

  <field name="contractId" type="string" indexed="true" stored="true"/>

<field name="contractName" type="string" indexed="true" stored="true"/>
 
 (同时将uniqueKey改为contractId,并且将id字段的required为true去掉)

 
（4）、启动solr，报Error loading class 'org.apache.solr.handler.dataimport.DataImportHandler'
添加相关data import lib 及 jdbc driver lib
~/solr-4.6.0/example/solr-webapp/webapp/WEB-INF/lib# cp ~/solr-4.6.0/dist/*.jar .

  使用同一个zookeeper的solr也得进行相关jar的拷贝

 

（5）启动solr

java -Dbootstrap_conf=true -Dcollection.configName=scs -DzkRun -DnumShards=1 -jar start.jar

java -DzkHost=192.168.4.129:9983 -jar start.jar


（6）执行full import 命令

http://192.168.4.129:8983/solr/#/

 

 


转自：http://my.oschina.net/scipio/blog/214299
2019-03-27 01:21

知识点

  • Solr

    • 相关教程

    更多

    使用Solr Data Import的delta-import功能 

    使用Solr Data Import的delta-import功能    Solr提供了full-import和delta-import两种导入方式，这篇文章主要讲解后者。 所谓delta-import主要是对于数据库（也可能是文件等等）中增加或者被修改的字段进行导入。主要原理是利用率每次我们进行import的时候在solr.home\conf下面生成的dataimport.properties文

    自己封装的一个Solr Data Import Request Handler Scheduler 

    经过将近一天的努力，终于搞定了Solr的Data Import Request HandlerScheduler。 Scheduler主要解决两个问题： 1.定时增量更新索引。 2.定时重做索引。 经过测试，Scheduler已经可以实现完全基于配置，无需开发功能，无需人工干预的情况下实现以上两个功能（结合 Solr 的Data Import Request Handler前提下）。 为了方便以后

    Solr 4.3.0 配置Data import handler时出错 

    启动solr的时候，居然出现了如下的错误： org.apache.solr.common.SolrException: RequestHandler init failure at org.apache.solr.core.SolrCore.<init>(SolrCore.java:794) at org.apache.solr.core.SolrCore.<init>(S

    Solr4：配置Data Import，从数据库直接创建索引 

    1. 要求  将数据库中的数据直接创建到Solr索引中去。先做全部索引，然后定期做增量索引。 2. 环境  Solr4.4版本，Tomcat7.0版本，Oracle 11g，已经配置好Tomcat与Solr的集成，包括中文分词等。 3. 实现步骤 3.1 编辑solrconfig.xml文件，在合适位置增加如下代码：    <requestHandler name="/dataim

    solr 的delta-import 

    纠正上篇关于默认主键的问题 solr的data-config中可以为每个entity 配置主键的。 solr提供了可配置的增量索引，在dataimport.properties中保存了上次索引的状态，solr文档说是开始时间，solr更具表格的last—modified 列来判断自从上次索引来，哪些行是改动过的。 详情见：http://wiki.apache.org/solr/DataImport

    Becoming a data scientist 

    Data Week: Becoming a data scientist Data Pointed, CouchDB in the Cloud, Launching Strata                                                                                                       Life Adv

    data-config 

    Data-config为solr的data-import处理器配置数据来源。 依次按照如下树状结构： <dataConfig> <dataSource name="tdp" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql:

    merge solr index &&&&& very import create new core 

    http://wiki.apache.org/solr/MergingSolrIndexes http://localhost:8080/solr/admin/cores?action=CREATE&name=core4&instanceDir=core2&config=solrconfig.xml&schema=schema.xml&dataDir=dat

    Spring Data: a new perspective of data operations 

    Spring Data: a new perspective of data operations  Spring Data is an umbrella project from SpringSource Community, which tries to provide a more generic abstraction of data operations for RDBMS, NoSQL

    Solr集群架构概述及delta-import详细配置 

    背景 由于项目原因，重新熟悉了下Solr，版本为3.6，搭建了主从Solr服务，并使用DIH从RDBMS数据源增量更新索引。 其实也没什么技术含量，就是简单做个总结，分别从部署架构和增量更新两个方面说明下。 Solr Replication solr的主从其实是他的replication集群，从本质上说是通过ReplicationHandler来实现的，除了solr server之间可以互相同步之

    Solr集群架构概述及delta-import详细配置 

    背景 由于项目原因，重新熟悉了下Solr，版本为3.6，搭建了主从Solr服务，并使用DIH从RDBMS数据源增量更新索引。 其实也没什么技术含量，就是简单做个总结，分别从部署架构和增量更新两个方面说明下。 Solr Replication solr的主从其实是他的replication集群，从本质上说是通过ReplicationHandler来实现的，除了solr server之间可以互相同步之

    solr 3.5 配置及应用(二) 

    在solr 3.5 配置及应用(一) 讲过一了solr 3.5的详细配置，本节我们讲利用solr 的客户端调用solr的应用了！ 一、利用SolrJ操作solr API 使用SolrJ操作Solr会比利用httpClient来操作Solr要简单。SolrJ是封装了httpClient方法，来操作solr的API的。SolrJ底层还是通过使用httpClient中的方法来完成Solr的操作。   需

    《Big Data Glossary》笔记 

    清明假期翻以前的笔记发现有一些NoSQL相关的内容,比较零散,是之前读《Big Data Glossary》的笔记.简单整理了一下,记录于此.  Horizontal or Vertical Scaling   数据库扩展的方向有两个:    垂直扩展-换更牛的机器   水平扩展-增加同样的机器     选择水平扩展必然遇到的一个问题就是,如何决定数据分布在哪台机器上? 也就是分片策略

    solr开发——spring-data-solr 

    spring貌似要一统天下，不断的给人以惊喜    请看官方发言：    我很高兴的宣布 Spring Data Solr 项目首个里程碑发布，这是由  Christoph Strobl  领导开发的项目，实现了 Spring Data 访问 Solr 存储并提供了 Spring Data JPA 模型的访问方式。此次之外，Spring Data Solr 提供了一个更底层的 SolrTempla

    Spring Data Solr教程（翻译） 

    大多数应用都必须具有某种搜索功能，问题是搜索功能往往是巨大的资源消耗并且它们由于沉重的数据库加载而拖垮你的应用的性能 这就是为什么转移负载到一个外部的搜索服务器是一个不错的主意，Apache Solr是一个流行的开源搜索服务器，它通过使用类似REST的HTTP API，这就确保你能从几乎任何编程语言来使用solr 虽然支持任何编程语言的能力具有很大的市场价值，你可能感兴趣的问题是：我如何和在我的S

    最新教程

    更多

    java线程状态详解(6种) 

    java线程类为：java.lang.Thread，其实现java.lang.Runnable接口。 线程在运行过程中有6种状态，分别如下： NEW：初始状态，线程被构建，但是还没有调用start()方法 RUNNABLE：运行状态，Java线程将操作系统中的就绪和运行两种状态统称为“运行状态” BLOCK：阻塞状态，表示线程阻塞

    redis从库只读设置-redis集群管理 

    默认情况下redis数据库充当slave角色时是只读的不能进行写操作，如果写入，会提示以下错误：READONLY You can't write against a read only slave.  127.0.0.1:6382> set k3 111  (error) READONLY You can't write against a read only slave. 如果你要开启从库

    Netty环境配置 

    netty是一个java事件驱动的网络通信框架，也就是一个jar包，只要在项目里引用即可。

    Netty基于流的传输处理 

    ​在TCP/IP的基于流的传输中，接收的数据被存储到套接字接收缓冲器中。不幸的是，基于流的传输的缓冲器不是分组的队列，而是字节的队列。 这意味着，即使将两个消息作为两个独立的数据包发送，操作系统也不会将它们视为两个消息，而只是一组字节(有点悲剧)。 因此，不能保证读的是您在远程定入的行数据

    Netty入门实例-使用POJO代替ByteBuf 

    使用TIME协议的客户端和服务器示例，让它们使用POJO来代替原来的ByteBuf。

    Netty入门实例-时间服务器 

    Netty中服务器和客户端之间最大的和唯一的区别是使用了不同的Bootstrap和Channel实现

    Netty入门实例-编写服务器端程序 

    channelRead()处理程序方法实现如下

    Netty开发环境配置 

    最新版本的Netty 4.x和JDK 1.6及更高版本

    电商平台数据库设计 

    电商平台数据库表设计：商品分类表、商品信息表、品牌表、商品属性表、商品属性扩展表、规格表、规格扩展表

    HttpClient 上传文件 

    我们使用MultipartEntityBuilder创建一个HttpEntity。 当创建构建器时，添加一个二进制体 - 包含将要上传的文件以及一个文本正文。 接下来，使用RequestBuilder创建一个HTTP请求，并分配先前创建的HttpEntity。

    MongoDB常用命令 

    查看当前使用的数据库    > db    test  切换数据库   > use foobar    switched to db foobar  插入文档    > post={"title":"领悟书生","content":"这是一个分享教程的网站","date":new

    快速了解MongoDB【基本概念与体系结构】 

    什么是MongoDB MongoDB is a general purpose, document-based, distributed database built for modern application developers and for the cloud era. MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

    windows系统安装MongoDB 

    安装 下载MongoDB的安装包：mongodb-win32-x86_64-2008plus-ssl-3.2.10-signed.msi，按照提示步骤安装即可。 安装完成后，软件会安装在C:\Program Files\MongoDB 目录中 我们要启动的服务程序就是C:\Program Files\MongoDB\Server\3.2\bin目录下的mongod.exe，为了方便我们每次启动，我

    Spring boot整合MyBatis-Plus 之二：增删改查 

    基于上一篇springboot整合MyBatis-Plus之后，实现简单的增删改查 创建实体类 添加表注解TableName和主键注解TableId import com.baomidou.mybatisplus.annotations.TableId;
import com.baomidou.mybatisplus.annotations.TableName;
import com.baom

    分布式ID生成器【snowflake雪花算法】 

    基于snowflake雪花算法分布式ID生成器 snowflake雪花算法分布式ID生成器几大特点： 41bit的时间戳可以支持该算法使用到2082年 10bit的工作机器id可以支持1024台机器 序列号支持1毫秒产生4096个自增序列id 整体上按照时间自增排序 整个分布式系统内不会产生ID碰撞 每秒能够产生26万ID左右 Twitter的 Snowflake分布式ID生成器的JAVA实现方案

    Copyright ©2023 656463.com All Rights Reserved.滇ICP备2022006988号-50

    本站部分内容来源于互联网，仅供学习和参考使用，请莫用于商业用途。如有侵犯你的版权，请联系我们，本站将尽快处理。谢谢合作！