Подключить Hive через Java JDBC

В случае, если вы все еще не решили это, я попробовал. А для его компиляции и запуска мне потребовались следующие зависимости:

libthrift-0.9.0-cdh5-2.jar
httpclient-4.2.5.jar
httpcore-4.2.5.jar
commons-logging-1.1.3.jar
hive-common.jar
slf4j-api-1.7.5.jar
hive-metastore.jar
hive-service.jar
hadoop-common.jar
hive-jdbc.jar
guava-11.0.2.jar

Документация по улью, вероятно, написана для более старой версии / дистрибутива.

Ваше исключение связано с отсутствующей банкой hadoop-common, в которой есть org.apache.hadoop.conf.Configuration.

Надеюсь это поможет.

Похоже, вы все работаете с cloudera, я обнаружил, что репо в maven выглядит старым, потому что, если вы зайдете на их сайт, вы можете скачать их jdbc. https://www.cloudera.com/downloads/ коннекторы / hive / jdbc / 2-5-20.html Похоже, что драйвер поддерживает больше функций, чем драйвер в улье. Я заметил, что они реализовали addBatch. Я просто хочу, чтобы у них были эти библиотеки в maven. Может быть, кто-то сможет найти, где их взять с помощью maven.

Я столкнулся с той же проблемой с версией CDH5.4.1. Я обновил свой файл POM с помощью приведенного ниже кода, и он сработал для меня.

Моя версия Hadoop - Hadoop 2.6.0-cdh5.4.1, а версия Hive - Hive 1.1.0-cdh5.4.1

<dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>0.13.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-jdbc</artifactId>
        <version>0.13.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.thrift</groupId>
        <artifactId>libthrift</artifactId>
        <version>0.9.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.thrift</groupId>
        <artifactId>libfb303</artifactId>
        <version>0.9.0</version>
    </dependency>
    <dependency>
        <groupId>commons-logging</groupId>
        <artifactId>commons-logging</artifactId>
        <version>1.1.3</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.6.0</version>
    </dependency>

Я решил с этим обновлением POM.

Для других, интересующихся, что именно требуется для удаленного выполнения запроса HIVE с использованием java ...

Код Java

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;

public class Runner
{ 
        private static String driverName = "org.apache.hive.jdbc.HiveDriver";
        public static void main(String[] args) throws SQLException {

                try {
                        // Register driver and create driver instance
                        Class.forName(driverName);
                } catch (ClassNotFoundException ex) {
                      ex.printStackTrace();
                }

                // get connection
                System.out.println("before trying to connect");
                Connection con = DriverManager.getConnection("jdbc:hive2://[HOST IP]:10000/", "hive", "");
                System.out.println("connected");

                // create statement
                Statement stmt = con.createStatement();

                // execute statement
                stmt.executeQuery("show tables");

                con.close();
        }
}

Вместе с pom файлом только с необходимыми зависимостями ..

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>test-executor</groupId>
    <artifactId>test-executor</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <hadoop.version>2.5.2</hadoop.version>
    </properties>
<dependencies>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.2.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-jdbc</artifactId>
        <version>1.2.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
</dependencies>
</project>

Та же ошибка при попытке использовать hive-jdbc 1.2.1 против hive 0.13. По сравнению с длинным списком в других ответах. Теперь мы используем эти два:

hive-jdbc-1.2.1-standalone.jar
hadoop-common-2.7.1.jar

Еще одно примечание: вы можете получить сообщение « Обязательное поле« client_protocol »не задано! » при использовании последней версии jdbc для более старого Hive. Если это так, измените версию jdbc на 1.1.0:

<dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-jdbc</artifactId>
  <version>1.1.0</version>
  <classifier>standalone</classifier>
</dependency>