Contents
=================
- 项目概况-Overview
- 自定义配置-Configuration
- 特殊语法-Special Syntax
- 支持的API
- 数据源详情-Data Sources
- 性能报告-Performance Report
- 常见问题-Troubleshooting
- 更新日志-ReleaseNote
External Resources
Release Notes
| 版本号 | 发布日期 | Bug | Improvement | New Feature |
|---|---|---|---|---|
| 2.3.1.xsql-0.1.0 | 2019.01.31 | |||
| 2.3.1.xsql-0.2.0 | 2019.03.04 | 1.Desc Table展示Elasticsearch时，列类型显示不正确 2.解决NoSuchDatabaseException异常数据库名和数据源名称颠倒的问题 3.Alter table时，无法将Spark的列类型转换为Elasticsearch的 4.将XSQL内部的数据库名转化为物理上的实际数据库名称 5.修复SQL页面丢失的问题 6.RenameXSQLTable must update the collection property in CatalogTable. |
1.支持对limit 0时的探测 2.show databases将数据库名放在第一列，show tables将表名放在第一列 3.优化ElasticSearchManager，抽象getTableOption 4.避免编译Spark core模块 5.完善XSQLSqlParser的注释 6.实现默认listDatabases(ds, pattern) 7.Add default options for ES and mongo. |
1.增加Cache Level机制 2.支持 SQL页面显示查询语句 3.HBase限制非索引字段查询和增删表, force=true强制开启 4.Add rename table syntax for MongoDB. |
| 2.3.1.xsql-0.2.1 | 2019.03.06 | 1.解决spark.mongodb.input.uri没有传递给CatalogTable的问题 2.解决部分jersey包冲突 |
更新XSQL文档，增加对Cache Level、Whitelist、spark.xsql.properties.file等的描述 | |
| 2.3.1.xsql-0.2.2 | 2019.03.14 | 1.解决：解析Elasticsearch的object类型时出错的问题 2.解决：当Elasticsearch的discover文件不存在时出错的问题 3.解决：Elasticsearch relation没有包含es.read.field.as.array.include属性的问题 4.解决：Elasticsearch的float和array[float]在解析时发生混淆的问题 |
1.增加运维诊断文档 2.减少耦合，不再修改InsertIntoHiveTable |
1.增加Add datasource语法 2.增加Remove|Refresh datasource语法 3.增加探索Elasticsearch的字段schema的功能 |
| 2.3.1.xsql-0.2.3 | 2019.03.22 | 1.解决：Elasticsearch下推解析数据时，字段为null时的异常 2.解决：Druid在SQL包含中文时解析出错的问题 3.解决：执行select * group by时出错的问题 |
1.Druid查询时没有指定__time时,友好提示用户 2.完善Getting_Started文档的用例 3.前置SQL语法校验到Local模式切换Yarn模式之前 |
1.Druid支持二级缓存 |
| 2.3.1.xsql-0.3.0 | 2019.04.04 | 1.解决：避免下推Mysql不支持的函数 2.解决：Mysql分区信息丢失 |
1.Hbase,Druid 模块化 2.优化 DataSourceManager插件化代码 3.清理冗余的依赖 |
1.支持给SQL中可以下推的子查询加别名 2.Elasticsearch支持Scroll接口，加速查询效率 3.Elasticsearch支持es.read.field.empty.as.null配置 4.增加Hive 权限验证模块spark-authorizer |
| 2.3.1.xsql-0.3.1 | 2019.04.09 | 1.解决：Local模式切换Yarn模式时，任务链接部分标签页不显示的问题 2.解决：Local模式执行create table using parquet等后，切换Yarn模式导致底层创建的HadoopFsRelation还是Local模式下已经关闭的SparkSession 3.解决：移除spark-hive脚本后，难以无缝迁移 4.解决：Hbase,Druid 模块化后，ServiceLoader找不到对应DataSourceRegister实现的Bug |
1. 保留支持bin/spark-hive 2. Hbase、Druid需额外配置，从而控制jars大小 |
|
| 2.3.1.xsql-0.3.2 | 2019.05.25 | 1. bin/spark-xsql支持${}字符串变量 2. datasource关键字与列名冲突 3. processSingleTable assert失败 4. !开头的命令cast报错 5. OutOfDriectMemoryError |
1. 支持Hive的remove datasource if exists 2. 支持Hive的insert overwrite directory using xxx 3. 增加Yarn优先级控制参数spark-sql --priority |
|
| 2.3.1.xsql-0.4.0 | 2019.07.01 | 1. load data partition 2. StackOverflow caused by window functions 3. select using script |
1. set 不再触发job 2. local模式不再产生日志文件 |
1.支持Hive的distribute by 2.接入Kafka数据源 |
| 2.4.3.xsql-0.5.0 | 2019.08.01 | 1.修复任务结束时报错java.io.IOException: Filesystem closed 2.解决HDFS0.2版本与Spark流式SQL所使用HDFS高版本的兼容性问题 3.修复MongoManager、ElasticSearchManager在Local模式下，使用SparkSession.getActiveSession的bug 4.解决XSQL升级Spark2.4.3后，流式SQL无法支持下推的问题 |
升级至Spark2.4.3核心 | 支持流式SQL计算Kafka数据 |
| 2.4.3.xsql-0.6.0 | 2019.08.30 | 1.修改SparkXSQLShell中错误的打印SparkHiveShell信息 | 1.通过ServiceLoader加载DatasourceManager实现 2.增加工作数据源，减少在数据字典读写过程中，反复获取数据源 3.DataSourceManager继承ExternalCatalog，减少相同的方法签名 4.修改mkdocs文档风格 5.增加xsql.conf.template 6.添加监控模块 |
1.支持插件化 2.增加中英文README 3.增加LOGO |
| 2.4.3.xsql-0.6.1 | 2019.10.11 | 1.Rename the prefix of jars from spark to xsql. 2.Fix the bug that can't find default database when default database's name is not default 3.Solve sql select query that select is followed by \n can't run when we use -e sql 4.Fix cannot find spark-xsql-shell. 5..hiverc is loaded twice making create function throw exception 6.Correct the content of license file for XSQL. |
1.Fix com.fasterxml.jackson.core:jackson-databind vulnerabilities. 2.Fix org.jpmml:pmml-model vulnerabilities. 3.Fix zookeeper vulnerabilities 4.build-plugin.sh should use build/mvn to find mvn or install mvn 5.Fix puppycrawl vulnerabilities6.Fix libthrift vulnerabilities. 6.Migrate some XSQL test classes to github 7.Upgrade jackson-databind to 2.9.10 and fix vulnerabilities. 8.Add Github pull request template |
Version Compatibility
| Compute/Storage/Language | Version | Grade | Documentation | Notes |
|---|---|---|---|---|
 |
2.11.8 | PRODUCTION | Data API is built on scala 2.11.8 | |
 |
2.4.3 | This is the recommended version | ||
 |
2.7.3 | This is the recommended version | ||
 |
1.2 | PRODUCTION | Hive Doc | |
 |
5.6.19 | PRODUCTION | Mysql Doc | POWER BY mysql-jdbc |
 |
0.10+ | PRODUCTION | Kafka Doc | |
 |
5.2 | PRODUCTION | ElasticSearch Doc | POWER BY ElasticSearch-Hadoop |
 |
0.10.0 | PRODUCTION | Druid Doc | |
 |
2.3.0 | PRODUCTION | MongoDB Doc | POWER BY MongoDB Connector |
 |
2.0 | PRODUCTION WITH LIMITATIONS | HBase Doc | POWER BY SHC Connector |
 |
4.0.10 | EXPERIMENTAL | Redis Doc | POWER BY jedis |