常用技巧

本教程将指导你如何创建 CarbonData 表以及进行性能优化。 以下章节将详细介绍下面的主题:

• 创建 CarbonData 表的建议
• 海量数据加载性能优化的配置
• CarbonData 性能优化的配置

创建 CarbonData 表的建议

比如，下面总结了行数范围在 10000 到 100 亿以及列数在 100 到 300 表格的创建分析结果。 下表介绍了使用到的一些列。

• 表格列说明

• 把经常使用到的过滤列放在开头

比如, MSISDN 在大多数查询会用来过滤，这样我们必须将 MSISDN 放在第一列。 create table 命令可以按照以下建议进行修改:

create table carbondata_table(
  msisdn String,
  BEGIN_TIME bigint,
  HOST String,
  Dime_1 String,
  counter_1, Decimal
  ...

  )STORED BY 'carbondata'
  TBLPROPERTIES ('SORT_COLUMNS'='msisdn, Dime_1')

现在使用 MSISDN 进行过滤的查询效率会更高。

• 将列按照使用频率从低到高的次序排列

如果指定查询中用到的表有多个频繁用于过滤结果的列，建议将列按照使用频率从低到高的次序排列。 经常使用的列按照这种次序排序，可以提高压缩比并提高在这些列上筛选结果的查询性能。

比如, 如果 MSISDN、HOST 和 Dime_1 是经常使用的列，那么列的顺序建议为 Dime_1>HOST>MSISDN，因为 Dime_1 使用频率最低。 create table 命令可以按照以下建议进行修改:

create table carbondata_table(
    msisdn String,
    BEGIN_TIME bigint,
    HOST String,
    Dime_1 String,
    counter_1, Decimal
    ...

    )STORED BY 'carbondata'
    TBLPROPERTIES ('SORT_COLUMNS'='Dime_1, HOST, MSISDN')

• 对于精度不高的测量类型的列，请将 Numeric（20,0）数据类型替换为 Double 数据类型

对于测量类型（measure type）的列，不要求高精度，建议用 Double 替换数字数据类型以增强查询性能。 create table 命令可以按照以下建议进行修改:

  create table carbondata_table(
    Dime_1 String,
    BEGIN_TIME bigint,
    END_TIME bigint,
    HOST String,
    MSISDN String,
    counter_1 decimal,
    counter_2 double,
    ...
    )STORED BY 'carbondata'
    TBLPROPERTIES ('SORT_COLUMNS'='Dime_1, HOST, MSISDN')

测试用例的性能分析结果显示查询执行时间从 15 秒缩短到 3 秒，因此将性能提高了近 5 倍。

• 增量字符的列应重新排列在维度（dimensions）的末尾

考虑每天加载数据的场景，每次加载 begin_time 都是增加的，建议将 begin_time 放在维度的末尾。 增量值在使用最小/最大索引时很有效。create table 命令可以按照以下建议进行修改 :

create table carbondata_table(
  Dime_1 String,
  HOST String,
  MSISDN String,
  counter_1 double,
  counter_2 double,
  BEGIN_TIME bigint,
  END_TIME bigint,
  ...
  counter_100 double
  )STORED BY 'carbondata'
  TBLPROPERTIES ('SORT_COLUMNS'='Dime_1, HOST, MSISDN')

海量数据加载性能优化的配置

CarbonData 支持加载海量数据，在这个过程中，加载时排序数据会消耗大量的内存和磁盘IO，有时候可能出现内存不足异常。 如果你没有足够的内存可使用，那么你可能更喜欢减慢数据的加载速度，而不是数据加载失败。 你可以通过调整 carbon.properties 文件中的属性来配置 CarbonData 以便获得更好的性能。

比如，我们仅仅只有 16 个核，64GB 内存，但是有1000万条记录需要导入到 CarbonData 表中。使用默认配置总是在排序阶段失败，建议按照如下配置修改 carbon.properties:

carbon.number.of.cores.block.sort=1
carbon.merge.sort.reader.thread=1
carbon.sort.size=5000
carbon.sort.file.write.buffer.size=5000
carbon.merge.sort.prefetch=false

CarbonData 性能优化的配置

最近我们在金融和电信领域使用 CarbonData 做了一些性能测试。它涉及详细的查询和聚合场景。影响性能的配置已经被确定，并归纳到以下表中 :

注意: 如果你的 CarbonData 实例仅用于查询，你可以在 spark 配置文件设置 spark.speculation = true 属性。