库内分析。DolphinDB无缝集成了数据仓库,分布式计算引擎和编程语言。即使是对海量数据复杂的分析运算也可在数据库中直接完成。
从应用的角度,库内分析大大提高系统的吞吐量,降低系统的延迟,方便交互式的数据分析,提升用户体验和研发效率。此外,可在动态数据集上进行实时的分布式计算和迭代计算,拓宽了应用场景,譬如在动态数据集上实时生成报表,实时生成量化交易需要的信号等。
DolphinDB的库内分析与事务紧密集成,提供了快照级别的隔离。当其它会话写入数据时,当前会话仍然可以进行计算。
与Apache Spark这样的外部计算引擎相比,库内分析的优势有三个:(1)避免了数据跨系统的移动,大大节省网络带宽以及延时。(2)当多个作业并行时,外部引擎会对同一份数据在内存中制作多份副本,而库内分析在内存中只保留一份副本,这不但节约了大量内存开销,而且提升了系统的并发性能。(3)在分布式计算或者迭代计算中,需要保持数据的一致性和隔离性,不受到外部写入的影响。Apache Spark这样的外挂引擎只能在静态数据集上工作,否则不能保证计算的准确性。