跳到正文
molesignal
架构

架构

一个存储层。一个查询引擎。一个元数据层。

数据路径

点节点看它在干什么。

采集OTLP · Vector · Fluent BitWALPostgres 元数据ParquetS3 / MinIO引擎DataFusion + Arrow查询 APIREST / gRPC
采集· OTLP · Vector · Fluent Bit

十种采集协议。OTLP HTTP/gRPC 是一等公民;Vector、Fluent Bit、Prometheus remote_write、Loki push、Splunk HEC、Jaeger、Zipkin、Syslog 走同一写路径。

轻点或悬停节点查看说明。

三信号同存储

日志、指标、链路都写入对象存储上的 Parquet。列式布局让跨信号过滤和时间窗 prune 都很便宜。

查询引擎

DataFusion 在 Parquet 上规划 SQL、PromQL、VRL。planner 做多租户 org-rewrite,租户隔离在查询层而非部署层。

采集协议

首日支持十种:OTLP HTTP、OTLP gRPC、Vector、Fluent Bit、Prometheus remote_write、Loki push、Splunk HEC、Jaeger、Zipkin、Syslog。

  • OTLP HTTP基于 HTTP/JSON 的 OpenTelemetry 协议
  • OTLP gRPC基于 gRPC 的 OpenTelemetry 协议
  • VectorVector source
  • Fluent BitFluent Bit OTel/HTTP
  • Prometheusremote_write(PromQL 原生查询)
  • Loki pushLoki 兼容 push API
  • Splunk HECSplunk HEC token
  • JaegerJaeger thrift/proto
  • ZipkinZipkin v2 JSON
  • SyslogRFC5424 over UDP/TCP/TLS

实时告警

kind: realtime 的告警在写路径上直接评估。从事件到呼叫不到 1 秒。

多租户

租户在 planner 阶段被改写。一个进程服务多个 org,不靠 prefix 隔离脏招。

性能

Benchmarks 跟着 v1.0 发布。方法学:TSBS 跑指标,自研日志/链路压测对准 1 TB/天。在 Roadmap 跟进。

pre-1.0 · Benchmark 方法学已公开,数字与 v1.0 一同发布。

开放问题

我们还在解决:高维标签的 cardinality 限制策略、突发 ingest 下的 Parquet rotation。卡在这两个上的朋友,欢迎来当 Design Partner。