工程技术

开源架构技术漫谈：基于 Ntopng 实现网络流量的可视化监控

摘要

  • NTOPNG是NTOP的新一代版本,提供以下特性：
  • 多协议网络流量；IPv4/IPv6活跃主机
  • 网络流量监控；
  • 基于nDPI实现应用协议发现
  • 作为 NetFlow/sFlow  采集器 (Cisco/ Juniper 路由器) ；交换机配合 nProbe.

What ntopng can do for me?

  • http://www.ntop.org/products/ntop
  • Sort network traffic according to many protocols
  • Show network traffic and IPv4/v6 active hosts
  • Store on disk persistent traffic statistics in RRD format
  • Geolocate hosts
  • Discover application protocols by leveraging on nDPI, ntop’s DPI framework.
  • Characterise HTTP traffic by leveraging on characterisation services provided by block.si. ntopng comes with a demo characterisation key, but if you need a permanent one, please mail info@block.si.
  • Show IP traffic distribution among the various protocols
  • Analyse IP traffic and sort it according to the source/destination
  • Display IP Traffic Subnet matrix (who’s talking to who?)
  • Report IP protocol usage sorted by protocol type
  • Act as a NetFlow/sFlow collector for flows generated by routers (e.g. Cisco and Juniper) or switches (e.g. Foundry Networks) when used together with nProbe.
  • Produce HTML5/AJAX network traffic statistics

 

Ntopng 架构

主要开发语言

C、C++、Python、Lua

数据采集层

Libpcap ：网络数据包捕获函数包

ZeroMQ
一个C内核及C＋＋编写的核心库libzmq，50余种语言支持的绑定程序(例如Python支持PyZMQ)，号称最快的消息库，协议级，目标是成为Linux的一部分。

业务处理层

Monitoring Engine，负责采集数据的规整、压缩、转储。

存储

Sqlite：轻型数据库，多语言支持（此处为python）
Gdbm：DBM的GNU版本，使用hash存储非结构化数据

Redis
Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。Ntopng的Redis数据结构如下：

前端展现层

RRDtool

源自MRTG（多路由器流量绘图器）。MRTG是有一个大学连接到互联网链路的使用率的小脚本开始的。MRTG后来被当作绘制其他数据源的工具使用，包括温度、速度、电压、输出量等等。

Geoip：IP GIS图形

其它库

autoconf、automake、pkg-config、libtool（提供通用的库编译支持）
Gettext、icu4c：国际化(I18N)和本地化(L10N)，多语言支持

libffi
“FFI” 的全名是 Foreign Function Interface，通常指的是允许以一种语言编写的代码调用另一种语言的代码。而 “Libffi” 库只提供了最底层的、与架构相关的、完整的”FFI”，因此在它之上必须有一层来负责管理两种语言之间参数的格式转换。

Gobject-introspection：（简称 GI）用于产生与解析 C 程序库 API 元信息，以便于动态语言（或托管语言）绑定基于 C + GObject 的程序库

json-glib、json-c、openssl、glib

libtasn1：开发 ASN.1 (Abstract Syntax Notation One) 结构管理的 C 库
gmp
Nettle：a low-level cryptographic library （加密）
Gnutls：（加密）
libpng：the official PNG reference library （图形）
pixman：像素管理（图形）
Cairo：a2Dgraphicslibrarywithsupportformultipleoutputdevices.
Freetype：FreeType库是一个完全免费（开源）的、高质量的且可移植的字体引擎，它提供统一的接口来访问多种字体格式文件，包括TrueType,OpenType, Type1, CID,CFF, Windows FON/FNT, X11 PCF等
fontconfig：字体库管理

P2P 演示案例




Paper

扩展阅读

网络管理

数据可视化

参考文献

推荐文章