网络流量画像(IP,主机维度)业界应用调研——time、port、size、rate、网络访问关系、IP归属、是否代理+历史异常情况(ddos常用)
IOT流量画像:https://apan.net/meetings/apan47/files/24/24-02-04-01.pdf
Traffic Feature Types
• Service-related Feature
• IP Address (Manufacturer Server)
• Protocol number, Port number
• DNS and NTP query
• Size-related Feature
• IP packet size, payload length, TCP window size
• Flow size
• Traffic volume, Traffic rate
• Time-related Feature
• Flow duration
• Active and sleep duration
提到了IoT设备特征:
IoT Traffic Characteristic
• Sending short bursts of data periodically
• Short active time , Long sleep time
• Low data rates, Small packet size
• Distinctive signaling patterns
• Pattern in device setup phase
• Packet sequence of commands or reports
• Connecting to predefined servers and services
• Manufacturer servers
• DSN, NTP
同时汇总得到所有
用户一天24 h内的流量分布,找到忙时和闲时时段。
统计所有4G用户全月24 h流量分布情况,发现凌
晨 1点到早上 7点为流量使用的低谷,即网络闲时,其
他时间流量均较高,设定为网络忙时。
分别统计每个极致用户在闲时发生的流量占个
人总流量的比例,将用户分为闲时主导(闲时流量大
于 50%)和忙时主导(忙时流量大于 50%)两大类。得
到如下结果,98.6% 的用户流量主要集中在忙时,仅
1.4%的用户流量主要发生在闲时。
基于大数据分析的极致用户画像
按照标签体系分级分层的方式,可以分为一级标签、二级标签、三级标签等,每一个层级的标签相当于一个业务维度的切面。在标签应用中按照不同的业务场景进行标签组合,形成相应用户画像。
IP画像 主机画像
行为建模,是将原始的、流于表面的数据转化为具有潜在价值的信息的关键
步骤。对于每一条数据,基于行为的要素,可以提炼出很多的信息,包括:什么
人,如何表示一个行为的所属对象;在什么地点:人物在哪里发生了行为,或者
说行为关联了哪些地理位置;什么行为:是浏览行为还是购物行为,同时还需要
分析行为的发生时间、行为的持续时间、时效性等;语义分析:用户行为的内容
有什么潜在的语义信息,如相关主题、情感偏向等等。
目的 IP 或者 Host 字段。通过该字段,可以分析个人访问的网站和 HTTP 请
求的倾向。因此,设计标签为——“境内”和“境外”。注意,此处除了这两个表
明境内境外的标签之外,还应设计黑名单功能,因此此处额外添加“黑名单”标
签。
日期字段。通过该字段,可以分析个人的上网喜好时间和不同时间段的行为
倾向。因此,设计标签将一天时间按照每隔 4 小时划分成六个时段的标签。
请求 User-Agent 字段。通过该字段,可以获知个人的上网设备。基于常用的
上网设备,涉及标签为——“桌上设备”,“安卓移动设备”和“IOS 移动设备”。
请求文本内容。文本内容包含众多语义信息。该部分信息的提取,主要依赖
于之前章节讨论的文本分析与分类技术。该部分的标签设计基于业务需求和文本
的训练集。本文,基于现有的搜狗新闻分类训练集合,主要设计——“IT 科技”、
“体育运动”和“旅行户外”。注意,在该步骤,可以基于自身差异化需求提供多个
训练集,只需在此步骤设计中添加相关分类标签即可。
标签种类 大小 描述
IP 归属 200 Host、IP 与归属地键值对
黑名单 200 网址列表
日期 200 时间列表,分属不同的时间段
User-Agent 200 User-Agent 列表与所属设备
文本内容 1000 搜狗实验室文本语料
作为IP地址特 征标签进行标记,特征标签包括:IP地址的所属单位/个人、接入商、接入网站、接入机房、所 属行业、网站状态、网站年龄、网站注册商变化轨迹、权威解析商变化轨迹、接入商变化轨 迹、访问量信息、流量变化情况、流量是否存在异常、是否存在安全事件、网站备案状态、网 站所属单位、是否存在诈骗、是否存在违规行为、是否进入黑名单、是否存在恶意行为、IP所 属单位/个人信用指数、违规历史; 多维画像器的多维画像模块综合特征标签以及综合信用指数、影响力指数,形成对工P 地址的全方位画像。
历史是否异常!!!
ddos画像:
支持 http 自定义特征过滤如 host 过滤、user-agent 过滤、referer 过滤安全防护策略ddos 高防 ip 默认提供基础安全策略,策略基于 ip 画像、行为模式分析、ai 智能识别等防护算法,有效应对常见 ddos 攻击行为,同时提供灵活防护策略,您可针对自身业务需求配置,提供针对性防护。
一种攻击IP画像生成方法、攻击IP画像生成装置和电子设备,其中,所述攻击IP画像生成方法,包括:获取由网络安防系统产生的历史攻击流量数据记录;对所述攻击流量数据记录进行预处理,以从所述攻击流量数据记录中获取关键字段;基于在预设时间范围内的各攻击IP的攻击次数,生成对应攻击IP的活跃度;基于各攻击IP的活跃度、攻击包速率、和攻击流量速率,生成对应攻击IP的威胁度;以及,基于所述攻击流量数据记录中的至少部分关键字段、活跃度和威胁度,生成攻击IP画像。
阿里云的IP画像返回:https://help.aliyun.com/document_detail/123085.html
IP风险画像 返回的Extend数据中的值及对象内容释义。Extend数据格式为json格式。
值 内容释义
country 国家或地区名称,中文。例如,“中国”。
province 省级名称,中文。例如,“浙江”
city 城市名称,中文。例如,“杭州”
isIdc 是否是IDC机房IP。1代表是,0代表不是。
isProxy 是否是代理IP。1代表是,0代表不是。
isNat 是否是NAT IP。1代表是,0代表不是。
isBase 是否是基站IP。1代表是,0代表不是。
IP流量特征:
a)源地址;
b)目的地址;
c)数据包大小;
d)包间到达时间;
e)信道字节负载;
f)信道包负荷;
g)数据包中的协议。
主机画像
针对某台服务器的分析是运维人员经常面临的一个仸务,当拿到目标主机的 IP 后,通
常运维人员需要知道:
这台主机的流量在哪些匙域被监控了?
这台主机是否已经在应用系统里已经定义了?是否可以直接在应用拓扑图上呈现?
这台主机对外提供了哪些服务?服务端口是哪些?
这台主机访问了哪些服务器?那些服务器的端口又是哪些?
这些信息构成了一个主机在网络上的画像,我们可以在全局搜索里查找这个主机的 IP 来获
得这些信息
指标有:1、CPU使用率 2、内存使用率 3、文件系统增长率 4、网络流量 5、进程 6、端口 7、网络访问关系(网络连接数)8、用户登陆情况 9、用户执行命令情况。
邮件画像:
0132] 对用户行为进行画像
[0133] 分析邮件日志,通过地理区域、源地址、时间、邮件主题分词、认证成功与失败、客户端信息、主机名等因素建模来进行行为分析。
思科的画像:https://www.cisco.com/c/en/us/td/docs/security/firesight/541/user-guide/FireSIGHT-System-UserGuide-v5401/Traffic-Profiles.pdf
流量画像:
Application Protocol Select an application protocol name from the drop-down list of available protocols.
Application Protocol
Category
Select an application protocol category name from the drop-down list of available categories.
Client Select a client name from the drop-down list of available clients.
Client Category Select a client category name from the drop-down list of available categories.
Connection Type Specify in the traffic profile whether you want to use connection data collected by your Cisco
devices or by NetFlow-enabled devices. If you do not specify a connection type, the traffic
profile includes both.
Destination Country or
Source Country
Select a country from the drop-down list of available countries. This represents the country
associated with a source or destination IP address identified in network traffic.
Initiator IP,
Responder IP, or
Initiator/Responder IP
Use a specific IP address or CIDR notation to specify a range of IP addresses.
See Specifying IP Addresses in Searches, page 60-6 for a description of the syntax allowed for
IP addresses. Note, however, that you cannot use the local or remote keywords to specify IP
addresses that are or are not in the networks you are monitoring.
NetFlow Device Select the NetFlow-enabled device whose data you want to use to create the traffic profile. If
you did not add any NetFlow-enabled devices to your deployment (using the local
configuration), the NetFlow Device drop-down list is blank.
Responder Port/ICMP
Code
Type the port number or ICMP code.
Security Intelligence
Category
Select a Security Intelligence category name from the drop-down list of available categories. To
use a Security Intelligence category for a traffic profile condition, that category must be set to
Monitor instead of Block in the Security Intelligence section of your access control policy. For
more information, see Building the Security Intelligence Whitelist and Blacklist, page 13-3.
SSL Encrypted Session Select Successfully Decrypted.
Transport Protocol Type TCP or UDP as the transport protocol.
Web Application Select a web application name from the drop-down list of available web applications.
Web Application Category Select a web application category name from the drop-down list of available categories.
里面主要有流量协议分类、连接类型、目的IP国家等,流设备,访问的web站点类别