Feature #2903

Příprava šablon

Added by Radomír Orkáč over 2 years ago. Updated 7 months ago.

Status:RejectedStart date:06/17/2016
Priority:NormalDue date:
Assignee:Pavel Kácha% Done:

100%

Category:Development - Core
Target version:2.0

Description

Ahoj,

souhrn z naší schůzky s Mekem, a také zahřívání pro Radka, kterého se
bude část práce týkat.

Problém:

V současné době existuje v Mentatu knihovna událostí:
https://mentat-hub.cesnet.cz/mentat/event/browse
https://mentat-hub.cesnet.cz/mentat/event/list
Používá se ve skutečnosti ale už jen na několik šablon od AU1 (které
jméno šablony zapíší do _CESNET.EventTemplate), většina ostatních zdrojů,
které vznikly jako zdroje přímo Wardenu, už nemá přiřazenou žádnou šablonu.
Šablona určuje, jak bude vypadat výsledný mailový report, tj. pro většinu
událostí šablona neexistuje a používá se jako fallback agregace podle
Node.SW a Description a defaultní šablona.
Potřebujeme ale události naškatulkovat a přidat k nim české popisy,
závažnost, odkaz na další info. Škatulky ale neodpovídají čistě Category -
Anomaly.Traffic může být leccos, Attempt.Login také, atd. Ale - typy
událostí můžou být podobné - všechna Kippa budou mít stejnou šablonu,
Dionaey taky, etc.
Budeme tedy potřebovat novou knihovnu události, založenou na existujících
datech, a nová data do ní zařazovat, než půjdou do reportů (tj. prakticky
nějak společně se zapojováním nového klienta do Wardenu).

Návrh (po diskusi s Mekem):

Každá šablona bude mít svůj handle, relativně krátký, člověkem čitelný,
ale unikátní popisek - zhruba odpovídá "Title" v současné knihovně.
Přiřazení handlů bude probíhat pomocí konfigurace - primárním dělítkem je
Node.Name (a možná i Category), a v rámci tohoto bude moci být několik
obecných pravidel (matchovací jazyk Mentatu). Tj. pokud nebude potřeba nic
spešl, může pravidlo obecně vypadat nějak jako:

cz.cesnet.holly.kippo: SSH bruteforce attack
cz.tul.ward.kippo: SSH bruteforce attack

Pokud bude, zprávy od detektoru se rozdělí přesnějšími pravidly, třeba ve
stylu:

cz.cesnet.au1:
Category eq “Intrusion.Botnet” and Source.Type eq “CC”: Botnet Command and Control
Category eq “Vulnerable.Config” and Source.Protocols eq “ssdp”: Open SSDP

Je možné, že půjde nějak rozumně využít šablonování ve stylu - šablona
"Open", titulek "Open $WHAT".
Získáme tím do reportu možnost původních sekcí:

cz.cesnet.kippo
Slovníkový útok na SSH (Attempt.Login)
IP Time Count
----------------------- ----------------------- --------
195.113.134.227 2016-03-22 ... 53
a.b.c.d 2016-03-23 ... 12

Ale taky třeba možnost úvodní souhrnné sekce, ve stylu:

IP Událost Počet Počet
detektorů událostí
----------------------- --------------------------- ----------- -------
195.113.134.226 Slovníkový útok na SSH 2 23
195.113.134.227 Slovníkový útok na SSH 5 112
Dron - součást botnetu 2 2
195.113.134.250 Open SSDP 1 1

Získáme tím i možnost zvonit správci, že některá událost nezapadá do
žádných pravidel a bylo by záhodno zjistit, co se děje - zařadit do
existující šablony, nebo se domluvit se správcem detektoru.
Mek pracuje na agregaci podle současného stavu, ze které vyjdeme a budeme
se snažit najít rozumnou (tedy malou) sadu šablon a pravidel pro jejich
přiřazení (což bude pravděpodobně hlavně práce pro Radka).

-- Pavel (ph)

mentat-db-profile.out.txt Magnifier (10.3 KB) Radomír Orkáč, 06/17/2016 09:55 AM

dos.txt Magnifier (4.16 KB) Radomír Orkáč, 10/17/2016 09:58 PM

vulnerable.txt Magnifier (6.97 KB) Radomír Orkáč, 10/17/2016 09:58 PM

spam.txt Magnifier (846 Bytes) Radomír Orkáč, 10/17/2016 09:58 PM

anomaly.txt Magnifier (4.75 KB) Radomír Orkáč, 10/17/2016 09:58 PM

sip.txt Magnifier (3.49 KB) Radomír Orkáč, 10/17/2016 09:58 PM

bruteforce.txt Magnifier (5.48 KB) Radomír Orkáč, 10/17/2016 09:58 PM

History

#1 Updated by Radomír Orkáč over 2 years ago

Update na základě dalšího brainstormingu s Mekem.

- Škatulky jsou vlastně dost nezávislé na konkrétním detektoru (všechna
kippa kdekoli mohou být jedna škatulka "SSH bruteforce")
- Pro škatulkování tedy nevyjdeme primárně z detektorů, ale zkusíme, jaké
nám vypadnou z trojice (Category, Node.Type, Source.Type) a pokusíme se
je minimalizovat (nebo naopak přidat specifičtější, bude-li nutno). Ve
stylu:

Category=Attempt.Login and Node.Type=Connection and Node.Type=Honeypot
and Source.Proto=ssh: přiřaď “SSH bruteforce”

anebo ještě lépe

Category=Attempt.Login and Node.Type=Connection and Node.Type=Honeypot: přiřaď "$WHAT bruteforce”

V současné době to funguje tak, že některé detektory (používající
handyman) píší do _CESNET.EventTemplate jméno šablony. V Mentatí Event
library jsou u ní metadata, která se použijí při generování reportu.
Celou tuhle chytristiku můžeme využít v prakticky původní podobě -
potřebujeme akorát vytvořit nové škatulky s metadaty v Event library (které
už budou postrádat původní smysl šablony pro handyman, ale budou fungovat
jenom jako definice metadat), a do fronty příchozích zpráv zařadit
obohacovač, který jednoduše uchopí soubor s definicí pravidel, přiřazujících
škatulky - a může na to využít už existující jazyk.
Mek tedy vyrobí agregát
Category, Node.Type, Source.Proto, Description
kde z Description vystřelí IP adresy, abychom měli rozumně unikátní
popisky. A pak bude třeba najít onu rozumně malou sadu sdružujících
pravidel, tj. vlastně identifikovat, jaké škatule událostí nám tam chodí
(ORR, Bruteforce, C&C, atd.) a přiřadit jim dostatečně přesná pravidla.
Výhoda tohoto ještě je, že pokud nějaké pravidlo nematchne, kukáme
správci, a krom toho můžeme stejným mechanismem vytvářet další pravidla,
která budou třeba kontrolovat smysluplnost zpráv a taky kukat (jednoduchý
viktor čistič).
Další výhoda je, že existující šablony můžeme konvertovat bezbolestně
postupně - vytvoří se např. škatule, sdružující Open Resolver ze všech
zdrojů, otestuje se pravidlo a výsledné reporty a původní šablony se můžou
zrušit.

-- Pavel (ph)

#2 Updated by Radomír Orkáč over 2 years ago

Ahoj,

v příloze posílám profil událostí z mentatí databáze. Oproti zadání jsem
po domluvě s Pavlem udělal agregaci podle:

Category ++ Node.Type ++ Source.Type +++ Description

Agregaci jsem dělal tak, že pro každou zprávu jsem vygeneroval klíč
následujícím způsobem:

sort(join(Category)) + '+++' + sort(join(Node.Type)) + '+++'
sort(join(uniq(Source.Type))) + '+
+' + Description

Jako oddělovač jednotlivých částí klíče je použit string '+++', pokud
klíč v dané zprávě není, je nahrazen '*'. V případě Node.Type se bere
jen hodnota(y) z posledního záznamu node, v případě Source.Type se dělá
join všech hodnot všech sourců.

Na tento klíč se ještě udělá postprocessing, kdy se nahradí za 'x’
všechno, co vypadá jako v4 nebo v6 adresa z políčka Description, tak aby
se agregovaly i zprávy, které v tomto poli uvádějí variabilní hodnotu. A
ještě se nahradí mezery další shell znaky znakem '_’, aby bylo možné
vytvořit soubor se stejným názvem klíče.

Vzorek odpovídajících zpráv je pak zabalen v přiloženém tar archivu,
každý klíč v textovém souboru má uložený vzorek zprávy se stejným názvem.

Provedl jsem namátkovou kontrolu a nenarazil jsem na žádnou chybu. V
tuto chvíli bych tedy úkol předal Radkovi, aby zkusil udělat tu těžší
část a zkusil to tedy nějakým způsobem poagregovat.

Hezký den

Mek

#3 Updated by Radomír Orkáč over 2 years ago

Ahoj Radku,

chtěli bychom od tebe nějaká filtrační pravidla, která všechny ty
události rozhází na hromádky, kterým pak lze přiřadit jeden popisek.
Sice to vypadá, že tak už to je teď hotové, ale myšlenka je, aby ta
filtrační pravidla nepoužívala pole, do kterých si uživatel z definice
IDEI může nacpat, co se mu líbí, např. tedy description. To dělá
problém teď, protože pokud uživatel změní třeba jen jedno slůvko, už se
to celé pokazí. Chtělo by to tedy najít nějakou unikátní kombinaci polí,
kde nemohou být libovolné hodnoty, nebo nad kterými máme nějakou
kontrolu. Např. je to tedy category, source.type, node.type,
source.proto, source.port a další.

Bude to tedy taková analytická práce podívat se na všechny podobné
události a najít takovou minimální kombinaci polí, která je pro daný typ
události jedinečná.

Chápu, že je to trochu neurčité, ale celé je to takové hodně o citu, lze
to udělat různými způsoby. Určitě bude lepší si to ujasnit přes VC,
Pavel je teď do čt na TNC16, tak se můžeme sejít třeba v pátek?

Mek

#4 Updated by Radomír Orkáč over 2 years ago

Příprava/poznámky pro VC na pátek 17.6.2016

Co s Category=Test?

'Attempt.Login:Test_+++_External:Relay_+++_*__+++_BlockList_x_IP_reported_as_having_run_attacks_on_Joomlas,_Wordpress_and_other_Web-Logins_with_Brute-Force_Logins': 6395,

Hraní si s bruteforcem:

Name bruteforce Count >= 31187
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}, {"Node.Type" : "Honeypot"}

Name bruteforce Count >= 0
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}, {"Node.Type" : "Honeypot"}, {"Node.SW" : {"$ne" : "Kippo"}}

Name bruteforce Count >= 31187
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}, {"Node.Type" : "Honeypot"}, {"Node.SW" : {“$eq" : "Kippo"}}

Name bruteforce Count >= 31187
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}, {"Node.Type" : "Honeypot"}, {"Node.Type” : "Recon"}

Name bruteforce Count >= 31187
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}

Hraní si s bruteforce (flow události), místo ssh, lze použít telnet, rdp, atp.

'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 35848,
'Attempt.Login_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 189255,

Name bruteforce Count >= 1282427
Name bruteforce 0:34:01.443850
Total elapsed time of script:  0:34:01.451832
{"Category" : "Attempt.Login"}, {"Node.Type" : "Flow"}, {"Node.Type" : "Statistical"}

Name bruteforce Count >= 411008
{"Category" : "Attempt.Login"}, {"Node.Type" : "Flow"}, {"Node.Type" : "Statistical"}, {"Source.Proto" : "ssh"}

Je to sice v Category=“Test”, ale preci jen se možná nejedná o cíl problému, ale zdroj problému. Radši to dávám sem do poznámek.

{   'Category': ['Attempt.Login', 'Test'],
    'CeaseTime': b'\xdb\x01n7\x00\x00\x00\x00',
    'ConnCount': 89,
    'CreateTime': b'\xdb\x01n<\x00\x00\x00\x00',
    'Description': 'SSH dictionary/bruteforce attack',
    'DetectTime': b'\xdb\x01n<\x00\x00\x00\x00',
    'EventTime': b'\xdb\x01m\x07\x00\x00\x00\x00',
    'FlowCount': 178,
    'Format': 'IDEA0',
    'ID': '8103616f-cd77-4a0c-9c27-a305ac3401f1',
    'Node': [   {'Name': 'cz.cesnet.mentat.warden_filer', 'Type': ['Relay']},
                {   'Name': 'cz.cesnet.metacentrum.nemea.hoststats',
                    'SW': ['Nemea', 'HostStatsNemea'],
                    'Type': ['Flow', 'Statistical']}],
    'Target': [   {   'IP4': [   {   'ip': b'\x93\xfb\xfd\x11',
                                     'max': b'\x93\xfb\xfd\x11',
                                     'min': b'\x93\xfb\xfd\x11'}],
                      'Port': [22],
                      'Proto': ['tcp', 'ssh']}],

#5 Updated by Pavel Kácha over 2 years ago

Z mých strohých poznámek z dnešní VC.

Klidně může být
  • pravidlo → škatule
  • jiné pravidlo → taky ta samá škatule
Více bruteforců - ssh a telnet, shrnout do jednoho?
  • Ne, museli bychom výrazně upravovat reporter, což bychom zatím neradi
Potřebná metadata ke každé škatuli: Test:
  • možná tam budou pokusy, které už se znovu neobjevili, těmi není třeba se zabývat
  • ale možná tam bude pár klientů “v záběhu”, by by bylo dobré brát v úvahu

Řazení bude od konkrétních pravidel k obecným.
Brát v úvahu jen pole, standardizované v Idee, tj. kategorie, různé tagy, případně i porty nebo služby, ale pokud možno ne freetexty. Ideální by byl takový popis škatule, který pravděpodobně správně zahrne i další detektory, které budou detekovat podobný typ událostí.

Poznámka pro Meka:
  • jak více kategorií? - eq versus in, list versus set

#6 Updated by Radomír Orkáč over 2 years ago

Zkusim to zdokumentovat zde, alespon bruteforce, pak uvidime.
URL v metadatech je nerealne napasovat na nase metadata, alespon ja osobne nevim jak na to.
Kazda puvodni sablona mela sve URL a nic obecneho jsem nenasel.

Ceho se to tyka (Mekuv seznam):


Metadata:


FILTER skatulky:


TEST pro odfiltrovani znamych udalosti:


Kontrola/uprava udalosti:



SSH bruteforce

Ceho se to tyka (Mekuv seznam):

OK !!! 'Attempt.Login_+++_*__+++_*__+++_*': 29, Ukazka spada (overeno!) pod SSH bruteforce... "Note: SSH login attempt" 
OK !!! 'Attempt.Login_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 189255,
OK !!! 'Attempt.Login:Test_+++_Relay_+++_*__+++_SSH_attack': 44,
OK !!! 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 35849,
OK !!! 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_Multiple_unsuccessful_login_attempts_on_SSH': 474101,

Metadata:

LABEL_CZ: Pokus o neoprávněné připojení k SSH serveru
LABEL_EN: Unauthorized attempts to connect to the SSH server
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : "ssh"}]}

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : "ssh"}, {"Description": {"$ne": "Multiple unsuccessful login attempts on SSH"}}, {"Description": {"$ne": "SSH dictionary/bruteforce attack"}}, {"Note": {"$ne": "SSH login attempt"}}, {"Description": {"$ne": "SSH attack"}}]}

Kontrola/uprava udalosti:

### Nema "Target.Proto": "ssh" 
    'Category': ['Attempt.Login', 'Test'],
    'Description': 'SSH attack',
    'DetectTime': b'\xdb\x06m\xb3\x00\x00\x00\x00',
    'EventTime': b'\xdb\x06m\xb3\x00\x00\x00\x00',
    'Format': 'IDEA0',
    'ID': '5425e160-5045-4159-b753-bb19206f298c',
    'Node': [   {'Name': 'cz.cesnet.mentat.warden_filer', 'Type': ['Relay']},
                {   'Name': 'org.liberouter.collector_invea.flowmonads',
                    'Type': ['Relay']}],
    'Note': 'Continuation of attack (unsuccessful) to 2 targets (whole '
            'attack). Current statistics: attempts: 4, total upload: 4.70 '
            'KiB, maximal upload: 1.18 KiB. Single attack.',
    'Source': [   {   'IP4': [   {   'ip': b'\xc2}\xe0\x0e',
                                     'max': b'\xc2}\xe0\x0e',
                                     'min': b'\xc2}\xe0\x0e'}]}],
    'Target': [   {   'IP4': [   {   'ip': b'\xd4m\x80\x14',
                                     'max': b'\xd4m\x80\x14',
                                     'min': b'\xd4m\x80\x14'},
                                 {   'ip': b'\xd4m\x80,',
                                     'max': b'\xd4m\x80,',
                                     'min': b'\xd4m\x80,'}],
                      'Port': [22],
                      'Proto': ['TCP']}],


SSH bruteforce 2

Nutna konzultace, protoze se da zapracovat do predchoziho

Ceho se to tyka (Mekuv seznam):

OK !!! 'Attempt.Login_+++_External_+++_*__+++_Bruteforce': 161,

Metadata:

LABEL_CZ: Pokus o neoprávněné připojení k SSH serveru
LABEL_EN: Unauthorized attempts to connect to the SSH server
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : {"$ne": "ssh"}}, {"Source.Proto" : "ssh"}]}

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : {"$ne": "ssh"}}, {"Source.Proto" : "ssh"}, {"Description": {"$ne": "Bruteforce"}}]}


TELNET bruteforce

Ceho se to tyka (Mekuv seznam):

OK !!! 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_Multiple_unsuccessful_login_attempts_on_TELNET': 509505,

Metadata:

LABEL_CZ: Pokus o neoprávněné připojení k TELNET serveru
LABEL_EN: Unauthorized attempts to connect to the TELNET server
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : "telnet"}]}

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : "telnet"}, {"Description": {"$ne": "Multiple unsuccessful login attempts on TELNET"}}]}


RDP bruteforce

Ceho se to tyka (Mekuv seznam):

OK !!! 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_Multiple_unsuccessful_login_attempts_on_MS-WBT-SERVER': 186332,
OK !!! 'Attempt.Login:Test_+++_Relay_+++_*__+++_RDP_attack': 31,

Metadata:

LABEL_CZ: Pokus o neoprávněné připojení k RDP serveru
LABEL_EN: Unauthorized attempts to connect to the RDP server
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Port" : 3389}]}

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Port" : 3389}, {"Description": {"$ne": "Multiple unsuccessful login attempts on MS-WBT-SERVER"}}, {"Description": {"$ne": "RDP attack"}}]}


WEB Form bruteforce

Ceho se to tyka (Mekuv seznam):

!!! 'Attempt.Login:Test_+++_External:Relay_+++_*__+++_BlockList_x_IP_reported_as_having_run_attacks_on_Joomlas,_Wordpress_and_other_Web-Logins_with_Brute-Force_Logins': 6395,
!!! 'Attempt.Login:Test_+++_Relay_+++_*__+++_Web_form_authentication_attack': 29,

Metadata:

LABEL_CZ: Pokus o útok proti webovému serveru
LABEL_EN: Web form authentication attack
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

NEJPRVE PRIDAT "Target.Proto": "http" pripadne "Source.Proto": "http" 

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Description": {"$eq": "BlockList.de: IP reported as having run attacks on Joomlas, Wordpress and other Web-Logins with Brute-Force Logins"}}, {"Description": {"$eq": "Web form authentication attack"}}]}

Kontrola/uprava udalosti:

### Nic hmatatelneho, nejlepe "Target.Proto": "http" 
    'Category': ['Attempt.Login', 'Test'],
    'Confidence': 1,
    'Description': 'BlockList.de: IP reported as having run attacks on '
                   'Joomlas, Wordpress and other Web-Logins with Brute-Force '
                   'Logins',
    'DetectTime': b'\xdb4-\xc1\x00\x00\x00\x00',
    'Format': 'IDEA0',
    'ID': '69412746-46da-4446-97ea-f64bf93eff39',
    'Node': [   {'Name': 'cz.cesnet.mentat.warden_filer', 'Type': ['Relay']},
                {   'AggrWin': '00:05:00',
                    'Name': 'cz.cesnet.supplier.intelmq',
                    'SW': ['IntelMQ'],
                    'Type': ['Relay', 'External']}],
    'Source': [   {   'IP4': [   {   'ip': b'[\xc8\x0cN',
                                     'max': b'[\xc8\x0cN',
                                     'min': b'[\xc8\x0cN'}]}],
    '_CESNET': {'StorageTime': 1468641099},
    '_id': '69412746-46da-4446-97ea-f64bf93eff39',

### Podobne... nejlepe doplnit: "Target.Proto": "http" 
    "Category": [
        "Attempt.Login",
        "Test" 
    ],
    "Description": "Web form authentication attack",
    "DetectTime": "2016-06-12 13:45:00Z",
    "EventTime": "2016-06-12 13:44:14Z",
    "Format": "IDEA0",
    "ID": "b8d4cfe7-c240-4636-8ed3-7950e2dbf527",
    "Node": [
        {
            "Name": "cz.cesnet.mentat.warden_filer",
            "Type": [
                "Relay" 
            ]
        },
        {
            "Name": "org.liberouter.collector_invea.flowmonads",
            "Type": [
                "Relay" 
            ]
        }
    ],
    "Target": [
        {
            "IP4": [
                "95.67.12.67" 
            ],
            "Port": [
                80
            ],
            "Proto": [
                "TCP" 
            ]
        }
    ],

#7 Updated by Radomír Orkáč over 2 years ago

Nejlepsi bude vlozit primo soubory, ktere jsem behem vikendu a dneska proveril a doplnil o metadata.

Soubor se Scanning se mi nekde zatoulal, prestoze mam u nej vykricniky (!!! zmapovano), tak txt soubor neprikladam.
Dodam ho zitra...

!!! Vulnerable 'Abusive.Spam_+++_Data:External:Policy_+++_*__+++_Backscatter_Report': 30,
!!! Spam 'Abusive.Spam_+++_Data:External_+++_*__+++_Spam_Report': 75,
!!! Spam 'Abusive.Spam_+++_Log:Statistical_+++_*__+++_Blacklisted_host': 41989,
!!! Anomaly 'Anomaly.Connection_+++_Blacklist:Connection_+++_*__+++_Connection_to_blacklisted_host(s)': 514,
!!! Anomaly 'Anomaly.Traffic:Fraud.UnauthorizedUsage:Test_+++_Relay_+++_*__+++_SMTP_anomaly': 413,
!!! Anomaly 'Anomaly.Traffic:Test_+++_*__+++_*__+++_METACentre_-_possible_outgoing_attacks_-_CONTINUING_traffic_anomaly': 174,
!!! Anomaly 'Anomaly.Traffic:Test_+++_*__+++_Incomplete_+++_METACentre_-_possible_incoming_attacks_-_CONTINUING_traffic_anomaly': 465,
!!! Anomaly 'Anomaly.Traffic:Test_+++_*__+++_Incomplete_+++_METACentre_-_possible_incoming_attacks_-_DETECTED_traffic_anomaly': 144,
!!! Anomaly 'Anomaly.Traffic:Test_+++_*__+++_Incomplete_+++_METACentre_-_possible_outgoing_attacks_-_CONTINUING_traffic_anomaly': 489,
!!! Anomaly 'Anomaly.Traffic:Test_+++_*__+++_Incomplete_+++_METACentre_-_possible_outgoing_attacks_-_DETECTED_traffic_anomaly': 154,
!!! Anomaly "Anomaly.Traffic:Test_+++_*__+++_Incomplete_+++_x_(source_IP)_-_found_1_08359806027173_flows_(limit_'Flow-Cnt>=5000_or_Flow-Cnt>=1_and_Pkts-estimated>=300000')_within_period_of_5_seconds_Next_message_not_before_16_02_25_x_CET_+0100_in_case_of_continuous_anomaly_Notes_-_detector_uses_extrapolated_values_(bytes,_packets)_in_case_of_sampled_flows;_detector_fragments_long_(duration)_flows_into_5s_intervals_for_evaluation_purposes_": 1,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_*__+++_Backbone_-_UDP_from_external_networks_to_internal_IPs,_packet_length>=1024,_targets_-_CONTINUING_traffic_anomaly': 3,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_*__+++_Backbone_-_UDP_from_internal_IPs_to_external_networks,_packet_length>=1024,_sources_-_CONTINUING_traffic_anomaly': 4,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_*__+++_TCP_SYN_against_internal_IP_address_ranges,_sources_-_CONTINUING_traffic_anomaly': 41,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_*__+++_TCP_SYN_against_internal_IP_address_ranges_-_CONTINUING_traffic_anomaly': 4,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_*__+++_TCP_SYN_against_internal_IP_address_ranges_-_DETECTED_traffic_anomaly': 3,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_*__+++_TCP_SYN_from_internal_IP_address_ranges_-_CONTINUING_traffic_anomaly': 18,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_Backbone_-_UDP_from_external_networks_to_internal_IPs,_packet_length>=1024,_targets_-_CONTINUING_traffic_anomaly': 38,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_Backbone_-_UDP_from_external_networks_to_internal_IPs,_packet_length>=1024,_targets_-_DETECTED_traffic_anomaly': 9,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_Backbone_-_UDP_from_internal_IPs_to_external_networks,_packet_length>=1024,_sources_-_CONTINUING_traffic_anomaly': 212,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_Backbone_-_UDP_from_internal_IPs_to_external_networks,_packet_length>=1024,_sources_-_DETECTED_traffic_anomaly': 68,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_TCP_SYN_against_internal_IP_address_ranges,_sources_-_CONTINUING_traffic_anomaly': 17110,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_TCP_SYN_against_internal_IP_address_ranges,_sources_-_DETECTED_traffic_anomaly': 18201,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_TCP_SYN_against_internal_IP_address_ranges_-_CONTINUING_traffic_anomaly': 312,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_TCP_SYN_against_internal_IP_address_ranges_-_DETECTED_traffic_anomaly': 6,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_TCP_SYN_from_internal_IP_address_ranges_-_CONTINUING_traffic_anomaly': 5921,
!!! Anomaly 'Anomaly.Traffic_+++_*__+++_Incomplete_+++_TCP_SYN_from_internal_IP_address_ranges_-_DETECTED_traffic_anomaly': 216,
!!! Anomaly 'Anomaly.Traffic_+++_External:Policy_+++_*__+++_Unexpected_heavy_traffic': 269,
!!! Anomaly 'Anomaly.Traffic_+++_External_+++_OriginSandbox_+++_Sandbox_URL': 3,
!!! Anomaly 'Attempt.Exploit:Malware_+++_Connection:Honeypot:Recon_+++_*__+++_*': 2945,
!!! Anomaly 'Attempt.Exploit:Test_+++_External:Relay_+++_*__+++_Blueliv_Crimeserver:_exploit': 55,
!!! Anomaly 'Attempt.Exploit_+++_*__+++_*__+++_*': 7,
!!! Anomaly 'Attempt.Exploit_+++_Connection:Honeypot:Recon_+++_*__+++_*': 42358,
!!! SIP 'Attempt.Exploit_+++_Honeypot:Protocol_+++_*__+++_SIP_attack_classification:_call_test': 836,
!!! SIP 'Attempt.Exploit_+++_Honeypot:Protocol_+++_*__+++_SIP_attack_classification:_opt_scan': 3,
!!! SIP 'Attempt.Exploit_+++_Honeypot:Protocol_+++_*__+++_SIP_attack_classification:_opt_test': 464,
!!! SIP 'Attempt.Exploit_+++_Honeypot:Protocol_+++_*__+++_SIP_attack_classification:_reg&call': 1,
!!! SIP 'Attempt.Exploit_+++_Honeypot:Protocol_+++_*__+++_SIP_attack_classification:_reg_attempt': 9,
!!! SIP 'Attempt.Exploit_+++_Honeypot:Protocol_+++_*__+++_SIP_attack_classification:_reg_test': 1,
!!! SIP 'Attempt.Exploit_+++_Honeypot:Protocol_+++_*__+++_SIP_attack_classification:_reg_test_high': 4,
!!! SIP 'Attempt.Exploit_+++_Honeypot:Protocol_+++_*__+++_SIP_attack_classification:_ukwSIP_noSIP': 8,
!!! BRUTEFORCE 'Attempt.Login:Test_+++_External:Relay_+++_*__+++_BlockList_x_IP_reported_as_having_run_attacks_on_Joomlas,_Wordpress_and_other_Web-Logins_with_Brute-Force_Logins': 6395,
!!! BRUTEFORCE 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_Multiple_unsuccessful_login_attempts_on_MS-WBT-SERVER': 186332,
!!! BRUTEFORCE 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_Multiple_unsuccessful_login_attempts_on_SSH': 474101,
!!! BRUTEFORCE 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_Multiple_unsuccessful_login_attempts_on_TELNET': 509505,
!!! BRUTEFORCE 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 35848,
!!! BRUTEFORCE 'Attempt.Login:Test_+++_Relay_+++_*__+++_RDP_attack': 31,
!!! BRUTEFORCE 'Attempt.Login:Test_+++_Relay_+++_*__+++_SSH_attack': 44,
!!! BRUTEFORCE 'Attempt.Login:Test_+++_Relay_+++_*__+++_Web_form_authentication_attack': 29,
!!! BRUTEFORCE 'Attempt.Login_+++_*__+++_*__+++_*': 29,
!!! BRUTEFORCE 'Attempt.Login_+++_Connection:Honeypot:Recon_+++_*__+++_*': 38321,
!!! BRUTEFORCE 'Attempt.Login_+++_External_+++_*__+++_Bruteforce': 161,
!!! BRUTEFORCE 'Attempt.Login_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 189255,
!!! DOS 'Availability.DDoS_+++_Flow:Statistical_+++_Backscatter_+++_DNS_amplification': 1283,
!!! DOS 'Availability.DoS:Test_+++_Flow:Statistical_+++_*__+++_Abnormally_high_number_of_TCP_SYN_packets_received_by_x_(probably_SYN_flood_attack)': 4,
!!! DOS 'Availability.DoS:Test_+++_Flow:Statistical_+++_*__+++_Abnormally_high_number_of_packets_emmited_by_x_(probably_flooding_DoS_attack)': 2104,
!!! DOS 'Availability.DoS:Test_+++_Flow:Statistical_+++_*__+++_Abnormally_high_number_of_packets_received_by_x_(probably_flooding_DoS_attack)': 6323,
!!! DOS 'Availability.DoS:Test_+++_Relay_+++_*__+++_Denial_of_service_attack': 28,
!!! DOS 'Availability.DoS_+++_External:Policy_+++_*__+++_DoS_Attack': 24,
!!! DOS 'Availability.DoS_+++_Flow:Statistical_+++_*__+++_*': 2,
!!! DOS 'Availability.DoS_+++_Flow:Statistical_+++_*__+++_Abnormally_high_number_of_TCP_SYN_packets_emitted_by_x_(probably_SYN_flood_attack)': 27,
!!! DOS 'Availability.DoS_+++_Flow:Statistical_+++_*__+++_Abnormally_high_number_of_TCP_SYN_packets_received_by_x_(probably_SYN_flood_attack)': 60,
!!! DOS 'Availability.DoS_+++_Flow:Statistical_+++_*__+++_Abnormally_high_number_of_packets_emitted_by_x_(probably_flooding_DoS_attack)': 214,
!!! DOS 'Availability.DoS_+++_Flow:Statistical_+++_*__+++_Abnormally_high_number_of_packets_received_by_x_(probably_flooding_DoS_attack)': 7106,
!!! DOS 'Availability.DoS_+++_Flow:Statistical_+++_*__+++_x_received_abnormally_high_number_of_large_DNS_replies_-_probably_a_victim_of_DNS_amplification_DoS_attack': 3449,
!!! DOS 'Availability.DoS_+++_Flow:Statistical_+++_Backscatter_+++_DNS_amplification': 1774,
!!! DOS 'Availability.DoS_+++_Flow:Statistical_+++_Backscatter_+++_x_sent_abnormally_high_number_of_large_DNS_replies_-_it_was_probably_misused_for_DNS_amplification_DoS_attack': 2339,
!!! DOS 'Availibility.DDoS:Test_+++_*__+++_*__+++_DNS_amplification': 3826,
!!! DOS 'Availibility.DDoS_+++_*__+++_*__+++_DNS_amplification': 217,
!!! DOS 'Availibility.DDoS_+++_*__+++_Backscatter_+++_DNS_amplification': 801,
'Fraud.Phishing:Test_+++_External:Relay_+++_Phishing_+++_Blueliv_Crimeserver:_phishing': 14597,
'Intrusion.AdminCompromise:Test_+++_External:Relay_+++_*__+++_Blueliv_Crimeserver:_backdoor': 81,
'Intrusion.AppCompromise:Intrusion.UserCompromise_+++_External_+++_*__+++_Compromised_website': 42,
'Intrusion.Botnet:Malware_+++_External_+++_Malware_+++_Botnet_Drone': 18513,
'Intrusion.Botnet:Test_+++_Blacklist:Flow_+++_CC:Botnet_+++_x_connected_to_x_which_is_on_Zeus_blacklist_': 58035,
'Intrusion.Botnet:Test_+++_Blacklist:Flow_+++_CC:Botnet_+++_x_which_is_on_Zeus_blacklist_connected_to_x_': 451469,
'Intrusion.Botnet:Test_+++_External:Relay_+++_CC_+++_Blueliv_Crimeserver:_c&c': 432,
'Intrusion.Botnet_+++_External_+++_*__+++_Bots': 122,
'Intrusion.Botnet_+++_External_+++_Botnet_+++_Botnet_Drone': 457,
'Intrusion.Botnet_+++_External_+++_CC_+++_Botnet_Command_and_Control': 54,
'Malware:Test_+++_External:Relay_+++_*__+++_Blueliv_Crimeserver:_malware': 201670,
'Other:Test_+++_Relay_+++_*__+++_Communication_with_blacklisted_hosts': 2199,
!!! Scan 'Recon.Scanning:Test_+++_Flow:Statistical_+++_*__+++_Horizontal_port_scan': 5121,
!!! Scan 'Recon.Scanning:Test_+++_Flow:Statistical_+++_*__+++_Vertical_scan_using_TCP_SYN': 308532,
!!! Scan 'Recon.Scanning:Test_+++_Relay_+++_*__+++_Port_scanning': 136,
!!! Scan 'Recon.Scanning_+++_*__+++_*__+++_*': 1675429,
!!! Scan 'Recon.Scanning_+++_Connection:Honeypot:Recon_+++_*__+++_*': 108572,
!!! Scan 'Recon.Scanning_+++_Connection:Tarpit_+++_*__+++_Connection_attempt': 23933703,
!!! Scan 'Recon.Scanning_+++_Connection:Tarpit_+++_*__+++_Ping_scan': 1620071,
!!! Scan 'Recon.Scanning_+++_Connection:Tarpit_+++_*__+++_SYN_ACK_scan_or_DOS_attack': 820378,
!!! Scan 'Recon.Scanning_+++_External:Policy_+++_*__+++_Scanner': 55,
!!! Scan 'Recon.Scanning_+++_Flow:Statistical_+++_*__+++_Horizontal_SYN_scan': 4107764,
!!! Scan 'Recon.Scanning_+++_Flow:Statistical_+++_*__+++_Horizontal_port_scan': 961574,
'Recon_+++_Honeypot:Recon_+++_*__+++_*': 391,
'Test:information.UnauthorizedAccess_+++_Relay_+++_*__+++_DNS_traffic_anomaly': 318,
!!! Vulnerable 'Vulnerable.Config_+++_External:Recon_+++_*__+++_Scan_IPMI': 2660,
!!! Vulnerable 'Vulnerable.Config_+++_External:Recon_+++_*__+++_Scan_NTP': 5876,
!!! Vulnerable 'Vulnerable.Config_+++_External:Recon_+++_*__+++_Scan_NTPMONITOR': 89,
!!! Vulnerable 'Vulnerable.Config_+++_External:Recon_+++_*__+++_Scan_QOTD': 317,
!!! Vulnerable 'Vulnerable.Config_+++_External:Recon_+++_*__+++_Scan_SNMP': 2644,
!!! Vulnerable 'Vulnerable.Config_+++_External:Recon_+++_*__+++_Scan_SSDP': 4505,
!!! Vulnerable 'Vulnerable.Config_+++_External:Recon_+++_Backscatter_+++_Open_DNS_Resolver': 805,
!!! Vulnerable 'Vulnerable.Config_+++_External:Recon_+++_Backscatter_+++_Scan_CHARGEN': 47,
!!! Vulnerable 'Vulnerable.Config_+++_External:Recon_+++_Backscatter_+++_Scan_NETBIOS': 12713,
!!! Vulnerable 'Vulnerable.Config_+++_External_+++_*__+++_Open_DNS_Resolver': 19,
!!! Vulnerable 'Vulnerable_+++_External_+++_Proxy_+++_Proxy_server': 7

#8 Updated by Pavel Kácha almost 2 years ago

  • Assignee changed from Radomír Orkáč to Pavel Kácha

#9 Updated by Pavel Kácha almost 2 years ago

Z Radkových výsledků s mírnými úpravami plus dalšími doplňovačkami z dat a ze současných šablon vypadly následující třídy událostí (škatule), které jsou nasazené v Inspektorovi a značkovány. Krom toho na au1 došlo k mnoha úpravám msgtmplts.json (takže mimo jiné nesouhlasí s tím, co je teď v Mentatu), hlavně různých starších šablon, kdy jsme to ještě sekali jak se nám chtělo (teď už máme některé zavedené přístupy, hlavně k botnetům a ke zranitelnostem) - hlavně proto, aby správně zapadly do příslušné třídy.

Takže je na čase začít uvažovat o přechodu.

Třídy událostí jsou následující. U každé je uvedeno, jaké současné šablony pokrývá, tučně jsou ty šablony, které jsme potkali v posledním roce. Pokud u třídy žádné šablony nejsou, vznikla z jiných dat, např. Dionaey, Kippa, atd., tj. starou šablonu pro ni nemáme (a je to v pořádku). Některými staršími roka jsem se nezabýval (pokud by potřebovaly vlastní třídu), vyřešíme je pokud je opět potkáme, viz níž.

Třídy událostí a co pokrývají za současné šablony:
(označené hvězdičkou jsme zaznamenali v posledním roce, ostatní ne)

  • abusive-spam-backscatter
    • uceprot-001
  • abusive-spam-spammer
    • sserv-006
    • uceprot-002
    • x2-007
  • anomaly-connection-booter
  • anomaly-traffic-url
    • sserv-007
  • anomaly-traffic
    • nsharp-003
  • attempt-exploit-cifs
  • attempt-exploit-dio-other
  • attempt-exploit-epmap
  • attempt-exploit-ftp-ftps
  • attempt-exploit-http
  • attempt-exploit-mssql
  • attempt-exploit-mysql
  • attempt-exploit-nameserver
  • attempt-exploit-sip
    • beekeeper-01
  • attempt-exploit-telnet
    • nsharp-006
  • attempt-exploit-upnp-ssdp
    • sserv-012
  • attempt-login-ms-wbt-server
    • nsharp-005
  • attempt-login-sip
  • attempt-login-ssh
    • x2-002
  • attempt-login-telnet
  • avail-ddos
    • nsharp-004
  • intrusion-botnet-bot
    • nsharp-001
    • n6-001
    • n6-002
    • n6-003
    • n6-004
    • n6-005
    • n6-006
    • n6-008
    • n6-009
    • n6-010
    • n6-011
    • n6-014
    • n6-015
    • n6-016
    • n6-017
    • n6-018
    • n6-021
    • n6-022
    • n6-023
    • n6-024
    • n6-026
    • n6-027
    • n6-028
    • n6-029
    • n6-030
    • n6-031
    • n6-032
    • n6-033
    • n6-034
    • n6-035
    • sserv-001
    • sserv-002
    • sserv-008
    • x2-001
    • x4-001
  • intrusion-botnet-cc
  • recon-scanning
    • labrea-001
    • nsharp-002
    • labrea-002
    • labrea-003
    • x2-006
  • vulnerable-config-domain
    • sserv-005
    • orr-001
    • x2-004
    • n6-007
  • vulnerable-config-chargen
    • sserv-009
  • vulnerable-config-ipmi
    • sserv-017
  • vulnerable-config-netbios
    • sserv-014
  • vulnerable-config-ntp
    • sserv-013
    • sserv-016
    • n6-013
  • vulnerable-config-qotd
    • sserv-011
  • vulnerable-config-ssdp
  • vulnerable-config-snmp
    • sserv-010
  • vulnerable-open-socks
    • x2-005
Nezařazené staré šablony, nemáme žádnou událost za poslední rok, nezabýval jsem se jimi:
  • n6-012
  • n6-019
  • n6-020
  • n6-025
  • sserv-003
  • sserv-004
  • sserv-015
  • sserv-018
  • x2-003
Zastaralé šablony:
  • connection-test
  • dio-epmapper
  • dio-httpd
  • dio-mssqld
  • dio-mysqld
  • dio-other
  • dio-smbd
  • warden-botnet_c_c
  • warden-bruteforce
  • warden-copyright
  • warden-dos
  • warden-malware
  • warden-other
  • warden-phishing
  • warden-portscan
  • warden-probe
  • warden-spam
  • warden-vulnerability
  • warden-webattack
  • f2b-001
  • kippo-001

#10 Updated by Pavel Kácha almost 2 years ago

Poznámka: Vulnerable* a Attempt.Exploit by šly možná sjednotit každé do své společné třídy, nebo několika, např. podle závažnosti, nebo podle modu operandi (třeba snmp/domain/ntp otevřené porty na reflection útoky dohromady, apod). Záleží, jak chytře dokážeme napsat šablonu pro reportér, aby hlásila potřebné informace, ale nemusela se opakovat.

#11 Updated by Jan Mach 7 months ago

  • Status changed from In Progress to Rejected
  • Target version set to 2.0
  • % Done changed from 0 to 100

Tento úkol již vzhledem k přechodu na Mentat verze 2.0 není relevantní, zavírám.

Also available in: Atom PDF