Update na základě dalšího brainstormingu s Mekem.

- Škatulky jsou vlastně dost nezávislé na konkrétním detektoru (všechna
   kippa kdekoli mohou být jedna škatulka "SSH bruteforce")
 - Pro škatulkování tedy nevyjdeme primárně z detektorů, ale zkusíme, jaké
   nám vypadnou z trojice (Category, Node.Type, Source.Type) a pokusíme se
   je minimalizovat (nebo naopak přidat specifičtější, bude-li nutno). Ve
   stylu:

Category=Attempt.Login and Node.Type=Connection and Node.Type=Honeypot
and Source.Proto=ssh: přiřaď "SSH bruteforce"

anebo ještě lépe

Category=Attempt.Login and Node.Type=Connection and Node.Type=Honeypot: přiřaď "$WHAT bruteforce"

V současné době to funguje tak, že některé detektory (používající
handyman) píší do _CESNET.EventTemplate jméno šablony.  V Mentatí Event
library jsou u ní metadata, která se použijí při generování reportu.

Celou tuhle chytristiku můžeme využít v prakticky původní podobě -
potřebujeme akorát vytvořit nové škatulky s metadaty v Event library (které
už budou postrádat původní smysl šablony pro handyman, ale budou fungovat
jenom jako definice metadat), a do fronty příchozích zpráv zařadit
obohacovač, který jednoduše uchopí soubor s definicí pravidel, přiřazujících
škatulky - a může na to využít už existující jazyk.

Mek tedy vyrobí agregát

Category, Node.Type, Source.Proto, Description

kde z Description vystřelí IP adresy, abychom měli rozumně unikátní
popisky.  A pak bude třeba najít onu rozumně malou sadu sdružujících
pravidel, tj.  vlastně identifikovat, jaké škatule událostí nám tam chodí
(ORR, Bruteforce, C&C, atd.) a přiřadit jim dostatečně přesná pravidla.

Výhoda tohoto ještě je, že pokud nějaké pravidlo nematchne, kukáme
správci, a krom toho můžeme stejným mechanismem vytvářet další pravidla,
která budou třeba kontrolovat smysluplnost zpráv a taky kukat (jednoduchý
viktor čistič).

Další výhoda je, že existující šablony můžeme konvertovat bezbolestně
postupně - vytvoří se např.  škatule, sdružující Open Resolver ze všech
zdrojů, otestuje se pravidlo a výsledné reporty a původní šablony se můžou
zrušit.

-- Pavel (ph)

Ahoj Radku,

chtěli bychom od tebe nějaká filtrační pravidla, která všechny ty
události rozhází na hromádky, kterým pak lze přiřadit jeden popisek.
Sice to vypadá, že tak už to je teď hotové, ale myšlenka je, aby ta
filtrační pravidla nepoužívala pole, do kterých si uživatel z definice
IDEI může nacpat, co se mu líbí, např. tedy description. To dělá
problém teď, protože pokud uživatel změní třeba jen jedno slůvko, už se
to celé pokazí. Chtělo by to tedy najít nějakou unikátní kombinaci polí,
kde nemohou být libovolné hodnoty, nebo nad kterými máme nějakou
kontrolu. Např. je to tedy category, source.type, node.type,
source.proto, source.port a další.

Bude to tedy taková analytická práce podívat se na všechny podobné
události a najít takovou minimální kombinaci polí, která je pro daný typ
události jedinečná.

Chápu, že je to trochu neurčité, ale celé je to takové hodně o citu, lze
to udělat různými způsoby. Určitě bude lepší si to ujasnit přes VC,
Pavel je teď do čt na TNC16, tak se můžeme sejít třeba v pátek?

Mek

Příprava/poznámky pro VC na pátek 17.6.2016

Co s Category=Test?

'Attempt.Login:Test_+++_External:Relay_+++_*__+++_BlockList_x_IP_reported_as_having_run_attacks_on_Joomlas,_Wordpress_and_other_Web-Logins_with_Brute-Force_Logins': 6395,

Hraní si s bruteforcem:

Name bruteforce Count >= 31187
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}, {"Node.Type" : "Honeypot"}

Name bruteforce Count >= 0
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}, {"Node.Type" : "Honeypot"}, {"Node.SW" : {"$ne" : "Kippo"}}

Name bruteforce Count >= 31187
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}, {"Node.Type" : "Honeypot"}, {"Node.SW" : {“$eq" : "Kippo"}}

Name bruteforce Count >= 31187
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}, {"Node.Type" : "Honeypot"}, {"Node.Type” : "Recon"}

Name bruteforce Count >= 31187
{"Category" : "Attempt.Login"}, {"Node.Type" : "Connection"}

Hraní si s bruteforce (flow události), místo ssh, lze použít telnet, rdp, atp.

'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 35848,
'Attempt.Login_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 189255,

Name bruteforce Count >= 1282427
Name bruteforce 0:34:01.443850
Total elapsed time of script:  0:34:01.451832
{"Category" : "Attempt.Login"}, {"Node.Type" : "Flow"}, {"Node.Type" : "Statistical"}

Name bruteforce Count >= 411008
{"Category" : "Attempt.Login"}, {"Node.Type" : "Flow"}, {"Node.Type" : "Statistical"}, {"Source.Proto" : "ssh"}

Je to sice v Category="Test", ale preci jen se možná nejedná o cíl problému, ale zdroj problému. Radši to dávám sem do poznámek.

{   'Category': ['Attempt.Login', 'Test'],
    'CeaseTime': b'\xdb\x01n7\x00\x00\x00\x00',
    'ConnCount': 89,
    'CreateTime': b'\xdb\x01n<\x00\x00\x00\x00',
    'Description': 'SSH dictionary/bruteforce attack',
    'DetectTime': b'\xdb\x01n<\x00\x00\x00\x00',
    'EventTime': b'\xdb\x01m\x07\x00\x00\x00\x00',
    'FlowCount': 178,
    'Format': 'IDEA0',
    'ID': '8103616f-cd77-4a0c-9c27-a305ac3401f1',
    'Node': [   {'Name': 'cz.cesnet.mentat.warden_filer', 'Type': ['Relay']},
                {   'Name': 'cz.cesnet.metacentrum.nemea.hoststats',
                    'SW': ['Nemea', 'HostStatsNemea'],
                    'Type': ['Flow', 'Statistical']}],
    'Target': [   {   'IP4': [   {   'ip': b'\x93\xfb\xfd\x11',
                                     'max': b'\x93\xfb\xfd\x11',
                                     'min': b'\x93\xfb\xfd\x11'}],
                      'Port': [22],
                      'Proto': ['tcp', 'ssh']}],

Z mých strohých poznámek z dnešní VC.

• pravidlo -> škatule
• jiné pravidlo -> taky ta samá škatule

• Ne, museli bychom výrazně upravovat reporter, což bychom zatím neradi

• Label eng/cz (inspirace Event library v Mentatu)
• Severita - správci páteře, https://csirt.cesnet.cz/cs/services/mentat#jak_hodnotite_zavaznosti_hlaseni_jednotlivych_zdroju_z_hlediska_spravcu_patere_cesnetu2
• URL - na csirtí weby - https://csirt.cesnet.cz/cs/services; možná Nemea, nebo jiné interní, pokud najdeš

• možná tam budou pokusy, které už se znovu neobjevili, těmi není třeba se zabývat
• ale možná tam bude pár klientů "v záběhu", by by bylo dobré brát v úvahu

Řazení bude od konkrétních pravidel k obecným.
Brát v úvahu jen pole, standardizované v Idee, tj. kategorie, různé tagy, případně i porty nebo služby, ale pokud možno ne freetexty. Ideální by byl takový popis škatule, který pravděpodobně správně zahrne i další detektory, které budou detekovat podobný typ událostí.

• jak více kategorií? - eq versus in, list versus set

Zkusim to zdokumentovat zde, alespon bruteforce, pak uvidime.
URL v metadatech je nerealne napasovat na nase metadata, alespon ja osobne nevim jak na to.
Kazda puvodni sablona mela sve URL a nic obecneho jsem nenasel.

Ceho se to tyka (Mekuv seznam):

Metadata:

FILTER skatulky:

TEST pro odfiltrovani znamych udalosti:

Kontrola/uprava udalosti:

SSH bruteforce¶

Ceho se to tyka (Mekuv seznam):

OK !!! 'Attempt.Login_+++_*__+++_*__+++_*': 29, Ukazka spada (overeno!) pod SSH bruteforce... "Note: SSH login attempt" 
OK !!! 'Attempt.Login_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 189255,
OK !!! 'Attempt.Login:Test_+++_Relay_+++_*__+++_SSH_attack': 44,
OK !!! 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_SSH_dictionary_bruteforce_attack': 35849,
OK !!! 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_Multiple_unsuccessful_login_attempts_on_SSH': 474101,

Metadata:

LABEL_CZ: Pokus o neoprávněné připojení k SSH serveru
LABEL_EN: Unauthorized attempts to connect to the SSH server
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : "ssh"}]}

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : "ssh"}, {"Description": {"$ne": "Multiple unsuccessful login attempts on SSH"}}, {"Description": {"$ne": "SSH dictionary/bruteforce attack"}}, {"Note": {"$ne": "SSH login attempt"}}, {"Description": {"$ne": "SSH attack"}}]}

Kontrola/uprava udalosti:

### Nema "Target.Proto": "ssh" 
    'Category': ['Attempt.Login', 'Test'],
    'Description': 'SSH attack',
    'DetectTime': b'\xdb\x06m\xb3\x00\x00\x00\x00',
    'EventTime': b'\xdb\x06m\xb3\x00\x00\x00\x00',
    'Format': 'IDEA0',
    'ID': '5425e160-5045-4159-b753-bb19206f298c',
    'Node': [   {'Name': 'cz.cesnet.mentat.warden_filer', 'Type': ['Relay']},
                {   'Name': 'org.liberouter.collector_invea.flowmonads',
                    'Type': ['Relay']}],
    'Note': 'Continuation of attack (unsuccessful) to 2 targets (whole '
            'attack). Current statistics: attempts: 4, total upload: 4.70 '
            'KiB, maximal upload: 1.18 KiB. Single attack.',
    'Source': [   {   'IP4': [   {   'ip': b'\xc2}\xe0\x0e',
                                     'max': b'\xc2}\xe0\x0e',
                                     'min': b'\xc2}\xe0\x0e'}]}],
    'Target': [   {   'IP4': [   {   'ip': b'\xd4m\x80\x14',
                                     'max': b'\xd4m\x80\x14',
                                     'min': b'\xd4m\x80\x14'},
                                 {   'ip': b'\xd4m\x80,',
                                     'max': b'\xd4m\x80,',
                                     'min': b'\xd4m\x80,'}],
                      'Port': [22],
                      'Proto': ['TCP']}],

SSH bruteforce 2¶

Nutna konzultace, protoze se da zapracovat do predchoziho

Ceho se to tyka (Mekuv seznam):

OK !!! 'Attempt.Login_+++_External_+++_*__+++_Bruteforce': 161,

Metadata:

LABEL_CZ: Pokus o neoprávněné připojení k SSH serveru
LABEL_EN: Unauthorized attempts to connect to the SSH server
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : {"$ne": "ssh"}}, {"Source.Proto" : "ssh"}]}

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : {"$ne": "ssh"}}, {"Source.Proto" : "ssh"}, {"Description": {"$ne": "Bruteforce"}}]}

TELNET bruteforce¶

Ceho se to tyka (Mekuv seznam):

OK !!! 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_Multiple_unsuccessful_login_attempts_on_TELNET': 509505,

Metadata:

LABEL_CZ: Pokus o neoprávněné připojení k TELNET serveru
LABEL_EN: Unauthorized attempts to connect to the TELNET server
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : "telnet"}]}

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Proto" : "telnet"}, {"Description": {"$ne": "Multiple unsuccessful login attempts on TELNET"}}]}

RDP bruteforce¶

Ceho se to tyka (Mekuv seznam):

OK !!! 'Attempt.Login:Test_+++_Flow:Statistical_+++_*__+++_Multiple_unsuccessful_login_attempts_on_MS-WBT-SERVER': 186332,
OK !!! 'Attempt.Login:Test_+++_Relay_+++_*__+++_RDP_attack': 31,

Metadata:

LABEL_CZ: Pokus o neoprávněné připojení k RDP serveru
LABEL_EN: Unauthorized attempts to connect to the RDP server
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Port" : 3389}]}

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Target.Port" : 3389}, {"Description": {"$ne": "Multiple unsuccessful login attempts on MS-WBT-SERVER"}}, {"Description": {"$ne": "RDP attack"}}]}

WEB Form bruteforce¶

Ceho se to tyka (Mekuv seznam):

!!! 'Attempt.Login:Test_+++_External:Relay_+++_*__+++_BlockList_x_IP_reported_as_having_run_attacks_on_Joomlas,_Wordpress_and_other_Web-Logins_with_Brute-Force_Logins': 6395,
!!! 'Attempt.Login:Test_+++_Relay_+++_*__+++_Web_form_authentication_attack': 29,

Metadata:

LABEL_CZ: Pokus o útok proti webovému serveru
LABEL_EN: Web form authentication attack
SEVERITY: 2 (Za středně nebezpečné považujeme (útoky na SSH a RDP))
URL: https://csirt.cesnet.cz/cs/services

FILTER skatulky:

NEJPRVE PRIDAT "Target.Proto": "http" pripadne "Source.Proto": "http" 

TEST pro odfiltrovani znamych udalosti:

"filter": {"$and": [{"Category" : "Attempt.Login"}, {"Description": {"$eq": "BlockList.de: IP reported as having run attacks on Joomlas, Wordpress and other Web-Logins with Brute-Force Logins"}}, {"Description": {"$eq": "Web form authentication attack"}}]}

Kontrola/uprava udalosti:

### Nic hmatatelneho, nejlepe "Target.Proto": "http" 
    'Category': ['Attempt.Login', 'Test'],
    'Confidence': 1,
    'Description': 'BlockList.de: IP reported as having run attacks on '
                   'Joomlas, Wordpress and other Web-Logins with Brute-Force '
                   'Logins',
    'DetectTime': b'\xdb4-\xc1\x00\x00\x00\x00',
    'Format': 'IDEA0',
    'ID': '69412746-46da-4446-97ea-f64bf93eff39',
    'Node': [   {'Name': 'cz.cesnet.mentat.warden_filer', 'Type': ['Relay']},
                {   'AggrWin': '00:05:00',
                    'Name': 'cz.cesnet.supplier.intelmq',
                    'SW': ['IntelMQ'],
                    'Type': ['Relay', 'External']}],
    'Source': [   {   'IP4': [   {   'ip': b'[\xc8\x0cN',
                                     'max': b'[\xc8\x0cN',
                                     'min': b'[\xc8\x0cN'}]}],
    '_CESNET': {'StorageTime': 1468641099},
    '_id': '69412746-46da-4446-97ea-f64bf93eff39',

### Podobne... nejlepe doplnit: "Target.Proto": "http" 
    "Category": [
        "Attempt.Login",
        "Test" 
    ],
    "Description": "Web form authentication attack",
    "DetectTime": "2016-06-12 13:45:00Z",
    "EventTime": "2016-06-12 13:44:14Z",
    "Format": "IDEA0",
    "ID": "b8d4cfe7-c240-4636-8ed3-7950e2dbf527",
    "Node": [
        {
            "Name": "cz.cesnet.mentat.warden_filer",
            "Type": [
                "Relay" 
            ]
        },
        {
            "Name": "org.liberouter.collector_invea.flowmonads",
            "Type": [
                "Relay" 
            ]
        }
    ],
    "Target": [
        {
            "IP4": [
                "95.67.12.67" 
            ],
            "Port": [
                80
            ],
            "Proto": [
                "TCP" 
            ]
        }
    ],

Z Radkových výsledků s mírnými úpravami plus dalšími doplňovačkami z dat a ze současných šablon vypadly následující třídy událostí (škatule), které jsou nasazené v Inspektorovi a značkovány. Krom toho na au1 došlo k mnoha úpravám msgtmplts.json (takže mimo jiné nesouhlasí s tím, co je teď v Mentatu), hlavně různých starších šablon, kdy jsme to ještě sekali jak se nám chtělo (teď už máme některé zavedené přístupy, hlavně k botnetům a ke zranitelnostem) - hlavně proto, aby správně zapadly do příslušné třídy.

Takže je na čase začít uvažovat o přechodu.

Třídy událostí jsou následující. U každé je uvedeno, jaké současné šablony pokrývá, tučně jsou ty šablony, které jsme potkali v posledním roce. Pokud u třídy žádné šablony nejsou, vznikla z jiných dat, např. Dionaey, Kippa, atd., tj. starou šablonu pro ni nemáme (a je to v pořádku). Některými staršími roka jsem se nezabýval (pokud by potřebovaly vlastní třídu), vyřešíme je pokud je opět potkáme, viz níž.

Třídy událostí a co pokrývají za současné šablony:
(označené hvězdičkou jsme zaznamenali v posledním roce, ostatní ne)

• abusive-spam-backscatter
  • uceprot-001
• abusive-spam-spammer
  • sserv-006
  • uceprot-002
  • x2-007
• anomaly-connection-booter
• anomaly-traffic-url
  • sserv-007
• anomaly-traffic
  • nsharp-003
• attempt-exploit-cifs
• attempt-exploit-dio-other
• attempt-exploit-epmap
• attempt-exploit-ftp-ftps
• attempt-exploit-http
• attempt-exploit-mssql
• attempt-exploit-mysql
• attempt-exploit-nameserver
• attempt-exploit-sip
  • beekeeper-01
• attempt-exploit-telnet
  • nsharp-006
• attempt-exploit-upnp-ssdp
  • sserv-012
• attempt-login-ms-wbt-server
  • nsharp-005
• attempt-login-sip
• attempt-login-ssh
  • x2-002
• attempt-login-telnet
• avail-ddos
  • nsharp-004
• intrusion-botnet-bot
  • nsharp-001
  • n6-001
  • n6-002
  • n6-003
  • n6-004
  • n6-005
  • n6-006
  • n6-008
  • n6-009
  • n6-010
  • n6-011
  • n6-014
  • n6-015
  • n6-016
  • n6-017
  • n6-018
  • n6-021
  • n6-022
  • n6-023
  • n6-024
  • n6-026
  • n6-027
  • n6-028
  • n6-029
  • n6-030
  • n6-031
  • n6-032
  • n6-033
  • n6-034
  • n6-035
  • sserv-001
  • sserv-002
  • sserv-008
  • x2-001
  • x4-001
• intrusion-botnet-cc
• recon-scanning
  • labrea-001
  • nsharp-002
  • labrea-002
  • labrea-003
  • x2-006
• vulnerable-config-domain
  • sserv-005
  • orr-001
  • x2-004
  • n6-007
• vulnerable-config-chargen
  • sserv-009
• vulnerable-config-ipmi
  • sserv-017
• vulnerable-config-netbios
  • sserv-014
• vulnerable-config-ntp
  • sserv-013
  • sserv-016
  • n6-013
• vulnerable-config-qotd
  • sserv-011
• vulnerable-config-ssdp
• vulnerable-config-snmp
  • sserv-010
• vulnerable-open-socks
  • x2-005

• n6-012
• n6-019
• n6-020
• n6-025
• sserv-003
• sserv-004
• sserv-015
• sserv-018
• x2-003

• connection-test
• dio-epmapper
• dio-httpd
• dio-mssqld
• dio-mysqld
• dio-other
• dio-smbd
• warden-botnet_c_c
• warden-bruteforce
• warden-copyright
• warden-dos
• warden-malware
• warden-other
• warden-phishing
• warden-portscan
• warden-probe
• warden-spam
• warden-vulnerability
• warden-webattack
• f2b-001
• kippo-001

Poznámka: Vulnerable* a Attempt.Exploit by šly možná sjednotit každé do své společné třídy, nebo několika, např. podle závažnosti, nebo podle modu operandi (třeba snmp/domain/ntp otevřené porty na reflection útoky dohromady, apod). Záleží, jak chytře dokážeme napsat šablonu pro reportér, aby hlásila potřebné informace, ale nemusela se opakovat.