Schůzky 2011¶

• Table of contents
• Schůzky 2011
  • Videokonference 2. srpna 2011
  • Videokonference 9. srpna 2011
  • Videokonference 16. srpna 2011
  • Videokonference 23. srpna 2011
  • Videokonference 6. září 2011 (14:00)
  • Videokonference 20. září 2011 (14:00)
  • Videokonference 11. října 2011 (14:00)
  • Videokonference 8. listopadu 2011 (14.00)
  • Videokonference 24. listopadu 2011 (10.00)
  • Videokonference 6. prosince 2011 (14.00) - diskuse k integraci
  • Videokonference 20. prosince 2011 (14.30)

Videokonference 2. srpna 2011¶

Témata

AbuseHelper - nevhodný

Korelace - pokud zkorelujeme X zpráv v jednu, jak označíme? Něco jako atribut "references" s ID souvisejících zpráv?

Doba platnosti - pro nás se jedná o jednorázové události, na cílové straně ale události spouštějí proces, obvykle s nějakým timeoutem (např. blacklist). V tom případě by možná byly užitečné antizprávy ("withdraw", "resolved").

Servery

• platforma - Debian
• jména - Warden, Warden-dev
• oboje železo, ne virtuál

Úkoly

• Radek - doplní zdroje dat
• Andrea - server
• Andrea - je BSD ok?
• všichni - obrušovat specifikaci, doplňovat případné poznámky na další diskusi

Videokonference 9. srpna 2011¶

• specifikace klientů/adaptérů: formát dat ze zdrojů na univerzitách
  • nejasný, obvykle generovaný, ale většina pro začátek zajímavých zdrojů půjde ohnout
• specifikace příjmajících klientů/adaptérů: co budou dělat s přijatými událostmi zapojené organizace
  • obvykle blacklist, je ale potřeba s rozumem - DNSbl může brát všechno, SSHskeny ale musí být nějaký způsobem filtrovány, aby režie odpovídala přínosu - což je na odběrateli
  • hranice Wardenu - řádková utilita a knihovna u klienta (pro kontrolu nad komunikačním protokolem), v budoucnu možná parser CSV, mailu
• objektivita polí - např. IP a typ incidentu jsou objektivní, timeout a kredit subjektivní a těžko kvantifikovatelné, je potřeba každé dobře zvážit zdůraznit v dokumentaci
• probrat počet událostí v jednom volání procedur (posílat každou událost zvlášť nebo sdružovat události a posílat prostřednictvím pole?)
  • sendEvent, getNewEvents
  • realtime klienti? - ať se ptají často
• ID versus čas detekce - getEvents od ID nemusí vrátit všechna časově novější data
• integrace Wardenu do dohledu: jak je na CESNETu zajišťován dohled? Nagios?
  • ano Nagios
• šedá zóna - podezřelé věci, ale nevíme, zda jsou útok
  • prozatím řešíme jen černé věci
  • šedé - pravděpodobnost? korelace - více šedých = černá? k zamyšlení do budoucna
• je nutná (kromě SSL certifikátů) dodatečná autentizace na základě IP rozsahů?
  • k zamyšlení

Úkoly

• Doba platnosti - několik důvodů proč do Wardenu nezavádět stavy
  • Radek - shrne návrh doby platnosti události
  • Pavel - shrne vracenky
• Andrea - zjistí co s BSD a směrnicí v Cesnetu
• Brno pošle SSH klíče pro přístup na warden-dev.cesnet.cz Honzovi Machovi
• Pavel - přístup pro Plzeň
• Suki - projit paper "Incident Response and Data Protection" a shrnout vse relevantni ke sdileni dat [nizka priorita]
• ostatní - zpřesňovat specifikaci (getNewEvents - id vs. čas události)

Videokonference 16. srpna 2011¶

• specifikace prijmajiciho klienta - problem delegace do positi, slo by resit registraci klientu, kteri chteji jen urcity typ incidentu
• zapojeni CVUT FIT do projektu - probrat s Andreou, zda nekoho nezna
• zapojení škol do projektu - je podmínkou sdílení vlastních dat? nebo budeme poskytovat data i jen příjmajícím?
• spolecny ucet warden pro vyvoj a spousteni programu
• event_id vs. timestamp - máme nějaký protipříklad, proč nestačí řešení 2 a musíme mít řešení 3? Radek se pokusí najít protipříklad, čas přijetí události do wardenu lze ukládat do logu
• doba "platnosti" události - nepovinný timeout
• Honza Mach doplní info o raidu, zálohování a monitorování
• byla by vhodná stránka se štábní kulturou (chování na serveru, na wiki, kód...)

• Pavel - shrne vracenky
• Andrea - zjistí co s BSD a směrnicí v Cesnetu
• Suki - projit paper "Incident Response and Data Protection" a shrnout vse relevantni ke sdileni dat [nizka priorita]

Videokonference 23. srpna 2011¶

• Doba platnosti doplněna o další diskusi
  Nezavrhujeme do budoucna, prozatím jsme se ale shodli na out-of-band komunikaci (např. list).
  Doba platnosti bude jako nepovinný atribut (doporučený timeout).
• Související s timeoutem: chceme podporovat opakování zpráv s úpravou atributů?
  Diskuse dospěla ke "spíše ne", přílišná komplikace klientů a implementace blacklistů.
  Probrali jsme i možnost RSS-like přístupu (chci zprávy za poslední den), prozatím jsme zavrhli ze stejných důvodů.
• vime o dalsich institucich, ktere by se chtely zapojit? jake maji datove zdroje?
  Úkol pro všechny - pátrat. FIT? Zajímají nás ne úplně standardní zdroje, abychom dali dohromady nástřel typů událostí a sémantiku jejich atributů/příloh. Pozor na rozdíl událost vs. incident.
• Úkol pro všechny - návrhy typů událostí, viz předchozí.
• specifikace prijmajiciho klienta, registrace prijmajiciho i odesilaciho klienta
  Odsouhlasen návrh ve specifikaci - autentizační údaje a filtrační profily (na typ a „ne moje“) na serveru
• Úkol pro všechny - návrh Schéma serverové databáze ve verzi 1.0.0 pro jednotlivé položky, vhodné typy
• Štábní kultura - Honza Mach o chování na serveru (z mailu), Tomáš Plesník o vývoji
• Andrea - zjistí co s BSD a směrnicí v Cesnetu
• Suki - projit paper "Incident Response and Data Protection" a shrnout vse relevantni ke sdileni dat [nizka priorita]

Videokonference 6. září 2011 (14:00)¶

• zapojeni dalsich instituci:
  • Slezka univerzita - meli by zajem, ale zatim nemaji zadne datove zdroje
  • Ostravska univerzita - asi ne
  • FIT Brno - poslan mail T. Podermanskemu, zatim bez odezvy
• lokální čas vs. čas v UTC -> lokální čas
• timeout: minuty vs. koncová timestamp -> koncová timestamp
• Úkol pro všechny - návrh Schéma serverové databáze ve verzi 1.0.0 pro jednotlivé položky, vhodné typy
• Návrhy typů událostí
• Štábní kultura - Honza Mach o chování na serveru (z mailu), Tomáš Plesník o vývoji
• Andrea: BSD licence?
• Suki - projit paper "Incident Response and Data Protection" a shrnout vse relevantni ke sdileni dat [nizka priorita]

Videokonference 20. září 2011 (14:00)¶

• BSD licence: potvrzena na urovni namestku CESNETu, Honza zkontroluje komponenty vznikajici implementace
• zapojeni dalsich instituci: Vit Slama z VUT Brno prijde v 15.00
• Štábní kultura - zatim OK, perlovska bude postupne pribyvat
• projit paper "Incident Response and Data Protection" a shrnout vse relevantni ke sdileni dat [nizka priorita] - Suki
• specifikace prijmajicich a odesilajicich klientu vznika na strance Specifikace - Suki a Tom
• pruzkum databazovych typu Sqlite a konkurencnich pristupu - Tom
  • už není třeba, stačilo, abych se podíval na http://www.sqlite.org/faq.html#q5 -- ph
• typů událostí namapovat na realne incidenty v RT CSIRT-MU - Suki - Příklad mapovaní typů událostí na reálné incidenty, potom i ostatni tymy (at mame co nejpestrejsi typy)
• typy udalosti: jak rozlisovat honeypot (darkspace) a produkcni stroj? pres class? - ph zpracuje návrh do Typy_udalosti
• blizi se cas testovani prototypu (cca říjen)
• shrnout Schéma serverové databáze ve verzi 1.0.0 - Tom (se Sukim)
• lokalni cas: problem pri zmene zimniho/letniho casu pri prijmu udalosti (odběratel po změně času může mít o hodinu jinou představu o časech zpráv vzniklých před změnou) - k zamyšlení
• Mek - vytvoří lokální účet v Homeproj pro Víta Slámu, účet „slama“, časem bude podložen LDAPem
• dalsi videokonference: 11. 10. 14.00

Videokonference 11. října 2011 (14:00)¶

• prace s casem: klienti ukladaji udalosti v UTC, server da casove razitko v UTC, klienti dostanou cas v UTC, format casu: ISO (Honza doplni do specifikace)
• co vse potrebujeme znat v pripade phishingu? Radek Orkac poslal, problematika phishingu je komplexni, zatim se k tomu postavime tak, ze v pripade potreby vygenerujeme pro phishing vic nez jednu warden udalost
• warden produkcni server je nainstalovan
• vyvojari: doimplementovani aktivnich a neaktivnich klientu a zaznamu jako bonus pokud zbyde cas
• ruseni klienta: pouze dummy funkce, zaznam do syslogu, v pripade potreby upravime autentizacni udaje v pripade nutnosti
• certifikaty: jak se vyporadat s CRL? - pravidelně budeme stahovat na server a Warden server bude kontrolovat proti nim

• casovy plan praci do konce roku
  • uzavreni specifikace - do 20. 10. - Honza Vykopal poslal do listu vyslednou specifikaci - vyporadani pripominek do st 26. 10.
  • dokumentace pro integraci s datovymi zdroji a registrace klientu - do 11. 11.
  • dokonceni prototypu - do 16. 11. - ulozeni zdrojaku do GITu a predlozeni balicku pro integraci s datovymi zdroji vc. ukazkovych klientu
  • nasazeni v koncovych sitich a na produkcnim serveru warden - do 27. 11. - co ZCU?
  • testovani - od 28. 11. do konce roku 2011
  • publikace - technicka zprava (anglicky) - Andrea, Pavel do 11. 11. zaklad, pak vyvojari - odevzdame v lednu az po testovani

Videokonference 8. listopadu 2011 (14.00)¶

• Shrnutí: Prorazili jsme autentizaci x509 + autorizaci.
• Komplikace: Kontrola vlastních zpráv (pro odfiltrování) na základě síťových bloků (clients/ip_net_client) znamená duplicitní data v db a komplikované dotazy. Řešení: vracíme se k variantě filtrování podle domény druhé úrovně, která je částí clients/hostname. Nejsou tedy nyní potřeba další úpravy.
• Duplikace dat: v tabulce událostí i v tabulce klientů máme pole hostname+service
  • ideál by bylo client_id v tabulce událostí jako klíč do tabulky klientů
  • z časových důvodů nyní neměníme, v budoucnu bude třeba úprava, zahrneme mezi další změny, které vyplynou z testování. Bude-li možné, best-effort zkonvertujeme.
• Kuba zpracovává testování, při testovacím nasazování bude sbírat feedback s tím, kde mají uživatelé (klientů) problémy s instalací, nasazením
• termín dokončení prototypu 16. 11. vypadá zatím dobře, součástí bude i rudimentární README pro instalaci
• produkční server: parta z CESNETu se stará o systém, parta z MUNI o Warden. Honza Mach připraví systém do 11. 11., kluci doplní zbytek a domluví posléze s Honzou detaily/komplikace.
• Schůzka části týmu na semináři během 22. 11.
• Další videokonference: čtvrtek 24. 11. 2011 v 10:00

Videokonference 24. listopadu 2011 (10.00)¶

• termin dokonceni prototypu splnen, zbyva ulozit zdrojaky do GITu - nutno domluvit strukturu, Honza Mach posle navrh strukturu, Brno urci
• bonusovy ukol splnen - deaktivace udalosti zaslanych smazanymi klienty
• MU uz nasadila 2 klienty, ktere uspesne ukladaji tisice udalosti na warden produkcni server
• krome README by mel existovat navod pro konkretni nasazeni provozovatelem (CESNET)
• pro testovaci ucely pridame typ 'test' (dokumentaci nebudeme menit)
• MU poskytne 3 klienty (honeypoty, skenovani portu, SSH slovnikove utoky do 28. 11.), CESNET 2 klienty (Labrea do 28. 11., honeypoty jsou nemocne - pozdeji), VSB 2 klienty (SSH, phishing - 2. 12.), VUT 1 klient (port skeny z honeypotu - 2. 12.), integratori budou pozadani o vyplneni dotazniku (bude obsahovat i otazku, zda jsou schopni poskytnout navod, jak integrovat s konkretnim datovym zdrojem)
• dalsi postup
  • jak to bude s psanim technicke zpravy - PK zjisti u Andrei, jak je na tom
  • zhodnoceni provozu v pulce prosince
• dalsi videokonference: út 6. 12. v 14.00, út 13. 12. v 14.00

Videokonference 6. prosince 2011 (14.00) - diskuse k integraci¶

• Radek se ptal na zpoždění události, nemělo by být, uvidíme.
• Štábní kultura listu - info o nově přihlášených všem.
• ph - poslat info o respondentech listu
• Pavel Vachek - zařezávání časů na přesné hodiny? Ne, hlásí opravdu přesný začátek.
• Nehodil by se i konec útoku?
• Technická zpráva - do konce ledna.
• Další videokonference 16. 12. v 14.30
• Po testování nová verze klienta s opravami.
• Přidat do README info o instalaci potřebných balíčků na nejznámější platformy? Kuba začne tvořit ve wiki Faq, kam to může patřit také. Všichni mohou přidávat návrhy.
• ph drbne do PV a MK s dotazníkem.
• Máme 50M dat, 300 000 událostí, 14 klientů (11 poskytovatelů, 3 odběratelé).
• Všichni si zkusí pullnout GIT, zda je ok struktur a zda něco nechybí (také kompletní zdrojáky).
• Brňáci do konce týdne dorazí Podrobný návrh serveru a klienta verze 1.0.0.

Videokonference 20. prosince 2011 (14.30)¶

• Brňáci do konce týdne dorazí Podrobný návrh serveru a klienta verze 1.0.0.
• Specifické README se tedy bude jmenovat README.cesnet, po zveřejnění serverové části a přechodu z testovacího provozu na veřejný opensource se přetaví na web CESNETu jako popis služby, pravděpodobně česky
• Klient připraven ke zveřejnění verze bugfix 1.0, je třeba dopilovat průvodní texty. Prosím všechny o připomínky (viz diskuse Description tags) do konce tohoto týdne (před štědrým dnem) ph
• Diskuse k tagům a typům incidentů:
  • špatný příklad u "connection" - SSH scan
  • methodology - možná přidat IDS
  • opravit c&c
  • nejasné/protiřečící si znění "exhaustive" odstavce
• Report: 100 MB dat, 650 000 událostí, 15 (11+/4-) klienti
• Diskuse k ORR (ORR Pavla Vachka přebírá data od třetích stran, tj. nejsou to námi zjištěné události)
  • V zásadě ale nejsme proti, je ale třeba zvážit souvislosti
  • "Centralizovaná" služba? Jak zajistit, aby dva poskytovatelé událostí nezačali sypat tytéž, získané ze stejného zdroje?
  • Jak zajistit dodržování licence získávaných událostí? (Například právo poskytovat jen v rámci sítě CESNET.)
  • Jak takové události identifikovat/odlišit?
• Testování - viz Testovani, víc maká odesílající server, než přijímající. Kuba zorganizuje DDOS.
• Logo - tři návrhy, Andrea požádá Pavla o další variace (rovný štít, zubaté dvojité W, pozor na podobnost W ve štítu s logem Wordu)