Project

General

Profile

Wiki » Schuzky »

Schůzky 2012

Videokonference 24. ledna 2012 (14.00)

  • postupne zacneme psat technickou zpravu, Andrea musi nejdriv poslat kostru
  • dokonceni distribuovane testovani (Kuba)
  • vydani klientskeho (ph zkontrolovat README vůči README.cesnet) a serveroveho tar.gz balicku (kluci dopisi serverove README a instalacni skript), Tom+Suki odhaduji do 9.2.
  • prioritni ukoly po 1.0 (k diskusi, viz brainstorming nad pozadovanou funkcionalitou nize): odmazavani DB, podpora alternativniho jmena X.509 certifikatu, bezpecnost databazovych volani (a nejen nich), logovani po padu, .deb balicky se zavislostmi
  • po 1.0 kluci projdou kod na zjevne bezpecnostni problemy, pak udelame audit kvality a bezpecnosti kodu (CESNET)
  • Tom sepise poznatky k odmazavani DB (zdá se, že mazání SQLite neumíme efektivně)
  • zamyslet se nad pozadovanou funkcionalitou Warden 2.0 a dopsat na Specifikace - vsichni!
  • zjistit, proc spadl prijmajici klient (a možná i server) na VUT
  • problem s Nagiosem, nereportuje spadeny server, ted uz by to pry melo byt opravene (Honza Mach)
  • jak jsou vyuzita prijata data? dejte vedet vy, co mate nasazeneho prijmaciho klienta
  • termin pristi schuzi: ct 9. 2. ve 14.00

Videokonference 9. února 2012 (14.00)

  • dokonceni distribuovaneho testovani (Kuba) - spusten ve 14.30, 9 stroju po 2 vlaknech, nutno zjistit HW a SW konfiguraci stroju
  • nepodarilo se zjistit, proc spadl prijmajici klient (a možná i server) na VUT - reknou vic ladici texty V. Slamy? (ph: nestálo by za to vytvořit bugreport?)
  • udelame i test prijmu (stahovani ze serveru)
  • vydan klientsky balicek 1.1.0, pochvala pro Toma
  • prioritne: vydat serveroveho tar.gz balicku (kluci dopisi serverove README, CHANGELOG a (od)instalacni skript) Tom+Suki nejpozději do 23. 2.
  • Tom sepise poznatky k odmazavani DB (zdá se, že mazání SQLite neumíme efektivně)
  • prioritni ukoly po 1.0 (k diskusi, viz [Specifikace#Warden-2.0] dole), probereme ještě na základě výsledků DOSu a poznatků k odmazávání DB
  • po 1.0 Suki projde kod na zjevne bezpecnostni problemy, pak udelame (CESNET) audit kvality a bezpecnosti kodu
  • zamyslet se nad pozadovanou funkcionalitou Warden 2.0 a dopsat na Specifikace - vsichni!, presunout z TODO a wishlistu hotove veci do separatni sekce
    • RO: priorita strukturované poznámky nebo komplexnější info k události, potřeba pro phishing
    • RO: navazující ovládací/ovládající skripty - ne součást projektu, ale CONTRIBUTION, z toho můžeme generalizovat
    • RO: priorita - alternate_name
    • ph: priorita - ladící logování pro hlášení chyb (croak/confess, chytání výjimek)
  • problem s Nagiosem na warden serveru vyresen
  • jak jsou vyuzita prijata data? dejte vedet vy, co mate nasazeneho prijmaciho klienta
    • MUNI: křížová kontrola incidentů, Kuba má projekt automatického zpracování phishe, kde může používat data z OSU
  • ph, Honza Mach - projdou kód serveru alespoň z 1. patra na neobvyklosti
  • termin pristi schuze: ct 23. 2. ve 14.00

Videokonference 23. února 2012 (14.00)

  • vysledky Kubova distribuovaneho testu - hledani priciny "neplynuleho" zpracovani, Kuba srovna vysledky testu s testovacim provozem
  • nasledne udelame i test prijmu (stahovani ze serveru)
  • vydani serveroveho balicku 1.0.0 - kvuli nizkemu vykonu prejmenovano na 0.1.0, bude podporovat i alternate names - do 2. 3.
  • test s vyuzitim Metacentra udelame po vydani serveroveho baliku a po vyřešení bottlenecku, nutno domluvit certifikaty s Plzni
  • stale se nepodarilo zjistit, proc spadl prijmajici klient (a možná i server) na VUT - ph pozada V. Slamu o bugreport
  • po vydani podrobi zajemci (CESNET, Plzen, Ostrava) inspekci kodu s ohledem na vykonu, pak az bezpecnost; Suki se podiva na bezpecnost, Tom + Kuba na vykon (poznámky ph: soap::lite > xml::parser > expat, nesrší výkonem; data::entropy)
  • PH prosel kód serveru alespoň z 1. patra na neobvyklosti a nic moc neobjevil (ruční quoting vstupu do db místo placeholderů, démon nedělá double-fork, jen setsid)
  • diskuzi o funkcionalite Warden 2.0 nechame po odladeni vykonostnich problemu
  • Tom uz zacal sepisovat poznatky k odmazavani DB (ph - možná řešení: pravidelné vacuum, auto_vacuum, jiná db, buffer, pravidelné odmazávání pro udržení konstantní velikosti)
  • jak jsou vyuzita prijata data? dejte vedet vy, co mate nasazeneho prijmaciho klienta (ph rypne v konferenci)
  • logo zatim nemame, Andrea se pokusi z Pavla Satrapy dostat logo ve vektorovem formatu - ukol trva
  • postupne zacneme psat technickou zpravu, Andrea musi nejdriv poslat kostru - ukol trva
  • jake jsou formalni cile pro rok 2012, ke kterym jsme se zavazali?
  • termin pristi schuze: ut 6. 3. v 10.00
  • Honza V. je pryc: 7.-27. 3.

Videokonference 6. března 2012 (10.00)

  • vysledky Kubova distribuovaneho testu - hledani priciny "neplynuleho" zpracovani, Kuba srovna vysledky testu s testovacim provozem
  • nasledne udelame i test prijmu (stahovani ze serveru)
  • vydán serverový balíček 0.1.0
  • test s vyuzitim Metacentra: Bodik "nasofti", pošle public-key testovací CA pro zařazení na warden-dev
  • stale se nepodarilo zjistit, proc spadl prijmajici klient (a možná i server) na VUT - ph pozadal V. Slamu o bugreport, pozada ho o test na warden-dev a bugreport
  • hledani uzkeho hrdla systemu:
    • Michal Kostenec
      • vylucuje problem v DB (zkusil MySQL) a nedostatku entropie, vyskytuje se uz pri komunikaci 1 klient a 1 server, listen s jiným parametrem než 5 nemění
      • zkusí vyřadit SOAP, systémové věci, strace, ltrace
    • Tom + Kuba - test s vyřazením SSL vrstvy, ladění nastavení komponent
    • ph - profiler Perlu
  • Suki pracuje na bezpečnostním auditu
  • diskuzi o funkcionalite Warden 2.0 nechame po odladeni vykonostnich problemu
  • Tom vzacal sepisovat poznatky k odmazavani DB (ph - možná řešení: pravidelné vacuum, auto_vacuum, jiná db, buffer, pravidelné odmazávání pro udržení konstantní velikosti)
  • jak jsou vyuzita prijata data? dejte vedet vy, co mate nasazeneho prijmaciho klienta (ph rypne v konferenci)
  • logo zatim nemame, Andrea se pokusi z Pavla Satrapy dostat logo ve vektorovem formatu - ukol trva, s logem si zkusí pohrát ph
  • postupne zacneme psat technickou zpravu, Andrea musi nejdriv poslat kostru - ukol trva, cekame az najdeme uzke hrdlo
  • jake jsou formalni cile pro rok 2012, ke kterym jsme se zavazali? - v kostce: uchodit systém k použitelnosti
  • termin pristi schuze: st 21. 3. v 10.00

Videokonference 21. března 2012 (10.00)

Technická k výkonnostním problémů, ostatní body z předchozí platí.

  • Shrnutí Kostěj - entropie není problém, hlavní problém, že neběží paralelně. Přepsal pod Apache a nad MySQL (sqlite má problém s paralelním zpracováním)
  • Shrnutí Tom+Kuba - io::poll by možná při další práci zlepšilo asynchronní spojení, ale bylo by nutné stejně server přepsat tak, aby asynchronně běžel i zpracující kód (což nyní není). Ve výsledku jsou pro řešení s Apachem.
  • Mek zařídí lokální účty pro Kostěje a Bodíka (pro přístup ke GITu)
  • Kostěj do pátku pushne svoje učesané úpravy + krátký popis konfigurace, potom se na kód podívají i ostatní a zvážíme, co je potřeba pro vydání
  • bude potřeba otestovat altName (nyní řešeno přes proměnné prostředí a parsování x509)
  • následně po domluvě Tom+Suki zařídí vydání serverového balíčku
  • návrh: nginx či podobný místo Apache. Nevíme, jak je to s modulem pro Perl, pravděpodobně jiný přístup k certifikátu, zvážíme v budoucnu

Diskuse na téma fronta vs. databáze, aneb přístup k datům zpětně.

  • problém první instalace klienta: dokud od jeho připojení nepřitečou nová data, žádná nevidí - řešení povolit např. den zpětně, lze řešit například beze změny současných rpc přidáním nového rpc na získání den (X hodin) starého ID
  • Radek by rád generoval každou hodinu z dat 24 hodin zpětně (+ také hodinu zpětně), nejjednodušší řešení je povolit časový dotaz, systémové je tlustější klient, který si data ukládá. Kostěj + Bodík hlasují pro jednoduché řešení, s tím, že se v budoucnu ukáže, zda to byl rozumný nápad.
  • příští schůzka: 4. dubna 2012 (10:00)

Videokonference 4. dubna 2012 (10.00)

  • BSD licenci dame do separatniho souboru a zkratime hlavicku v kazdem souboru s kodem. Prubezne, neni treba narazove.
  • diky za vydani klientskeho balicku 1.2.0
  • co zbyva udelat pred vydanim serveroveho balicku s Apachem: nasadit server na warden-dev, upravit klienta a skripty; balicek bude jako tarball, verze 2.0; pak budeme resit balickovaci systemy
  • zatim zustavame u MySQL, pomoci Perl DBI je mozne ale napojit dalsi DB stroje
  • navrh na zjednoduseni skriptu: udelame s vydanim baliku
  • navrh: serverove baliky staci deb, klientske rpm, deb, tar
  • nasledne udelame test prijmu (stahovani ze serveru) a test s vyuzitim Metacentra: Kostej pushne do GITu klienta a bezpecnostni audit. Existuje databaze Metacentra, lze generovat seznam IP adres pro overeni
  • info: 603 MB, 4.5mil radek
  • prijem dat z minulosti: 24 hodin pri nasazeni ano, dal se rozhodneme, az si rekneme, k cemu ma byt Warden
  • rozdeleni praci v Brne: Tom server, Suki klient+audit (ma nyni cas v zasobe), Kuba testovani
  • k diskuzi nad novou db: zda a prip. jak odmazavat data
  • Jak jsou vyuzita prijata data, tj. ocekavani pro smerovani projektu:
    • JV
      • overeni existujicich podezreni, vyvozeni akce, preferuje pollovani a dotazy lokalne, komunita nebo projektem podporovany tlusty klient
      • je spise pro predavadlo dat
      • ALE podporuje celou historii
    • Kostej
      • rad by pro overovani dotazy, 24 hodin zpetne staci
    • Bodik
      • prijimaci cast: data o utocnicich z webnetu, kteri zlobi jinde
      • vysilaci - publikovat vsechno, co tece z IDS v Plzni
      • jeho IDS jednou za den poslou email, tedy v prve rade reporting
      • chce vsechno, co se tyka jeho site a Metacentra, je jedno, jakeho typu
      • nepotrebuju centralu na komplikovane dotazy
      • ALE podporuje udrzovat celou historii
    • Radek
      • den zpatky legitimni, obecne dotazy povazuje mimo zamereni projektu
      • phishing, generovani blacklistu, chybi slozeny atribut nebo strukturovana data
    • ph
      • zdroj nebo cil CESNET2 pro incident handling
  • pristi schuzka: ut 17. dubna 2012 (14:00)

Videokonference 17. dubna 2012 (10.00)

  • aktualni stav:
    • problem s novym klientem (zkusit strace, ltrace) - do patku 20. 4. Tom vyresi nebo bude reportovat, novy server uz funguje na warden-dev, Kostej vyzkousi sveho klienta se serverem (Honza M. mu zřídí přístup na Warden-dev)
    • problem se stejnym SSL certifikatem pro klient i server, kdyz se volaji "serverove" procedury z localhostu
    • vyvoj v Brne se dela tezce na CentOSu, pomohl by virtualni stroj warden-client.cesnet.cz se serverovym SSL certifikatem - zaridi Pavel do patku 20. 4., spravovat bude Tom Plesnik
  • analyza zaslanych dat na Warden:
    • nekteri klienti aktualne neposilaji zadne udalosti (Plzen, VSB)
      • Kippo/Plzeň - Kostěj zjistí, dá vědět, pokud nějaký obecnější problém
      • Radek - neposílal phishe, začne
    • CESNET posila data ze ShadowServeru (tj. ne z vlastnich senzoru) - dalo by se rozlisit description tagem (kdo by data nechtel, podle toho by je mohl filtrovat) - Original, Forwarded
  • Otázka na PV - je posílání informací ze SS ORR atd. o všech všem ok?
  • Při dočišťování přidáme --config
  • pristi schuzka: 3. května 2012 14:00 Honza V. se omlouva

Videokonference 3. května 2012 (14:00)

  • Novinky z Brna:
    • Apache-based server běží na warden-dev
    • přístup k DB upraven na placeholdery
    • rozběhnut virtuál warden-c s Debianem pro vývoj
    • pokus 3 klientů proti warden-dev proběhl úspěšně
  • Kostěj si přidá svoji snakeoil CA pro testy meta, s klientem z GITu provede test pomocí meta - do příštího úterý (8.)
  • Kostěj zmínil corner case autorizace. Může mít dosah na pravidla registrování klientů. Kostěj vytvoří stručný bugreport, patch, případně návrh, pak probereme. Není showstopper 2.0.
  • Tom + Suki do středy README klienta, neobjeví-li se problém při meta DOSu, do 11. vydání klienta beta1
  • Štábní kultura warden-dev:
    • Ukazuje se, že při ladění jsou občas potřeba příkazy, které se nedají odhadnout předem, a někdy prakticky znamenají roota (např. strace). Pro warden-dev tedy povolujeme /bin/bash v sudo, kdo ho ale použije, musí nejprve zkontrolovat, případně se domluvit, že jinému současně přihlášenému nešlape po patách, pokud možno systém uvést do původního stavu, a akci (a důvod) zadokumentovat na Warden-dev.
  • Radek ještě doladí posílání phishů, doladí s kluky
  • data ze systémů, nad kterými poskytovatel dat nemá přímou kontrolu:
    • Pavel V. navrhne úpravu tagů svých strojů podle README.cesnet.
  • Radek posílá data ze zdrojů mimo síť Cesnetu, je ok? Smlouva? Politiky?
  • PV poskytuje data ze SS skrz Warden všem odběratelům, je ok? PV: Smysl Wardenu, aby správci měli data k dispozici. CESNET dostává za celý AS a rozhoduje, že je dá všem.
  • Radek - instalátor kontroluje, zda Linux a bash, problém na BSD, Tom kontrolu vystřelí

Příští schůzka 17. 5. 14:00

Videokonference 17. května 2012 (14:00)

  • poznámky k diskuzi z VCB:
    • překlopeni verze Wardenu s Apachem na warden.cesnet.cz (kdy, jak, ...)
      • co se stavající databází, událostmi a klienty na tomto serveru?
    • co s klienty a daty z MetaCentra na warden-dev.cesnet.cz?
    • GIT
      • zlobilo webové prohlížítko redminu (10. 5. odpoledne)
      • domluvit se na harmonogramu ladění
    • co dál s klientem a serverem (vize a cile pro Warden 2.0)?
    • jak dál testovat (výkonostní testy)
    • balíky pro repozitáře (budou?)
    • jak bude server a prijmajici klient pracovat s description tagy (vlastni/cizi)?
    • jak to vypadá s logem Wardenu?
  • testy z Meta proběhly ok, viz mail v konferenci
  • Kostěj zmínil corner case autorizace. Může mít dosah na pravidla registrování klientů. Kostěj vytvoří stručný bugreport, patch, případně návrh, pak probereme. Není showstopper 2.0.
  • vydán klient beta1 (díky všem)
  • Radek - neposílá data, problém s alt_name při registraci, odložíme po přechodu na nového klienta a server
  • data ze systémů, nad kterými poskytovatel dat nemá přímou kontrolu: systémy Pavla Vachka upraveny, posílají tag "External"
    • je třeba v budoucnu zakomponovat do filtrování odebíraných dat (minimálně má zájem Brno)
  • Kostěj - je rozumné zvýšit počet spojení k db - Brno přidat do README serveru
  • data z testu Meta - smazat, nemají vypovídací hodnotu ani význam
  • problémy Redminu - stane-li se znovu, bugreport, čas, případně screenshot Mekovi
  • poučení - je třeba jednoznačně domlouvat branche/merge/tagy v GITu
    • nyní - Brno přehodí apachí branch na master a otaguje client-2.0.0beta1
  • Mek vytvoří deb, následně Suki rpm
  • Suki přesune data z SQlite do MySQL
  • přesun - pokusíme se o minimální výpadky ostrého serveru, tj. oba dva servery poběží nějakou dobu současně a poskytovatelé budou mít čas push klienty překlopit. Detaily domluvíme mailem.
  • o logo se popereme v Pavlově
  • Příští schůzka na semináři PSAC v Pavlově 30. - 31. 5.

1. schůzka na semináři PSAC v Pavlově 30. 5.

  • začleněn Kostějův patch, který:
    • spojuje dotaz na receive_own_event s autentizačním
    • autentizace refaktorována do jedné funkce
    • zrušeno logování last insert id - zpomalení, select navíc
  • přechod na server/klienty 2.0
    • dnes/zítra:
      • starý server poslouchá na 443 a 4443 (ph)
      • autentizační data na warden-dev přesuneme z warden (Tom)
      • informační mail, popis přechodu, kdo chce zkoušet na jiném než produkčním, musí požádat o registraci na warden-dev
    • do 6. 6.
      • poskytovatelé/odběratelé obrátí 1.X klienty na port 4443
      • nasadí klienty 2.0 proti warden-dev
    • 6.6. - 13.6.
      • na základě reakcí od testovacích klientů ustabilnění warden-serveru 2.0
      • na 443 přestane poslouchat 1.X, začne 2.0 (/opt/warden-server-2)
  • Kostěj zkonvertuje data SQlite db do ostré MySQL
  • Bodík upozornil, že při použití metacentra budeme muset uvádět v publikacích, zjistí detaily, bude třeba zvážit důsledky
  • Kostěj - je rozumné zvýšit počet spojení k db - Brno přidat do README serveru
  • Logo - odhlasováno
  • Otagován klient 2.0, merge Kostějova kódu
  • Štábní kultura - bugy vždy do Redmine

Brainstorming na semináři PSAC v Pavlově 31. 5.

  • Kostěj: poukazuje na očesání dat při konverzi z Wardenu do Mentatu (a naopak)
  • A, JV: use cases - co z toho má síť, co z toho má Cesnet
  • Zájmy organizací (viz také 4. dubna 2012 10.00):
  • JV: výzkum, jak vizualizovat, agregovat, korelovat posílají flow, honeyd+další
  • Aleš: podělit se, W. je zdroj IR, které nemáme, tedy co ostatní nadetekovali o nás (filtrování na základě IP?)
  • Radek: blacklisty, phishing
  • Tom: návrh - detekce na hraně, poznáme podvržený provoz (tohle IP tam nemá co dělat, odkud přišlo)
  • Cesnet: Mentat (podpora IH), globální blacklisty, opačný proces IH (incidenty ven)
  • Bodík: návrh - nedělejte balíčky, udělejte ISO
  • Kostěj: doplňuje - honeypot balíček do sítí, které nic takového neprovozují, data se pro ně mohou vracet po vytěžení CESNET-CERTS v rámci IH
    • nový projekt?
  • Bodík: předávaná data by chtěla otevřenější formát, nemůže tam strukturovaně přidat i hashe aj. (podobný problém, jako Radek s phishingem)
  • Jednotliví: na čase prozkoumat data z Wardenu, jejich sítě, etc.

2. schůzka na semináři PSAC v Pavlově 31. 5.

  • přechod - 443+4443 hotovo, přesun autentizačních dat z Warden na Warden-dev Tom
  • vize a cíle jsou ve wiki (Vize a cíle 2012)
  • zapojení SLU (Kostěj pošle v pondělí Radkovi svoje skripty na Kippo, Radek navede Lukáše Macuru)
  • seznámení se zapojením Dana do projektu - hardwarové sondy
  • srovnávací test (Kuba) po 2.0
  • stačí mašiny? - Mek: ještě 4 roky záruky
  • ph + Andrea co data z organizací mimo síť Cesnetu: politiky? právní konsekvence?
    (v současné době posílá Radek data z externí organizace na psí knížku)
  • Na pořadu dne je koncepční rozhodnutí - současný jednoduchý nástroj,
    ušitý na míru současným potřebám (s pravděpodobnými zádrhely do budoucna),
    nebo flexibilita, širší formát, za cenu vyšší komplexity?
  • Pokud druhá varianta:
    • Kostějův návrh: po drátě a v db idmef + v db vyparsovaná data
    • Suki + Tom: po drátě původní sada hlaviček + idmef
      co s těmi daty reálně budeme dělat?
      jsme provozní, nechceme zkoumat, chceme používat
    • nakonec jsme se shodli na idmefu
    • možnost případně nahradit soap HTTP postem, stavebním blokem je alert, idmef message má více alertů
    • možnost agregace v db, podobně jako v netflow - idmef se za čas zahodí a zůstanou jenom vyparsovaná data
  • další schůzka 6.6. 14:00

Pracovní schůzka o postupu přechodu na 2.0 - 6. 6. 2012 14:00

  • 1.X server poslouchá na 443 i 4443
  • autentizační data z warden.cesnet.cz jsou od pondělka připravena na warden-dev
  • uživatelé informováni
  • během pondělka se objevil problém, ostrý 1.0 warden server neodpovídá. (Mohlo by souviset s přechodem klientů na nový port.)
    • (urgentní) Kostěj upraví performanceSender.pl na rychlé kladivo do cronu na nahození serveru při výpadku, Mek nahodí na warden.cesnet.cz proti 1.X
  • Kostěj se pobaví s Milošem Wimmerem a zkusí kladivo upravit do formy pluginu pro Nagios
  • Mek půjde nagiosem sledovat MySQL?
  • Kuba žádná odezva na dotazník o instalaci, připomene se do listu
  • při VC se ukázalo, že nekomunikuje ani warden-dev 2.0, byl tuhý MySQL server. Při analýze logu podezření na prepare_cached po úpravě na prepared dotazy (které mohlo dostat MySQL do divného stavu příliš cachovanými dotazy), upraveno z prepare_cached na prepare, vypadá ok. Tom vytvoří bugreport, commit.
  • V současné době větší problém se starým Wardenem a jeho laděním, pokračujeme tedy v původním plánu přechodu na nový, i s rizikem.
  • Tom poslal potřebné požadavky k nastavení na warden.cesnet.cz, Mek nastaví
  • ph ve čtvrtek 7. ráno uvolní port 443 pro 2.0 server
  • Tom do FAQ info o LWP modulu, případně i kontrola do instalačního skriptu
  • Tom ve spolupráci se Sukim doplní instalační skript (vytvoření databáze a další)
  • Suki připraví dokumentaci k serveru 2.0 (logičtější přesekání, doporučené limity MySQL)
  • Mek zváží možnost přístupu k logům Apache a MySQL pro vývojáře na warden.cesnet.cz
  • Radek se SLU je v kontaktu, čekají na ostrý server
  • Radek nefunguje řešení s LWP modulem, bude ladit
  • Příští schůzka (k přechodu) 13. 6. 10:00

Pracovní schůzka o postupu přechodu na 2.0 - 13. 6. 2012 10:00

  • nový server běží, problémy se neobjevují, řada klientů přešla, podle Toma logy vypadají ok
  • Kostějovo kladivo nasazeno (starý server ale zatím nebylo potřeba znovu nahazovat)
  • Kuba urgoval dotazník, vypadá to, že máme alespoň dvě odezvy
  • Tom commitl a uzavřel prepare_cached
  • LWP je ve FAQ, Radek u sebe vyřešil
  • Mek zpřístupnil logy Apache a MySQL pro vývojáře na warden.cesnet.cz
  • Suki prohlédne logy, zjistí, kteří klienti nám vypadli - do pátku, pak informujeme, případně shodíme starý server, po shození dostane Kostěj zelenou na konverzi databáze
  • Tom zapracuje ještě na evalech a timeoutu v klientovi, ať chyba klientské knihovny neshazuje aplikaci, která ji volá, a ať nevytuhne při neodpovídajícím serveru
  • Kostěj rozšíří chybovou hlášku při autentizaci, ať je užitečná při hledání důvodu (s čím se klient snažil hlásit)
  • Tomovi neběží jeden produkční klient (návrhy zkusit openssl s_client, zkusit zda odpovídá na http)
  • Kostěj zkusí kladivo upravit do formy pluginu pro Nagios (přes nrpe) na warden-dev, následně Mek nasadí na warden.cesnet.cz
  • Mek nasadí sledování MySQL
  • Mek pustí Kostěje na warden.cesnet.cz, stejné přístupy jako ostatní vývojáři
  • Tom doplní instalační skript (vytvoření databáze a další)
  • Suki připraví dokumentaci k serveru 2.0 (logičtější přesekání, doporučené limity MySQL)
  • Bodík rozbor událostí - grafy/koláče, odborný názor na data, jejich podobu a využití, Kostěj Bodíkovi zpřístupní data
    • klient může přijímat jen jeden typ zpráv, zdá se, že by bylo užitečné mít možnost přijímat obecně - viz filtrování ve Specifikace
  • Suki po akutních úkolech si forkne klienta (budoucí 1.1), zkusí zapracovat drobné užitečnosti:
    • výpis trasování při pádu či chybě
    • možnost výpisu chyb na stderr/syslogu + konfigurační volba
    • zváží koncept chyb (návratovky vs. signál), bude nejspíš ještě chtít diskusi
  • knihovna loguje jen stderr, návratovka API true/false. V budoucnu by to chtělo na výběr kromě stderr alespoň syslog, nadřazená aplikace často stderr zavírá. Přidávám do Specifikace
  • vydání ostrého serveru už se nám zdrželo a byl problém - až se vrátí Kuba, provedeme akceptační testy a srovnávací záhultest, který byl u 1.0
  • princip "nadšení uživatelé si napojí na své nástroje a poskytnou kód jako contribution" nefunguje, bude třeba vrhnout nějaké síly na zmapování potřeb a návrh a implementaci odebírajících akčních klientů. Po ustabilnění bude úkol pro Sukiho.
  • Příští videokonference (k přechodu) 21. 6. 14:00

Pracovní schůzka o postupu přechodu na 2.0 - 21. 6. 14:00

  • Mek pustil Kostěje na warden.cesnet.cz, stejné přístupy jako ostatní vývojáři
  • Radek otočil Buldočka na ostrý Warden (LWP problém se vyřešil instalací z CPANu, ne tarball)
  • Tom - timeout klienta hotov (zabránění věčnému čekání na server)
  • Tom - db reconnect hotov #494
Do 27. 6.:
  • Suki eval #488
  • Kostěj #495 rozšíří chybovou hlášku při autentizaci, ať je užitečná při hledání důvodu (s čím se klient snažil hlásit)
  • Tom + Kostěj vyřeší produkční klient, zjistí, zda je kritická chyba pro vydání (patch) nebo ne (faq pro centos)
  • Kostěj ve spolupráci s ostatními: na ostrem serveru warden.cesnet.cz neni upravena verze autorizace klientu - sjednocení
  • Kostej + Bodík zkusí replikovat: ve filtrovani vlastni zprav je bug, ktery podle meho zpusobuje, ze i pres receive_own_events false, chodi prijemci i jeho zpravy (escapované %)
Současně: Následně:
  • Suki připraví dokumentaci k serveru 2.0 (logičtější přesekání, doporučené limity MySQL)
  • Tom doplní instalační skript (vytvoření databáze a další)
    • "použijte šablonu pro vytvoření databáze"
    • "tohle strčte do konfigurace Apache"
    • + minimální změny do instalátoru, hlavní je stabilita kódu, uživ. přítulnost budeme řešit v dalším updatu
Nižší priorita:
  • Bodík vytvořil klikátko wardenweb, je na warden-dev; zatím data nezkoumal, čeká na Brňáky (kteří mají problém s klientem)
  • JV pro analýzu/vizualizaci:
    • potřebuje sémantiku klientů (poskytovatel musí napsat tahle služba dělá toto, pak můžeme korelovat)
      • Kostěj spolu s konverzí db zjistí, jak odpovídají typy událostí a tagy v db souboru README.cesnet, případně NULLy, N/A, nesmysly
    • kde má analýza probíhat: na ostrém Wardenu
  • Kostěj zelená na konverzi db do MySQL (Tomova konverze klientů je ve FAQ)
    • zváží jaké jsou možnosti začlenění do existujících dat (a zda je potřeba), příští týden probereme
  • Kostěj buldog v certifikátu vs. buldoček v DNS - vyrobí bugreport
  • Suki po akutních úkolech si forkne klienta (budoucí 1.1), zkusí zapracovat drobné užitečnosti:
    • výpis trasování při pádu či chybě
    • možnost výpisu chyb na stderr/syslogu + konfigurační volba
    • zváží koncept chyb (návratovky vs. signál), bude nejspíš ještě chtít diskusi
  • Mek nasadí sledování MySQL
  • ph pro Kubu virtuál, Warden-test 10G, Debian, certifikáty
  • Tom úpravy štábní kultury, forkování, pull před commit
  • Ujasnění funkce serverů:
    • Warden - pouze ostré tarballové verze
    • Warden-dev - Brňáci: server, výkonové testy
    • Warden-c - Brňáci: klient
    • vlastní stroj - Kostěj
    • Warden-test - Kuba
  • Příští video 27. 6. 2012 10:00

Pracovní schůzka o postupu přechodu na 2.0 - 27. 6. 2012 10:00

  • Kostěj #495 rozšířil chybovou hlášku při autentizaci
  • Tom + Kostěj + bodik vyřešili produkční klient - problém starých knihoven, nyní spuštěna většina služeb v brně + přijímající klienti
  • Kostěj sjednotil autorizaci klientů na warden-dev
  • Kostej + Bodík - ve filtrovani vlastni zprav je bug, ktery podle meho zpusobuje, ze i pres receive_own_events false, chodi prijemci i jeho zpravy (escapované %) - neumíme replikovat, uvidíme
  • Kostěj zkonvertoval DB, zůstává ve vedlejší tabulce, necpeme do ostré (kolize ID, pro analýzu lze union)
  • Kostěj buldog v certifikátu vs. buldoček v DNS - hotovo
  • Mek nasadil sledování MySQL na obou serverech
Úkoly:
  • Suki eval #488 (zajistit, aby klient, pokud spadne, neshodil i nadrazenou aplikaci, v niz bezi) - udělá ještě dnes, dá vědět
  • Suki připraví dokumentaci k serveru 2.0 (logičtější přesekání, doporučené limity MySQL)
  • Tom doplní instalační skript (vytvoření databáze a další)
    • "použijte šablonu pro vytvoření databáze"
    • "tohle strčte do konfigurace Apache"
    • + minimální změny do instalátoru, hlavní je stabilita kódu, uživ. přítulnost budeme řešit v dalším updatu
  • ph pro Kubu virtuál, Warden-test 10G, Debian, certifikáty - dnes, dá vědět
  • Kuba akceptační testy na warden-dev a srovnávací záhultest, který byl u 1.0
  • Kostěj ještě jednou DOS z metacentra, domluví se s Kubou na vhodném čase
K diskusi
  • co s chybami v db, narazíme-li na ně?
    • ví-li správce o chybě, není problém smazat, je zbytečné mít vědomě chybná data
    • změna historie u typu je OK
    • zneplatňujeme jen deregistrované klienty
  • do další verze
    • validace známých věcí
    • souvisí organizační - zapojení nového klienta nejprve přes warden-dev, kontrola dat, schváleno, jeď
  • smazat stare soubory z GITu? (warden-alive, wardend,...) - ano
Nižší priorita:
  • ph + Mek Bodík vytvořil klikátko wardenweb - nainstalujeme na ostrý Warden, přístupy (pro vývojáře)
  • JV pro analýzu/vizualizaci:
    • potřebuje sémantiku klientů (poskytovatel musí napsat tahle služba dělá toto, pak můžeme korelovat)
      • Kostěj spolu s konverzí db zjistí, jak odpovídají typy událostí a tagy v db souboru README.cesnet, případně NULLy, N/A, nesmysly
      • API nebo generovaná webstránka k zamyšlení do budoucna, zatím je potřeba srovnat tagy se skutečností
  • Tom úpravy štábní kultury, forkování, pull před commit
  • Suki po akutních úkolech si forkne klienta (budoucí 1.1), zkusí zapracovat drobné užitečnosti:
    • výpis trasování při pádu či chybě
    • možnost výpisu chyb na stderr/syslogu + konfigurační volba
    • zváží koncept chyb (návratovky vs. signál), bude nejspíš ještě chtít diskusi
  • Nový list:
    • původní "warden" - návrh + vývoj
    • warden-user - pro nevývojáře (novinky, důležité informace, upgrady)
  • ph domluvit s lidmi kdo kde
Příští schůzka:
  • směřování - návrh termínu 19. července
  • 9. července 10:00

Pracovní schůzka o postupu přechodu 9. července 10:00
(aneb schůzka po dovolených)

  • Suki eval #488 - hotovo
  • ph pro Kubu virtuál warden-test - hotovo
Doplnění předchozí schůzky:
  • hlavní úkoly do pátku 13.
  • Kuba má autentizační problém s gitem, správce mimo, vyřešíme oklikou
  • Tom otaguje server 2.0.0beta1, klient 2.0.0beta2
  • Tom: návrh změny verzování - není třeba poslední číslo verze - ke zvážení

Další VC operativně.

Warden/Mentat na semináři PSaC (Hluboká) - 13. a 14. 11. 2012

Přítomní:
  • Suki - klientská knihovna
  • Tom - server
  • Kuba - testování
  • Kostěj - klient
  • JV - analýza z pohledu školy
  • DanS - analýza z pohledu csirtu
  • Jakub Šafařík - iptel
  • Vít Sláma - VUT Brno
  • později Pavel Vachek - CESNET-IDS
Úvod:
  • Potenciál: CUNI, UJEP, ČVUT, TUL, UPCE, OSU (v budoucnu i CSIRT.CZ, Seznam)
  • Liberouter - Žádník/Kořenek/Puš
  • Cesnet+Nask, jarní meeting, paralelní sekce na Secure 2012
  • JV: 16. listopadu rok od 1.0
Warden klient + server 2.1, plán přechodu:
  • vydán klient (limit dávky, lepší odstínění chybových stavů, logování, zpětně kompatibilní, opravy chyb)
  • v nejbližší době server (validace, limit dávky, logování, updatovací proces, opravy chyb)
  • 2.0 i 2.1 klienti i server jsou navzájem kompatibilní
  • přejdou tedy klienti, poté upgrade serveru
  • následně postupně a opatrně zapneme validaci (s podporou analytiků)
Přijímající klienti/blacklisty, využití
  • wardenapp (Kostěj) - dal k dispozici, mail v konferenci
    • Receiver, Factory ("vyrábím něco z dat, která přesáhnou limit"), Cleaner
    • Podporuje MySQL a SQlite
  • klient na MU (Kuba)
    • Neukládám, filtruji vše, kde zdroj je MU, předávám do incident handlingu
  • Kostěj se domluvil s Kubou, některé vlastnosti Kubova kódu zaintegruje (potenciálně jeden klient)
  • MÚ zkusí přebírat zprávy CESNET-IDS do incident handling procesu jen z Wardenu
Reporty/postřehy analytiků
  • JV: viz https://homeproj.cesnet.cz/projects/warden/wiki/Analyza_dat
    • události se stejným zdrojem jsou postupně detekovány v různych sítích -> Warden má smysl
    • rozložení počtů událostí - vcelku rovnoměrné, nenacházíme výjimečný zdroj s velkým objemem
    • nejčastější události - portscan, probe, bruteforce, malý počet webattack
    • události z CESNETí sítě - ano, opět - Warden má význam: selling point "máme adresy vašich nabořených strojů"
    • zajímavosti, výjimky (note, události z budoucnosti)
  • DanS: návrh agregace na vyšší vrstvě (štěrkovna)
    • dělal by server, konfigurovatelné, stejné api, jako současný Warden
    • ostatní spíše proti, agregace je příliš subjektivní pojem, měli by dělat klienti podle potřeb
    • potřebujeme tedy někoho, kdo má zájem a nahodí svoje potřeby
    • report o GeoIP - Rusko, Čína
    • report o AS - možnost blokování celých bloků
    • navrhuje zaměřit se na www útoky, nejsou ale dobré nástroj, co logy?
    • žádná IPv6
  • attack_scale sám o sobě nemá význam, je potřeba vztahovat k agregačnímu oknu
    • potřebujeme přidat do infa o klientech a potřebujeme api jeho získání
  • doporučení 5 minut agregační okno, nebrání-li tomu charakter služby nebo obtížnost změny
Minimalizace nevalidních dat:
  • kromě online validace potřebujeme i offline kontroly. Jak rozesílat? Do 'requestor' dáme rovnou email správce. Napíšeme nástroj do cronu
  • co s detekováním pentestů? -> chyba pentestera, nenahlásil, musí si následky vyřešit sám
  • označení experimentálních dat? Stačí, že máme typ "test", potřebujeme ale další server, který se nebude překrývat s vývojářskou funkcí warden-dev
  • sporná/nepoužívaná pole
    • attack_scale - viz výše
    • důležitější, než attack_scale může být počet cílů (neboť IP cíle nesbíráme)
    • timeout - Radek, lokální působnost, pro teď můžeme vyřadit, nový model bude brát na lokální případy ohled
    • priorita - příliš subjektivní, nejsme schopni definovat globálně, vyřadit
  • marťani (192.168.*, 10.*, ...)
    • důvod? Buď flood s podvrženou adresou nebo detekováno v lokální síti.
    • chceme v db pro analýzy, ale nechceme pouštět do světa. Ok, při přijetí označíme jako neplatné, skript může varovat správce.
Sdílení dat:
  • veřejné informace o klientech - nevadí nám zveřejnit v rámci komunity - API
    • stačí analytikům pro filtrování událostí podle tagů při zkoumání
    • nepotřebujeme tedy zatím rozšiřovat filtrovací možnosti
  • 'receive_own_events' může znamenat problém pokud je více správců v jedné doméně (organizaci). Zatím nám nevadí, ale je dobré vědět.
  • Sdílení dat
    • "sdílím pod podmínkou že" - nepodporujeme, ber nebo nech, my sdílíme taky všechno
    • potřebujeme politiku a definici komunity
    • čas na veřejný web
    • komplikace s důvěryhodností "cizích zpráv" (zpráv, nad kterými nemá kontrolu komunita)
      • jsou cizí zprávy zprávy od Seznamu, je-li členem komunity? Nebo jen zprávy od Cymru?
Mentat:
  • konektory pro oba směry mezi Mentatem a Wardenem (Kostěj)
  • práce na rozesílání (Mek)
  • práce na dotazovacím webovém rozhraní (Radek), 60MB dat, zatím rychlé
Kódovací den:
  • Kostěj - online/offline klienti (wardenapp)
  • Kuba - offline kontroly na serveru, soft validace před přijetím (#613)
  • Tom - API info o klientech (#601), dotažení autentizace (#600), sjednocení id (#602, #603, #604, #605, #606, #607, #608, #609)
  • Suki - vystřílení die (#599), vystřelení timeout/priority + obsolete + varování (#596)
  • Mek - rozesílač pro Mentat
  • Radek - www rozhraní pro Mentat (Hawat)