Project

General

Profile

Úkol #3122

Statistiky (nejenom) z nginx

Added by Jan Pacner about 6 years ago. Updated about 3 years ago.

Status:
Zrušeno
Priority:
Vysoká
Category:
-
Target version:
-
Start date:
03/11/2015
Due date:
03/21/2015
% Done:

100%

Estimated time:
4.00 h
Vhodné pro dobrovolníka:
No

Description

Zprovoznit moznost, jak odpovidat na otazky "kolik entit pristoupilo na webovou stranku https://kino.openalt.org/2015_01_12/ v intervalu od 10.3.2015 15:00 do 11.3.2015 18:00" apod. Pokud by toto vyzadovalo ukladani velkeho mnozstvi dat, tak nejaka agregace samozrejme staci (existovala mala agregacni databaze, ktera si byla schopna vystacit napr. se 2MB za poslednich nekolik let, ale jmeno jsem zapomnel :( ).

History

#9 Updated by Michal Stanke about 3 years ago

  • Tracker changed from Obecný požadavek to Úkol
  • Status changed from Čeká se to Zrušeno
  • % Done changed from 0 to 100

#8 Updated by František Kučera about 3 years ago

Zatím bych to zavřel. Návštěvnost můžeme sledovat přes Piwik (resp. dnes se to jmenuje Matomo).

#7 Updated by Michal Stanke about 3 years ago

Franto, je toto po 3 letech ještě relevantní?

#6 Updated by Jan Pacner about 6 years ago

  • Assignee changed from Jan Mareš to František Kučera
  • Estimated time changed from 2.00 h to 4.00 h

Mozna bychom mohli vydolovat tyto informace i z SNMP, nebo spise NetFlow (ktery je stavovy narozdil od SNMP).

#5 Updated by Jan Mareš about 6 years ago

  • Status changed from V řešení to Čeká se

Non-http provoz lze zaznamenávat pouze z logů firewallu/proxy serveru, pokud to jinak cílová aplikace nepodporuje. Konkrétně u streamu, ale k tomu lze jednoduše použít HTTP stránku s přehrávačem zobrazjící stream, případně obsahující odkaz, kde pomocí JS lze zjistit zdali člověk na to kliknut pravým tlačítkem pro zkopírování textu, apod.

Z mého pohledu/současné zkušenosti by bylo zpracování těchto logů výkonově a prostorově náročné v závislosti na návštěvnosti a požadovaných informací.

Na hledání možného řešení nemám čas, takže přenastavuji na "čeká se" dokud nebude nalezeno řešení.

#4 Updated by Jan Pacner about 6 years ago

Je nějaký explicitní důvod nevyužití externích služeb?

Ano, je. A sice to sledovani provozu non-http protokolu (v http protokolech si narves cokoliv do hlavicky nebo primo do stranky a pak to muzes externe trackovat, ale u non-http to nejde).

Osobne jsem zrovna u Piwiku nenasel, ze by umel neco non-http (zajima nas napr. pocet unikatnich IP adres, ktere se pripojuji na port 8090, kde streamujeme pod ruznymi protokoly), ale moc dukladne jsem dokumentaci necetl a mohu se mylit.

#3 Updated by Jan Mareš about 6 years ago

  • Status changed from Nový to V řešení

Nahodím Piwik. Je nějaký explicitní důvod nevyužití externích služeb? S ohledem na množství ostatních nástrojů mám obavu o zahlcení v budoucnu. I když to není na pořadu dne, ale zvyšuje to nároky na správu.

#2 Updated by Jan Pacner about 6 years ago

Jozef Mlích napsal:

Neco jako treba http://en.wikipedia.org/wiki/Category:Free_web_analytics_software ?

Ano, klidne. Hlavne aby to bylo "bezudrzbove" - vysoke pozadavky nemame (zejmena frontend/UI nas nezajima). Statistiky vsak budeme potrebovat i z non-http komunikace (napr. UDP s VoIP protokoly nebo video protokoly).

Mate nejake zkusenosti? Mohli byste neco doporucit nebo naopak podotknout, ceho se vyvarovat?

#1 Updated by Jozef Mlích about 6 years ago

Jan Pacner napsal:

Zprovoznit moznost, jak odpovidat na otazky "kolik entit pristoupilo na webovou stranku https://kino.openalt.org/2015_01_12/ v intervalu od 10.3.2015 15:00 do 11.3.2015 18:00" apod. Pokud by toto vyzadovalo ukladani velkeho mnozstvi dat, tak nejaka agregace samozrejme staci (existovala mala agregacni databaze, ktera si byla schopna vystacit napr. se 2MB za poslednich nekolik let, ale jmeno jsem zapomnel :( ).

Neco jako treba http://en.wikipedia.org/wiki/Category:Free_web_analytics_software ?

Also available in: Atom PDF