трънки и блогинки

Лекция за методите за анализ на трафични данни

Написано на: 30.10.2008 · 11 коментара

Потребност от защита на личната неприкосновеност може да възникне само в хора, които са наясно каква точно опасност ги грози. Колкото и да се повтаря само като теза, докато опасностите от събирането на данни отностно електронните съобщения, съгласно Наредба 40, не се покажат по ясен за всички начин, не може да се очаква разбирането и реакцията на нужния голям брой хора. OpenFest 2008 идва и ще се случи тази събота и неделя във Военния клуб. Тази вечер се видяхме с Мариян, пихме няколко бири и решихме, че програмата може да стане по-добра.  Мисля, че OpenFest  е най-подходящото място такава лекция да се случи и смятам да я направя.

Целта на лекцията е да се демонстрират, максимално достъпно, възможностите за анализ и извличане на информация от така събираните данни. Иска ми се да покажа какво може да се научи за личния и обществен живот на всеки, ползващ каква да е интернет услуга или мобилен телефон. Как всеки от нас може да бъде следен, изучаван и наблюдаван, като се извлича и систематизира информация относно него и личните му навици, която дори и той самият не знае за себе си. Темата ми е любопитна и я считам за значима, защото това вече се случва всеки ден, а ще се случва все повече и повече в бъдеще и всички ние трябва поне да сме информирани.

Има два проблема тази лекция да се случи. Първият е, че ми липсва математическия и статистически апарат, който е нужен за точно, пълно и достъпно описание на възможните методи за анализ. Вторият проблем, е че до времето на евентуално провеждане на тази лекция остават около 50 часа, в които информацията да се събере, организира и представи ясно и достъпно. Проблемите биха били непреодолими ако не бях убеден, че има хора, които знаят много и могат да помогнат да се случи. Хора като Весо Колев, Червото и всички вас, които знаете и може да помогнете лекцията да се стане.

Лекцията си я представям със следното съдържание:

  1. Описание на събираната и съхранявана информация за електронните съобщения, на основание Наредба 40. С това мога и аз да се справя.
  2. Представяне на методи за анализ на събраната информация. Информацията включва: име и кратко описание на метода, въпроси на човешки език, на които той дава отговор и пример за резултат от прилагането им, базиран на (може би) реални данни. Това е основната част, която трябва да е максимално ясна и нагледна и за нея е нужна външна помощ в най-голяма степен.
  3. Възможни стратегии за защита, които всеки може да предприеме.

Има срок, има идея, има цел, има дори и нещо като план. Сега остават само „подробностите“ по събиране, систематизиране и представяне на информацията. За тези подробности имам нужда и от вашата помощ. Ако сте чели, попадали на нещо подобно или може да покажете и обясните добре методи за анализ и обработка на трафични данни, моля, оставете връзки, описание, примери, картинки и всичко, което може да е от помощ. След това заповядайте във Военния клуб, за да участвате и лично.

Категория: проекти · свободни неща

11 коментара ↓

  • Хубаво ми е, когато хората коментират. Чета внимателно всеки коментар и отговарям, когато имам какво да кажа.

  • Zeridon на 30.10.2008г. в 01:35ч.

    Ех пеьо пеьо, по рано трябваше. За добра статистическа обработка е нужно прилично количество данни. Бих казал че добър старт е една седмица. С идеята че знаеш какво правиш всеки ден … блогче, новинка и т.н.

    BTW според някои слухове в държавната администрация май има приличен логинг на трафика. Дали ще се съгласят да го дадат пък било то и тотално анонимизиран …. все ще се види че човекът Х сваля файл У който май е нещо много попуярно порно …

  • Иво на 30.10.2008г. в 08:14ч.

    http://www.techcrunch.com/2006/08/06/aol-proudly-releases-massive-amounts-of-user-search-data/

    За това се сещам като нещо „на готово“. Вярно е само search информация, но за пример може да послужи. Самите данни ги имаше по тракерите. Ако не ги намериш или няма seed пиши да ти ги кача някъде. Успех с лекцията.

  • Иво на 30.10.2008г. в 09:07ч.

    http://fack.org/AOL-user-ct-collection/ директено сваляне
    Пример – грепваме за porn, (90% match-ва:)) ) Хващаме едно от многото user-id-та, грепваме с него и какво се оказва, че е търсил освен porn: baseball equipment, children porn pics, football warehouse, illegal porn, incest, jessica alba nude, kiddy porn, puma shoes, underage teens.
    Не, че имам нещо против puma.

  • Michel на 30.10.2008г. в 13:17ч.

    Привет,

    Надявам се и този ресурс да помогне – доста дълга и интересна статия:

    http://arstechnica.com/articles/culture/Deep-packet-inspection-meets-net-neutrality.ars

    Е, може и да си я чел вече, разбира се, но все пак…

    Ако линкът ми е off-topic, сорри… За това се сетих само…

    Успех!

  • Michel на 31.10.2008г. в 07:30ч.

    http://nellyo.wordpress.com/2008/10/30/data-_retention_251/

    ?

    (Светлина в тунела или прах в очите?)

    Хм…

  • Григор на 31.10.2008г. в 12:39ч.

    Дай описание на какво се събира. Ще помисля с какви методи и как може да бъде анализирано, и ще пратя описание за използване в лекцията.

  • Michel на 31.10.2008г. в 13:19ч.

    http://www.dnes.bg/article.php?id=59931

    Та, с или без съдебно решение?… :-)

  • пейо на 31.10.2008г. в 13:24ч.

    @ Иво и Мишел
    Благодаря за връзките, полезни са ми дори и само за мен :)

    @ Григор
    в чл. 3 от Наредбата е написано и е излишно да повтарям

    Относно чл. 251 ЗЕС – много е рано за каквито и да е изводи или новини

  • FreeJak на 02.11.2008г. в 09:32ч.

    Привет!
    Това е ползваната литература за дипломната ми работа.
    Нататък ще си прочетеш каквото ти трябва.

    І. Печатни източници
    1. “Social Network Analysis: Methods and Applications” – Stanley Wasserman & Katherine Faust, Cambridge University Press 1997
    2. “Exploratory Social Network Analysis with Pajek” – Wouter de Nooy, Andrej Mrvar, Vladimir Batagelj, Cambridge University Press 2006
    3. “The Hidden Power of Social Networks: Understanding How Work Really Gets Done in Organizations” – Rob Cross, Andrew Parker, Harvard Business School Press 2006
    4. “Corporate Networks in Europe and the United States” – Paul Windolf, Oxford University Press 2002
    5. “The small world of politics” – Erickson, B. and Kringas, P.R.(1975) Canadian Journal of Sociology and Anthropology, 12 585-593
    6. “Die Usurpation von Aktionarbefugnissen mittels Ringverflechtung in der Deutschland AG” – Michael Adams Die Aktiengeselschaft 39
    7. “The Social Organization of a Conspiracy” – Wayne E. Baker & Robert R. Faulkner
    8. “Air Transport Policy in Japan.”- Hirotaka Yamauchi & Takatoshi Ito, 1996.
    9. “Managing the Flow of Technology”- Tom Allen MIT Press 1997
    10. “Les nouveaux piliers de la finance” – Olivier Pastre 1992, Paris
    11. “Social Structures: A Networks Approach” – Barry Wellman
    12. “Organisational Architecture, Design for Changing Organisations”- D. Nadler, M.Gerstein and R Shaw, Wiley & Sons 1992
    13. “Le paradigme perdu: la nature humaine” – Edgar Morin, 1974 Paris
    14. “Role similarity and complexity in social networks” – M.G. Everett 1985, Social Networks Magazine
    15. “Graphical Evolution” – E. Palmer 1985, Wiley
    16. “Relation Extraction from Wikipedia Using Subtree Mining” – Nguyen Dat, Yutaka Matsuo, Mitsuru Ishizuka
    17. “Real-world oriented information sharing using social networks” – Junichiro Mori, Tatsuhiko Sugiyama, Yutaka Matsuo Proc. ACM-SIG GROUP 2005: 81-84, (2005.11)
    18. “Diffusion of Recommendation through a Trust Network”, Proc. International Conference on Weblogs and Social Media (ICWSM), pp. 287-288,(2007.3) Yutaka Matsuo and Hikaru Yamamoto
    19. “Real-world oriented information sharing using social networks” – Junichiro Mori ,Tatsuhiko Sugiyama, Yutaka Matsuo Conference on Supporting Group Work 2005
    20. “The Social Virtues and the creation of prosperity” – F. Fukuyama. Free Press 1995.

    ІІ.Електронни източници
    1. Wikipedia
    2. FAS Research
    3. GraphViz
    4. PajekConverter
    5. LibSNA
    6. Pajek
    7. Oracle RDBMS
    8. MySQL
    8a. Oracle Text Miner
    9. Cytoscape
    10. Netminer
    11. Google
    12. email mining toolkit
    13. Socnetv
    14. Otter
    15. aiSee
    16. SchemaSpy
    17. TMG
    18. Matlab
    19. SecViz
    20. GTP
    21. SenseClusters
    22. InfoVis
    23. NetworkBench
    24. R Project
    25. Networkx
    26. Polyphonet: an advanced social network extraction system from the web
    27. Altivore
    28. Jung
    29. GenMapp
    30. Tyna

  • Проказница на 16.09.2009г. в 18:39ч.

    Спасибочки) Очень помогли =-*

  • Димка Сивый на 13.11.2009г. в 20:43ч.

    Что-то много спама у Вас на сайте,Вам не кажется? : )))