Tag Archives: Технологии и Интернет

Lipsva.com, МВР и какво се промени за десет години

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/lipsva-mvr/

Вчера с мен се свърза журналист от Нова телевизия във връзка с един мой стар проект — Lipsva.com. Отговорих на няколко въпроси и част от интервюто беше поместено във вечерната им емисия.

Тъй като този репортаж привлече доста интерес както към сайта, така и към страницата му във Facebook, реших да пусна пълния запис на интервюто. В него обсъждам доста аспекти на работата на неофициалния регистър, комуникацията ми с МВР, защо съм го спрял и защо смятам, че е нужно полицията да има нещо подобно.

На това началник сектор Издирване е отговорил „Наистина има такава идея, но тя подлежи на по-широко обсъждане в МВР“. Това е същият отговор, който получих преди 8 години от тогавашния началник, както и шефа на ГДНП. Не мога обаче да виня конкретния човек — комуникацията вътре в самото МВР е под всякаква критика, самите инспектори се жалваха години наред колко мудно тече всичко и как хората ги е страх да поемат инициатива и да взимат дори решения на ниско ниво.

Всяка промяна идва бавно, ако въобще стане и такъв инструмент в помощ на комуникацията с гражданите просто не им е важен. Страниците на РДВР-тата наистина бяха обновени и уеднаквени, но пръснатите съобщения за изчезнали, неактуалните или изцяло липсващи такива, различната методика на работа и продължаващото „спускане“ на информация специално за познати журналисти продължава. Почти нищо не се е променило откакто пуснах сайта.

В тези статии ще прочетете по-подробно по тези въпроси:

Нещо, което не споменавам в интервюто, е че европейската организация Amber alert, към която се включи България преди 10 месеца, все още посочва социалните акаунти на Lipsva като източник за информация за безследно изчезналите деца в България. Това въпреки, че единственото останало от проекта са няколко скрипта, които събират случаи от Интерпол и пръснатите страници на МВР и ги публикуват в социалките. Не стана ясно как са ги намерили и дали именно полицията им ги е посочила в предварителните разговори.

Ето целия запис с добавени въпросите:

Заради всичко изложено в горните статии, което повтарям и в този запис, не мога да потвърждавам и споделям съобщения за безследно изчезнали, които не идват от официални източници. За жалост такива призиви за помощ има много и доста от тях пишат на страницата на Lipsva във Facebook с молба да бъдат споделени. След като отделих значително време в рамките на 5 години от живота си, нямам капацитета да ги преглеждам и разпространявам, още повече, че сайта е спрян. Те все така става видими на страницата за всички, дори да са споделени от посетители.

НАП признава за 1% от изтеклите лични карти и изключва българите в чужбина от проверката

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/nap-nehae/

Най-накрая НАП пусна справка, с която да проверим дали са позволили личните ни данни да изтекат в мрежата. Оставаме на страна, че им отне повече от седмица, а други услуги със същото ниво на информация се появиха 48 часа след теча. Предполагам, че са проверявали измеренията на проблема.

Проверката става на check.nra.bg и освен ЕГН изисква и мобилен телефон. Това, изглежда, е идеята им за някакво ниво на сигурност и защита на личната информация. Това обаче е абсурден метод, но явно единството, което им е хрумнало при липсата на електронна идентификация и сигурен начин администрацията да общува с нас. Както каза Божо, причината да я няма е, че вече три години проекта се бави.

Облаче ле бяло…

Друг проблем обаче е, че тази проверка може да се използва почти изцяло само от хора живеещи в България. За сънародниците ни зад граница е практически неприложима, тъй като може да нямат или да не могат да използват български номер където се намират. А данните на десетки хиляди българи зад граница могат да се намерят в теча. Освен декларациите на някои от тях, се вижда например, че са декларирали отказ от здравни права. На някои има целия им адрес в страната и в чужбина. Само в таблицата AEOI_OUT/I_NSSI_PENS_EU.csv има над записи с ЕГН, име, местоживеене в чужбина с точност до пощенски код и друга информация за над 100 хиляди наши сънародници.

Тук съм показал къде се намират те. Виждаме, че почти всички са в Европа, което може да е заради спецификата на данните в конкретната таблица. Не съм включил около 100-тина с грешни пощенски кодове, както и още няколко хиляди, чиито точни адреси намерих. Всяка от тъмните точки показва между няколко стотин и няколко хиляди българи засегнати от #НАПЛийкс.

Интересното на тази карта е, че е навярно най-точната карта на концентрацията на емиграцията ни. Не съм показал точното местоположение от данните на тия 100 хиляди записа. За целите на тази статия съм ги групирал по региони с радиус от 50 км.

НАП признава за 1% от личните карти

Дори в страната обаче проверката на НАП не е особено полезна. Това, което дава като информация е дали ЕГН-то ти присъства в теча или не. Нито дава представа какви са измеренията на проблема лично за теб, нито дава съвети.

Все пак след вълната от критика снощи, пуснаха няколко съвета днес като допълнение на списъка от сряда. В тях за пореден път обясняват, че всъщност нямало нужда да се сменят личните карти или друг повод за притеснение. В тях твърдят, че данните от личните карти на само 189 българи са станали публично достояние. Днес добавят, че поне 50-тина от тях са били вече уведомени за проблема.

В действителност, в базата данни виждаме десетки хиляди номера на лични карти и паспорти. Само в таблицата GAMON/PLAYER.csv се виждат 19420 български лични карти, които са издадени в последните 9 години и следователно би трябвало да са валидни. След проверка на няколко от тях се вижда, че има както невалидни, така и вече сменени.

Надявам се, че НАП са направили именно такава проверка и затова твърдят, че само 189 или под 1% от хората с изтекли номера на лични карти са в риск. Не се съмнявам, че ще отговорят така. Ако е вярно обаче, това означава, че цялата концепция на регистрирането в сайтовете за хазарт е сбъркана, щом над 99% от хората слагат невалидни данни. Всъщност, записите във въпросната таблица са над 45 хиляди и голяма част от другите са въвели измислени числа в полето за личната карта. Очевидно никой не проверява, за да са толкова сбъркани собствените им данни. Забелязват се и дузина номера на паспорти от Германия.

И к’во като ми пратиха SMS?

Номерът на заявката беше закрит от автора.

Тази седмица писах пуснах текст в Майко Мила за измеренията на проблема и какви мерки може да вземе всеки от нас. Общо взето – почти нищо не може да направим. Най-важното е това, което НАП също посочиха след статията ми – банки, мобилни оператори и други компании да са бдителни и да внимават в идентификацията на клиенти.

Това, което НАП обаче настояват е, че проблем с личните карти почти няма и хората в риск ще бъдат уведомени лично. В данните обаче виждаме друго. Затова бих препоръчал на всеки, който е въвеждал такава информация в сайтове за хазарт и все още е със същите лични документи, да се замисли.

За жалост, справката на НАП не изпълнява основната задача, за която следваше да бъде създадена. Въпреки всички съображения, които изтъкнах, другите „частни“ услуги правеха същото, а в случая на Биволъ – дори повече. За жалост, те са вече свалени. Проверката на НАП отговаря на въпроса дали данни са изтекли, но не и какво следва от това, което е същественото. Какви мерки могат да вземат хората? Дали домашния им адрес, доходите, роднините, заемите и/или договорите им са изтекли?

В този смисъл проверката пусната от НАП е малко повече от отбивана на номера, а доста хора, къде на шега – къде на сериозно се усъмниха, че НАП така не само събират телефонни номера, но има риск и тези данни да изтекат. Показателно е, че хората имат повече доверие на Биволъ и дори анонимни услуги, отколкото на Министерството на финансите. Нищо в това разследване или досегашната работа на институцията под ръководството на Горанов не ни кара да мислим нещо различно.

Лични данни – това звучи гордо!

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/nap-danni/

Този текст беше публикуван първо в Майко Мила на 22-ри юли. Дискусията по него може да проследите и на страницата им във Facebook.


Има
един лаф – „Документ – това звучи
гордо!“ Препратка е към свеждането
на същността на индивида до номера и
подпечатани листа хартия. До преди 100
години това отношение към човека се е
смятало за нецивилизовано, но с
конфликтите, индустрията и глобалното
село, което създадохме, всичко се променя
– въвеждат се паспорти, данъчни номера,
визи и прочие. Днес всеки от нас е просто
серия от числа – ЕГН-то, личната карта,
банковата сметка и съдържанието ѝ,
кредите и сроковете им, имотите и колите,
покупките в мола, списъкът с приятели
във Facebook и историята на търсене в Google.

Повечето от тези данни са тривиални, но други определено не бихте искали да стават публични. Е, миналата седмица разбрахме, че доста от тях вече са независимо какво искаме. Архивът от източената база данни на НАП съдържа ЕГН-та, номера на лични карти, облагаеми доходи, имоти в България и чужбина, коли, заеми и плащанията по тях, договори и плащания от фирми и друга информация за милиони българи. За мнозинството от нас има само няколко записа от данъчните декларации, но други се споменават стотици пъти.

От
променливите и противоречиви изказвания
на НАП и Горанов и от самото съдържание
на архива може да предположим, че е
хакната база данни, в която различни
служители са копирали цели таблици от
други институции и са си правили справки.
Ако системите на администрацията бяха
наистина свързани, ограничавани и
наблюдавани – както следва да бъде в
едно електронно управление – това нямаше
да е нужно и щеше да има ясен контрол
кой до какви данни и кога има достъп. В
случая обаче са се пренасяли ей така
записи заедно с въпросните лични карти
и плащания по заеми и са ги зарязвали
така. Това също означава, че информация
е разпокъсана, отчасти стара, отчасти
навярно неточна. Трудно е да се провери
и осмисли такъв масив, но повярвайте ми
– въпрос на време е.

Тук
отново доста хора биха махнали с ръка
подавайки ухо на успокоенията идващи
от ефира, че било малък теч и всъщност
не е проблем, защото някои неща така или
иначе били в нета отдавна. Течът въобще
не е малък, но е вярно, че сме много
лежерни с данните си. Онова приложение
за състаряване на снимки е пресен пример
– освен, че собствениците имат пълни
права над образа ви, те имат всичките
ви контакти и в голяма степен какво сте
правили в социалните мрежи. За някои
навярно изтичането на тази им история
би било дори по-страшно от публикуването
на ЕГН и доход. Да знае някой обаче, че
сте коментирали нездравословно много
по групите на мамите в София, не позволява
вземе заем от ваше име. С данните на НАП
има шанс.

„Лични данни – това звучи гордо!“ би каза пиесата днес. Вече няма нужда друг да има личната ви карта, за да вземе заем – достатъчно е да знае какво пише в нея. Такива истории има от 10-тина години, макар да чуваме само за онези, които са хванати. Разбира се, това е престъпление и то не ново, но течът на НАП го прави толкова по-лесно и то срещу стотици хиляди в страната. Банки, мобилни оператори и други компании разчитат на същите лични данни, за да дават информация по телефона и да правят промени по сметки и договори – например да пратят нова банкова карта на сменен адрес. Улеснени са и по-тривиалните заплахи като телефонните измами, изнудванията и обирите. Знаейки кой колко доходи има и къде живее е безценна информация в такива случаи.

Ако
се следва закона и вътрешните правила
на институции и компании, този теч на
данни не би следвало да навреди на почти
никого. Ако наистина се следваха обаче
теч въобще нямаше да има, а ей го на.
Затова е важно да сме бдителни. Банки,
мобилни оператори и други трябва да
затегнат контрола над идентификацията
на клиентите си и да не разчитат само
на няколко откъслечни числа. Това навярно
ще създаде неудобство за някои, но ще
спести главоболия и загуби.

В
личен план може да направим малко, тъй
като ЕГН-то не може да се смени, а данните
за доходи и заеми са вече в публичното
пространство. За жалост няма до сега
търсачка, която еднозначно да покаже,
че е изтекъл номера на личната ви карта
(може би тази на Бивол). Съмнявам се, че
и обещаната от НАП ще дава такава
информация. Все пак, ако се притеснявате,
не е лоша идея да я смените. Също така,
включете известяване със SMS за промени
навсякъде, където е възможно – банкови
сметки, имотен и търговски регистър.
Говорете и отново с роднини – особено
по-възрастните – да не вярват на телефонни
обаждания и тем подобни с искания за
пари докато не се свържат с вас лично.

Този теч не е първият, няма да е и последният в България. Не се ограничава до тази агенция или дори само публичната администрация. Нито е голям в световен мащаб, нито е най-обширния. Обстоятелствата около него обаче показват колко плачевно е състоянието на информационната ни инфраструктура. Горанов започна вече да подлага клатещия си стол с извинението, че това бил едва ли не вроден дефект на електронното управление.

В
действителност, една от причината да
се случи е именно работата на парче и
блокирането на нужните мерки за електронно
управление от редица министри, включително
Горанов. Прекият ефект от политиката
му е, че сегашното състояние на електронните
услуги се различава слабо от аналоговата
чиновническа идилия. Да, за по-малко
неща се кланяме на гишета, но отново има
струпани папки с лични досиета на
граждани по коридорите на държавни
институции и селски кметства. Вече не
са на хартия, а дигитални, но сигурността
им е същата. Това не е електронно
управление, а екселска бюрокращина –
същият манталитет като папките в
коридора, но след изхарчени няколко
милиарда евро.

#НАПЛийкс: улики срещу доказателства

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/napleaks-uliki/

Този текст е в отговор на коментар публикуван от Светлин Наков във Facebook и повторен в няколко медии.


… Файлът, който се явява улика срещу набеденият за теча на данни от НАП експерт по компютърна сигурност Кристиян Бойков е фалшифициран!

Хакерите използват Linux, особено истински добрите хакери, няма съмнение за това. Точно както дизайнерите ползват Mac и няма съмнение за това. ZIP архивът, който изтече (minfin_leak.zip) е създаден под Linux (вижте на картинката).

Подпъхнатият по-късно файл .~lock.DEC73_DETAILS.csv# е създаден под Windows, от някой друг, не от този, който е създал архива с експорта на Oracle базата данни на НАП от системата за възстановяване на ДДС.

Най-вероятно Кристиян е набеден за теча на данни …

Еми съжалявам, но оная улика в архива на #НАПЛийкс не е фалшифицирана.

Би могла да бъде, както всяко нещо във въпросния архив, впрочем, но също толкова вероятно е да са свалени и разгледани файловете на win машина, после прехвърлени и архивирани под linux. Вярно е, че тези, които бихме определили като хакери, работят предимно на linux, но малко хора се ограничават до една система или една машина, особено, когато работата им или специфичните инструменти го изискват.

Има добри аргументи защо някой би подхвърлил такава улика предвид какво работи Кристиян, но също толкова вероятно е да се дължи на пропуск – нещо, което дори най-добрите правят, особено когато са твърде самоуверени. Затова твърде категоричните изказвания за този аспект са по-скоро непрофесионални.

Единственото важно в случая е, че този файл не е и не може да бъде доказателство. Той е важна улика, която може да насочи разследването, но като всяка друга намерена в неконтролирана среда и непроследими обстоятелства следва да се постави под въпрос и подкрепи с преки доказателства. Такива биха били скриптове, с които е точил данните, логове от машините да е посещавал тези сайтове или да е минавал през VPN мрежи, от адресите на които има повиквания към НАП, други изтеглени данни, които не са още публични и т.н.

Изглежда ГДБОП ги нямат тези неща и не виждат надежда да намерят. Иначе Кристиян щеше да е още в ареста. Нищо от това не означава всъщност, че не е той – ако е, значи си е прикрил добре следите, въпреки конкретния пропуск. Ако не е той, значи някой определено не го харесва особено. И в двата случая всяко ново изказване на ГДБОП и НАП показва само колко зле са в защитата на информация, поддържането на системите си и такива разследвания.

Компютри, компоти, Горанов и НАП

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/24-chasa-goranov/

От вчера в медийното пространство има една буря, която продължава с все сила и днес. Скандалът около изтеклите данни в #НАПЛийкс предизвика много коментари. Доста медии копираха или преразказаха статията ми от вчера сутринта, в която изброявам какво знаем и какви са рисковете от този теч.

Един вестник обаче пое друг подход. Скоро след статията ми и призива министър Горанов и отговорните му подчинени да поемат отговорност за случилото се, 24 часа публикува жлъчна статия за мен. Няма автор, анонимна е и внушава връзка между мен и атаката срещу НАП. Посочват многократно това, че подкрепям „Да, България“, че съм компютърен специалист и определят предупрежденията ми за опасността от данните и призивът за оставка като „удивителна осведоменост“ за действията на хакера.

Всъщност, статията ми излезе почти денонощие след като медиите получиха въпросния архив. В нея обобщих всичко, което много публикуваха вече в социалните мрежи и добавих моята оценка за ситуацията и риска. Това, в което т.н. вестник ме обвинява, всъщност, е че мога да боравя с данни и то по-бързо от други. С други думи – че си разбирам от работата. Това е нещо, в което те определено са невинни.

По-късно през деня сами обобщиха известното им до тогава рецитирайки дословно извиненията на Горанов и НАП. Там отново ми вменяваха някаква вина, но този път посочваха, че службите са ме включили в разследването като евентуална „връзка“. Както в първата, така и в тази статия се опитват да създадат впечатление у читателите, че всичко това има някаква връзка с „Да, България“ и критиката като цяло към правителството. Определят го като политическа и дори личностна атака – нещо, което самия Горанов се опита да изкара, за да потуши недоволството около провала на подупечното му ведомство.

Всичко това, защото съм успял да изложа по лесен за разбиране начин измеренията на проблема, това, което се знаеше на толкова ранен етап и съм поискал оставка на определяният за „министъра на Пеевски“ в кабинета. Това обяснява и защо текстовете на 24 часа бяха препечатани в кръга му от медии. Тази сутрин, когато се разбра, че е извършен арест, някои от тях дори са следели стената ми във Facebook съобщавайки, че последната ми активност е от преди 6 часа спекулирайки дали не съм аз арестувания.

Е, разбра се, че е друг, макар да имам свои съмнения. Начинът, по който беше разпространен архивът говори за известен опит, който не би позволил разкриване в рамките на два дни. Също така има разминаване в първоначалните изказвания на агенцията, че атаката е отвън – което предполага определени превантивни мерки от който и да е хакер – и това, което сега се тиражира като новини. Надявам се да имат солидни преки доказателства, а не просто да са го хванали, защото се е опитвал да провери защитите и да му приписват нещо, което може да не е направил. Предполагам, че ще разберем в хода на делото.

Връщайки се назад, в статията, където ме рисуват като някакъв прикрит политически хакер, правят и други неверни твърдения. Първото е, че съм се бил радвал на теча на информация, защото давало възможност за изследвания и анализи на икономиката ни. Далеч не това описвам в статията си. Казвам, че би било възможно, макар да не е ясно дали е допустимо юридически. Възможност за достъп до подобни данни се дава от други държави на изследователи след стриктни проверки и мерки за сигурност. У нас обаче е практически невъзможно.

Другото твърдение е, че съм се бил „борил“ за прозрачност на доходите, както в Швеция. Всъщност със статията си започвам дискусия какво следва да се случи с тези данни, тъй като вече са в публичното пространство. Както предвидих тогава и казах, че е неизбежно, вече има сайт, където може да проверите дали ЕГН-то ви е сред изтеклите данни. Какво следва да направим с останалата информация и как тя ще се отрази на обществения живот извън нуждата от поемане на отговорност от определени висши чиновници в правителството.

Всички тези недомлъвки и жлъч бяха очаквани предвид, че аз и много други искаме оставката на Горанов. Очаквано медиите на Пеевски скочиха да го защитават и оправдават. Спрели са се на мен единствено, защото статията ми събра такъв интерес. Забавното тук е, че само точно месец 24 часа са цитирали дословно изводите ми за проблемите при лечението на деца в НЗОК. Не ме упоменават като източник, но казват, че само тези данни са налични поради непрозрачността на касата.

Тогава явно не са намирали за „удивителна осведоменост“ доста по-подробния ми анализ на аналогични институционални проблеми с дори по-голям негативен ефект върху живота на съгражданите ни. Може би защото онзи министър не е близък до техния шеф.


Повече за проблемите около теча, причините за него и как може да се предотврати в бъдеще може да чуете в интервюто ми за Дарик и това на Божидар Божанов.

Индустриално замърсяване – данните между 2007 и 2018

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/industrialno-zamyrsqwane/

Една от сочените често причини за мръсния въздух в България е индустриалното замърсяване – ТЕЦ-ове, цехове, автосервизи и прочие. Търсейки информация за тях преди доста години попаднах на регистъра, който ИАОС поддържа. Според европейските изисквания, там се регистрират и подават информация всички инсталации, които замърсяват въздуха, водата, почвата или пренасят опасни отпадъци.

Всяка година там има данни от около 500 инсталации. Съвсем очаквано има сериозни съмнения около подадените данни от някои инсталации, както и дали има въобще някакъв контрол от страна на ИАОС върху коректността им. Знаем добре, че малки цехове, автосервизи и прочие не се регистрират, а произвеждат сериозно замърсяване въпреки изискванията.

Но регистър има, каквото е изискването по закон и редовно решение, до което чиновниците опират като им се наложи, че трябва да се вземат мерки. В никакъв случай не казвам, че данните в него са грешни или безполезни – точно обратното. Според хората в агенцията и запознати как работи индустрията, с които говорих, за голяма част от инсталациите контролират добре и подават коректни данни. Това обаче не е сигурно за всички, което обезсърчава спазващите изискванията и поставя под въпрос работата на всички.

Тъй като данните в регистъра са доста непрегледни, преди 6 години направих визуализация, която показва всичко наедно. Може да се разглеждат всички емисии по замърсител, както и отделни инсталации. Повече ще прочетете в тогавашната ми статия.

Тия дни обнових данните до 2018-та и се забелязват няколко интересни неща. Първо – CO2 емисиите практически не се променят през последните 12 години. Също така по-голямата съобщените стойности са на база изчисления, а не измервания. Всичко останали емисии обаче значително намаляват. Замърсяването с ФПЧ (PM10), например, намалява от 18 хил. тона през 2008-ма до 720 тона през 2018-та. Интересно е, че  Хан Аспарух в Исперих, които произвеждат керамични плочи, са отговорни за 10% от това количество и емисиите им са два пъти повече от повечето ТЕЦ-ове.

При серните оксиди също има значително намаление – повече от 10 пъти за 10 години. 90% от тези оценки са на база измервания. Почти половината от 60-те хиляди тона емисии във въздуха миналата година са били от ТЕЦ Марица Изток 2. Още 25% са от Марица Изток 3.

При замърсяването на водите с азот има намаление до 2011-та, но след това остава непроменено. 42% от това замърсяване е съобщено от Софийска вода. При почвите е имало скок между 2011 и 2015-та. В последните 3 има намаление до 27 тона почти изцяло от три компании.

В инструмента може да разгледате подробно какво са съобщили предприятията като замърсяване. С картата може да фокусирате отделна инсталация или географски регион. Ще насоча вниманието само към ТЕЦ Варна, която влезе в новините наскоро. Интересно е, че в последните 4 години изглежда практически е спряла работа. Дори с най-добрите филтри, при каквато и да е работа тези емисии са невъзможни.

Данните от Copernicus са вече в Windy.com

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/copernicus-windy-com/

От години следя различни визуализации на данните за замърсяването. Покрай един нидерлански акаунт следящ данните на Luftdaten, част от мрежата на които са AirBG, попаднах на европейския проект Copernicus. Всъщност, знаех отдавна за него, но не бях запознат с обширните данни, които предоставя свободно.

Накратко, казано, това е мрежа от сателити, които следят различни показатели от атмосферата, правят снимки в почти реално време и събират всякакви данни за замърсяване, бедствия и други събития. Тези данни комбинирани с различни модели за прогнози помагат както да се оцени измеренията на проблемите, така и да се планира по-добре реакцията по време на инциденти.

Ето няколко примера само от последните дни:

Наводненията в Румъния

Пожари в тундрата в Русия

Замърсяване с NO2 в Европа. Вижда се ясно ефекта на корабите.

Последният пример всъщност е визуализация на сайта windy.com, който наскоро добави данните от Copernicus. Има модел за цял свят, но моделът за Европа е най-точен според оценките. Може да избирате всякакви източници на замърсяване и параметри на времето, включително вятър, ниво на атмосферата, където да се покаже замърсяването и прочие. Може дори да създават gif-ове от анимациите.

Данните от Copernicus са си цяло богатство. Тук описвам само наблюдението на атмосферата, но както споменах се използва и при бедствия, наблюдение на земеделски земи, реки, мерки за сигурност, морски региони и прочие.

Моделите за наблюдение на замърсяването обаче са доста добри. Ако ви се чете, имат подробни анализи за сравнение на прогнози с последвалите замервания. Резолюцията не е толкова голяма, че да показва квартал или улица, но може да се използват за следене на замърсяване от ТЕЦ-ове, отделни предприятия и наблюдение на ефекта от мерки за намаляване на емисиите в градовете.

Тези модели и всички данни са свободно достъпни и Windy.com далеч не е единственият или дори първият сайт, който ги използва. До сега обаче намирам, че ги показва най-добре в контекста на други показатели.

Проследяване на активните българи в чужбина – 2019

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/prosledqvane-chujbina-19/

Преди три години направих карта, която проследява пътя на 1268 българи в чужбина. Анализирах данните от подадените заявления за гласуване в чужбина от предходните 3 години изключвайки повтарящи се имена и близки градове. На базата на това направих предположение за това къде са се местили няколкостотин от сънародниците ни зад граница през годините.

В предишната ми статия съм описал подробно какъв е алгоритъма и условностите около тези данни. Накратко казано – използвана е изцяло публична информация и не пускам никъде имената на хората, включени в тази визуализация. Също така, не мога да кажа дали тези хора са подали заявление далеч от града, в който са гласували на предходния вот, защото са били на почивка или пък са се преместили за постоянно.

След кампанията за събиране на заявления за европейските избори тази неделя, пуснах алгоритъма и обединих данните от всички вотове за последните 6 години – 2013-та до сега. Това бяха общо 131 хиляди записа, които филтрирах. Тук се вижда пътят на 2633 българи между 329 града по света.

Както и предишния път, една от идеите на тази карта е да ни накара да се замислим какво е възможно да се разбере за нас само използвайки публични данни. Също така, крайно време е ЦИК да спре да публикува в открит списък имената на всички подали заявление и не направи проверка по ЕГН или друг идентификатор. Макар този публичен списък да е много полезен за следене на активността и организиране на секции, определено има по-добри начини да се публикува хем къде са събрани колко заявления, хем да се защитят личните данни.

Vivacom SMS-ите за мръсния въздух са безполезни. Ето по-добрите варианти

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/vivacom-air-info/

Изглежда Vivacom са пуснали услуга за известяване за замърсяването на въздуха. Услугата е платена – по лев на седмица и разчита изцяло на отворените данни на инициативата AirSofia.info. Вчера вече писах как в. Труд определят обществения проект за измамен и оборих тълкуването им като подвеждащо.

Явно Vivacom не обръщат внимание на това, защото въпросната услуга е с чисто търговска цел. За това надали може да ги виним – виждат интерес у обществото и решават да изкарат пари от него. Това е целта на всяко търговско дружество в крайна сметка. При това използването на данните формално е законно, тъй като се публикуват с изцяло отворени лиценз.

Това обаче не означава, че следва да ги използвате. Всъщност има някои приложения, които може да използвате напълно безплатно. Vivacom хвали услугата си с това, че не се налага да използвате интернет и да инсталирате нищо, но всъщност всяко приложение ще ви дава много повече информация в много по-разбираем вид, отколкото един SMS. Да не говорим, че вече практически всеки план има мобилен интернет и няма нужда да плащате допълнително за нещо, което следва да е безплатно като замисъл.

Ако все пак искате да дадете парите си някъде, за същата сума, която бихте дали за тези SMS-и, може да осиновите измервателна станция на AirBg.info или сами да построите такава. Така ще се разшири мрежата, ще се подобрят данните, с които разполагаме и разбирането за проблема. Напомням, че Vivacom не подпомага по никакъв начин проекта с тази услуга, а само се възползва от вече изграденото.

Всъщност, освен моралните изражения на това да използват данните така, има и друга причина да не одобрявам тази SMS услуга. Похвално е, че са направили известяване на база местоположението на абоната взимайки публично достъпни данни, които може да са му от полза. Ако се интересуваха от социално значимият аспект на това обаче, щяха отдавна да въведат подобно известяване за безследно изчезнали, каквото вече обсъждаха многократно с полицията. Дори по-лесно е за изпълнение, има дори предвидена възможност за спешни съобщения в системите им. Разликата е, че не може да се взимат пари за подобни SMS-и.

Добрите алтернативи

Очаква излизането на официално приложение от самите Luftdaten, което да показва в реално време данните от мрежата. Също така по всяко време може да отворите AirSofia.info или AirTube.info, които ще ви дадат най-добра представа. Ако от Vivacom може би се притесняват, че мобилният им интернет няма да е достатъчно добър за зареждането на такива сайтове и приложения, то може би не е добра идея да го показват с подобни SMS услуги.


Plume Air Report. Това е приложението, което сам използвам. Дава информация за различни градове по света с доста подробна информация и надеждни прогнози за следващите дни. Разчита на всякакви източници, включително данните от мрежата на Luftdaten.


AirVisual. Това приложение също е доста удобно и интуитивно. Използвах го известно време, но харесвам Plume повече. Използва предимно официални данни, но дава и по-дълга прогноза


BreezoMeter. Нямам впечатления от това приложение, но ми беше препоръчано от познати. Подобно на останалите дава данни за мястото, където се намирате и прогнози за идните дни.


Air Quality: Real time AQI. Това е приложението към популярният сайт aqicn. Показва данните предимно от официални източници. Изказвах доста критика към тях защото не е ясно как взимат данните си, а и доста хора не разбират, че показват индекс, а не буквално замерванията. Този индекс обаче е много полезен за сравняване между градове и държави, както и между градове, когато се отчитат по няколко замърсителя като азотни и серни оксиди, а не само един като праховото замърсяване.


Имената и лицата на едни 35 убити жени

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2019/edni-35-ubiti-jeni/

Макар по възможно най-глупавият и вреден начин, цялата драма около т.н. Истанбулска конвенция все пак подбуди някаква анемична форма на дебат около домашното насилие, тормоза от близки и убийствата на жени в България. Покрай това изплуваха доста други нелицеприятни черти и теми, но общо взето всичко се въртеше около това има ли или няма домашно насилие в България, страдат и умират ли предимно жените от него или не и ако да, проблем ли е това въобще.

В основата на това подобие на дебат стана пределно ясно, че липсват достатъчно данни за въпроса. Ако сега отидете на сайта на Евростат ще намерите само дузина европейски държави, които активно събират статистика за насилието и смъртните случаи, при които насилникът и жертвата са в роднинска или друга връзка. Не, че помогна много да не тръгват всякакви фалшиви истории и стереотипи, но това е друга тема. В България се изнасят някакви числа от полицията за сигнали и арести, но нито са постоянни, нито детайлни, нито проверими или позволяващи някакъв анализ. Всъщност една от целите на въпросната конвенция беше именно да провери това плюс следене на напредъка по съществуващи и евентуални мерки, но да кажем, че отчетността и следенето на работата не е сред силните страни на държавната ни машина в която и да е сфера.

Трудно е да се скрие

Все пак, чуваме за случаите на жени починали в ръцете на съпрузи, партньори или бивши. Рая Раева от Българския хелзински комитет с помощта на група доброволци от мрежата се е наела да събира тази информация. Така знаем, че през 2018-та е имало 35 жени убити по описания начин. Една се е самозапалила след дългогодишен тормоз.

Говорейки за тези случаи като проста статистика обаче не ни донася много. Затова направих нещо, което да постави имена и лица за числата. Порталът DomesticViolenceBG.com показва всички публично известни случаи. За 2019-та вече има три. Добавям в момента и известните опити за убийство.

Картата освен, че ще помогне да се следят и визуализират случаите, позволява филтриране и търсене на конкретен тип. Категоризирани са според връзката на убиеца с жертвата и имат кратко описание и линк към източника. Цялата информация в сайта е на база медийни публикации и публично налична информация за случаите. Не събира лични данни извън публично оповестеното за жертвите, а и от посетителите.

Проектът на БХК

В последните седмици излезе и проект на Българският хелзински комитет базиран на данни от съдебната практика за последните няколко години. Съдържат и случаите, които са изброени в картата. Ще намерите всички изводи в сайта Ubita.org, а повече за проекта ще намерите на страницата им.

Картата, която изготвих цели да подпомогне събирането на информацията нужна за анализите, които БХК прави, както и да ги направи достъпни за повече хора.

И какво от това?

Това въобще не включва случаите, в които жената е оцелявала, но влиза в болница или е често насинена. Полицията говори за няколко хиляди сигнала за същия период, но добре знаем, че повечето не се съобщават дори в държави с доста по-добре обучени полицаи и работеща правозащитна система. Това всъщност води до увеличаване именно на убийствата В няколко от случаите е добре известно, че полицията е получавала сигнали, на които не е обръщано внимание.

Именно тези детайли са важни и трябва да се виждат. Те остават настрана когато говорим просто за едно число, което не изглежда голямо на пръв поглед, поне докато не разбереш какво се крие заровено под него. Целта на сайта е да помогне в промяната на видимостта и разбирането на проблема.

За да илюстрирам това, всеки случай на родилка, която умира в България обикаля медиите със седмици. Говори се постоянно за това и с право всички са възмутени. Призовава се за мерки, за наказания на отговорните, които не са обърнали внимание и оставки на шефовете им. Не веднъж обаче виждам, че хората остават с впечатление, че постоянно умират жени покрай раждане. Всъщност случаите са 4-5 на година. Това пак не е малко и под тях също се крие заровена не по-малка камара с проблеми, както стана доста ясно покрай случаите в Сливен. Факт е обаче, че когато жената е в ролята на майка всички са възмутени от причинена или непредотвратена смърт. Когато обаче това дори по-често се случва докато са в ролята си на човек, тези смъртни случаи се приемат за тъжна, но нормална статистика.

Ами мъжете?

Тук неизбежно някой задава този въпрос. Наистина, има случаи на убийство на мъже от жени. За миналата година мисля, че са два. Преди време бях извадил статистика по въпроса. Друг аргумент е, че мъжете убиват, но и умират много повече – най-вече в ръцете на други мъже.

Това са валидни аргументи и в същността си са верни. Наистина насилствената смърт сред мъжете е по-голяма поради престъпност, пиянски свади и други. В същото време по официалната статистика на полицията 1/3 от предумишлените убийства са на жени и почти всички са от техни близки. Същите са се увеличили с 50% за година.

Странното в случая е защо това се използва като аргумент срещу говоренето за жените жертва на същата тази агресия. Друг аспект на същата статистика е, че мъжете в България убиват и биват убивани много повече от средното за Европа. В този смисъл издиша аргументът, че проблемът с домашното насилие го няма или е в жените или че трябва да бъде оставен да се реши в семейството без непременно външна намеса, защита или най-малкото внимание.

Затова в карта ще се попълват и случаите на умишлени убийства на мъже. Към този момент са известни два в последните години, които ще въведа скоро за сравнение. Това, което отново няма да се види, е насилието, които не води до убийство. Домашното насилие е сериозен проблем и това, че има случаи на мъже пострадали от него не омаловажава насилието над жените, а потвърждава, че трябват много повече мерки за разпознаването и решаването на такива случаи. Особено при условие, че накрая най-много страдат децата.

Стара платформа в нов вид

Сайтът е базиран на Ushahidi. Това е платформа от Кения, която се установи отдавна като лесен инструмент за събиране на всякаква информация. В случая просто показвам данните с него и искам да помогна да се въвеждат по-лесно от доброволците. В миналото съм го използвал за регистър на престъпността и сигнали за изборни измами. И двата проекта за жалост спряха, до голяма степен заради непосилната задача да се модерират сигналите. Това, всъщност, беше и една от причините да спре Lipsva.

Затова не знам дали този сайт ще има смисъл в този си вид, но поне като представяне на една тревожна статистика в по-разбираем формат може да бъде полезен.

Ако имате въпроси за платформата и данните в сайтът ще се радвам да отговоря. Също ще се радвам на предложения как може да се подобри видимостта на тези случаи и въобще разбирането ни за проблема.

Amber, безследно изчезналите и едното обещание

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2018/amber-lipsva-i-edno-obeshtanie/

Преди девет години в главата ми започна да се оформи идеята за използване на данни, crowdsourcing и интернет инструмент в помощ на безследно изчезналите. Така скоро след това се роди Lipsva.com. Той представляваше карта и регистър на безследно изчезналите събирайки информация от хаотичния бюлетин на полицията, местни и национални медии, както и директно подадени сигнали. Пазеше се информация, анонимизирана статистика за обявените за разкрити случаи и прочие. На база тези данни генерираше автоматично плакат, споделяше в социалните мрежи и дори търсеше хора чекирали се близо до изчезването в доста популярната тогава 4sq.

Карта от Lipsva с прогорени точки където са изчезвали хора.

Още в началото нямах илюзии, че сайтът ще помогне пряко на откриването на някого. Основната му цел винаги е била да повиши разбирането за проблема, че отговорността не е само на полицията, а на всички нас, че трябва да участваме с доброволчество и вече за разлика от внушенията на много медии всъщност огромна част от случаите се решават бързо и успешно. Също обаче исках и донякъде успях да покажа колко плачевно е състоянието на комуникацията на МВР по въпроса. С изключение на шепа нашумели случаи, повечето остават скрити по регионалните сайтове на полицията. Аз ги откривам, защото имам програми да ги следят автоматично. Случва се нерядко и самите полицаи да подават „новината“ само на определени местни медии, вместо да я публикуват бързо на общодостъпно място. Заради всичко това се стигна до комичната ситуация, че години наред на почти всяко участие на тогавашния дългогодишен шеф на отдел Издирване Захария Стоянов му показваха моята карта и го питаха „А това защо го няма полицията?“

Защо наистина?

През 2012-та и 2013-та имах няколко разговора и срещи в МВР. Беше заявено ясно, че сътрудничество се търси и се опитват да направят нещо. Още тогава искаха да въведат „сигнализиране с масови sms-и или нето такова“. Това, което се разбрахме е не да ми подават някаква информация, а поне да имам начин да потвърждавам дали случай е решен, за да е коректно това, което се публикува. Не стана. С годините многократно им предлагах софтуера и интеграциите, които имах безплатно в комплект с акаунтите в социалките, които бяха набрали сериозна аудитория. Не ги взеха.

Заради всичко това модерацията на Lipsva.com стана непосилна за мен задача. Не можех вече да гарантирам минимално качество на данните. В същото време настоявам на принципа, че ако с инициативата или НПО-то си нямаш план за решение или поне изглед за подобрение на даден проблем, но тъпчейки на едно място съвсем скоро ставаш част от този проблем. Затова през 2014-та спрях сайта. Повече за аргументите ми може да прочетете тук. Все пак, оставих автоматичните скриптове, които зареждат информация от сайта на МВР и Интерпол и захранват акаунта в Twitter.

От отчета на Amber Alert за 2017-та

Amber Alert в България

През януари тази година огря лъч надежда. МВР обяви, че най-накрая се включва в международната инициатива Amber Alert. Тя е за безследно изчезнали деца, но пак е нещо. В сътрудничество с организацията и Facebook ще създадат портал и ще подават бързи сигнали през социалната мрежа до всички в даден регион. Системата работи успешно в редица държави и България щеше да бъде една от тях.

Щеше…

Още през януари забелязах в илюстрациите на новината, че са използвали редактирани снимки на мобилно приложение – взели са това на Facebook и са добавили български текст. Такова приложение обаче няма. Забелязва се и сайт на домейна на cybercrime.bg, който отворих. Вътре беше проста директория със снимки и проби за плакати. Общо взето доста по-зле на това, което правих през 2011-та. Реших обаче, че все още работят по въпроса и предпазливо ги похвалих за активността.

Из страницата на cybercrime.bg и илюстрация от пресконференцията

Единадесет месеца по-късно промяна няма. Сайтът http://www.cybercrime.bg/amber/ е в абсолютно същото състояние. Интеграция няма. Обществена поръчка за портал на открих. Свързах се с международната организация Amber Alert и не можаха да ми дадат детайли за дейността си с българските власти. Не знам дали от тактичност или просто защото нямаха, но не цитираха никакви клаузи на поверителност. Все пак споразуменията са доста преди януари и България е включена като страна членка в годишния им доклад за 2017-та и са пуснали идентична новина като тази на МВР.

Lipsva.com в Amber Alert

За моя изненада обаче открих нещо друго – на сайта на организацията България е вписана с два социални акаунта, където „може да откриете актуална информация за безследно изчезнали деца“. Тези акаунти са именно на Lipsva.com. След няколко телефонни разговора с тях се оказа, че не знаят как са получили тези акаунти. Изглежда човекът започнал разговорите с МВР преди повече от година вече не работи при тях. Не можаха да отговорят дали са ги получили от българските си партньори или са ги намерили просто някъде в мрежата. Бяха толкова учудени, колкото и аз.

Във всеки случай акаунтите още седят на сайта им и в известен смисъл са си на място. Дори 4 години след като проектът спря и е останал само един безпризорен скрипт, който не съм пипал от поне две години и който работи самотно на някой сървър в тъмна стаичка, пак Twitter акаунта на @Lipsva си остава единственото място, което събира на едно място информация за безследно изчезналите българи у нас и в чужбина. Буквално замених част от комуникацията на МВР с прост скрипт.

Не твърдя, че МВР са дали Lipsva.com акаунтите на Amber Alert, за да могат да покажат все нещо. Дори и да са го направили, не мога да ги коря след като години наред им ги бутах безплатно само и само да имат нещо. Не твърдя, че не се работи или че вече не е готова интеграцията на МВР със Facebook и Amber Alert. Не откривам никакви белези за това обаче, от самата организация не потвърдиха, а и никой от случаите на изчезнали деца обявен в медиите през изминалите месеци не беше обявен през тази система.

Не твърдя и никога не съм твърдял, че Lipsva.com е решението. Никога не е изграждан да бъде решение, а и не може да бъде. Кодът вече е остарял и безполезен. Данните и интеграциите – също. Принципът на работа с проекта беше неустойчив без тясна работа с полицията. От самият сайт на Amber Alert ще видите в други държави цели организации, които се занимават с темата и помагат както на полицията в бързото решаване на отделни случаи, така и на обществото да разбере проблема и да съдейства на онези, които с години се надяват и търсят. Това не може да се замени с един скрипт или карта, но не се решава и с пресконференции и фотошопнати снимки на сайтове.

Без сигнали за промяна

В България имаше няколко опита за такива НПО-та, но нещата не се случиха. Голяма вина за това има именно опърничавото и назадничаво отношение на редица ръководства на МВР. Казвам „ръководства“, защото с редовите служители съм работил добре. През годините бая хора в системата по места видяха, че сайтът е полезен и говориха с мен неофициално. Потвърждаваха, че някой е открит и трябва да залича лични данни, споделяха проблемите в системата или приемаха сигнали, които съм получавал през сайта. Всеки път, когато съм виждал лъч надежда и ентусиазъм у някой служител на МВР за някаква промяна, разбирах скоро след това, че е била стъпкана „отгоре“. „Защото тия неща ние така не ги правим“, ако мога да цитирам един бивш зам. министър.

Затова, ако се чудите какво става с Amber Alerts в България, то почти сигурно съдбата е същата, както със снимките на изчезнали по видео таблата на метрото, mms-ите до таксиметровите шофьори, регионалните масови sms-и и прочие идеи, които са били обсъждани през години и „ей сега да станат“. Ако се чудите защо не може да откриете почти никаква информация за безследно изчезналите в България, то това е, защото тази тема явно е срамна. Както криминалната статистика. Или броят вътрешни системи и хаоса в софтуера и информационните масиви на МВР. Въпрос на манталитет, а не техническо решение.

Бихте ли позволили да ви следи застрахователят срещу по-ниска вноска?

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2018/telematik/

Когато сключвах гражданската за колата заедно с каско в Германия, забелязах, че някои от застрахователите предлагат т.н. телематик пакети. Днес искам да ви разкажа за тях. Най-общо включват изискване да се следи колата с някакво техническо средство. Данните от това следене произвеждат индекс, на базата на който ти връщат част от парите за гражданската и каското. Идеята е, че така награждават тези, които карат по-внимателно, по-бавно и на места, където има по-малка концентрация на инциденти.

Общо взето почти всички големи застрахователи предлагат такива пакети. На цена са същите като сходните като покритие и условия, но без телематик устройство. От скоро дори самото устройство е безплатно като преди това е трябвало да платиш 30-40 евро за него. Устройството има GPS и GSM и или се вгражда в колата, или се вкарва просто в запалката. Моето е от вторите. Условията са такива, че ако не използваш устройството или ако караш лошо, просто не получаваш бонус. За лошо каране не получаваш негативен индекс и не ти се вдига застраховката.

Това далеч не означава, че при инцидент това не се случва. Когато одрах колата в края на миналата година и минах ремонта през каското, веднага ми вдигнаха вноската за следващата година с доста. И сега в немските автозастраховки има аналогична система на бонуси като описаната тук, но е година за година – ако нямаш инцидент, ти вдигат класата, а от там и вноската. Всеки инцидент, дори най-малкия, те връща назад – често до ниво 0. Това стана и с мен. Затова нерядко хората предпочитат да правят по-малките ремонти за свои разноски, тъй като доплащането плюс вдигането на вноската ще им излезе по-скъпо.

При телематик обаче това следене и оценка е постоянно. Това води до няколко интересни странични ефекта. Поне при мен. Първият е, че внимаваш къде караш. Системата прави оценка на всяко пътуване. Измерва скорост – дали си превишавал скоростта или си карал прекалено бързо там, където няма ограничение; стил на каране – дали си спирал или завивал рязко; пътища – дали си карал по натоварени градски пътища или по места с висока концентрация на произшествия; време – дали си карал в час пик и дни, в които има повече произшествия. Всички тези данни се събират и оформят индекс за всеки компонент и за всяко пътуване. Това тук, например е от около 40 мин. в неделен следобед почти само по магистрали и със сравнително ниска скорост. Затова резултатът е почти идеален.

Всеки от компонентите може да се следи също така през времето. Тези двете са за улиците, по които карам (предимно градско) и времето (най-вече вечер и събота).

Вторият ефект е, че внимаваш доста повече за скоростта. Нерядко като видя знак на 300 метра пред мен за увеличение на скоростта от 50 на 80 и давам газ от рано. На няколко места във Франкфурт понякога слагат мобилни камери специално за такива случаи. Тази система обаче ми показва къде съм превишил и с колко.

Не на последно място, има и реално намаление. Всички компоненти водят до определен процент и тъй като карам внимателно и не превишавам почти скоростта, получавам 20% намаление само от това. Тъй като времето и улиците, по които карам са една идея по-добри от средното, получавам още 3% надолу. Като пари не са малко предвид колко скъпи са застраховките в Германия. Различните застрахователи имат различна тежест за тези компоненти и максималният процент на бонуса се различава. Практически невъзможно е обаче да се постигнат рекламираните 30% от застрахователя ми.

Една от причините са дефектите в системата. Най-малкото има проблем с GPS и GMS връзката. Машинката е губила сигнали по магистрали в продължение на стотици километри. До голяма степен вина за това има скапаната мобилна мрежа в Германия, която практически се губи в междуградското пространство. Резултатът е, че системата решава (явно), че съм летял и ме наказва за несъобразена скорост. Оценят и пътя, който не са те засекли предполагайки от къде си минал и смятайки времето, което ти е трябвало, за да го минеш.

Дори в градовете обаче има проблем. Особено между високите сгради във Франкфурт и почти перманенто сиво облачно време през две-трети от годината, GPS сигналът е с ниска точност или изчезва. Така те засичат на грешни улици, където разрешената скорост е съвсем друга. Не отчитат, че няма как да си прескочил през сградите. В други случаи просто решава, че си в друг край на града. На теория има начин да се оспорят тези проблеми. Пробвал съм го три пъти, но без резултат. В крайна сметка времето и сметката за телефон ще ти излезе по-голяма от 10-20 сгрешени оценки за година.

По-сериозният проблем обаче са личните данни. Тук на практика даваш пълно право на някого да те следи постоянно. Знаят къде ходя, колко седя, къде е колата ми и дори каква е рутината ми през седмицата. В замяна наистина получавам обратно пари, но това означава, че просто продавам личните си данни. Това е причината доста немци да подхождат със съмнение към този вид пакети. Немците се гордеят с това, че са буквално войнствени, когато опре до защита на личните им данни. Една колежка дори с гордост разправяше как е била на протестите, с които са спрели държавата да прави истински преброявания, защото „не може така да ти влизат в дома и да броят“. Всичко това е доста забавно имайки предвид, че тя също както 25% от населението на Германия има и активно използва карта Payback, които дават бонус към всяка покупка в 600 различни вериги магазини. Уловката е, че имат право да продават абсолютно всичко за теб на когото си искат. Кога, какво, колко и колко често купуваш, с какво си платила, кой е адреса ти, името ти и прочие. В известен смисъл имат и точното ми местоположение и то дори по-точно от кутията на колата ми. При това продават не анонимизирана статистика, а пакети с лични данни на милиони клиенти.

При телематик пакетите това все още го няма. По договор данните може да се използват единствено и само за изготвяне на индекса и нищо повече. Не може да се предават на трети лица или дори да се използват за вдигане на вноската по застраховката, за които има точно определени критерии. По закон – още повече след GDPR – дори застрахователя няма достъп до данните физически, а системата и изготвянето на индекса се управлява от отделна фирма, която наемат. Те само получават два пъти в годината число колко трябва да ми върнат.

Това далеч не означава, че нещата ще останат така. Колкото повече хора използват услугата, толкова повече ще се повишават застраховките за всички останали. Така в един момент всички ще бъдат следени колко добре карат и наказвани на момента за лошо поведение. В известен смисъл разглеждайки всички тези данни вкуп и компаниите, които ги събират и обработват, прозира нещо подобно на това, което се изгражда в Китай. Там с камери и редица източници на информация се изготвя т.н. „социален индекс“. Който пресече на червено и камера разпознае лицето му – технология широко използвана навсякъде от десетилетие – ще получи негативни точки, например. Хората с нисък индекс губят достъп до определени услуги и възможности в обществото.

Ще ни се да мислим, че това е невъзможно в Европа, още повече, че в Китай видимо се използва, за да открива, следи и изолира дисиденти. Системи изграждани от частни компании обаче позволяват различни аспекти. При това, както аз направих, ги приемаме с отворени обятия, защото не отнемат, а дават бонуси. Накрая най-вероятно същите държавни служби имат достъп до данните, но в случая имаме поне чувството за контрол, тъй като сме прочели договор, разбрали сме го и сме го подписвали. Тоест сме се съгласили изрично. Поне така си мислим.

Тази дилема със следенето отдавна я няма при големите технологични гиганти. Google, Facebook и Apple отдавна са разкрили, че ни следят. Google наскоро отново призна, че дори да се спрат всички настройки за следене на телефона, пак ни следят. С други думи, всичко това, което предоставям като информация използвайки тази малка кутийка, е само част от това, което Google или Facebook знае за живота ми през телефона ми. Това не е никакво успокоение, но поне тия ми връщат някакви пари.

Не твърдя, че това е добро решение. Сигурен съм, че ще се явят онези, които ще подкрепят идеята, че ако караш внимателно следва да плащаш по-малко. В това отношение системата определено работи. Още повече, че поне при мен има определено и психологическия ефект. Получава се малко като игра – нерядко съм отварял сайта малко след като паркирам, за да видя как съм се справил. От друга страна обаче чрез покачващите се вноски ще бъдат наказвани онези, които не искат да бъдат следени и то наравно с джигитите.

Другият паднал регистър

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2018/drugiqt-padnal-registar/

Покрай провалът на Агенцията по вписванията и кабинета с Търговския регистър се сетих за това как стабилността на системите и качеството на данните е принципен проблем в администрацията. Един такъв пример е регистъра за ражданията, към който се връщам отново и отново покрай ширещите се фалшиви новини за демографията. Макар този регистър в никакъв случай да не е важен и дори да съм призовавал да се затвори публичната част, той е показателен за работата с подобна инфраструктура.

В началото на годината предвидих, че ще тръгнат „сензационни“ новини за критичен спад в раждаемостта. Причината е, че повечето журналисти не си правят труда да проверяват снесените им сензации, а и често гледат да създадат свои търсейки каквито и да е числа, с които да украсят материала си. В случая регистърът за ражданията е удобен макар да сервира невалидни данни, за което самото министерство признава. Дори ръководството на Националният център по обществено здраве говори за това, което обаче не им пречи да публикуват редовно справки от него. Такава е инструкцията явно.

Тази година данните са особено изкривени заради няколкото продължителни периода, в който регистъра не работеше. Това в никакъв случай не беше проблем. Дори беше добре, защото ни спести малко жлъч. Създаде трудности единствено за шепа журналисти в кафяви медии, които нямаха от къде да си набавят числа и се наложи да се обърнат към други подобни източници. Счупеният регистър обаче означаваше, че данни не се въвеждаха продължително време и дори болниците, които се опитват да подават някаква информация, им трябва време да наваксат.

При първия подобен инцидент през януари, когато регистърът падна за 2 седмици, показах как това се отразява на забавянето във въвеждането. След като през юни и юли отново се скапа, но вече за 6 седмици, и без това грешните данни показваха още по-ниско ниво на раждания. Днес, например показва 27583 раждания от началото на 2018-та, а за същия период на 2017-та показва с почти 10000 по-малко – 37186. Това, разбира се, не отразява реалността, но за жалост рядко се случва реалността да продава вестници и печели гласове.

Ето обновената графика със забавянията към днес. Вижда се, че в последните 4 седмици се въвеждат данни за раждания от преди средно 35-40 дни. Формалното изискване на МЗ е за 3 дни. Някои болници още въвеждат за януари.

Анализът се базира на данни, които събирам автоматично всеки ден за попълнения брой раждания в регистъра. Цялата таблица може да свалите тук. Съдържа 127756 записа с брой раждания във всяка област за всеки ден. Повечето записи са проверки за нови попълнени данни за един и същи ден на раждането. Например за броя раждания през 1-ви януари 2018 съм проверявал през всеки ден от 2-ри до сега, за да видя кога болниците са въвели за тази дата.

Закъснелите данни са само част от проблема на този регистър, както съм предупреждавал многократно до сега. Липсват стандарти и гаранции за качество на информацията, както и реални санкции за болниците. Данните показват, че някои въобще не въвеждат ражданията, за което може да има много причини, включително, че не искат да разкрият какви процедури са включени в тях. Всичко това е просто пореден пример за това как се прави поредния регистър без да се следи за качеството и поддръжката, което практически обезсмисля цялото усилие и разходи.

Регистрите са лесно чиновническо решение за всеки проблем. В повечето случаи законодател или министър виждат тези проблеми като по-скоро фонов шум и се опитват да го заглушат с имитиране на дейност. Именно затова ще получим нов регистър на инвалидите, например. Проблемът винаги е, че не е ясно нужни ли са тези регистри, какви са изискванията към тях, кой отговаря за събирането и качеството на информацията, какво е нужно да се поддържа и кой ще осигури средствата за това. В същото време често подаването на информация натоварва фирми и граждани изрично за нещо, което в крайна сметка може и да не се използва. Най-често тези регистри свършват в кофата, когато човекът поддържал го от началото, напусне и никой няма идея как да продължи.

Прогноза за демографското време утре – мазно с превалявания от жлъч

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2018/demografsko-verme/

Отново е април и наближава един вид празник за всички сутрешни блокове – обновяване на демографските данни на НСИ. Това ще стане утре и покрай много други показатели ще видим броя на ражданията и смъртните случаи за 2017-та. Писал съм доста по тези теми, както и за яркото неразбиране на процесите и дори терминологията от екрана.

Това, което може да очакваме в следващите дни е отново същата сензационност поднесена в мазен вестник и с ехидна усмивка на чичка от пазара, който определено не иска да задаваме въпроси защо вестникът е мазен и най-вече откъде е извадил това, което ни подава в него. Водещите ще канят знайни и незнайни експерти и също няма да поставят под съмнение нито мазния вестник, нито твърденията на гостите си. Поне стига да са достатъчно сензационни и жлъчни.

Разбира се, ще чуем неща като „българите сме на изчезване“ или че сме сред първите места по смъртност. Неизменно ще чуем и за регистъра за ражданията – този любим източник за фалшиви новини за родните журналисти. Тази година той предоставя още по-пикантни детайли. Ако сравните в него ражданията през първите три месеца от годината, както неизменно журналистите ще искат да „украсят“ данните на НСИ, ще забележите, че за 2017-ва са 14019, а през 2018-та – 10841. Тоест цели 3170 раждания по-малко или привидно намаление с 22.7%. Крайно изкушителна възможност за сензация, на която несъмнено доста ще се отдадат.

Истината обаче е отново в нещо, за което предупреждавам от години – регистърът е безполезен. През декември писах за големите забавяния и пропуски във въвеждането на данните. Различни лица в Министерството на здравеопазването признаха, че на практика липсва контрол над качеството на данните и не се налагат санкции над нарушаващите заповедта болници. Когато през януари сървърът на регистъра падна, отне три седмици да го възстановят. Причината далеч не беше това, че отделните служители не си вършат работата, а че организацията идваща от ниво заместник министри и предвидена в нормативната уредба е толкова сбъркана, че практически никой не отговоря да се следи изцяло правилната работа на регистъра. Наскоро разбрах, че донякъде това, че съм въртял телефони из дирекции в министерството всъщност е ускорило възстановяването на сървъра.

Резултатът от този проблем е, че имаше сериозно забавяне във въвеждането, което все още не е наваксано. Съществува допълнителен проблем със системата и сертификатите, които се използват от отговорни лица в болниците, за да въвеждат данните. Както изглежда, някои от тях все още нямат достъп до системата или просто са решили да не въвеждат повече. Резултатът е, че и без това забавените и неточни данни сега са с още почти 1/4 по-малко верни.

Както споделих преди, намерих начин да следя автоматично какво се въвежда в регистъра всеки ден. Накратко казано – ако на 7-ми януари се родят 20 деца в област Пловдив, мога да проследя кога са въведени в системата. Например 10 на третия ден, още 3 след седмица и останалите – в различни дни през следващия месец. На тази графика съм показал с какво забавяне са въвеждани данните по седмици. Не кога са се родили децата, а с колко средно са се забавяли болниците, когато са въвеждали в регистъра. Вижда се дупката през трите седмици, когато сървърът е бил паднал. Вижда се и пикът след това на забавените въвеждания.

Според изискването, данните следва да се добавят до 3 дни след раждането – маркирал съм тази граница в зелено. Средното забавяне е повече от две седмици тази година. Миналата година 1/3 от ражданията са били въвеждани чак след месец. При това тук говорим за данните, които се въвеждат. Както показах в предишните си анализи, има цели болници, които не въвеждат данни или до правят наведнъж няколко пъти в годината.

Дефектите не са само във вътрешната организации и непукизма на политическото ръководство на министерството, но и в самата система и достъпа до нея. Данните имат за цел не просто да броим ражданията, а да се правят научни изследвания какви са проблемите и как да се подобри както майчината грижа, така и да се намали детската смъртност и заболеваемост. Данни от регистъра обаче се отказват дори на тези, за които са предназначени – научните работници. Наскоро обявиха, че се планира създаването на нов регистър. Това обаче може би ще подобри само техническата страна, която е най-малкия проблем. WHO и UNICEF имат стандартизирани категоризации на състояния и събития, които следва да следим и у нас чрез такъв регистър. Дали ще се въведат е доста съмнително след като не могат да се оправят дори с наличното.

Всичко това показва, че очакваната сензация за „рекордно намаление на ражданията в началото на 2018-та“ ще е поредното журналистическо недоразумение по темата. Може да изглежда маловажно, но всъщност не е. Едното число е много важно в действителност, тъй като около него, тенденциите и анализите се формират политики. Затова виждаме странните опити на ДАБЧ да прокара идеята, че имало 8-9 млн. българи зад граница. Фалшивите новини влияят не само на широката публика, но и на официални лица, които би трябвало най-добре да знаят фактите. Новината за работещите българи в чужбина е друг пример за това.

Каква ще е реалният брой раждания на деца в България ще видим утре. Очаквам да е малко по-нисък от 2017-та, най-вече защото броят на жените в детеродна възраст намалява плавно. Описвал съм вече причините за това и защо цялата дискусия по темата е сбъркана.

При това условие някои биха ме запитали, както са правили и преди, „Какво се пениш, като все пак намаляваме?“ Позволете ми една аналогия – по редица причини губите контрол над колата и тя се забива в дърво. Ще се разминете ли с огъната броня или ще загинете? Има огромна разлика между това дали се движите с 120 и 20 км/ч, дали сте с колан и дали правите маневри преди сблъсъка. В момента ни облъчват с крясъци, че се движим с 200 км/ч към сигурна смърт и трябва да вдигнем ръце в паника. Истината е доста различна когато разберем данните, а не сравняваме ябълки с трактори. Да, няма толкова кръв и жлъч и това навярно е проблема. Може би имаме нужда от южноамерикански футболен коментатор, който с разпален глас да обяснява базови статистически концепции и анализи.

Добре отъпканите пътеки и тротоари на България

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2017/heatmap-activnost/

Да се представят и осмислят големи масиви от информация е трудна задача. В бизнеса тя обаче става все по-важна, тъй като много фирми разбират важността на данните, които събират и ползата, която могат да имат от тях. Част от тези данни могат да бъдат пуснати свободно в полза на обществото, което както съм писал преди, е новата дефиниция на социална отговорност.

Данните обаче не трябва да са сухи, графиките скучни и затворени в нескопосани слайдове. Те може да са красиви, същинско изкуство. Всъщност, самият процес на създаване да доставя дори повече удоволствие от самия резултат. За мен лично такъв беше проектът за карта на българчетата родени в чужбина. В началото на ноември попаднах на нещо много по-добро, всеобхватно и красиво. Услугата за следене на спортна активност Strava са обновили картата си съдържаща един милард записани дейности – каране на колело, бягане, плуване – по цял свят. Резултатът е просто прекрасен.

Само хора, които са се занимавали с визуализация на гео данни биха оценили описанието как се е променила картата за последните две години. Сложността в изчистване на неточности в измерванията, изглаждане на линиите за сметка на точността, но в полза на четимостта, филтриране на данните и прочие подробности са твърде технически. Затова ще покажа само няколко отрязъка от картата, които може да са интересни на всички. Интерактивната версия ще намерите тук.

В началото виждате картата на София събираща цялата дейност. Забелязват се няколко доста „горещи“ региона – най-вече парковете. Следващата снимка показва само бягането и ходенето наложени върху сателитна снимка на града. Отново парковете са изключително посещавани. Почти нищо във Факултета, Красно село, Манастирски ливади и няколко други крайни квартала.

Тук не разглеждам активността плуване, макар да се забелязват няколко басейна в градовете – най-вече по гребната в Пловдив. Липсата на активност по езерата е ясно видима и показва колко нечисти са и колко липсва спортна инфраструктура.

Ако погледнем зимните спортове (ски, кънки), вижда се ясно очертана пистата на Витоша заедно с няколко връщания с колите до София.

Погледнато по на юг се вижда значително по-голяма активност на Боровец и Банско заедно с ясни очертания къде са пистите.

За цяла България карането на ски изглежда ето така. Това изглежда е практически единственият зимен спорт. Разбира се, важно е да се разбере, че това тук не е представителна извадка за всички спортуващи – нито каращите ски, нито колело, нито бягащите. Това показва активността единствено на потребителите на едно от много приложения за следене на спортна активност, макар и едно от големите. Явно достатъчно в България го използват, за да виждаме толкова добре очертанията.

Често Банско се сравнява с пистите в Алпите – какви цени и условия имало там и какви тук. Това се дава като аргумент ту за, ту против конкретния концесионер, нова писта или лифт. Тези карти дават ясна представа за разликата в мащабите и възможностите, които предоставя релефа. От там идва и конкуренцията, алтернативите и прочие.

Тук виждате по-голямата част от Алпите – предимно Швейцария и Австрийската част. Мащабът е еднакъв с горната карта.

Връщаме се в България, тъй като всъщност ските не са единствените зимни спортове записани от мобилното приложение. Ето тук виждате ледената пързалка в Пловдив.Такива се забелязват в София и други градове.

И накрая – пешеходната карта на България. Мисля, че всички дължим овации на онези записали активност „ходене“ по билото на Стара Планина от край до край.

Картата сама по себе си е интересна и красива, поне по мое мнение, но може да бъде полезна по още неочаквани начини. Strava очевидно са направили картата, за да покажат колко много потребители имат и да поставят в контекст активността на всеки от тях. Данните, които са пуснали са анонимизирани и взети заедно показват „горещите“ точки в градовете. Това може да е още един източник на информация за пропуски в инфраструктурата, неизползван потенциал, концентрация на пешеходци и велосипедисти, а от там и повишен риск от инциденти и прочие. Именно от там идва ползата частни компании да споделят „изчистени“ данни от работата си – допринасят към общата екосистема.

Говорилнята около @tourbg

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2017/tourbg/

Изминаха 10 дни откакто започна да се говори за Александър Николов/tourbg/Спас и какво е правил. Изявиха се доста анализатори с претенции, че имат пръст на пулса на социалните медии, модерното общество, „умните и красивите“, „новата буржоазия“ и прочие епитети. Скроиха се схеми, превърнаха ония в жертва и герой на „обикновения човек“, посрамиха го после, посрамиха жертвите му, оправдаха го, оправдаха полицията и всичко това още продължава. Сагата се превърна повече е нарицателно, отколкото в казус и затова нямам намерение да я коментирам тук.

Вместо това реших да направя друго. Подобно на няколко други бури като #siromahovfacts и #toplomovies свалих цялата активност в Twitter и ще ви покажа кога и колко е говорено за това.

По ключови думи

Търсил съм по няколко термина видими долу. При „спас“ включих само tweet-овете, които са маркирани от Twitter, че са на български. Думата се използва доста в руски и сръбски съобщения. При „билети“ и „спас“ несъмнено има няколко, които не са свързани, но съдейки по активността преди 7-ми, те са единици. Забелязват се пиковете около обявяването на новини около случая.

Най-активно пишещи

Най-активни са @varnasummer и @NewsMixerBG, а след тях с над 3 пъти по-ниска активност са @Tangerrinka и @nervnata. Всъщност, почти всичко от @varnasummer е на 9-ти около обяд.

За пестицидите, яйцата, хората и мишките

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2017/fipronil/

Изрових тези числа когато тръгна скандалът с холандските яйца в Германия. Ей така, от любопитство. Не ги пуснах тогава, защото не смятах, че на някого ще му е интересно. Вчера обаче стана ясно, че пестицидът фипронил е открит и на българския пазар. Видях също, че доста хора копират дословно едни числа и добавят свои интерпретации и затова ето какво открих.

Всички медии съвсем естествено цитираха съобщението на агенцията по храните, че нивото на остатъчното замърсяване с фипронил е „0,027 мг/кг, което е значително под опасната доза за човек от 0,72 мг/кг“. От къде идва това число и какво означава? Всъщност, такова ограничение няма. Има няколко изследвания за консумация на яйца в кратък или продължителен период върху зайци и плъхове. Повечето правят препратки към немското изследване (в линковете долу) и задават именно 0.72 мг/кг като горна граница на безопасност.

Тъй като нито БАБХ, нито медиите разясняват, ето какво означава това число. Това е безопасен лимит за остатъчен пестицид на черупката или в яйцето към килограм яйчен продукт. Не както блогът за наука 6nine писа в Twitter, че това е няколко милиграма погълнати спрямо теглото на потребителя. Напротив. Това означава, че ако ядете колкото средностатистическия човек, но яйца замърсени с повече от 0.03 мг. (30 микрограма) фипронил всяко, то много вероятно да да имате сериозни здравни проблеми. При деца или продължително излагане ограничението е много по-ниско. В изследванията се посочва, че пестицидът се изхвърля след най-малко 7 месеца. Това означава, че може бързо да се натрупа и доведе до неврологични проблеми.

Това, което съществува като лимит за максимална концентрация е 0.02 мг/кг яйчно вещество. Той е въведен както от ЕС, така и от FAO. В ЕС обаче от 2015-та е намален на 0.015, а от миналата година – на 0.005. Това се смятат за безопасни нива при консумация в краткосрочен план. Данните на FAO показват и друго интересно нещо – лимитът спрямо тегло на потребителя. То е 0.0002 мг. поет чрез храна пестицид на кг. човешко тегло при продължително излагане или 0.003 мг. – при еднократно излагане. Именно на база тези оценки плюс статистиката за средната консумация за яйца, средното тегло на населението и доста закръгляне надолу са получени лимитите за безопасност на ЕС. Отново по същия начин е изчислен и прословутата граница от 0.72 мг/кг, която ще видите във всички медии.

От това се разбира, че всъщност откритите нива на фипронил в българските яйца съвсем не са безопасни и затова БАБХ бият камбаната. Те са над старите лимити за безопасност на ЕС и пет пъти над обновените за този пестицид. Все пак, са доста под откритите в Холандия и Белгия, където някои партиди са надвишавали дори критичните 0.72 мг/кг (или 30 микрограма на яйце). Затова там е имало хоспитализирани с натравяне. Такова в България почти е сигурно, че няма да видим, освен ако някой не реши да направи 300 кг. омлет. Целта на тези предупреждения е да се избегне продължителното излагане, което дори при ниските стойности може да е вредно и то особено за децата.

И отново – всички тези лимити и микрограмове са груби оценки на учени и бюрократи на база продължителни изследвания върху мишки. Закръгляли са яко надолу за всеки случай. Нищо от вчерашните новини не означава, че „ядем отровни яйца“. Просто няма да е лоша идея да избягвате тези партиди. Ако вече пак сте яли от тях, няма проблем – тялото се справя със всякакви „отрови“ – било то „естествени“ или изкуствени. Нямате си идея какво има в „био“ и „селските“ зеленчуци дори без да се пръскат и само на база изкуствената селекция. Ако трябва да се притеснявате, че нещо ще ви разболее, обърнете внимание на замърсяването на въздуха в градовете ни. Прегледайте се най-после защо ви е високо кръвното и защо оная кашлица не си отива. Точно тези яйца са несравнимо по-малък проблем.


Източници: съобщението на БАБХ, база данни с пестицидите на ЕК, база данни с пестицидите на FAO, изследване на ефектите на фипронил в Белгия, последен доклад на FAO за дневната употреба, datasheet на FAO за фипронила.

Преброяване на българите в Германия по общини и години

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2017/bgde/

Настрана от очевидното, основаната причина да разглеждам данните за българите в Германия е това, че изглежда е най-голямата ни диаспора в света с над 260 хиляди българи. От това се повдига отново и неизбежния въпрос доколко е адекватно покритието на консулските услуги в Европа. За него ще пиша пак скоро.

Тук искам да покажа нагледно данни на DeStatis, които някак съм пропускал до сега. Предоставят броя чуждестранни граждани по общини в страната и има данни за последните 19 години. Направих бърза карта, за да илюстрирам как са емигрирали българите към и в Германия. Позволява фокусиране върху конкретна община и анимиране на данните през времето.

Дяволът е в детайлите

Разбира се, както винаги данните имат някои условности. Те представят единствено регистрираните българи в дадената община или административен регион. Системата в Германия е много строга и не може да направиш почти нищо без регистрация, но все пак това не изключва нелегално пребиваващи, особено в годините преди 2007-ма. Също така, данните разглеждат единствено българите без немски паспорт. Такъв са получили 17000 българи за този период. Събирането на данните от общините също е особено. С Saarland, например се отчита наедно за няколко landkreis-а. В Kassel пък до 2007-ма са се събирали данни за landkreis-а, а след това са включени в данните за града. Опитал съм се да представя коректно данните взимайки предвид промените в устройството за този период. Отделно, в информацията за всяка община съм посочил съотношението мъже/жени. Не съм го представил на картата, тъй като повечето общини са с твърде малко българи, за да може да се направи някакво смислено сравнение.

Къде, кога, колко

Като натиснете на дадена година, на картата се показва разпределението им тогава. Ако натиснете определена община ще видите на графиката броя българи регистрирани точно там между 1998 и 2016-та. Натиснете където и да е другаде на картата, за да изчистите фокуса на общината.

Ще забележите, че има два линка под картата. Първият пуска анимация през годините. Вторият превключва режима на представяне от абсолютен брой българи към такъв на брой българи на всеки 100000 население. Последното дава по-добра представа за концентрацията, тъй като подобно на България доста селски региони са почти обезлюдени. Допълнително съм изсветлил общините с малко население, за да се отрази това. Така се вижда, че Берлин макар с най-много българи – над 15000, има по-малко концентрация спрямо населението, отколкото общините в региона Frankfurt-Mannheim.

Интересно ми е какви са вашите наблюдения на база тези данни. Споделете ги в коментарите. След картата съм дал линкове към други мои статии разглеждащи българите в чужбина.

Източник: DeStatis

Драмата по вадене на паспорт в чужбина

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2017/dramata-pasport-v-chujbina/

През май се усетих, че ми изтича паспорта. До сега винаги съм го обновявал в България, но този път пропуснах. Изчетох изискванията на сайта на Външно, направих си час през online системата и зачаках. Беше за след два месеца, но имах време.

На 10-ти юни в 8:50 бях пред консулството във Франкфурт. Часът ми беше за 9:00, когато отваря и консулството. Вече имаше опашка от към 40-тина души. Поне 5-6 бяха бебета, за които родителите се опитваха да извадят документи. Тъй като сградата е малка и никога не е била строена за консулство, опашката беше отвън и преливаше на тротоара. Естествено, минаващите на път за работа негодуваха.

Пробих си път през тълпата, тъй като бях един от малкото с час и се качих горе. Имаше две гишета. Тогава осъзнах, че съм забравил заявлението попълнено на сайта и го попълних наново за няколко минути. Когато го предадох на консулския служител, последва спор за детайли по заявлението, както защо не си нося стария паспорт. Оказа се, че въпреки практиката в България, написаното на сайта на Външно и на новия консулски портал, МВР изисквали паспортът да се предаде в консулството при подаването на заявлението. Абсурдно е, но „така искали и може да върнат заявлението, вие си знаете“. Като посочих, че в портала пише друго, последва отговор „Ако можеше през интернет, щяха всички да го правят там, нали?“ Отговорих, че по принцип може, ама…

Тогава ми светна, че всъщност има един друг портал, за който Външно похарчи стотици хиляди. Бях забравил за него (въобще много забравяне в тази история). Идеята му е да си подадеш заявлението изцяло online и така да олекоти работата на консулствата. Уловката е, че изисква електронен подпис, което е доста рядко все още.

Е, аз имам електронен подпис. Вече бях доста изнервен на служителката, събрах си документите и си тръгнах. Вечерта седнах и отворих e-services.mfa.bg. Прие електронния ми подпис и започнах да попълвам детайлите. Любопитно е, че ми показа снимката съхранявана от МВР, но се наложи на ръка да въведа почти всичко останало.

Пуснах заявлението и съвсем очаквано сайтът се счупи. Това всъщност е известно отдавана. Пробвах в случай, че имам някакъв късмет. Само един човек е успял да подаде заявление така малко след пускането на проекта. От тогава насам прескъпият портал просто не работи. Опитах се на няколко различни конфигурации, но резултатът беше същия.

Върнах се към консулския портал consulatebg.eu, попълних отново електронното заявление и си направих нов час за след месец и половина. Толкова се чака. Ако днес се опитате да си направите час във Франкфурт, най-скорошният е на 14-ти септември. Може да се пробвате в съседните консулства, но и там чакането не е по-малко. След като подадете заявлението, може да се наложи да чакате между един и шест месеца за самия паспорт. Зависи от натоварването и бързината на чиновниците в България.

Иронията тук е, че ако подам заявление за немско гражданство, процедурата може да мине дори по-бързо от обновяването на българския. Това, както и лошите консулски услуги са сред основните причини толкова българи да взимат немски паспорт. Аз съм решил, че просто не ми трябва. Същото, впрочем, важи и за децата на български родители родени в чужбина – процедурата е сравнително лесна, но трябва да се върнеш в България. Има разписан в закона вариант български акт за раждане да се вади и през консулствата. Според отговора, който получих от Външно, няма данни някой някога да го е правил. Консулите дори имат задължение да вадят служебно български акт за българчета, за които знаят, че са родени в региона им. Нямат обаче капацитета и също не се е случвало.

За нищо от това не виня хората работещи в консулството. Колкото и да ме изнерви отношението на служителката тогава, разбирам я напълно предвид наплива пред сградата и ѝ го казах. Истината е, че точно консулството във Франкфурт работи с 2-3-ма консулски служители. Още няколко помагат с възспирането на тълпата и организацията, макар да не им е това работата. Консулството отговаря вече за близо 120 хиляди българи в съседните провинции. Това е все едно град като Плевен или Стара Загора да бъде обслужван от кметството на малко родопско село.

За проблемите на консулствата ни и недостига на служители и материално осигуряване съм писал вече. Министерството на външните работи отказа да ми предостави данните за финансовите отчети на всяко от тях. Съдих ги, спечелих на първа инстанция, но те обжалваха пред ВАС. Делото е насрочено за средата на февруари. Опърничавостта им ме кара да мисля, че явно има резон в неофициалната информация, която имам от познати във Външно, че от такси и услуги министерството излиза на печалба, а не се инвестира почти нищо. Само данните ще покажат дали емиграцията ни не издържа дипломацията ни.

Целият процес е изнервящ за всички участници. Нищо ново за бюрокрацията ни, ще кажете. Интернет платформите, електронната идентичност, електронните услуги и гласуване ще олекотят много нещата, но няма да изместят нуждата от адекватни консулства. Дори да не подаваме ухо на фалшивите бомбастични твърдения за броя на българите в чужбина, емиграцията ни е доста голяма. Всички говорят как ще бъдат върнати с една или друга мярка, но никой не се сеща, че често допирът до държавата България са именно тези консулства. През тях всички виждат, че малко от причините да напуснат да се подобрили – бюрокрация, неясни изисквания, липса на обучен персонал, изнервени служители и опашки. Ако искаме да променим нещо, това е добро място да започнем.

А иначе, аз паспорт ще си изкарам. Ще ми излезе по-евтино и по-бързо да се вдигна на самолета и да изкарам по бързата процедура в Пловдив. Ще загубя ден-два отпуска, но не ми е проблем. За доста обаче това не е вариант. Особено, когато са с дете.

Градският транспорт и как данните биха ни помогнали да го подобрим

Post Syndicated from Боян Юруков original http://yurukov.net/blog/2017/danni-za-transporta/

Наскоро статус на Илиян Стоянов във Facebook ме подсети за това, че градския ни транспорт е една от сферите, в които липсват публични данни. Няколко града като София, Пловдив и Варна имат сайтове и дори app-ове, където човек може да провери разписание и планира маршрути. Самите данни за спирките и разписанието не са достъпни. Така не само не може друг да направи собствена услуга, но и не може да се анализира мрежата.

Затова седнах и първо отворих данните за спирките на споменатите три града. За тези в София вече писах във Facebook. В Бургас въпреки евро-проекта за интегриран транспорт, изглежда няма дори дигитална карта на спирките.

С тези прости данни направих бързи карти на спирките на София, Пловдив и Варна. Като спрете с мишката върху всяка точка, ще видите името ѝ. Вляво има бутон, с който може да ги разглеждате на цял екран.

Скриптовете и самите данни за спирките публикувах в Github. Ще ги намерите на страницата ми с Gist-ове.

Транспортът във Варна

Във Варна, всъщност, данните дори не са налични от общината, а от частния проект varnatraffic.com на Мап Софт. Той е и единственият, който намерих да показва местоположението на автобусите в реално време. Използвах данните им на база съобщение на сайта от преди две години, че предоставят всичко свободно като отворени данни.

За да илюстрирам колко е полезна тази информация, свалям вече седмица местоположението на всички автобуси в града. За този период събрах около 650 хиляди точки с различни параметри – номер на автобуса, предишна и следваща спирка, оставащо разстояние до спирката, закъснение. Следните три карти показват различен поглед над събраните данни.

Първата карта разглежда движението за седмицата между 21-ви и 28-ми март по часове и колко автобуси са били по улиците на града. В червено са доста натоварени отсечки, където много автобуси са се движели през дадения час. Картата показва как се увеличава и намалява този трафик в различните части на деня, както и през почивните дни. В неделя не се забелязва по-малко натоварване, за което вероятно допринасят и провелите се тогава избори.

Следващата карта се концентрира само върху понеделник, 27-ми март. Показва в детайли движението на всеки един автобус. В червено са отбелязани тези, които закъсняват повече от 5 мин. Забелязва се как между 7 и 8:30 вечерта много от автобусите закъсняват. Виждат се ясно и местата, където автобусите спират за почивки.

Тъй като имаме закъсненията преди всяка спирка, може да анализираме и каква е вероятността да се чака на нея. Може също да разделим тази оценка по часове. Последната карта показва именно това. Анализът се базира само на данните от последните 7-8 дни. Пренебрегнете посочената дата в картата – часът е важен. Инструментът не позволява показването са на час.

В зелено са спирките, на които в конкретната част от деня се чака не повече от 15 секунди. В жълто са тези до 30 секунди. В гамата на червено са тези със закъснение между минута и час. Отново се вижда колко голямо средно закъснение има в различни часове от дена и части на града.

В някои случаи включвам и автобусите пристигнали с няколко минути по-рано – това също се счита за отклонение, тъй като някои пътници биха го изпуснали. Редовни такива показатели сочат към неоптимално разписание на даденото място и час. Такива са 26% от събраните точки за движението на градския транспорт. В 8.7% от времето, автобусите са подранявали с повече от 3 минути. В други 50% автобусите са закъснявали с повече от 20 секунди.

Публичността не е услуга

Публичността на която и да е информация не е услуга, която се представя от администрация или частна компания на обществото. Това е неизменна част от прозрачността, отчетността и социалната отговорност. За държавната и местната администрация отворените данни са още едно ниво на инфраструктура. Доскоро говорихме само за магистрали. В последните години започна все повече да се възприема и интернет свързаността като инфраструктура, при това не по-малко съществена за бизнеса. Информацията и най-вече тази в отворен формат придобива все по-голяма важност по аналогичен начин. Данните идващи от частните компании следва да допълнят тази картина и са новата дефиниция на социална отговорност, която често си приписват.

Това, което показах с данните от само няколко дни движение в един град, не са просто шарени карти. Това е илюстрация какво може да се направи за час-два работа, а не крайната цел. Информацията в момента се използва само за улеснение на пътуващите. Съберем ли всичко заедно за целия транспорт и за голям период, се отварят много възможности. Може да се открият проблемни кръстовища, да се подобрява графика, да се оптимизира движението на пътищата и интервала на светофарите. Дори само координатите на спирките може да се използват, за да се открият най-„изолираните“ части от градовете и да се направи карта на най-лошо свързаните региони.

Обединявайки тези данни с масиви за трафика на коли, цените на имотите, координатите на училища, градини и болници, за схемата на почистване на улиците и прочие може да позволи много по-добро градско планиране. По-важното обаче, ще позволи на частни компании и неправителствени организации да изградят приложения използващи данните по различен начин. Най-лесното би било да се направят по-добри приложения за планиране на маршрут с градския транспорт. Сайтовете за недвижими имоти биха давали по-добра информация за свързаността на имота. Родителите биха могли по-лесно да откриват градини и ясли, които са привидно отдалечени, но биха били достигнати лесно с транспорт от дома или офиса им.

Всичко това би помогнало да се направят градовете по-добри и да се използва публичния транспорт повече допринасайки за намаляване на трафика и замърсяването. За съжаление, интуицията на повечето чиновници и поддържащи такива масиви от данни е, че информацията е тяхна собственост и ако бъде публикувана „някой може да я използва“. Това е реакцията, която съм получавал най-често от агенции и общини. Забравя се, че всъщност вече сме платили с данъците си за събирането на всеки информационен ресурс. Забравя се и че целта на всички тези регистри и информационни системи е именно информацията да е достъпна. При тези мащаби с индивидуални справки, PDF-и и снимки на документи това просто не става.

За щастие, вече е в сила изискването, че всички публични данни във всяка нова система на администрацията трябва да са налични като отворени данни. Следва само да следим това да се спазва и да използваме тези ресурси. Съществуват обаче много други стари системи, за които трябва да натискаме да се отворят. Координатите на спирките и автобусите градския транспорт е само един пример. Друг пример са координатите в реално време на снегорини и камиони чистещи улиците зимно време. Общините ги следят, но не публикуват информацията. Друг пример са адресите в градовете, анонимизирани и агрегирани данни от НАП за плащанията на пос терминали и такива от МВР за престъпления.

Тези примери спадат към дефиницията на big data. Не са просто полезни за гражданите и бизнеса, а информация, която самите институции често не успяват да обменят помежду си или дори да анализират. Затова всичко описано до тук повишава не само прозрачността, но и ефективно постига аспекти от така нужната структурна реформа на администрацията ни.