Tag Archives: 54

Радио България: какво всъщност се обсъжда

Post Syndicated from nellyo original https://nellyo.wordpress.com/2017/06/23/bnr_/

Отговорната редакторка на сайта на СБЖ казала,

че знае от много достоверен източник,

че Бетина Жотева, член на СЕМ,  казала,

че министърът на външните работи Захариева в личен разговор казала,

че е за закриване на Радио България.

Бетина Жотева казала,

че нито министър Захариева й е казала,

нито тя е казала, че министър Захариева й е казала,

че е за закриване на Радио България.

*

Днес много се говори, че са си говорили, това е интересен сюжет  –  но  да се върнем към Радио България.

 

I

Радио България и реформата в БНР

Радио България е име на програма, произвеждана и предоставяна за разпространение от Българското национално радио на различни езици. Технологиите се развиват, потребителските модели се променят, има динамика и във външните отношения на страната.  Променят се условията – променят се и програмите и услугите на обществените медии.

За Радио България в последно време се говори поради две обстоятелства:

  • Първо, разпространението на програмата онлайн

Радио България първоначално се разпространява наземно – поради което според ЗРТ подлежи на лицензиране  – и е лицензирана. През февруари 2012 г. разпространението на програмата продължава онлайн, като съдържанието на турски език се разпространява и наземно, включително интегрирано в програмата на районната станция  Радио Кърджали. Този факт стана  широко известен   при лицензирането на програмата на Радио Кърджали през 2015, когато се вдигна шум около новините на турски език – докато се установи, че това е част от чуждоезиковата продукция на Радио България.

Ръководството на БНР се обръща към регулатора с искане за изменение на лицензията на Радио България – така че съдържанието, което не се разпространява наземно от години, да престане да бъде предмет на лицензията. Както става ясно от протокол от заседанието на СЕМ на 16 май 2017 (стр.6-7):

 искането е за изменение на лицензията, в частта да бъдат заличени определени приложения към нея, а това са приложенията на отделни езици.

Мониторинг на СЕМ от 2017 установява, че изискванията на лицензията не се изпълняват. Да се актуализира лицензията изглежда логично искане   – пет  години след прекратяване на наземното разпространение на съдържанието на някои езици. Както напомня Мария Стоянова според посочения протокол

защото си спомняме, че става въпрос за предаватели, които са премахнати и предадени за скрап.

  • Второ, редуцирането на съдържанието онлайн

Сегашното ръководство на БНР взема и второ – вече програмно – решение да прекрати и производството на съдържание на някои от езиците. От медиите става ясно, че БНР се аргументира с данните за потреблението и интереса към това съдържание. Решението е подкрепено изцяло от Обществения съвет на БНР, обсъдено е и по съответния ред в органите на радиото. Зад решението с целия си авторитет е  Райна Константинова, в случая председател на Обществения съвет – но също  един от най-опитните експерти в областта на обществените медии в Европа.

Редуцирането на езиците ще доведе до намаляване на заетите в БНР. Някои са пренасочени в БНР, някои приемат условията за освобождаване, други протестират и търсят подкрепа в колегията и институциите.

Накратко, ръководството на БНР и Общественият съвет провеждат съдържателни обсъждания и така стигат до изводи за модела на преструктуриране на Радио България.

II

Реакцията към стъпките, предприети от БНР:

  • СЕМ

СЕМ обсъжда въпроса, но не стига до решение да измени лицензията и да легализира прекратяването на наземното разпространение, а (видно от посочения протокол) решава

да изиска информация от КРС  с какви мощности се разполага и къде се разпространява програмата на “Радио България” и

да изиска  от БНР програмна схема и програмна концепция за “Радио България”.

  • Парламент

На 15 юни парламентарната комисия за култура и медии има в дневния ред точка 2. Изслушване на генералния директор на Българското национално радио относно искане на БНР за изменение на индивидуална лицензия за създаване на радиоуслуга с наименование „Радио България” и свързаните с изменението последици.

Стенограмата отразява заседанието, изслушват се различните мнения, както и становище на министъра на външните работи. Депутатите се обединяват около идеята, че чуждоезиковата продукция на БНР трябва да бъде запазена.

Министър Захариева заявява ясно, че  министерството на външните работи по принцип не би могло да се меси в редакционната политика, въпреки че това е обществена медия. Също така министър Захариева обръща внимание,  че Радио България    „под формата, която го разбираме, класическата“     не съществува  – и става дума за чуждоезикова продукция.

За МВнР тази продукция има значение – „Подчертаваме, че чуждоезикови рубрики имат своята роля за разпространението на българската култура и наука, а също така за информираността на тези наши общности в чужбина, както и на чуждестранни граждани, за българската държавна политика.[…] разширяването на Западните Балкани е приоритет на външната политика на правителството и ще бъде един от приоритетите на българското председателство на Съвета на ЕС в началото на следващата година. И затова ще ни бъдат необходими, като инструмент да комуникираме, тези рубрики”, се казва в писмото до парламентарната комисия за култура и медии.

МВнР смята, че е уместно да се проведе обществена дискусия преди преструктурирането.

На сайта на президента е изложено становище, в което между другото се казва:    

Неприемливо е в навечерието на Българското председателство на Съвета на ЕС да се обсъжда идеята за закриването на „Радио България“. Тази програма на БНР има опит и традиции в създаването на образа ни навън като европейска държава на духа.

До медиите това съобщението достига накратко така:  Президентът забрани да се закрива Радио България.

 

  • Работещите в Радио България

Позицията на работещите е отразена по-подробно тук. Те  са срещу решението на ръководството, подкрепени са от Съюза на българските журналисти.

След срещите и публикациите поне става ясно:  парламент, президент и правителство не могат  да вземат програмните решения на обществените медии.

 

 

III

А сега?

Ръководството на БНР учи по трудния начин, че реформаторските мерки трябва да са отлично обосновани и публично обяснени и защитени, за да се отличават от обикновено съкращаване на живи хора.

УС на БНР приема за сведение изразените мнения и  решава поетапната модернизация да продължи след обществена дискусия.

Модернизацията не се поставя под съмнение, аналоговата лицензия ще си отиде. Същевременно колкото и чуждоезиковата продукция да е политически въпрос, никой не поддържа комуникация под определен праг на ефективност,  общественото радио също.

Така че предстои да се решава обща задача:    публичният  ресурс  да бъде инвестиран  в чуждоезикова продукция по такъв начин, че да се постига ефективна комуникация, включително с използване на съвременните платформи,  за изпълнение на обществената мисия на БНР.

 

 

Filed under: BG Content, BG Media, BG Regulator, Digital

Спорът БНР – Музикаутор, нова фаза

Post Syndicated from nellyo original https://nellyo.wordpress.com/2017/06/23/cpc-5/

На сайта на КЗК има съобщение, според което

С Определение № 654/15.06.2017 г. Комисията за защита на конкуренцията, на основание чл. 74, ал. 1, т. 3 от ЗЗК,  ПРЕДЯВИ на Сдружение на композитори, автори на литературни произведения, свързани с музиката и музикални издатели за колективно управление на авторски права „МУЗИКАУТОР“  твърдение за извършено нарушение по чл. 21, т. 5 от ЗЗК, изразяващо се в злоупотреба с господстващо положение на пазара на предоставяне на права за излъчване на музикални и литературни произведения от репертоара на Музикаутор по безжичен път, предаването или препредаването на произведенията по електронна съобщителна мрежа за доставчици на радиоуслуги на територията на страната, което може да предотврати, ограничи или наруши конкуренцията и да засегне интересите на потребителите посредством необосновано прекратяване на съществуващите договорни отношения с Българското национално радио, с което се препятства осъществяваната от радиото дейност.

В срок от 30 (тридесет) дни адресатът на определението и молителят имат право да представят писмени възражения по предявените твърдения.

*

През април 2017 СГС прекрати делото, заведено от БНР, поради недопустимост на иска.

През юни 2017 БНР и Музикаутор подписаха договор.

Filed under: BG Content, BG Media, Media Law

За религиозността на няколко хиляди в социалките и защо повечето такива изследвания са счупени

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2017/religia-i-schupeni-anketi/

Постоянно сме облъчвани от анкети и социологически проучвания. Особено когато става дума за избори, политика и мнения по актуални за деня въпроси. През май излезе едно такова изследване на Pew Research засягащо отношението на религията в източна Европа. То, както и няколко често споделяни мемета в социалните мрежи, ме накараха да направя свой експеримент преди месец. Пуснах анкета за „религиозността на българите“.

Преди да задълбая в резултатите, има няколко важни детайла, които трябва да обсъдим. Първият е, че анкетата ми в никакъв случай не претендира за представителност. Не съм започвал анкетата с тази идея и нямам илюзии, че може да е. Причините за това е важно да се разберат, ако искаме да разпознаваме лошата „статистика“ и ще ги обсъдя подробно по-долу.

Въпреки това, интересно и до голяма степен неочаквано е, че беше попълнена от 3120 души, 2400 от които в първите 24 часа. Това само по себе си показва, че темата за религията занимава много хора от всички страни на дебата и определено е нещо, за което трябва да говорим повече. В този смисъл, самата дискусия и активност около анкетата може да е дори по-показателна от самите данни.

Също така, някои обърнаха внимание на някои странни въпроси като този за църковния данък. Целта му, както и подборът на отговорите на повечето въпроси, беше да илюстрирам същността на критиката ми към изследването на Pew Research. Тезата ми не е, че умишлено са подправили данните, а че липсата на разбиране за културните различния ги обезсмисля.

Не на последно място, дори взимайки предвид всички условности, резултатите от тези няколко хиляди отговора си остават интересни и с доста уговорки може да ни покажат позициите и самоопределянето ако не на друго, то поне на балона от познати и техни приятели, които има около мен в социалките.

Самоопределяне, политика и изучаване на религия

След като отметнахме всичко това, мисля да започна отзад напред. Не заради друго, а просто защото отговорите са интересни.

В следващите няколко графики съм обединил всички самоопределящи се към някоя религия в една група и всички, които не се самоопределят – в друга. Знам, че това ще раздразни някои, но за по-кратко ще ги наричам „религиозни“ и „нерелигиозни“. Разпределението впрочем е съответно 51.4% „религиозни“ срещу 44.7% с още 3.9% отговорили „друго“. Разбивка на отговорите им ще видите вдясно, а вляво е средното за всички анкетирани. Скрил съм колебаещите се. В червено са отворите „вярно“, а в лилаво – „невярно“.

При първия въпрос няма изненади – 91% от „нерелигиозните“ са отговорили, че религията не е важна за тях. Интересно е, че 20% от „религиозните“ са отговорили по същия начин. Значително повече хора и от двете групи отговарят обаче, че религията е (предимно) важна част от българската идентичност – 71% и 26%. 50% от всички отговорили са дали този отговор срещу 30% отговорили с „не“. Това съвпада с изводите на Pew.

Разминаване идва обаче при следващите въпроси. Едва 17% от отговорилите са казали, че религията влияе на религиозните им убеждения, а 19% – че трябва да играе роля в политическия живот. Дори сред отговорилите, че религията е определено важна за тях, едва половината казват, че тя им влияе политически. В България някак този въпрос е естествен – „вържи попа … да ти е мирно селото“, както се казваше в приказката. В доста държави обаче не е така и щатите определено са сред тях. В анализите на Pew се опитват да направят връзка между религиозността на източна Европа и мнението за Русия. Внушават също, че увеличаване на религиозността би имала някакъв осезаем ефект във външнополитическите ни взаимоотношенията с тях. Макар за отделни маргинални групи това да е вярно, то определено не е сериозен фактор в политиката ни, най-малкото заради мястото на официалната църква.

Следващият въпрос също не изненадва – почти половината от самоопределящите се с някоя религия смятат, че религиозният канон трябва да се изучава в училище, докато 90% от „нерелигиозните“ не са съгласни. Интересно е обаче единодушието по последния въпрос – да се изучава историята на всички религии в час. Над 60% от анкетираните отговарят така и само 24% са против.

Религиозни, религиозни, колкото да сме религиозни

Така, нека да обясня. Чест проблем при съставянето на анкетите е приемането, че всички ще възприемат концепциите по един и същ начин. Мона Чалаби от The Guardian дава един интересен пример с нашумяло изследване за мнението на мюсюлманите във Великобритания за джихада. Мнозинството са отговорили, че го подкрепят и точно тези няколко думи обикалят световните медии. Не става ясно обаче, че повечето анкетирани също отговарят, че възприемат дефиницията за „джихад“ като „мирна вътрешна борба за лично израстване“.

Аналогично, въпросът за самоопределянето с дадена религия може да има доста различен смисъл. Именно на база това направихме разбивка на данните до сега. В следващите въпроси се вижда, че дори „религиозните“ се възпротивяват срещу въвеждането на църковен данък. Едва 15% от „религиозните“ смятат, че трябва да се въведе, а 20% биха го плащали, ако се наложи. 74% от „религиозните“, които смятат, че трябва да се въведе, биха се регистрирали и плащали.

Изборът на точно тази сума не е случайна. Взимам за пример Германия, където такъв църковен данък има отдавна и е процент от заплатата. Този процент варира, но съпоставен със средните доходи там, би се равнявал на около 25 лв. месечно у нас. В Германия този данък се плаща единствено, ако се регистрираш като принадлежащ към някоя от църквите. Доста емигрирали българи правят грешката да се пишат просто „християни“ и още с първата си заплата осъзнават, че вече спонсорират деноминацията на църквата, към която конкретният данъчен служител принадлежи. Лесно е да се отрегистрираш и немалко немци го правят като станат на 18 години. Тогава обаче нямат право на църковна сватба, кръщене или погребение с поп. Общо взето или си в клуба и плащаш, или не си. Затова много немци плащат църковен данък и годишно той генерира около 17 млрд. евро разпределени най-вече между католическата и евангелистката църква.

Този принцип е толкова залегнал в разбирането им за религиозност, че ако зададеш въпрос на немец дали е религиозен, почти сигурно е да отговори с „не“, ако не плаща данъка. Онези, които плащат данъци пък са особено религиозни. Всъщност Германия въпреки либералния си облик е доста религиозна държава. Едва наскоро научих, че в петъка преди Великден всички клубове са затворени и партита забранени. Стига се до викане на полиция и глоби. Това идва изцяло от християнския канон. Все още общините са разделени по линиите католици/евангелисти и гледат да се придържат към общностите си. За празничните паради да не обяснявам. Не мислете и че думата „християн-“ в името на партията на Меркел е просто така – религията има сериозна роля в политиките и кампаниите им.

В същото време, поне съдейки по тези данни, ако в България бъде въведен такъв данък, 4/5 от идентифициращите се с някоя религия и 2/3 от отговорилите, че религията е важна за тях ще „окапят“. Причината да посочвам това, че различни мемета в мрежата показват колко по-религиозни сме от тях. Едно такова нарежда Германия сред атеистичните държави, които са и мирни и прави връзка между тези неща. Някои посочват като източник изследвания като това на Галъп, където наистина се твърди, че Германия има драстично повече атеисти. Ако и в България се налага да плащаш колкото месечна винетка за отговора „религиозен“, съвсем лесно ще ги задминем в атеизма.

В графиката горе ще забележите и че с 50% повече „нерелигиозни“ смятат, че трябва да се въведе данъка, в сравнение с „религиозните“. Причината може би е, че държавата отдели 4.5 млн. лв от бюджета за 2016-та за субсидии на вероизповеданията. През годините има тенденция на увеличаване и повечето пари отиват за ремонти. Няколко стотин хиляди са за подпомагане на български църкви зад граница. Ако се въведе данък и наистина онези 7.7% отговорили с твърдо „да“ се регистрират, то субсидията ще набъбне на поне 60 млн. Това би разтоварило останалите данъкоплатци с поне няколко милиона, с което си обяснявам отговорите на „нерелигиозните“. Разбира се, всичко това е условно, защото анкетата далеч не е представителна за всички работещи.

Социо-стъкмистика

Въпросът за представителността на анкетата беше засегнат още от самото ѝ пускане. Навсякъде коментирах, че целта въобще не е представителност и че нямам намерение да правя обобщения за „религиозността на нацията“. Изводите, които описах до тук, идват с много условности и уговорки. Похвално е, че толкова много хора ги забелязаха от рано и това ми дава надежда, че все пак критичното мислене не е залязло толкова, колкото си мислим.

Най-очевиднияt проблем с анкетата ми е, че се провежда в мрежата. Това само по себе си силно ограничава качеството, защото не покрива представителна извадка от населението. Отделно, анкетата беше разпространяване в социалките от човек на човек, което още повече предполага затвореност на кръга на хора, които я попълват. Най-ясно изразеният белег за това се вижда в активността и групирането на отговарящите през времето. Тази графика показва точно това – в синьо са попълнилите на час, а в червено – дялът самоопределящи се с някоя религия. Вижда се ясно, че в 9 до 11 сутринта е имало много попълващи „нерелигиозни“, докато тенденцията се обръща около 14 часа и вечерта. Това съвпада като време със споделянията на групи на тема атеизъм и религия.

Представителността е най-ключовото понятие, за което трябва да внимаваме. Белезите за „счупена“ представителност са много – анкети в интернет, само пред стационарен телефон или друго ограничено средство за комуникация, концентриране само върху градовете или дори центъра им и прочие. Най-ясен пример за такива дефекти се виждат в социологическите проучвания около изборите. Почти без изключение те са безсмислени като данни, но за сметка на това имат огромно влияние върху общественото мнение. Няма по-известен пример от провала на прогнозите за изборите през 2016-та в щатите. Сайтът FiveThirtyEight има доста добро обяснение защо се случи това. Сред основните причини е именно пропускането на цели демографски групи в допитванията.

Друг фактор в мащабът. Тук всъщност той говори в моя полза, тъй като дори големите социологически агенции боравят с няколко хиляди анкетирани. Ако се вгледате в доклада на Pew Research, техните изводи за България се основават на само 1619 души. Разбира се, броят няма значение, когато в извадката няма представителност. Те твърдят, че са използвали методи осигуряващи такава. Това обаче трябва да се докаже. Обикновено сред въпросите се поставя такъв, резултатите от които може да се сравнят с обективна статистика. Например – възрастовото разпределение на населението, броят женени или брой деца в домакинството. Ако средните стойности по възрастови групи или местоживеене не отговарят на средното за страната, то извадката не е представителна. Именно такъв сериозен дефект илюстрирах с едно друго нашумяло изследване разглеждащо отлагането на деца и брака сред младите в България. Pew още не са публикували данните си, за да сравним. 1600 души обаче не са много. Вчера Инфограф предупреди, че привидното повишаване на дяла бедни българи може да се дължи на увеличената извадка в анкетата на НСИ – от 7300 на 8600 домакинства. Това може да е индикация, че старата извадка е била твърде малка или недостатъчно представителна. Разликата между анкетираните от НСИ и Pew e 4.5 пъти.

Дефект на всяка една подобна анкета е, че разчита на субективни фактори. В повечето случаи, като етническото и религиозното самоопределяне, това е неизбежно. Ако не сме внимателни обаче, това може да доведе до сериозни проблеми. Чалаби посочва, че онази анкета за мюсюлманите и джихада също е била през интернет и отговорилите са били доста малко предвид голямото мюсюлманско население на Великобритания. По-важното обаче е, че е нямало абсолютно никакъв начин да се потвърди, че някой не е попълвал анкетата без да е мюсюлманин просто така – за да изкриви резултата. Това съвсем не е за пренебрегване предвид медийният отзвук, който такива „изследвания“ привличат. Бихте се учудили колко от сензационните новини, които четем, всъщност се осланят именно на изследвания като цитираното от Чалаби и това, което аз направих. Разликата е, че там не говорят за условностите, а дори сериозни медии скачат на бомбастични изводи без да направят критична проверка.

Не по-малко важни са и предложените отговори. Вече обсъдихме как въпросите може да се разбират различно в различните държави и култури. Изборът на отговори също може да изкриви значително резултата. Нарочно добавих отговор „други религии“ и „други“ при въпроса за самоопределянето. Идеята какво е религия доста се разминава между хората. Аз, например се самоопределям като православен християнин, но в никакъв случай не бих се самоопределил с БПЦ. Също така вярванията ми са много по-близки до агностиците, отколкото до религиозните. Това разминаване между възприятие за религия, традиции, празници и спиритуалност трудно се вписва в която и да е от кутийките, които сам дадох като отговори. Съвсем естествено липсата на „атеист“ и различни степени от спектъра на вярващите раздразни някои хора. Отново обаче повтарям – целта ми не беше да изследвам религиозността, което е невъзможно предвид вложените дефекти описани тук. Основната ми цел е да илюстрирам тези дефекти.

Другите въпроси

В анкетата имаше още няколко точки, които добавих просто, защото бяха интересни и присъстваха в оригиналното изследване на Pew. Малко над 22% от отговорилите и около 41% от религиозните казват, че ходят поне веднъж месечно в храм. 57% от всички или посещават църкви, джамии и синагоги като туристи, или не ходят въобще. Интересно е, че едва 25% посещаващите храм всяка седмица, казват, че са съгласни с въвеждането на църковен данък. Ако се въведе, по-малко от половината от тях (45%) казват, че биха го плащали. Струва ми се, че това показва друг интересен аспект на връзката между религиозност и църква поне сред балона ни от познати в мрежата.

В следващите отговори се забелязва относително единодушие. Разделени сме дали възрастните са повече или по-малко религиозни от соца насам. За религиозността на младите има известно разминаване между двата лагера, но мнозинството не смята, че се е увеличила. Това се разминава и с резултатите на Pew. Над 60% от всички групи смятат, че религията има място само в семейни традиции и празници. Това пък потвърждава голямото мнозинство отговорили, че религията няма място в политиката. Все пак, също толкова смятат, че политиците се опитват и навярно успяват да я използват в кампаниите си.

Тук виждате разбивката по възрасти. Не се различава драстично от разпределението на населението на страната, но това не го прави приложимо към населението. Също така, 75% от попълнилите живеят в град на 100 хиляди души, а 10% са в чужбина. Това говори повече за социалния ми балон, отколкото за религиозността на българите като цяло.

Тук съм показал религиозността по възрасти. Вижда се ясна пропорционална корелация между възрастта и самоопределянието с някоя религия. Отрязал съм графиката на 50 години, защото попълнилите посочили над тази възраст са по 10-20, което не позволява да се правят изводи.

Всъщност, именно затова не направих сравнение на отговорите по възрастови групи. Тъй като анкетата е проведена в интернет, се вижда ясно практическата липса на отговорили над 65 години. Така не мога да сравнявам „млади“ и „стари“. Това не означава, че доста „изследвания“ го правят – взима се извадка от 1000 души, 10 от тях са в пенсионна възраст и на тяхна база се съди за всички 1.4 млн. българи в тази група.

Данни и препратки

Статиите на Pew Research заедно с въпросниците и целият доклад за религията в източна Европа ще намерите на страницата им. Данните от моята анкета ще може да свалите като Excel файл. Може да го използвате както намерите за добре, но ще се радвам, ако сложите обратна връзка.

Други подобни анализи са разяснението ми за смъртността и как не разбираме тази метрика, раждаемостта и как е пълно с фалшиви новини, броя на работещите българи в чужбина и как тази статистика е просто измислена и не на последно място – защо не разбираме данните за бедността.

Пациенти, пациенти – 4

Post Syndicated from Григор original http://www.gatchev.info/blog/?p=2029

Още от серията тук, тук и тук.

—-

– Абе, да знаеш някоя знахарка, дето бае против сифилис? Един познат търси под дърво и камък…

—-

– Синът домъкна в къщи кока-кола. И се мъчи да я скрие, да не разбера, нали ме знае колко мразя всичко краварско. На мен ще ми пробутва номера! Пратих го до магазина и му налях в бутилката оцет, концентрат. Три дена в болница с изгаряне първа степен на хранопровода. Кълне се, че повече няма да пие тая гадост за нищо на света! Да видите колко просто е да му избиеш краварските бръмбари от главата!

—-

Прекипя ни от тая бабка на всичките спешни екипи. Стане ли към 11 вечерта, задължително ни вика, вече повече от година, абсолютно всеки ден. Нищо ѝ няма, просто ѝ е скучно. Ама тоя младок, дето го назначихме преди месец, ѝ намери цаката.

Отива екипът му при нея. Влизат с нахлупени маски на чудовища и дълги розови шалове. Пеят и танцуват петнайсет минути, след това си тръгват… Бабата още на следващия ден пише оплакване до главния и описва подробно представлението. Главният проверява – регистрирано стандартно повикване. Документацията изрядна: премерено кръвно, преслушано дишане – всичко в норма. Вика екипа на спявка. Екипът:

– А, онази бабка ли? Дето ни вика всяка вечер да я пазим от караконджолите?

Проблемът разрешен.

—-

Пристига мамичка към четиридесетте, с петмесечно бебе. Имало било обрив между крачетата, можело ли да ѝ изпиша мазило.

– Събличайте я и я слагайте на масата, да я прегледам.

Тя ме гледа подозрително, без да помръдне:

– Нужно ли е да гледате дъщеря ми ТАМ? Не може ли просто да ми напишете рецепта?

Обяснявам, че обриви най-различни, причини също, и съответно лекарства също… Тя си грабва детето, изхвръква през вратата и на излизане се обръща и тръсва:

– Педофилка с педофилка!

—-

– Ало? Извинявайте, аз само да попитам как е жената? Вчера я приеха…

– Ама господине, два часа през нощта е! Защо звъните сега?

– Казаха ми да звънна след девет!

—-

Чудя се, дали някой алтернативен лечител не е обявил, че които от заболяванията си скриеш от доктора при снемането на анамнезата, всичките ще минат сами? Писна ми вече по три пъти да питам пациент има ли алергия или пък диабет, и той да се кълне че няма, а после да се окаже, че от двайсет години вече ежедневно пие хапчета за тях!

Или се е завъдило някак в Интернет? Той е най-голямото зло за човешкото здраве. Даде възможност на лудите да се групират по диагнози и да си помагат срещу лечението. И после се чудим откъде се взеха всичките тези домораждащи, слънцехранещи се, пазещи се от кемтрейлсове, лекуващи се с пикни и лайна…

—-

Днес на прием (участъков терапевт съм) минаха таман 20 души. Най-спокойният и адекватен беше един, дошъл за медицинско освидетелстване за инвалидност. Шизофрения с агресивни пристъпи…

—-

Влиза поредният пациент – чичко с балтон, мустаци и тежък поглед:

– Добър ден. Петров съм, двайсет години съм работил в Министерството на здравеопазването. Така че мислете добре как ще ми се погрижите за зъба!

Както съм капнал след цял ден работа, така ми се качи всичката кръв в главата:

– Оооо, ама оттам ли сте? Значи на вас дължа, че работя в такъв непоносим бардак, без лекарства, без инструменти, с развалена апаратура, смотани началници, гаден график и ниска заплата? Заповядайте на стола, моля ви! Разполагайте се, чувствайте се удобно! Ей сега ще се погрижа за зъба ви! Така ще се погрижа, че за цял живот ще ме запомните!…

—-

Абе това днешните деца непрекъснато боледуват. Ние навремето колко по-здрави бяхме! Чудя се – от какво ли? Смолата от черешите ли е била толкова лечебна, зелените джанки ли, димът от запалените гуми ли, купищата ожулвания, порязвания и синини ли?…

—-

Преди половин година – повикване от разтревожена възрастна дама. Племенникът ѝ от съседния апартамент нещо ужасно отслабнал напоследък, имал странни идеи за храненето. Та не може ли да го видим все пак, нищо че сме Бърза помощ. Човешка молба. Черпи ни с бяло сладко и хубаво вино.

Въздъхваме, но влизаме при въпросния. Кратък разговор. Вече втори месец се хранел само със слънце. Чувствал се чудесно. Бил отслабнал, понеже бил изхвърлил всичките натрупали се в организма му шлаки, всеки момент вече щял да започне да пълнее от слънцето.

Връщаме се при лелята. Предписание за психиатрична помощ. Обясняваме ѝ по каква процедура да мине. След седмица идва да ни носи цветя и бонбони. Прибрали го точно навреме, вече бил на път да не може да бъде захранен даже. И ретината на очите му била попрегоряла, но не фатално. Лелята се била сетила да го посъветва – слънцехраненето са го измислили йогите, те са свикнали на малко и на студ и мрак, а нашето слънце тук е яко, българско. Слагай си тъмни очила като гледаш слънцето, че преяждането е вредно, навсякъде го пише…

В момента онзи ни съди пред Европейския съд. Били сме агенти на не знам каква конспирация и сме го били репресирали политически. Нямам представа как ще свърши тая.

—-

Днес в кабинета една щеше да ме разкъса. Вой до небесата. Защо опашката е толкова дълга и защо лекарите са толкова малко!

Отбелязвам, че единственият начин да станат повече е да нарежем наличните на парчета. Отговор:

– Ей сега ще се оплача от теб в министерството и ще те уволнят!

Вероятно мисли, че така лекарите ще станат повече.

—-

Неделя, 5:30 сутринта. Повикване – „на 80 години, отекло ѝ е лицето“. Находка: бабата си разчесала пъпка на челото, тя се инфектирала и около нея се подуло. До нея стои петдесетинагодишният ѝ син.

– Не направихте ли нещо за тия пет дни, та се стига дотук?

– Ми ходихме в аптеката.

– И какво купихте?

– Ми нищо.

– И за какво тогава ходихте там?

– Ми не знам.

– Е добре, какво искате сега от Бърза помощ?!

– Ми да ни кажете какво да купим от аптеката…

Не вярвате ли, че извънземните съществуват? Ето ги, сред нас са!

—-

Повикване в три през нощта. Петия етаж, асансьор няма, осветление във входа също… Отваря ни вратата развълнуван дядо:

– Докторе, имам захарен диабет!

– Че как го определихте?

– Имам захар в урината!

– Как ви го установиха?

– Аз си го установих! Като пикая на пода, и чехлите ми залепват!

—-

Повикване – мъж, 46 години, „силно подпухнали яйца“… Звънваме на вратата – тя се отваря и на нея стои мъж със свалени панталони и действително доста подпухнали яйца. Орхоепидидимит. Предлагаме му хоспитализация – той възкликва обидено:

– Ама какво, вие няма ли поне да ги опипате?

Като ни вижда, че сме жени…

—-

Докато ѝ преглеждам детето, мамичката разпитва:

– А вие колко деца имате?

– Нямам деца.

– Какво?!… Как тогава ви позволяват да лекувате чуждите деца, без капка опит? Вие срам нямате ли?!

Няколко секунди ми липсва дар словото. След това изтърсвам:

– А на патоанатомите сигурно трябва да им забраняват да правят аутопсии, докато са още живи?

—-

Пращат ни този пациент от изтрезвителя. След едноседмичен делириум. Обяснявам му, че трябва да пие лекарства. Посреща ме железен аргумент:

– Че те нали вредят на черния дроб?

—-

– Ама как така не си давате телефона бе, докторе? Нали сте джипи? Ако детето ми се разболее в три през нощта, на кого да звъня?

—-

– А може ли да ми сложи инжекцията друга сестра?… Ми като ви гледам една такава младичка, сигурно още се учите как се прави…

—-

Гонят ме по линия на министерството. Отказ за оказване на медицинска помощ. Половината ми съседи са се подписали.

Съседката внезапно получила инфаркт. Съседът хукнал, звъннал ми на вратата – без резултат. Дошли и други съседи, звънели, думкали по вратата – без резултат. И написали жалба до министерството.

А аз през това време съм била в болницата на дежурство…

—-

Пристига при мен вчера млада двойка. Нямат дете, въпреки вече двегодишни усилия. Тръгвам да снемам анамнеза – оп-па, дребна подробност. Секс правят задължително с презерватив. Нямали си много доверие и се бояли от инфекции.

Обяснявам им, че така няма как сперматозоидите да стигнат до целта – гледат ме като идиот. Навсякъде в Интернет (къде ли е това навсякъде?) пишело, че латексът пропуска сперматозоидите, но не и инфекциите. Опитвам се кротко да ги убедя, че не е точно така. Възмутени напускат кабинета и отиват да търсят шефа на поликлиниката, да се оплачат от мен. Бил съм тотално некомпетентен и съм бил опасност за болните…

—-

Точно така. Уговарям те да си ваксинираш детето, понеже правителството е наредило всички деца да са с чипове. ГМО соята вече ти влиза в генома и скоро и ти ще пуснеш коренчета и ще станеш на соя.

Всъщност не, преди това ще долетят зелените човечета или чичковците с черните костюми, по твой избор, и ще те приберат. И съседа ти също. Мен няма да ме приберат, аз участвам в световен заговор заедно с всички останали лекари. Експериментираме с човечеството по нареждане на зелените човечета. Вчера ми звъня шефът ни от всепланетния щаб в Хондурас и каза, че ти не си си направил кръвна картина, и не сме могли да ти откраднем ДНК-то. Затова и са ти внушили телепатично да дойдеш, мислейки че си пазиш детето от ваксинация.

А, забравих. Докато ти ваксинирам детето и ти взимам кръв за анализа, ще те заразя със СПИН, сифилис, хепатит и едра шарка. Понеже ми е жал за еднократните спринцовки и тайно ги вадя от кошчето и залепвам обратно в опаковките. Пък и нали съм си купил дипломата, какво разбирам аз от стерилност?…

Хора мили, ако нямате мозък, моля ви, не гледайте кабелна телевизия. И не четете в Интернет. Вземете и прочетете вместо това учебника по биология за седми клас. Всъщност, за него ви е още рано. Почнете с учебника по естествознание за четвърти. Може и направо с хлоразин, той е добър срещу психози…

Най-правилно е изобщо да не ви го казвам. Еволюцията трябва да отсява идиотизма, иначе на поколението ни лошо му се пише. Ама нали все пак съм лекар…

Bitcoin, UASF… и политиката

Post Syndicated from Григор original http://www.gatchev.info/blog/?p=2064

Напоследък се заговори из Нета за UASF при Bitcoin. Надали обаче много хора са обърнали внимание на тия акроними. (Обикновено статиите по въпроса на свой ред са салата от други акроними, което също не улеснява разбирането им.) Какво, по дяволите, значи това? И важно ли е?

Всъщност не е особено важно, освен за хора, които сериозно се занимават с криптовалути. Останалите спокойно могат да не му обръщат внимание.

Поне на пръв поглед. Защото дава и сериозно разбиране за ефективността на някои фундаментални политически понятия. Затова смятам да му посветя тук част от времето си – и да изгубя част от вашето.

1. Проблемите на Bitcoin

Електронна валута, която се контролира не от политикани и меринджеи, а от строги правила – мечта, нали? Край на страховете, че поредният популист ще отвори печатницата за пари и ще превърне спестяванията ви в шарена тоалетна хартия… Но идеи без проблеми няма (за реализациите им да не говорим). Така е и с Bitcoin.

Всички транзакции в биткойни се записват в блокове, които образуват верига – така нареченият блокчейн. По този начин всяка стотинка (пардон, сатоши 🙂 ) може да бъде проследена до самото ѝ създаване. Адресите, между които се обменят парите, са анонимни, но самите обмени са публични и явни. Може да ги проследи и провери за валидност всеки, които има нужния софтуер (достъпен свободно) и поддържа „пълен възел“ (full node), тоест е склонен да отдели стотина гигабайта на диска си.

Проблемът е, че блокът на Bitcoin има фиксиран максимален размер – до 1 мегабайт. Той побира максимум 2-3 хиляди транзакции. При 6 блока на час това означава около 15 000 транзакции на час, или около 360 000 на денонощие. Звучи много, но всъщност е абсолютно недостатъчно – доста големи банки правят по повече транзакции на секунда. Та, от известно време насам нуждата от транзакции надхвърля капацитета на блокчейна. Което създава проблем за потребителите на валутата. Някои от тях започват да я изоставят и да се насочват към традиционни валути, или към други криптовалути. Съответно, влиянието и ролята ѝ спада.

2. Положението с решенията

Предлагани са немалко решения на този проблем. Последното се нарича SegWit (segregated witness). Срещу всички тях (и конкретно срещу това) обаче има сериозна съпротива от ключови фактори в Bitcoin.

Сравнително скоро след създаването на Bitcoin в него беше въведено правилото, че транзакциите са платени. (Иначе беше много лесно да бъдат генерирани огромен брой транзакции за минимална сума напред-назад, и така да бъде задръстен блокчейнът.) Всяка транзакция указва колко ще плати за включването си в блок. (Това е, което я „узаконява“.)

Кои транзакции от чакащите реда си ще включи в блок решава този, който създава блока. Това е „копачът“, който е решил целта от предишния блок. Той прибира заплащането за включените транзакции, освен стандартната „награда“ за блока. Затова копачите имат изгода транзакциите да са колкото се може по-скъпи – тоест, капацитетът на блокчейна да е недостатъчен.

В добавка, немалко копачи използват „хак“ в технологията на системата – така нареченият ASICBOOST. Едно от предимствата на SegWit е, че пречи на подобни хакове – тоест, на тези „копачи“. (Подробности можете да намерите тук.)

Резултатът е, че някои копачи се съпротивляват на въвеждането на SegWit. А „копаещата мощност“ е, която служи като „демократичен глас“ в системата на Bitcoin. Вече е правен опит да се въведе SegWit, който не сполучи. За да е по-добър консенсусът, този опит изискваше SegWit да се приеме когато 95% от копаещата мощност го подкрепи. Скоро стана ясно, че това няма да се случи.

3. UASF? WTF? (Демек, кво е тва UASF?)

Не зная колко точно е процентът на отхвърлящите SegWit копачи. Но към момента копаенето е централизирано до степен да се върши почти всичкото от малък брой мощни компании. Напълно е възможно отхвърлящите SegWit да са над 50% от копаещата мощност. Ако е така, въвеждането на SegWit чрез подкрепа от нея би било невъзможно. (Разбира се, това ще значи в близко бъдеще упадъка на Bitcoin и превръщането му от „царя на криптовалутите“ в евтин музеен експонат. В крайна сметка тези копачи ще са си изкопали гроба. Но ако има на света нещо, на което може да се разчита винаги и докрай, това е човешката глупост.)

За да се избегне такъв сценарий, девелоперите от Bitcoin Core Team предложиха т.нар. User-Activated Soft Fork, съкратено UASF. Същността му е, че от 1 август нататък възлите в мрежата на Bitcoin, които подкрепят SegWit, ще започнат да смятат блокове, които не потвърждават че го поддържат, за невалидни.

Отхвърлящите SegWit копачи могат да продължат да си копаят по старому. Поддържащите го ще продължат по новому. Съответно блокчейнът на Bitcoin от този момент нататък ще се раздели на два – клон без SegWit и клон с него.

4. Какъв ще е резултатът?

Преобладаващата копаеща мощност може да се окаже в първия – тоест, по правилата на Сатоши Накамото той ще е основният. Но ако мрежата е разделена на две, всяка ще има своя основен клон, така че няма да бъдат технически обединени. Ще има две различни валути на име Bitcoin, и всяка ще претендира, че е основната.

Как ще се разреши този спор? Потребителите на Bitcoin търсят по-ниски цени за транзакции, така че огромният процент от тях бързо ще се ориентират към веригата със SegWit. А ценността и приетостта на Bitcoin се дължи просто на факта, че хората го приемат и са склонни да го използват. Затова и Segwit-натият Bitcoin ще запази ролята (и цената) на оригиналния Bitcoin, докато този без SegWit ще поевтинее и ще загуби повечето от релевантността си.

(Всъщност, подобно „разцепление“ вече се е случвало с No. 2 в света на криптовалутите – Ethereum. Затова има Ethereum и Ethereum Classic. Вторите изгубиха борбата да са наследникът на оригиналния Ethereum, но продължава да ги има, макар и да са с много по-малка роля и цена.)

Отхвърлилите SegWit копачи скоро ще се окажат в положение да копаят нещо, което струва жълти стотинки. Затова вероятно те шумно или тихо ще преминат към поддръжка на SegWit. Не бих се учудил дори доста от тях да го направят още на 1 август. (Въпреки че някои сигурно ще продължат да опищяват света колко лошо е решението и какви загуби понасят от него. Може да има дори съдебни процеси… Подробностите ще ги видим.)

5. Политиката

Ако сте издържали дотук, четете внимателно – същността на този запис е в тази част.

Наскоро си говорих с горда випускничка на български икономически ВУЗ. Изслушах обяснение как икономията от мащаба не съществува и е точно обратното. Как малките фирми са по-ефективни от големите и т.н…

Нищо чудно, че ги учат на глупости. Който плаща, дори зад сцената, той поръчва музиката. Странно ми е, че обучаваните вярват на тези глупости при положение, че реалността е пред очите им. И че в нея големите фирми разоряват и/или купуват малките, а не обратното. Няма как да е иначе. Както законите на Нютон важат еднакво за лабораторни тежести и за търговски контейнери, така и дисипативните закони важат еднакво за тенджери с вода и за икономически системи.

В ИТ бизнеса динамиката е много над средната. Където не е и няма как да бъде регулиран лесно, където нещата са по-laissez-faire, както е примерно в копаенето на биткойни, е още по-голяма. Нищо чудно, че копаенето премина толкова бързо от милиони индивидуални участници към малък брой лесно картелиращи се тиранозаври. Всяка система еволюира вътрешно в такава посока… Затова „перфектна система“ и „щастие завинаги“ няма как да съществуват. Затова, ако щете, свободата трябва да се замесва и изпича всеки ден.

„Преобладаващата копаеща мощност“, било като преобладаващият брой индивиди във вида, било като основната маса пари, било като управление на най-популярните сред гласоподавателите мемове, лесно може да се съсредоточи в тесен кръг ръце. И законите на вътрешната еволюция на системите, като конкретно изражение на дисипативните закони, водят именно натам… Тогава всяко гласуване започва да подкрепя статуквото. Демокрацията престава да бъде възможност за промяна – такава остава само разделянето на възгледите в отделни системи. Единствено тогава новото получава възможност реално да конкурира старото.

Затова и всеки биологичен вид наоколо е започнал някога като миниатюрна различна клонка от могъщото тогава стъбло на друг вид. Който днес познават само палеобиолозите. И всяка могъща банка, или производствена или медийна фирма е започнала – като сума пари, или производствен капацитет, или интелектуална собственост – като обикновена будка за заеми, или работилничка, или ателие. В сянката на тогавашните тиранозаври, помнени днес само от историците. Намерили начин да се отделят и скрият някак от тях, за да съберат мощта да ги конкурират…

Който разбрал – разбрал.

Manage Instances at Scale without SSH Access Using EC2 Run Command

Post Syndicated from Jeff Barr original https://aws.amazon.com/blogs/aws/manage-instances-at-scale-without-ssh-access-using-ec2-run-command/

The guest post below, written by Ananth Vaidyanathan (Senior Product Manager for EC2 Systems Manager) and Rich Urmston (Senior Director of Cloud Architecture at Pegasystems) shows you how to use EC2 Run Command to manage a large collection of EC2 instances without having to resort to SSH.

Jeff;


Enterprises often have several managed environments and thousands of Amazon EC2 instances. It’s important to manage systems securely, without the headaches of Secure Shell (SSH). Run Command, part of Amazon EC2 Systems Manager, allows you to run remote commands on instances (or groups of instances using tags) in a controlled and auditable manner. It’s been a nice added productivity boost for Pega Cloud operations, which rely daily on Run Command services.

You can control Run Command access through standard IAM roles and policies, define documents to take input parameters, control the S3 bucket used to return command output. You can also share your documents with other AWS accounts, or with the public. All in all, Run Command provides a nice set of remote management features.

Better than SSH
Here’s why Run Command is a better option than SSH and why Pegasystems has adopted it as their primary remote management tool:

Run Command Takes Less Time –  Securely connecting to an instance requires a few steps e.g. jumpboxes to connect to or IP addresses to whitelist etc. With Run Command, cloud ops engineers can invoke commands directly from their laptop, and never have to find keys or even instance IDs. Instead, system security relies on AWS auth, IAM roles and policies.

Run Command Operations are Fully Audited – With SSH, there is no real control over what they can do, nor is there an audit trail. With Run Command, every invoked operation is audited in CloudTrail, including information on the invoking user, instances on which command was run, parameters, and operation status. You have full control and ability to restrict what functions engineers can perform on a system.

Run Command has no SSH keys to Manage – Run Command leverages standard AWS credentials, API keys, and IAM policies. Through integration with a corporate auth system, engineers can interact with systems based on their corporate credentials and identity.

Run Command can Manage Multiple Systems at the Same Time – Simple tasks such as looking at the status of a Linux service or retrieving a log file across a fleet of managed instances is cumbersome using SSH. Run Command allows you to specify a list of instances by IDs or tags, and invokes your command, in parallel, across the specified fleet. This provides great leverage when troubleshooting or managing more than the smallest Pega clusters.

Run Command Makes Automating Complex Tasks Easier – Standardizing operational tasks requires detailed procedure documents or scripts describing the exact commands. Managing or deploying these scripts across the fleet is cumbersome. Run Command documents provide an easy way to encapsulate complex functions, and handle document management and access controls. When combined with AWS Lambda, documents provide a powerful automation platform to handle any complex task.

Example – Restarting a Docker Container
Here is an example of a simple document used to restart a Docker container. It takes one parameter; the name of the Docker container to restart. It uses the AWS-RunShellScript method to invoke the command. The output is collected automatically by the service and returned to the caller. For an example of the latest document schema, see Creating Systems Manager Documents.

{
  "schemaVersion":"1.2",
  "description":"Restart the specified docker container.",
  "parameters":{
    "param":{
      "type":"String",
      "description":"(Required) name of the container to restart.",
      "maxChars":1024
    }
  },
  "runtimeConfig":{
    "aws:runShellScript":{
      "properties":[
        {
          "id":"0.aws:runShellScript",
          "runCommand":[
            "docker restart {{param}}"
          ]
        }
      ]
    }
  }
}

Putting Run Command into practice at Pegasystems
The Pegasystems provisioning system sits on AWS CloudFormation, which is used to deploy and update Pega Cloud resources. Layered on top of it is the Pega Provisioning Engine, a serverless, Lambda-based service that manages a library of CloudFormation templates and Ansible playbooks.

A Configuration Management Database (CMDB) tracks all the configurations details and history of every deployment and update, and lays out its data using a hierarchical directory naming convention. The following diagram shows how the various systems are integrated:

For cloud system management, Pega operations uses a command line version called cuttysh and a graphical version based on the Pega 7 platform, called the Pega Operations Portal. Both tools allow you to browse the CMDB of deployed environments, view configuration settings, and interact with deployed EC2 instances through Run Command.

CLI Walkthrough
Here is a CLI walkthrough for looking into a customer deployment and interacting with instances using Run Command.

Launching the cuttysh tool brings you to the root of the CMDB and a list of the provisioned customers:

% cuttysh
d CUSTA
d CUSTB
d CUSTC
d CUSTD

You interact with the CMDB using standard Linux shell commands, such as cd, ls, cat, and grep. Items prefixed with s are services that have viewable properties. Items prefixed with d are navigable subdirectories in the CMDB hierarchy.

In this example, change directories into customer CUSTB’s portion of the CMDB hierarchy, and then further into a provisioned Pega environment called env1, under the Dev network. The tool displays the artifacts that are provisioned for that environment. These entries map to provisioned CloudFormation templates.

> cd CUSTB
/ROOT/CUSTB/us-east-1 > cd DEV/env1

The ls –l command shows the version of the provisioned resources. These version numbers map back to source control–managed artifacts for the CloudFormation, Ansible, and other components that compose a version of the Pega Cloud.

/ROOT/CUSTB/us-east-1/DEV/env1 > ls -l
s 1.2.5 RDSDatabase 
s 1.2.5 PegaAppTier 
s 7.2.1 Pega7 

Now, use Run Command to interact with the deployed environments. To do this, use the attach command and specify the service with which to interact. In the following example, you attach to the Pega Web Tier. Using the information in the CMDB and instance tags, the CLI finds the corresponding EC2 instances and displays some basic information about them. This deployment has three instances.

/ROOT/CUSTB/us-east-1/DEV/env1 > attach PegaWebTier
 # ID         State  Public Ip    Private Ip  Launch Time
 0 i-0cf0e84 running 52.63.216.42 10.96.15.70 2017-01-16 
 1 i-0043c1d running 53.47.191.22 10.96.15.43 2017-01-16 
 2 i-09b879e running 55.93.118.27 10.96.15.19 2017-01-16 

From here, you can use the run command to invoke Run Command documents. In the following example, you run the docker-ps document against instance 0 (the first one on the list). EC2 executes the command and returns the output to the CLI, which in turn shows it.

/ROOT/CUSTB/us-east-1/DEV/env1 > run 0 docker-ps
. . 
CONTAINER ID IMAGE             CREATED      STATUS        NAMES
2f187cc38c1  pega-7.2         10 weeks ago  Up 8 weeks    pega-web

Using the same command and some of the other documents that have been defined, you can restart a Docker container or even pull back the contents of a file to your local system. When you get a file, Run Command also leaves a copy in an S3 bucket in case you want to pass the link along to a colleague.

/ROOT/CUSTB/us-east-1/DEV/env1 > run 0 docker-restart pega-web
..
pega-web

/ROOT/CUSTB/us-east-1/DEV/env1 > run 0 get-file /var/log/cfn-init-cmd.log
. . . . . 
get-file

Data has been copied locally to: /tmp/get-file/i-0563c9e/data
Data is also available in S3 at: s3://my-bucket/CUSTB/cuttysh/get-file/data

Now, leverage the Run Command ability to do more than one thing at a time. In the following example, you attach to a deployment with three running instances and want to see the uptime for each instance. Using the par (parallel) option for run, the CLI tells Run Command to execute the uptime document on all instances in parallel.

/ROOT/CUSTB/us-east-1/DEV/env1 > run par uptime
 …
Output for: i-006bdc991385c33
 20:39:12 up 15 days, 3:54, 0 users, load average: 0.42, 0.32, 0.30

Output for: i-09390dbff062618
 20:39:12 up 15 days, 3:54, 0 users, load average: 0.08, 0.19, 0.22

Output for: i-08367d0114c94f1
 20:39:12 up 15 days, 3:54, 0 users, load average: 0.36, 0.40, 0.40

Commands are complete.
/ROOT/PEGACLOUD/CUSTB/us-east-1/PROD/prod1 > 

Summary
Run Command improves productivity by giving you faster access to systems and the ability to run operations across a group of instances. Pega Cloud operations has integrated Run Command with other operational tools to provide a clean and secure method for managing systems. This greatly improves operational efficiency, and gives greater control over who can do what in managed deployments. The Pega continual improvement process regularly assesses why operators need access, and turns those operations into new Run Command documents to be added to the library. In fact, their long-term goal is to stop deploying cloud systems with SSH enabled.

If you have any questions or suggestions, please leave a comment for us!

— Ananth and Rich

Firefox 54 released

Post Syndicated from ris original https://lwn.net/Articles/725275/rss

Firefox 54.0 has been released. The release
notes
are somewhat sparse, however this
blog post
contains more information about some changes under-the-hood.
To make Firefox run even complex sites faster, we’ve been changing it to run using multiple operating system processes. Translation? The old Firefox used a single process to run all the tabs in a browser. Modern browsers split the load into several independent processes. We named our project to split Firefox into multiple processes ‘Electrolysis (E10S)’ after the chemical process that divides water into its core elements. E10S is the largest change to Firefox code in our history. And today we’re launching our next big phase of the E10S initiative.

17000 българи са взели немски паспорт за 16 години. 4000 са скъсали българския

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2017/nemsko-grajdanstvo-otkaz/

За последните 16 години, близо 17000 българи са получили немски паспорт. 4000 от тях са се отказали от българското си гражданство – почти всички преди 2007-ма, когато влизаме в ЕС. След това по 30-40 души на година се отказват от Българския си паспорт, независимо, че няма нужда да го правят.

Около 70% от натурализираните в Германия са били поне 8 години в страната. На още 7-8% се е полагало заради дете родено и живяло достатъчно време в Германия.

Към началото на миналата година в Германия е имало 230000 българи В това число не включваме взелите немско гражданство и децата родени в Германия с поне един родител българин. Очаква се от тогава да са станали 250000. Според немският статистически институт, мнозинството от българите пристигнали в Германия в последните няколко години са се преместили от страни като Испания, Италия и Гърция.

Данните за разпределението на българите из Германия от 2014-та ще намерите тук. През 2015-та пък писах за перипетите в получаването на българско гражданство за дете родено в чужбина. Преди 4 години проведох анкета сред българи в Германия защо взимат немско гражданство. Отговорите им обясняват доста добре тази статистика. От друга страна, има притеснителни данни за нивото на бедност сред българите в Германия – 25% получават социални, а между 30 и 40% имат проблем да покрият елементарни нужни.

Източник: Destatis

Космонавт да ти е личен шофьор

Post Syndicated from Боян Юруков original https://yurukov.net/blog/2017/kosmonavt/

Имам огромно уважение към лекарската професия, но също така има доста неразбиране какво е това лекар и докъде се простират възможностите. Направо мистика бих го нарекъл. Очакванията се подхранва от сериали в стил „д-р Хаус“ в едната крайност, а жлъчния цинизъм – с измислиците от „Откраднат живот“ в другата.

Ако ми позволите, ще направя сравнение с транспортната индустрия – почти всички служители са шофьори на камьони и автобуси. Много малко са пилоти на самолети. Единици управляват ракети. На всяко от тези нива има определени знания и възможности, както и определен риск за човешки животи. Не може да очаквате от ватман да скачи ракета с космическа станция. Еми сори, ама личният ви лекар най-вероятно е „ватман“ и 95% от случаите наистина е просто грип, както ви казва. Ако може да си позволите космонавт да ви е личен шофьор – много хубаво, но надали щом четете това.

Има лекари и лекари. Затова в практиката, например, има нарицателно „кабинетен доктор“. Дори изключвайки недобросъвестността на някои лекари и болници, не може да очакваме чудеса и от най-добрите. Това не е точна наука, а до голяма степен налучкване на база натрупан колективен опит през последните 200-300 години и кой каквото е видял в практиката си.

Затова по-леко с репликите „ама те трима лекари ми казват различни неща“. Не. Същото ви казват, просто с нюанси, които понякога водят до коренно различни лечения. Тялото е черна кутия и да, лафът „е, ще разберем какво точно ви има при аутипсията“ не е изцяло на шега.

Многословие

Post Syndicated from Антония original http://dni.li/2017/06/06/wordpollution/

„Виж ето този фентъзи и sci-fi автор, много добре пише“, вика Веско. ОК, ще го видя. Заредих библиографията му в рийдъра и го почнах.

Четиристотин страници по-късно: „Прочела си точно една трета от първата книга в поредицата, остават ти още около пет дена четене до епилога и други шейсет непочнати тома, горе-долу със същите гаргантюански размери, плюс това авторът продължава да бълва по темата, сигурно ще ти осигури литература за отмятане чак докато се пенсионираш“.

Ето затова никога не съм успявала да харесам фентъзито като жанр. Кой има нерви да чете толкова world building?!

А иначе наистина добре пише човекът, грамотно, с приятен хумор, интересни проблеми за преодоляване е измислил, реалистично изгражда конфликтите, добре развива във времето героите, които са симпатични на всичко отгоре – дори лошите са хора, за които в един момент се хващаш, че им влизаш в положението. Ама само първият том е почти 1200 страници! Трябва му някой добър редактор да се разходи с големите ножици и да ореже поне наполовина текста.

Защото ако още веднъж прочета как е изглеждало небето по изгрев…

How The Intercept Outed Reality Winner

Post Syndicated from Robert Graham original http://blog.erratasec.com/2017/06/how-intercept-outed-reality-winner.html

Today, The Intercept released documents on election tampering from an NSA leaker. Later, the arrest warrant request for an NSA contractor named “Reality Winner” was published, showing how they tracked her down because she had printed out the documents and sent them to The Intercept. The document posted by the Intercept isn’t the original PDF file, but a PDF containing the pictures of the printed version that was then later scanned in.

As the warrant says, she confessed while interviewed by the FBI. Had she not confessed, the documents still contained enough evidence to convict her: the printed document was digitally watermarked.

The problem is that most new printers print nearly invisibly yellow dots that track down exactly when and where documents, any document, is printed. Because the NSA logs all printing jobs on its printers, it can use this to match up precisely who printed the document.

In this post, I show how.

You can download the document from the original article here. You can then open it in a PDF viewer, such as the normal “Preview” app on macOS. Zoom into some whitespace on the document, and take a screenshot of this. On macOS, hit [Command-Shift-3] to take a screenshot of a window. There are yellow dots in this image, but you can barely see them, especially if your screen is dirty.

We need to highlight the yellow dots. Open the screenshot in an image editor, such as the “Paintbrush” program built into macOS. Now use the option to “Invert Colors” in the image, to get something like this. You should see a roughly rectangular pattern checkerboard in the whitespace.

It’s upside down, so we need to rotate it 180 degrees, or flip-horizontal and flip-vertical:

Now we go to the EFF page and manually click on the pattern so that their tool can decode the meaning:

This produces the following result:

The document leaked by the Intercept was from a printer with model number 54, serial number 29535218. The document was printed on May 9, 2017 at 6:20. The NSA almost certainly has a record of who used the printer at that time.

The situation is similar to how Vice outed the location of John McAfee, by publishing JPEG photographs of him with the EXIF GPS coordinates still hidden in the file. Or it’s how PDFs are often redacted by adding a black bar on top of image, leaving the underlying contents still in the file for people to read, such as in this NYTime accident with a Snowden document. Or how opening a Microsoft Office document, then accidentally saving it, leaves fingerprints identifying you behind, as repeatedly happened with the Wikileaks election leaks. These sorts of failures are common with leaks. To fix this yellow-dot problem, use a black-and-white printer, black-and-white scanner, or convert to black-and-white with an image editor.

Copiers/printers have two features put in there by the government to be evil to you. The first is that scanners/copiers (when using scanner feature) recognize a barely visible pattern on currency, so that they can’t be used to counterfeit money, as shown on this $20 below:

The second is that when they print things out, they includes these invisible dots, so documents can be tracked. In other words, those dots on bills prevent them from being scanned in, and the dots produced by printers help the government track what was printed out.

Yes, this code the government forces into our printers is a violation of our 3rd Amendment rights.


While I was writing up this post, these tweets appeared first:


Comments:
https://news.ycombinator.com/item?id=14494818

Превод, моля – или за взаимодействието на актове в областта на медиите

Post Syndicated from nellyo original https://nellyo.wordpress.com/2017/06/05/avmsd-_echr/

“Превод, моля: от Директивата за аудиовизуални медийни услуги към Европейската конвенция за трансгранична телевизия” е оригиналното заглавие на публикация на сайта на Bird&Bird.  Взаимодействието на правото на ЕС и международното право винаги е интересно, но сега “преводът” на директивата за медийни услуги  към конвенцията за трансгранична телевизия (ЕКТТ) се поставя по специфичен начин за Обединеното кралство в светлината на Brexit.

Статията ни напомня колко много дължим на Съвета на Европа за установяването на стандарти в областта на медиите. България става член на СЕ  късно, но все пак достатъчно рано, за да има опит преди откриването на преговори за членство в ЕС. И да участва в първата ревизия (ETS No. 171) на ЕКТТ.

Страни по ЕКТТ са всички държави от ЕС с изключение на Белгия, Дания, Ирландия и Швеция, както  и още 13  държави, между които Македония, Турция и Швейцария.

За България като държава от ЕС отношението към ЕКТТ и по-нататъшните “преводи” на медийната директива се изяснява в писмото на Нели Крус от 2011 г., съгласно което

Европейският съюз има изключителна компетентност по въпросите, обхванати от проекта за преразглеждане на  конвенцията, поради което държавите от  ЕС не могат да се присъединяват самостоятелно, без да нарушат задълженията си.

ПАСЕ призовава да се поднови работата по втора ревизия на ЕКТТ или да се изготви нова конвенция –  Resolution 1978 (2014), съответно Recommendation 2036 (2014).  България не е участвала в това обсъждане и гласуване (доклад) (обсъждане – видео)

По-късно през същата година обаче Комитетът на министрите на СЕ излиза със становище, според което

не вижда възможността за продължаване на тази работа на настоящия етап, тъй като е информиран  от делегацията на Европейския съюз, че повечето въпроси, обхванати от конвенцията, попадат в изключителната  компетентност на Европейския съюз и че Европейският съюз няма намерение да стане страна по конвенцията.

 

Filed under: Uncategorized

Seven Tips for Using S3DistCp on Amazon EMR to Move Data Efficiently Between HDFS and Amazon S3

Post Syndicated from Illya Yalovyy original https://aws.amazon.com/blogs/big-data/seven-tips-for-using-s3distcp-on-amazon-emr-to-move-data-efficiently-between-hdfs-and-amazon-s3/

Have you ever needed to move a large amount of data between Amazon S3 and Hadoop Distributed File System (HDFS) but found that the data set was too large for a simple copy operation? EMR can help you with this. In addition to processing and analyzing petabytes of data, EMR can move large amounts of data.

In the Hadoop ecosystem, DistCp is often used to move data. DistCp provides a distributed copy capability built on top of a MapReduce framework. S3DistCp is an extension to DistCp that is optimized to work with S3 and that adds several useful features. In addition to moving data between HDFS and S3, S3DistCp is also a Swiss Army knife of file manipulations. In this post we’ll cover the following tips for using S3DistCp, starting with basic use cases and then moving to more advanced scenarios:

1. Copy or move files without transformation
2. Copy and change file compression on the fly
3. Copy files incrementally
4. Copy multiple folders in one job
5. Aggregate files based on a pattern
6. Upload files larger than 1 TB in size
7. Submit a S3DistCp step to an EMR cluster

1. Copy or move files without transformation

We’ve observed that customers often use S3DistCp to copy data from one storage location to another, whether S3 or HDFS. Syntax for this operation is simple and straightforward:

$ s3-dist-cp --src /data/incoming/hourly_table --dest s3://my-tables/incoming/hourly_table

The source location may contain extra files that we don’t necessarily want to copy. Here, we can use filters based on regular expressions to do things such as copying files with the .log extension only.

Each subfolder has the following files:

$ hadoop fs -ls /data/incoming/hourly_table/2017-02-01/03
Found 8 items
-rw-r--r--   1 hadoop hadoop     197850 2017-02-19 03:41 /data/incoming/hourly_table/2017-02-01/03/2017-02-01.03.25845.log
-rw-r--r--   1 hadoop hadoop     484006 2017-02-19 03:41 /data/incoming/hourly_table/2017-02-01/03/2017-02-01.03.32953.log
-rw-r--r--   1 hadoop hadoop     868522 2017-02-19 03:41 /data/incoming/hourly_table/2017-02-01/03/2017-02-01.03.62649.log
-rw-r--r--   1 hadoop hadoop     408072 2017-02-19 03:41 /data/incoming/hourly_table/2017-02-01/03/2017-02-01.03.64637.log
-rw-r--r--   1 hadoop hadoop    1031949 2017-02-19 03:41 /data/incoming/hourly_table/2017-02-01/03/2017-02-01.03.70767.log
-rw-r--r--   1 hadoop hadoop     368240 2017-02-19 03:41 /data/incoming/hourly_table/2017-02-01/03/2017-02-01.03.89910.log
-rw-r--r--   1 hadoop hadoop     437348 2017-02-19 03:41 /data/incoming/hourly_table/2017-02-01/03/2017-02-01.03.96053.log
-rw-r--r--   1 hadoop hadoop        800 2017-02-19 03:41 /data/incoming/hourly_table/2017-02-01/03/processing.meta

To copy only the required files, let’s use the --srcPattern option:

$ s3-dist-cp --src /data/incoming/hourly_table --dest s3://my-tables/incoming/hourly_table_filtered --srcPattern .*\.log

After the upload has finished successfully, let’s check the folder contents in the destination location to confirm only the files ending in .log were copied:

$ hadoop fs -ls s3://my-tables/incoming/hourly_table_filtered/2017-02-01/03
-rw-rw-rw-   1     197850 2017-02-19 22:56 s3://my-tables/incoming/hourly_table_filtered/2017-02-01/03/2017-02-01.03.25845.log
-rw-rw-rw-   1     484006 2017-02-19 22:56 s3://my-tables/incoming/hourly_table_filtered/2017-02-01/03/2017-02-01.03.32953.log
-rw-rw-rw-   1     868522 2017-02-19 22:56 s3://my-tables/incoming/hourly_table_filtered/2017-02-01/03/2017-02-01.03.62649.log
-rw-rw-rw-   1     408072 2017-02-19 22:56 s3://my-tables/incoming/hourly_table_filtered/2017-02-01/03/2017-02-01.03.64637.log
-rw-rw-rw-   1    1031949 2017-02-19 22:56 s3://my-tables/incoming/hourly_table_filtered/2017-02-01/03/2017-02-01.03.70767.log
-rw-rw-rw-   1     368240 2017-02-19 22:56 s3://my-tables/incoming/hourly_table_filtered/2017-02-01/03/2017-02-01.03.89910.log
-rw-rw-rw-   1     437348 2017-02-19 22:56 s3://my-tables/incoming/hourly_table_filtered/2017-02-01/03/2017-02-01.03.96053.log

Sometimes, data needs to be moved instead of copied. In this case, we can use the --deleteOnSuccess option. This option is similar to aws s3 mv, which you might have used previously with the AWS CLI. The files are first copied and then deleted from the source:

$ s3-dist-cp --src s3://my-tables/incoming/hourly_table --dest s3://my-tables/incoming/hourly_table_archive --deleteOnSuccess

After the preceding operation, the source location has only empty folders, and the target location contains all files.

$ hadoop fs -ls -R s3://my-tables/incoming/hourly_table/2017-02-01/
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/incoming/hourly_table/2017-02-01/00
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/incoming/hourly_table/2017-02-01/01
...
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/incoming/hourly_table/2017-02-01/21
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/incoming/hourly_table/2017-02-01/22


$ hadoop fs -ls s3://my-tables/incoming/hourly_table_archive/2017-02-01/01
-rw-rw-rw-   1     676756 2017-02-19 23:27 s3://my-tables/incoming/hourly_table_archive/2017-02-01/01/2017-02-01.01.27047.log
-rw-rw-rw-   1     780197 2017-02-19 23:27 s3://my-tables/incoming/hourly_table_archive/2017-02-01/01/2017-02-01.01.59789.log
-rw-rw-rw-   1    1041789 2017-02-19 23:27 s3://my-tables/incoming/hourly_table_archive/2017-02-01/01/2017-02-01.01.82293.log
-rw-rw-rw-   1        400 2017-02-19 23:27 s3://my-tables/incoming/hourly_table_archive/2017-02-01/01/processing.meta

The important things to remember here are that S3DistCp deletes only files with the --deleteOnSuccess flag and that it doesn’t delete parent folders, even when they are empty.

2. Copy and change file compression on the fly

Raw files often land in S3 or HDFS in an uncompressed text format. This format is suboptimal both for the cost of storage and for running analytics on that data. S3DistCp can help you efficiently store data and compress files on the fly with the --outputCodec option:

$ s3-dist-cp --src s3://my-tables/incoming/hourly_table_filtered --dest s3://my-tables/incoming/hourly_table_gz --outputCodec=gz

The current version of S3DistCp supports the codecs gzip, gz, lzo, lzop, and snappy, and the keywords none and keep (the default). These keywords have the following meaning:

  • none” – Save files uncompressed. If the files are compressed, then S3DistCp decompresses them.
  • keep” – Don’t change the compression of the files but copy them as-is.

Let’s check the files in the target folder, which have now been compressed with the gz codec:

$ hadoop fs -ls s3://my-tables/incoming/hourly_table_gz/2017-02-01/01/
Found 3 items
-rw-rw-rw-   1     78756 2017-02-20 00:07 s3://my-tables/incoming/hourly_table_gz/2017-02-01/01/2017-02-01.01.27047.log.gz
-rw-rw-rw-   1     80197 2017-02-20 00:07 s3://my-tables/incoming/hourly_table_gz/2017-02-01/01/2017-02-01.01.59789.log.gz
-rw-rw-rw-   1    121178 2017-02-20 00:07 s3://my-tables/incoming/hourly_table_gz/2017-02-01/01/2017-02-01.01.82293.log.gz

3. Copy files incrementally

In real life, the upstream process drops files in some cadence. For instance, new files might get created every hour, or every minute. The downstream process can be configured to pick it up at a different schedule.

Let’s say data lands on S3 and we want to process it on HDFS daily. Copying all files every time doesn’t scale very well. Fortunately, S3DistCp has a built-in solution for that.

For this solution, we use a manifest file. That file allows S3DistCp to keep track of copied files. Following is an example of the command:

$ s3-dist-cp --src s3://my-tables/incoming/hourly_table --dest s3://my-tables/processing/hourly_table --srcPattern .*\.log --outputManifest=manifest-2017-02-25.gz --previousManifest=s3://my-tables/processing/hourly_table/manifest-2017-02-24.gz

The command takes two manifest files as parameters, outputManifest and previousManifest. The first one contains a list of all copied files (old and new), and the second contains a list of files copied previously. This way, we can recreate the full history of operations and see what files were copied during each run:

$ hadoop fs -text s3://my-tables/processing/hourly_table/manifest-2017-02-24.gz > previous.lst
$ hadoop fs -text s3://my-tables/processing/hourly_table/manifest-2017-02-25.gz > current.lst
$ diff previous.lst current.lst
2548a2549,2550
> {"path":"s3://my-tables/processing/hourly_table/2017-02-25/00/2017-02-15.00.50958.log","baseName":"2017-02-25/00/2017-02-15.00.50958.log","srcDir":"s3://my-tables/processing/hourly_table","size":610308}
> {"path":"s3://my-tables/processing/hourly_table/2017-02-25/00/2017-02-25.00.93423.log","baseName":"2017-02-25/00/2017-02-25.00.93423.log","srcDir":"s3://my-tables/processing/hourly_table","size":178928}

S3DistCp creates the file in the local file system using the provided path, /tmp/mymanifest.gz. When the copy operation finishes, it moves that manifest to <DESTINATION LOCATION>.

4. Copy multiple folders in one job

Imagine that we need to copy several folders. Usually, we run as many copy jobs as there are folders that need to be copied. With S3DistCp, the copy can be done in one go. All we need is to prepare a file with list of prefixes and use it as a parameter for the tool:

$ s3-dist-cp --src s3://my-tables/incoming/hourly_table_filtered --dest s3://my-tables/processing/sample_table --srcPrefixesFile file://${PWD}/folders.lst

In this case, the folders.lst file contains the following prefixes:

$ cat folders.lst
s3://my-tables/incoming/hourly_table_filtered/2017-02-10/11
s3://my-tables/incoming/hourly_table_filtered/2017-02-19/02
s3://my-tables/incoming/hourly_table_filtered/2017-02-23

As a result, the target location has only the requested subfolders:

$ hadoop fs -ls -R s3://my-tables/processing/sample_table
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/processing/sample_table/2017-02-10
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/processing/sample_table/2017-02-10/11
-rw-rw-rw-   1     139200 2017-02-24 05:59 s3://my-tables/processing/sample_table/2017-02-10/11/2017-02-10.11.12980.log
...
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/processing/sample_table/2017-02-19
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/processing/sample_table/2017-02-19/02
-rw-rw-rw-   1     702058 2017-02-24 05:59 s3://my-tables/processing/sample_table/2017-02-19/02/2017-02-19.02.19497.log
-rw-rw-rw-   1     265404 2017-02-24 05:59 s3://my-tables/processing/sample_table/2017-02-19/02/2017-02-19.02.26671.log
...
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/processing/sample_table/2017-02-23
drwxrwxrwx   -          0 1970-01-01 00:00 s3://my-tables/processing/sample_table/2017-02-23/00
-rw-rw-rw-   1     310425 2017-02-24 05:59 s3://my-tables/processing/sample_table/2017-02-23/00/2017-02-23.00.10061.log
-rw-rw-rw-   1    1030397 2017-02-24 05:59 s3://my-tables/processing/sample_table/2017-02-23/00/2017-02-23.00.22664.log
...

5. Aggregate files based on a pattern

Hadoop is optimized for reading a fewer number of large files rather than many small files, whether from S3 or HDFS. You can use S3DistCp to aggregate small files into fewer large files of a size that you choose, which can optimize your analysis for both performance and cost.

In the following example, we combine small files into bigger files. We do so by using a regular expression with the –groupBy option.

$ s3-dist-cp --src /data/incoming/hourly_table --dest s3://my-tables/processing/daily_table --targetSize=10 --groupBy=’.*/hourly_table/.*/(\d\d)/.*\.log’

Let’s take a look into the target folders and compare them to the corresponding source folders:

$ hadoop fs -ls /data/incoming/hourly_table/2017-02-22/05/
Found 8 items
-rw-r--r--   1 hadoop hadoop     289949 2017-02-19 06:07 /data/incoming/hourly_table/2017-02-22/05/2017-02-22.05.11125.log
-rw-r--r--   1 hadoop hadoop     407290 2017-02-19 06:07 /data/incoming/hourly_table/2017-02-22/05/2017-02-22.05.19596.log
-rw-r--r--   1 hadoop hadoop     253434 2017-02-19 06:07 /data/incoming/hourly_table/2017-02-22/05/2017-02-22.05.30135.log
-rw-r--r--   1 hadoop hadoop     590655 2017-02-19 06:07 /data/incoming/hourly_table/2017-02-22/05/2017-02-22.05.36531.log
-rw-r--r--   1 hadoop hadoop     762076 2017-02-19 06:07 /data/incoming/hourly_table/2017-02-22/05/2017-02-22.05.47822.log
-rw-r--r--   1 hadoop hadoop     489783 2017-02-19 06:07 /data/incoming/hourly_table/2017-02-22/05/2017-02-22.05.80518.log
-rw-r--r--   1 hadoop hadoop     205976 2017-02-19 06:07 /data/incoming/hourly_table/2017-02-22/05/2017-02-22.05.99127.log
-rw-r--r--   1 hadoop hadoop        800 2017-02-19 06:07 /data/incoming/hourly_table/2017-02-22/05/processing.meta

 

$ hadoop fs -ls s3://my-tables/processing/daily_table/2017-02-22/05/
Found 2 items
-rw-rw-rw-   1   10541944 2017-02-28 05:16 s3://my-tables/processing/daily_table/2017-02-22/05/054
-rw-rw-rw-   1   10511516 2017-02-28 05:16 s3://my-tables/processing/daily_table/2017-02-22/05/055

As you can see, seven data files were combined into two with a size close to the requested 10 MB. The *.meta file was filtered out because --groupBy pattern works in a similar way to –srcPattern. We recommend keeping files larger than the default block size, which is 128 MB on EMR.

The name of the final file is composed of groups in the regular expression used in --groupBy plus some number to make the name unique. The pattern must have at least one group defined.

Let’s consider one more example. This time, we want the file name to be formed from three parts: year, month, and file extension (.log in this case). Here is an updated command:

$ s3-dist-cp --src /data/incoming/hourly_table --dest s3://my-tables/processing/daily_table_2017 --targetSize=10 --groupBy=’.*/hourly_table/.*(2017-).*/(\d\d)/.*\.(log)’

Now we have final files named in a different way:

$ hadoop fs -ls s3://my-tables/processing/daily_table_2017/2017-02-22/05/
Found 2 items
-rw-rw-rw-   1   10541944 2017-02-28 05:16 s3://my-tables/processing/daily_table/2017-02-22/05/2017-05log4
-rw-rw-rw-   1   10511516 2017-02-28 05:16 s3://my-tables/processing/daily_table/2017-02-22/05/2017-05log5

As you can see, names of final files consist of concatenation of 3 groups from the regular expression (2017-), (\d\d), (log).

You might find that occasionally you get an error that looks like the following:

$ s3-dist-cp --src /data/incoming/hourly_table --dest s3://my-tables/processing/daily_table_2017 --targetSize=10 --groupBy=’.*/hourly_table/.*(2018-).*/(\d\d)/.*\.(log)’
...
17/04/27 15:37:45 INFO S3DistCp.S3DistCp: Created 0 files to copy 0 files
... 
Exception in thread “main” java.lang.RuntimeException: Error running job
	at com.amazon.elasticmapreduce.S3DistCp.S3DistCp.run(S3DistCp.java:927)
	at com.amazon.elasticmapreduce.S3DistCp.S3DistCp.run(S3DistCp.java:705)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
	at com.amazon.elasticmapreduce.S3DistCp.Main.main(Main.java:22)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
…

In this case, the key information is contained in Created 0 files to copy 0 files. S3DistCp didn’t find any files to copy because the regular expression in the --groupBy option doesn’t match any files in the source location.

The reason for this issue varies. For example, it can be a mistake in the specified pattern. In the preceding example, we don’t have any files for the year 2018. Another common reason is incorrect escaping of the pattern when we submit S3DistCp command as a step, which is addressed later later in this post.

6. Upload files larger than 1 TB in size

The default upload chunk size when doing an S3 multipart upload is 128 MB. When files are larger than 1 TB, the total number of parts can reach over 10,000. Such a large number of parts can make the job run for a very long time or even fail.

In this case, you can improve job performance by increasing the size of each part. In S3DistCp, you can do this by using the --multipartUploadChunkSize option.

Let’s test how it works on several files about 200 GB in size. With the default part size, it takes about 84 minutes to copy them to S3 from HDFS.

We can increase the default part size to 1000 MB:

$ time s3-dist-cp --src /data/gb200 --dest s3://my-tables/data/S3DistCp/gb200_2 --multipartUploadChunkSize=1000
...
real    41m1.616s

The maximum part size is 5 GB. Keep in mind that larger parts have a higher chance to fail during upload and don’t necessarily speed up the process. Let’s run the same job with the maximum part size:

time s3-dist-cp --src /data/gb200 --dest s3://my-tables/data/S3DistCp/gb200_2 --multipartUploadChunkSize=5000
...
real    40m17.331s

7. Submit a S3DistCp step to an EMR cluster

You can run the S3DistCp tool in several ways. First, you can SSH to the master node and execute the command in a terminal window as we did in the preceding examples. This approach might be convenient for many use cases, but sometimes you might want to create a cluster that has some data on HDFS. You can do this by submitting a step directly in the AWS Management Console when creating a cluster.

In the console add step dialog box, we can fill the fields in the following way:

  • Step type: Custom JAR
  • Name*: S3DistCp Stepli>
  • JAR location: command-runner.jar
  • Arguments: s3-dist-cp --src s3://my-tables/incoming/hourly_table --dest /data/input/hourly_table --targetSize 10 --groupBy .*/hourly_table/.*(2017-).*/(\d\d)/.*\.(log)
  • Action of failure: Continue

Notice that we didn’t add quotation marks around our pattern. We needed quotation marks when we were using bash in the terminal window, but not here. The console takes care of escaping and transferring our arguments to the command on the cluster.

Another common use case is to run S3DistCp recurrently or on some event. We can always submit a new step to the existing cluster. The syntax here is slightly different than in previous examples. We separate arguments by commas. In the case of a complex pattern, we shield the whole step option with single quotation marks:

aws emr add-steps --cluster-id j-ABC123456789Z --steps 'Name=LoadData,Jar=command-runner.jar,ActionOnFailure=CONTINUE,Type=CUSTOM_JAR,Args=s3-dist-cp,--src,s3://my-tables/incoming/hourly_table,--dest,/data/input/hourly_table,--targetSize,10,--groupBy,.*/hourly_table/.*(2017-).*/(\d\d)/.*\.(log)'

Summary

This post showed you the basics of how S3DistCp works and highlighted some of its most useful features. It covered how you can use S3DistCp to optimize for raw files of different sizes and also selectively copy different files between locations. We also looked at several options for using the tool from SSH, the AWS Management Console, and the AWS CLI.

If you have questions or suggestions, leave a message in the comments.


Next Steps

Take your new knowledge to the next level! Click on the post below and learn the top 10 tips to improve query performance in Amazon Athena.

Top 10 Performance Tuning Tips for Amazon Athena


About the Author

Illya Yalovyy is a Senior Software Development Engineer with Amazon Web Services. He works on cutting-edge features of EMR and is heavily involved in open source projects such as Apache Hive, Apache Zookeeper, Apache Sqoop. His spare time is completely dedicated to his children and family.

 

Съд на ЕС: телевизия, реклама, държавна помощ

Post Syndicated from nellyo original https://nellyo.wordpress.com/2017/06/01/%D1%81%D1%8A%D0%B4-%D0%BD%D0%B0-%D0%B5%D1%81-%D1%82%D0%B5%D0%BB%D0%B5%D0%B2%D0%B8%D0%B7%D0%B8%D1%8F-%D1%80%D0%B5%D0%BA%D0%BB%D0%B0%D0%BC%D0%B0-%D0%B4%D1%8A%D1%80%D0%B6%D0%B0%D0%B2%D0%BD%D0%B0/

Стана известно заключението на Генералния адвокат, представено на 30 май 2017 година по Дело C‑657/15 P  Viasat Broadcasting UK Ltd срещу TV2/Danmark A/S, Европейска комисия.

С жалбата си Viasat  иска частична отмяна на решението на Общия съд на Европейския съюз TV2/Danmark/Комисия, с което същият отменя Решение 2011/839/ЕС на Комисията  в частта, в която Европейската комисия приема, че приходите от реклама за 1995 г. и 1996 г., платени на TV2/Danmark чрез фонд TV2, са държавни помощи, и  отхвърля в останалата ѝ част жалбата на TV2.

Твърдените в жалбата грешки на Общия съд при прилагане на правото:

  • приходите от реклама за 1995 г. и 1996 г., прехвърлени от TV2 Reklame на TV2 чрез фонд TV2, не са държавни ресурси,
  • неправилно тълкуване на второто условие, установено от Съда в решение от 24 юли 2003 г. по делото Altmark.

TV2   и Кралство Дания  поддържат,  че приходите от реклама не са държавни ресурси, поради което не са и държавни помощи, тъй като става въпрос не за приходи от датската държава, а за такива от дейността на TV2 – и че твърденията  относно контрола на датската държава върху ресурсите  се основават на неправилно тълкуване на датското право.

 Заключението на ГА:

31.      Поради това Общият съд е допуснал грешка при прилагане на правото, от една страна, като при преценка дали са налице държавни ресурси, не е взел предвид факта, че държавата е разполагала с всички права и с пълен контрол върху ресурсите на TV2 Reklame и е можела да реши дали ресурсите да бъдат прехвърлени във фонд TV2, или използвани за други цели, например културни, и от друга страна, като не е взел предвид факта, че държавата е контролирала напълно ресурсите на фонд TV2 и вследствие на това е можела еднолично да реши в кой момент ресурсите трябва да бъдат прехвърлени на TV2, както и в какъв размер.

49.      Всъщност в случая не е нито логично, нито оправдано разграничението, което Общият съд провежда между произхода на приходите от реклама, прехвърлени от TV2 Reklame на TV2 посредством фонд TV2, и този на приходите от лицензионната такса, прехвърлени от фонд TV2 на TV2.

50.      Трудно е да се установи разликата между ресурсите от сумите, които частните потребители трябва да плащат по силата на закона, за да получат достъп до каналите на обществената телевизия, и сумите, които частните рекламодатели плащат, за да закупят рекламно време в тези медии. И в двата случая става дума за ресурси, получени от трети лица и платени на публично предприятие било то Danmarks Radio, или TV2 Reklame в замяна на определена насрещна престация.

Относно второто условие по решение Altmark – Генералният адвокат приема, че твърденията по това основание са недопустими.

Дело C‑657/15 P  Viasat  е свързано с още две дела – C‑656/15 P Европейска комисия срещу TV2/Danmark A/S  (заключение) и  C‑649/15 P TV2/Danmark A/S срещу Европейска комисия (заключение).

Трите заключения подпомагат всеки, който иска да си изясни условията по решението Алтмарк и тяхното прилагане в медийната област. 

Но последна дума има Съдът.

 

Filed under: EU Law, Media Law Tagged: съд на ес

Backup Awareness Survey, Our 10th Year

Post Syndicated from Andy Klein original https://www.backblaze.com/blog/backup-awareness-survey-our-10th-year/

Backup Awareness

This is the 10th year Backblaze has designated June as Backup Awareness Month. It is also the 10th year of our annual Backup Awareness Survey. Each year, the survey has asked the question; “How often do you backup all of the data on your computer?” As they have done since the beginning, the good folks at Harris Interactive have conducted the survey, captured and tabulated the answers, and provided us with the results. Let’s take a look at what 10 years worth of surveys can tell us about computer backup.

Backup Awareness Survey

Let’s start with 2017 and see how computer owners answered our question.

Backup Frequency

The most popular answer is “Yearly” at 26.3%. The least popular choice was “Daily” at just 9.3%. The difference between those two extremes can be easily calculated in days, but consider how much more data would be lost if you had backed up 364 days ago versus just 23 hours ago. How many photos, videos, spreadsheets, tax documents, and more would be lost when your computer crashed, or was stolen, or was attacked by ransomware like Wannacry or Cryptolocker. The longer the time between backups, the higher the risk of losing data.

Trends Over the Last 10 Years

With 10 years worth of data, we have the opportunity to see if attitudes, or more appropriately actions, have changed with regards to how often people backup their data.

In general, more people seem to be backing up as all of the individual backup periods; daily, weekly, monthly, etc., are either the same or increasing their individual percentages over time. The chart below highlights the good news.

Backup Trends

We are winning! Over the 10-year period, more people are backing up all the data on their computer, at least once. From a low of 62% in 2008, the percentage of people who have backed up their computer has risen to 79% in 2017, a 27% increase over 10 years. OK, so its not amazing growth, but we’ll take it.

Facts and Figures and History

Each survey provides interesting insights into the attributes of backup fiends and backup slackers. Here are a few facts from the 2017 survey.

  • 91% of Americans don’t backup their computers at least once a day.
  • 21% of Americans have never backed up all the data on their computers.
  • 17% of American males have never backed up all the data on their computers.
  • 25% of American females have never backed up all the data on their computers.
  • 97% of American students (18+) that have a computer, don’t back it up daily.
  • 87% of American college graduates that have a computer, don’t back it up daily – I guess that 10% of them learned something in college.

As we get older we backup more often…

Age Range Backup Daily
18 – 34 6%
35 – 44 8%
45 – 54 11%
55 – 64 11%
65 plus 12%

Here are links to our previous blog posts on our annual Backup Awareness Survey:

Backup Awareness Month

Why a whole month for backup awareness? There’s a theory in human behavior that says in order for something to become a habit, you have to do it consistently for at least three weeks. To make backing up your computer a habit, remind yourself each day in June to backup your computer. Tie a string around your finger or set a reminder on your phone, whatever it takes so that you remember to backup your computer each day in June. Of course, the three-week theory is considered unproven and “your mileage may vary”, but at least you’ll be backed up during the month of June.

Maybe, instead of trying to create a new daily backup habit, perhaps you could use a computer application. I’ll bet if you looked hard enough, you could find a computer program for your Mac or PC that would automatically remember to backup your computer each day – or even more often. That would awesome, right? Yes it would.

Survey Methodology
The surveys were conducted online within the United States by Harris Interactive on behalf of Backblaze as follows: May 19-23, 2017 among 2048 U.S. adults, May 13-17, 2016 among 2,012 U.S. adults, May 15-19, 2015 among 2,090 U.S. adults, June 2-4, 2014 among 2,037 U.S. adults, June 13–17, 2013 among 2,021 U.S. adults, May 31–June 4, 2012 among 2,209 U.S. adults, June 28–30, 2011 among 2,257 U.S. adults, June 3–7, 2010 among 2,071 U.S. adults, May 13–14, 2009 among 2,185 U.S. adults, and May 27–29, 2008 among 2,761 U.S. adults. In all surveys, respondents consisted of U.S. adult computer users (aged 18+), weighted to the U.S. adult population of computer users. These online surveys are not based on a probability sample and therefore no estimate of theoretical sampling error can be calculated.

The post Backup Awareness Survey, Our 10th Year appeared first on Backblaze Blog | Cloud Storage & Cloud Backup.

2017-05-28 панаир на книгата

Post Syndicated from Vasil Kolev original https://vasil.ludost.net/blog/?p=3356

(Добре сме, всичко ни е наред, а аз съм огладил дрехи с площ колкото Република България)

Пролетен панаир на книгата. Очаквах нищо да не си харесам, но пак си напълних раницата:
– Два тома (предполагаем) дневник на Лаврентий Берия, с коментари от тоя, дето ги е намерил. В момента ги чете Велин, да видим дали стават.
– Двата тома “Чамкория” на Милен Русков, чакат за изчитане.
– “Двадесет и петият част” на К. Вирджил Георгиу – изчетох я за нула време, оказа се страхотен роман за времената около втората световна война и навлизането на тоталитаризмите. (Изобщо, не съм очаквал, че “Комунитас” – издателство основно за християнска литература – ще издава такива ценни неща, като тази книга, книгата на Стефан Бочев за Белене, новото издание на “Архипелага ГУЛАГ”…)
– “Граница” на Капка Касабова, която чета в момента.
– “Вицове за луди, садисти и канибали” на Анатол Анчев – изследовател от БАН – събрани всичките вицове по темата от разни места и източници. Изглежда доста забавно, вероятно е следващата за четене.
– “Махалото на Фуко” на Умберто Еко, понеже не знам да ми е моето копие.
– “Хайка за вълци” на Ивайло Петров – скоро я прочетох и реших, че си заслужава да се вземе на хартия.

(панаирът свършва днес, ако не сте се сетили да идете, има още малко време)

Girl Busted For Pirating ‘Chicken Run’ Provides Food For Thought

Post Syndicated from Andy original https://torrentfreak.com/girl-busted-for-pirating-chicken-run-provides-food-for-thought-170521/

This past Thursday the BBC published an article about Gianna Mulville-Zanetta, a first year Social Policy student at Bristol University in the UK.

After getting caught downloading the stop-motion comedy-drama film Chicken Run using BitTorrent, the 18-year-old reportedly felt the wrath of the university’s IT department.

“I completely forgot I had downloaded it,” Gianna told the BBC.

“I got an email the day after I watched it on Netflix with my friend saying I had been removed from Eduroam – which is our wifi. It took about a day or more to download and that’s why I forgot I had it, it took forever.”

For her sins, Gianna was blocked from using the university’s wifi for 20 days, a period that coincided with her exams. With access to a 4G connection she says the ban didn’t affect her studies but of course, the potential for chaos was certainly there.

There appears to be no doubt that Gianna committed an infringement. However, that someone who prefers to watch something legally on Netflix gets caught up in something like this is pretty disappointing. But not a complete surprise.

Chicken Run was released in 2000 but only 12 years later did it appear on UK Netflix. According to New on Netflix, it was withdrawn from Netflix during November 2013, put back on two years later in 2015, removed a year later in 2016, and was only re-added on May 1 this year.

Considering the BBC states that the Chicken Run affair “has ruined much of May for Gianna”, the ban must’ve kicked in early this month. That means that Chicken Run was either not on UK Netflix when Gianna decided on her download, or had only been there for a day or two. Either way, if there had been less yo-yo’ing of its availability on Netflix, it’s possible this whole affair could’ve been completely avoided.

Moving on, the BBC article states that Gianna was “caught out by the university’s IT department.” Student newspaper The Tab makes a similar assumption, claiming that Gianna was “busted by an elite team of University IT technicians.”

However, those familiar with these issues will know that the ‘blame’ should be placed elsewhere, i.e., on rightsholders who are filing complaints directly with the university. The tactic is certainly an interesting one.

Despite there being dozens of residential ISPs the copyright holders could focus on, they choose not to do so outside the limited scope of the Get it Right campaign instead. Knowing that universities come down hard on students seems like a motivating factor here, one that students should be aware of.

The Tab went on to publish a screenshot of the complaint received by Gianna. It’s incomplete, but it contains information that allows us to investigate further.

The note that Gianna’s connection had been suspended to prevent the IT department from “receiving further complaints” is a dead giveaway of rightsholder involvement. But, further down is an even clearer clue that the complaint was made by someone outside the university.

The format used in the complaint is identical to that used by US and Australia-based anti-piracy outfit IP-Echelon. The company is known to work with Paramount Pictures who own the rights to Chicken Run.

In fact, if one searches the filesize referenced in the infringement notice (572,221,548), it’s possible to find an identical complaint processed by VPN service Proxy.sh.

Another Chicken Run complaint

Given the file size, we can further deduce that Gianna downloaded a 720p BrRip of Chicken Run that was placed online by now defunct release team/torrent site YIFY, which has also been referenced in a number of complaints sent to Google.

So what can we conclude from these series of events?

First of all, with less messing around by Paramount and/or Netflix, Gianna might have gone to Netflix first, having seen it previously in the listings on the platform. As it goes, it had been absent for months, having been pulled from the service at least twice before.

Second, we know that at least one person who chose to pirate Chicken Run avoided Gianna’s predicament by using a VPN service. While Gianna found herself disconnected, the VPN user walked away completely unscathed, with Paramount and IP-Echelon complaining to the VPN service and that being the end of the matter.

Third, allowing your real name and a copy of a copyright infringement complaint to be published alongside a confession is a risky business. While IP-Echelon isn’t known for pressuring people to pay settlements in the UK, the situation could have been very different if a copyright troll was involved.

Fourth, we can also conclude that while it’s believed that older content is safer to download, this story suggests otherwise. Chicken Run was released 17 years ago and is still being monitored by rightsholders.

Finally, stories of students getting banned from university Internet access are relatively commonplace in the United States, but the same out of the UK is extremely rare.

In fact, we’re not aware of such exclusions happening on a regular basis anywhere in the region, although Gianna told the BBC that she knows another person who is still being denied access to the Internet for downloading Shrek, another relatively ancient film.

That raises the possibility that some copyright holders have seriously begun targeting universities in the UK. If that’s the case, one has to question what has more value – uninterrupted Internet access while on campus or a movie download.

Source: TF, for the latest info on copyright, file-sharing, torrent sites and ANONYMOUS VPN services.

Fake ‘Pirates Of The Caribbean’ Leaks Troll Pirates and Reporters

Post Syndicated from Ernesto original https://torrentfreak.com/fake-pirates-of-the-caribbean-leaks-troll-pirates-and-reporters-170520/

Earlier this week, news broke that Disney was being extorted by hackers who were threatening to release an upcoming film, reportedly ‘Pirates of the Caribbean: Dead Men Tell No Tales.’

This prompted pirates and reporters to watch torrent sites for copies of the film, and after a few hours the first torrents did indeed appear.

The initial torrent spotted by TF was just over 200MB, which is pretty small. As it turned out, the file was fake and linked to some kind of survey scam.

Fake torrents are quite common and even more so with highly anticipated releases like a “Pirates Of The Caribbean” leak.

Soon after the fist fake, another one followed, this one carrying the name of movie distribution group ETRG. After the first people downloaded a copy, it quickly became clear that this was spam as well, and the torrent was swiftly removed from The Pirate Bay.

Unfortunately, however, some reporters confused the fake releases with the real deal. Without verifying the actual content of the files, news reports claimed that Pirates Of The Caribbean had indeed leaked.

“Hackers Dump Pirates of the Caribbean On Torrent Sites Ahead of Premiere,” Softpedia reported, followed by the award-winning security blog Graham Cluley who wrote that the “New Pirates of the Caribbean movie leaked online.”

Leaks? (via Softpedia)

The latter was also quick to point to a likely source of the leak. Hacker group The Dark Overlord was cited as the prime candidate, even though there were no signs linking it to the leak in question. This is off for a group that regularly takes full public credit for its achievements.

News site Fossbytes also appeared confident that The Dark Overlord was behind the reported (but fake) leaks, pretty much stating it as fact.

“The much-awaited Disney movie Pirates Of The Caribbean 5 Dead Men Tell No Tales was compromised by a hacker group called TheDarkOverlord,” the site reported.

Things got more confusing when the torrent files in question disappeared from The Pirate Bay. In reality, moderators simply removed the spam, as they usually do, but the reporters weren’t convinced and speculated that the ‘hackers’ could have reuploaded the files elsewhere.

A few hours later another ‘leak’ appeared on The Pirate Bay, confirming these alleged suspicions. This time it was a 54GB file which actually had “DARK-OVERL” in the title.

DARK-OVERL!!!

Soon after the torrent appeared online someone added a spam comment suggesting that it had a decent quality. One of the reporters picked this up and wrote that “comments indicate the quality is quite high.”

Again, at this point, none of the reporters had verified that the leaks were real. Still, the news spread further and further.

TorrentFreak also kept an eye on the developments and reached out to a source who said he’d obtained a copy of the 54GB release. This pirate was curious, but didn’t get what he was hoping for.

The file in question did indeed contain video material, he informed us. However, instead of an unreleased copy of the Pirates Of The Caribbean 5, he says he got several copies of an animation movie – Trolls…..

“Turns out, the iso contains a couple of .rar files that house a bunch of Trolls DVDs. I hope everyone learned their lesson, if it’s too good to be true it probably is.”

Indeed it is.

In the spirit of this article we have to stress that we didn’t verify the contents of the (now deleted) “Trolls” torrent ourselves. However, it’s clear that the fake leaks trolled several writers and pirates.

We reached out to Softpedia reporter Gabriela Vatu and Graham Cluley, who were both very receptive to our concerns and updated the initial articles to state that the leaks were not verified.

Let’s hope that this will stop the rumors from spreading any further.

Source: TF, for the latest info on copyright, file-sharing, torrent sites and ANONYMOUS VPN services.