Шпаргалка по сборке FFmpeg с NVENC H.264 и H.265 на последней Ubuntu LTS (18.04). Использование мощи видеокарты от NVIDIA для обработки видео, в моем случае 1080p60 обработалось быстрее в 4 раза чем на процессоре, ну и при этом совершенно не грузило систему (видеокарта тоже даже не нагрелась).

Лирическое отступление

Вот уже пару лет есть работающая схема по добавлению потока RTSP камер наблюдения в HomeKit и вот она. Это плагин для HomeBridge, есть иные костыли, но суть одна, всё завязано на конвертации RTSP потока в RTMP и скармливании его home.app. Самым простым способом сделать это является перекодировка, а так как обычно под рукой линуксоподобная система — ffmpeg (avconv, прочее, но в первую очередь именно ffmpeg).

Для умных домов преимущественно используют Raspberry Pi и оно не может нормально кодировать видео в силу слабого процессора. Сборка ffmpeg (в дистрибутивах Raspbian его нет именно потому что нормальный человек не должен встречаться с такими тормозами) на малинке занимает 40-50 минут и работает оно откровенно плохо, кадры дропаются, малинка греется даже при одном потоке, а если двое хотят одновременно посмотреть камеры происходит коллапс. Даже h264_omx проблему полностью не решает, нужно нормальное железо и это обычный компьютер. Даже вшивый Celeron вполне прилично справляется с задачей, но есть способ еще лучше.

У меня есть ненужная система на Intel(R) Celeron(R) CPU G3930 @ 2.90GHz и GeForce GTX 1060, с этим железом можно добиться удивительных результатов малой кровью, не загружая особо процессор и одновременно показывая видео с камер на 7 устройств (может и больше, у меня нету просто столько конечных устройств).

Сейчас мы соберем на последней серверной убунте FFmpeg с аппаратной поддержкой кодирования H.264 и оно будет быстрым, очень быстрым. В тестах видео fullhd кодировалось в 4-6 раз быстрее, чем стандартным кодеком x264 через процессор.

Всякое:

Ставим пакеты

sudo apt install build-essential git yasm unzip wget mc sysstat nasm 
libavcodec-dev libavformat-dev libavutil-dev pkgconf g++ freeglut3-dev 
libx11-dev libxmu-dev libxi-dev libglu1-mesa libglu1-mesa-dev libx265-dev libnuma-dev

Драйвера:

Ставим CUDA с родного сайта, инструкции тут (но они могли измениться, лучше кликнуть по ссылке)

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo add-apt-repository "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda
reboot

Проверяем что всё работает и драйвера встали

nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.87.00    Driver Version: 418.87.00    CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:01:00.0 Off |                  N/A |
| 33%   28C    P0    28W / 120W |      0MiB /  3019MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Добавляем переменные в PATH. И так каждый раз после перезагрузки для сборки ffmpeg, потом не нужно.

export PATH=/usr/local/cuda-10.1/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-10.1/lib${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

Качаем и ставим NVIDIA video codek SDK (нужна регистрация), указываем свою версию, а не 9.0.20:

unzip Video_Codec_SDK_9.0.20.zip
sudo cp Video_Codec_SDK_9.0.20/Samples/common.mk /usr/local/include/

Ставим FFmpeg

Самое нужное это собсно поддержка nv-codec

git clone https://git.videolan.org/git/ffmpeg/nv-codec-headers.git
cd nv-codec-headers
make
sudo make install

Поддержка H.264. Не уверен что оно нужно на 18.04 (у меня был автоматически установлен), но на всякий случай последняя версия:

git clone https://code.videolan.org/videolan/x264.git
cd x264/
./configure --disable-cli --enable-static --enable-shared --enable-strip
make
sudo make install
sudo ldconfig

Сам FFmpeg:

git clone git://source.ffmpeg.org/ffmpeg.git
cd ffmpeg/
./configure --enable-nonfree --enable-nvenc --enable-libx264 --enable-libx265 --enable-gpl --enable-cuda --enable-cuvid
make
sudo make install

Убеждаемся что мы можем кодировать H.264 и H.265 с помощью видеокарты:

ptath@castle:~/ffmpeg$ ffmpeg -codecs | grep nvenc
ffmpeg version N-94809-g12b909ba31 Copyright (c) 2000-2019 the FFmpeg developers
  built with gcc 7 (Ubuntu 7.4.0-1ubuntu1~18.04.1)
  configuration: --enable-nonfree --enable-nvenc --enable-libx264 --enable-libx265 --enable-gpl --enable-cuda --enable-cuvid
  libavutil      56. 35.100 / 56. 35.100
  libavcodec     58. 56.101 / 58. 56.101
  libavformat    58. 32.104 / 58. 32.104
  libavdevice    58.  9.100 / 58.  9.100
  libavfilter     7. 58.102 /  7. 58.102
  libswscale      5.  6.100 /  5.  6.100
  libswresample   3.  6.100 /  3.  6.100
  libpostproc    55.  6.100 / 55.  6.100
 DEV.LS h264                 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (decoders: h264 h264_v4l2m2m h264_cuvid ) (encoders: libx264 libx264rgb h264_nvenc h264_v4l2m2m nvenc nvenc_h264 )
 DEV.L. hevc                 H.265 / HEVC (High Efficiency Video Coding) (decoders: hevc hevc_cuvid ) (encoders: libx265 nvenc_hevc hevc_nvenc )

О да, мы можем =) А теперь тесты:

wget http://download4.dvdloc8.com/trailers/divxdigest/i_am_legend-1080p_blu-ray_trailer.zip
unzip i_am_legend-1080p_blu-ray_trailer.zip 

time ffmpeg -i I\ Am\ Legend\ -\ Trailer.mp4 -vcodec libx264 -b:v 5M -acodec copy Output_libx264.mp4
...
real	2m33,211s
user	4m58,844s
sys	0m0,608s

time ffmpeg -i I\ Am\ Legend\ -\ Trailer.mp4 -vcodec libx265 -b:v 5M -acodec copy Output_libx265.mp4
...
real	8m17,279s
user	15m57,109s
sys	0m0,588s

time ffmpeg -i I\ Am\ Legend\ -\ Trailer.mp4 -vcodec h264_nvenc -b:v 5M -acodec copy Output_h264_nvenc.mp4
...
real	0m20,966s
user	0m27,845s
sys	0m0,620s

time ffmpeg -i I\ Am\ Legend\ -\ Trailer.mp4 -vcodec hevc_nvenc -b:v 5M -acodec copy Output_hevc_nvenc.mp4
...
real	0m20,990s
user	0m28,007s
sys	0m0,650s

Собственно мы наблюдаем космическую скорость, особенно когда дело доходит до H.265 — с нашим новым кодеком мы справляемся за 20 секунд вместо 8 с половиной минут через x265 (стоит отметить что процессор — Celeron, на i7 должно быть побыстрей конечно).

Практическое применение — обработка видео со всяких там action-камер, ну и конечно же в системах умного дома на базе HomeKit. В дополнение к малинке ничто не мешает отдельно использовать нормальный сервер исключительно под видео.

За пару дней до истечения срока домена приходит вот такое вот письмо (героически прорвавшись через спам-фильтры):

во избежании отключения домена пролонгируйте домен в кабинете регистратора

заканчивается срок регистрации сайта DOMAIN.TLD

по ссылке оплата извещения - http://skulakov.ru?DOMAIN.TLD

Сообщение было отправлено 08/07/2019 21:00:27 автоматически и не требует ответа.

в случае если домен не будет пролонгирован в течении суток, он будет удален из реестра регистратора. И станет доступен для регистрации иным лицам

DOMAIN.TLD это мой реальный домен в зоне .ru, который заканчивается через три дня (продление оплачено давно). Отправитель "Уведомление" evelina.makarkina.78@bk.ru.

Как можно видеть из примера, в ссылку можно подставить любой домен и в результате оно перекинет на страницу оплаты на qiwi:

Стоит отметить изящество, в тексте письма нет ни слова о том, что это ссылка на оплату этого домена, это просто оплата извещения — напоминания о том, что домен надо оплатить в кабинете регистратора =)

Толкуя буквально, это и не фрод вовсе. Например если в почтовый ящик бросят извещение о необходимости оплаты коммуналки, но в извещении будут реквизиты для оплаты извещения.

Но ежели такое письмо попадет невнимательному директору, почему б и не оплатить? Жаль что оформление, орфография, конечный домен и вообще презентабельность хромают, выхлоп с такого фрода наверняка был бы побольше.

Сегодня мы будем начинать делать умные гаражные ворота. Я уже собрал физическую часть, но вчерне — картинок пока не будет, а программная часть не отвечает собственным стандартам качества и поэтому это будет цикл статей. Собственно эта публикация — облагороженный черновик чтобы не забыть, второй раз такое собрать без инструкции я не смогу =)

Ворот у меня двое, уличные и гаражные, секционные и рольставни (рольворота, мелкие секции), производитель Doorhan, модели неважны. Важно что секционные 24В, а рольворота 12В. Ворота управляются пультом с двумя кнопками (от каждых ворот) и при нажатии на кнопку последовательно открывают, останавливают и закрывают. Нажимать кнопки можно примерно раз в секунду, быстрее иногда не срабатывает. Обе модели предусматривают подключение внешнего пульта-выключателя и этим мы будем пользоваться. Для откатных ворот всё будет совершенно аналогично.

Есть возможность купить ресивер/трансмиттер, который управляет устройствами по радиоканалу частотой 433Мгц, но ворота умные и не позволяют копировать пульты — их надо прописывать в приёмник. Это тоже решается RF-модулем другого типа, но я буду делать по-другому — через внешний выключатель. По замыслу производителя это проводная кнопка на стене, по нажатию которой происходит то же, что и при нажатии на пульт. На 0,2 секунды надо замкнуть вот тут:

Если замкнуть и держать (или просто передержать), ворота будут дрыгаться туда-сюда в бесконечном цикле стоп/поехали. Поэтому производитель рекомендуется возвратную кнопку с пружинкой (или использовать 4-Stop).

Задача-минимум: добавить ворота в Home.app, чтобы управлять ими (вкл/выкл/стоп), смотреть статус (открыто/закрыто/непонятно/обнаружено препятствие), получать уведомления об открытии при постановке на охрану.

Задача-максимум: получить полный контроль для автоматизации не через Home.app (например если летом в дневное время температура в гараже больше 28 градусов (или влажность больше чем на улице на 27 процентов) и дома взрослые, открыть гараж, и если после захода солнца в нем никого и вручную его не открывали, закрыть его), навешать больше датчиков.

Убер-задача: повесить это всё (2 ворот, несколько датчиков) на одну управляющую железку. Бонус: открывать ворота на узкую щель чтобы кот успел свалить из гаража, закрыть ворота за котом, сообщить об этом факте.

Нам нужно следующее:

Используемое программное обеспечение:

• sonoff-tasmota — софт для esp8266, умеет всё. Получает информацию с датчиков и управляет переключателями через mqtt.
• Mosquitto — брокер mqtt.
• nodered — мозг автоматизации. Создает в Home.app виртуальный аксессуар — гаражные ворота, читает по mqtt информацию с датчиков, анализирует её и туда же отправляет команды.

Тут надо остановиться, выдохнуть и посмотреть вот сюда: RavenCore. Это прошивка для ESP8266, которая не требует ничего из вышеперечисленного и выполняет те же функции, вещь в себе. Она не требует эмуляции Моста (NodeRED, Homebridge), устройство с ней добавляется как отдельный аксессуар и даже если домашний сервер ляжет, все будет работать. Минус один — никакой автоматизации, никаких датчиков температуры/влажности (только открыто/закрыто и [в будущем] препятствия). Оно стабильно, пользовался около месяца, нареканий нет. Вдыхаем обратно, сейчас мы будем делать хардкорно и без компромиссов.

Настройка sonoff-tasmota  сложна и потребовала от меня не одного подхода чтобы разобраться. В это время я по неаккуратности спалил перепаянный на реле Sonoff Basic, но это и к лучшему — к Sonoff можно было подключить лишь один датчик, а к NodeMCU v3 — целых 5.

Тут основная сложность в подключении нескольких датчиков одновременно и переделки выключателя в "дёргалку" — я писал в начале про 0.2 секунды. Всё это будем делать программно.

Часть 2 — собираем железо (тут будет ссылка)

Часть 3 — настраиваем софт (тут будет ссылка)

У пользователей Homebridge (и не только) существует серьезная проблема при потере сети устройством, даже на несколько секунд.

После этого остальные устройства сети, в том числе iOS, Apple TV не видят этот хаб и Homebridge надо перезапускать вручную — он работает как работал и не ведает о произошедшей беде.

Скорее всего дело в том, что при запуске Homebridge рассылает в сеть mdns пакеты о своём присутствии, а при отсутствии сети всё теряется и другие устройства его не видят до перезапуска. Аналогичная фигня со всеми подобными приложениями, например Node-RED.

Набросал скрипт и демон для него, который эту проблему решает. Оно постоянно пингует рутер и если нет ответа, запоминает это. Когда сеть появляется, выполняется пользовательский скрипт, например перезапускается Homebridge, любой другой сервис или вообще перезагружается устройство (иногда так быстрее).

Скрипт называется badnetwork, запустить установку (с инсталляцией в systemd) одной командой:

wget -q -N -O /tmp/pi-badnetwork-install.sh https://github.com/ptath/pi-badnetwork/raw/master/pi-badnetwork-install.sh && chmod +x /tmp/pi-badnetwork-install.sh && /tmp/pi-badnetwork-install.sh

Купил в самом сердце Китая корпус для Raspberry Pi с вентилятором aka кулером. Все хорошо, но китаец предлагает его тупо воткнуть в пины питания на малинке, а это плохо. Во-первых, он шумит (несильно, но шумит!), а во-вторых что-то там с электричеством, транзисторы и всё такое.

Электрику даже на уровне школы я не помню, но тонко чую моменты когда можно накосячить, поэтому либо обращаюсь к специалистам, либо спрашиваю у Google (а потом проверяю у специалистов).

Поэтому я нашёл в интернетах вот эту инструкцию и техническую часть исполнил по ней. Потребовалась пара проводочков и транзистор, в местном магазине 40 рублей за всё. Получилось аккуратненько, если б не прозрачный корпус было б вообще превосходно.

Однако ж в статье автор предлагает использовать скрипт на питоне и мне кажется что это перебор. Я старомоден и уверен что запуск чего-то тяжёлого для трех строчек кода — расточительство.

В разультате за один вечер я написал вот этот скрипт на bash и оно прекрасно работает уже больше недели (Raspbian OS). По ссылке также мини-инструкция как его установить одной командой и добавить демоном для постоянной работы. Если запускать вручную — только через sudo, это нужно для доступа к пинам RPI.

У меня рабочая температура малинки составляет 50-55 градусов. Кулер включается после 55 (настраивается в скрипте) и после снижения температуры сразу выключается (опрашивает каждые 5 секунд, тоже настраивается в скрипте). В моём случае это несколько раз в день, во время безумных экспериментов =)

Чтобы поправить конфигурацию: nano ~/scripts/cooler.sh и там в самом начале меняем значения:

GPIO_N="18" # Set GPIO used to control fan (default 18)
TARGET_TEMP="55" # Set target CPU temperature (default 55)
POLL_INT="15" # Polling time in seconds (default 5)

Итак, прямо сейчас мы наблюдаем (или в ближайшем времени) будем наблюдать стремительное развитие IoT и, самое главное, внедрение на потребительском уровне. Цены падают, количество решений увеличивается, а возможности просто прекрасные.

Сейчас даже в Леруа Мерлен есть стенд "умный дом", где по сказочным ценам продаются какие-то отдельные штуки. В основном всё сводится к управлению привычными приборами непривычным способом:

• чайником через телефон
• дверным замком через телефон
• светом через телефон
• уведомления о протечке/газе на телефон и перекрытие трубы с протечкой (от 19к рублей)

И тому подобное, тысячи их. Разумеется, необходимо поставить отдельное приложение и возможности устройства ограничены теми, что разрешили разработчики приложения.

Но полуавтоматизация — не умный дом. Полностью умным домом пожалуй можно считать сценарий, когда дома автоматически поддерживается климат, поливаются растения, кормятся звери, включается/выключается свет. Всё это должно делаться совершенно само, без участия человека или же с минимальным. То, что есть сейчас, предусматривает его активное вмешательство и чаще всего — через телефон как пульт. Когда-нибудь это превратится в полную автоматизацию и сейчас технологии это вполне позволяют. Должно это выглядеть примерно так:

Возвращаясь к нашей теме — на загнивающем Западе по факту на рынке сейчас три основных системы:

1. Apple HomeKit
2. Google Home
3. Alexa

Фактически это пульты для управления некоторыми видами устройств (лампочки/датчики/выключатели) и некоторая автоматизация. У каждого есть свои недостатки и основной — поддержка только очень ограниченного числа устройств и весьма куцая автоматизация.

Сейчас и в дальнейшем я буду рассказывать только про HomeKit, других управляющих устройств у меня нет.

По замыслу Apple мы покупаем в Apple Store за мильён денег умную розетку, открываем приложение Home, добавляем там аксессуар, сканируя QR-код с упаковки и всё работает. Да, Apple-way, но стоит это очень дорого (мне так кажется):

Я могу уже сам сделать любое из таких устройств, оно будет не столь красиво конечно, но более функционально и дешевле, навскидку: розетка ~600 руб, ~датчик 300, лампу не могу,  но за 5500 могу 3-5 метров цветной RGBW светодиодной ленты в алюминиевом корпусе с рассеивателем. К примеру, вот датчик температуры и влажности, который ничем не отличается от магазинных за 3-4 тыс. рублей, но мне обошёлся примерно в 350 руб и еще есть возможность его существенно расширить, прицепив управление освещением, датчик движения и ещё что-нибудь (3-4 устройства легко).

Как работают эти устройства? Например, пресловутая умная розетка за 7108 рублей втыкается в глупую розетку и после почти мгновенной загрузки заявляет о себе (либо Bluetooth либо Wi-Fi, конкретно эта модель хз). iOS устройство видит её и позволяет управлять (вкл/выкл), получать состояние и энергопотребление.

Помимо Wi-Fi и Bluetooth устройства могут быть подключены и другими способами, например существуют беспроводные протоколы ZigBee, Z-Wave и т.п. Так как у айфонов такой экзотики нет, для подключения всяких там умных лампочек используются хабы. Хаб соединяется с конечными устройствами по своему (часто закрытому) протоколу и по Wi-Fi/Bluetooth с iOS. Для пользователя в приложении Home в итоге все выглядит хорошо — добавляешь хаб, а через него уже все экзотические устройства.

Разумеется, каждый производитель хочет продать свой хаб:

Наша цель — иметь один хаб для всего зоопарка и это уже вполне реализуемо.

Итак, предустановленное приложение Home (уже много лет на всех айфонах, эта ненужная удаляемая желтая иконочка с домиком) позволяет добавить несколько домов, в каждом из них несколько комнат (списком, без схемы) и разместить в них устройства.

Кроме того, есть автоматизация, но она плохая. К примеру, можно сделать так, чтобы на закате зажигался свет, а на восходе гас, но нельзя сделать так, чтоб он зажигался за 3 минуты до и за 17 после, отчего-то Apple сделала эти интервалы лишь по 15 минут. Присутствие в доме для сценария "если кто-то дома, сделать то-то" определяется по геопозиции телефона, то есть гуляя во дворе ты фактически дома.

Самая жесть — температурные датчики не являются триггерами событий, например нельзя сделать чтоб при температуре в комнате ниже 19 градусов включался кондиционер. Для этого есть устройство "термостат", но HomeKit-девайсы с таким функционалом стоят весьма и весьма недешево.

Поэтому мы будем делать всё сами и работать оно будет хорошо. Собранный мною по осени термостат прекрасно отработал всю зиму, держал в разное время температуру от 15 до 24 градусов и не допустил ни одного сбоя несмотря на отключения электричества.

Итак, железная часть, — какие устройства используем для начала и примерно сколько оно стоит (с запасом).

Для самого начала достаточно одной малинки или даже ничего из вышеперечисленного, если есть ненужный компьютер с linux/mac os (на windows совсем изврат, правда).

Теперь о программной части. Apple не так давно открыла HAP (HomeKit Accessory Protocol Specification) и софт стал появляться с огромной скоростью. Нас интересует возможность добавлять в приложение Home (желтая иконочка с домиком) неподдерживаемые устройства.

Самое популярное решение сейчас — hap-nodejs и производные. Соответственно нужен сам nodejs (есть для многих платформ и архитектур, даже для Raspberry Pi и даже на свой рутер я умудрялся его поставить) и дальше всё ставится его пакетами через npm.

Человеческий способ использовать монументальный hap-nodejs это Homebridge, там уже всё более-менее понятно и есть огромная масса плагинов, в том числе для вещей, которые не предназначены к интеграции в умный дом. К примеру, можно управлять сигнализацией Starline =)

Но Homebridge лишь "прокидывает" устройства в HomeKit и не даёт возможности создания автоматизаций (за редкими исключениями). Для этого надо что-то посерьезнее, например Node-RED, благо для него недавно был приведён в божий вид плагин (нода) node-red-contrib-homekit-bridged, делающая то же самое что и Homebridge.

Для связи между устройствами самым популярным (и небезопасным =) является протокол mosquitto. Это как мессенджер для различных устройств с удобной и понятной структурой команд, является фактически стандартом в сфере IoT. Сперва демон mosquitto работал у меня на raspberry pi, а потом я перенес его на роутер, всё хорошо, он нересурсоёмкий.

Забавно, что MQTT и Node-RED — детища IBM, давно не слышал об этой конторе.

Весь вышеуказанный софт можно установить на Raspberry Pi и оно будет вполне сносно работать. Сегодня и так много текста, продолжу попозже.

В последнее время часто приходится смотреть всякие вебинары и почему-то их организаторы в основной своей массе запрещают скачивать видео.

Более того, оно проигрывается только с сайта в каком-то кривом плеере, его невозможно перевести на телевизор (airplay/chromecast), да еще и с сайта пропадает через месяц. Встречаются случаи, когда видео недоступно через пару суток после начала просмотра.

В последний раз, когда за бешеные деньги был куплен очередной вебинар в общей сложности на 10 часов, мне это надоело и я своими кривыми ручонками всё-таки выкачал видео для дальнейшего вдумчивого просмотра.

В статье вырезаны все приватные данные и само видео я тоже распространять не стану, потому что всё-таки это ценный труд людей. Таким способом нельзя скачать видео, доступа к которому нет, этот метод лишь для скачивания имеющегося и оплаченного контента.

Итак, запустив режим разработчика в браузере мы видим, что плеер по очереди играет видео из плейлиста, при этом каждое видео размером ровно в 10 секунд.

Собственно это HLS:

HLS (HTTP Live Streaming) — коммуникационный протокол для потоковой передачи медиа на основе HTTP, разработанный компанией Apple как часть программного обеспечения QuickTime, Safari, OS X и iOS. В основе работы лежит принцип разбиения цельного потока на небольшие фрагменты, последовательно скачиваемые по HTTP. Поток непрерывен и теоретически может быть бесконечным. В начале сессии скачивается плей-лист в формате M3U, содержащий метаданные об имеющихся вложенных потоках.

HLS также предоставляет стандартный механизм шифрования с использованием AES и метод безопасной доставки ключей по HTTPS либо через авторизацию на устройстве, либо посредством HTTP cookie. Вместе это даёт возможность создавать простые системы DRM.

Существуют решения для скачивания HLS потока, но ни одно у меня не заработало по причине необходимости авторизации — та самая простая DRM. Поэтому я просто скачал все эти маленьние файлы и склеил в один большой. Так как их сотни, надо было автоматизировать процесс.

Ссылка на видеофайл имеет вид: https://video.icped.ru/proxy/HIDDEN/hls/index00000.ts и по мере проигрывания циферки на конце увеличиваются. Два часа видео соответствуют примерно 700 файлам, для ровного счёта пусть будет тысяча.

Создаём файл для wget со ссылками на наши файлы от 00000 до 01000 (как смог, — простите меня, гуру):

MBP:icped ptath$ touch urls
MBP:icped ptath$ for n in $(seq -w $(%05d) 01000); do echo https://video.icped.ru/proxy/HIDDEN/hls/index0$n.ts >> urls; done

Быстро-быстро смотрим в браузере куки (они устареваею примерно минут за 10 или даже меньше и их приходится подставлять заново).

После этого скармливаем получившегося франкенштейна wget, указав наш список файлов. Всё в одну строчку, тут ключи разнесены по строкам для удобства, User-Agent и прочее взяты из браузера для правдоподобности:

wget --header="Host: video.icped.ru" 
--header="User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36" 
--header="Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8"
--header="Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7"
--header="Cookie: 
    browser_has_html5_support=true;
    browser_has_local_storage_support=true;
    tutorials_popup_was_shown=0;
    login_form_email=HIDDEN;
    symfony=HIDDEN;
    _lk=HIDDEN;
    lang=ru"
--header="Connection: keep-alive"
-i urls -c

Wget начнет неторопливо и последовательно выкачивать все файлы с 00000 по 01000, после того как они закончатся довольно быстро завершится, ругаясь на ошибку 404. Если ошибка 503, то скорее всего слетели/истекли cookies, их надо поправить и запустить загрузку заново. Уже скачанные файлы останутся на месте, ничего не сломается.

Скачанные файлы легко объединить в один через ffmpeg. Создаем текстовый файл со списком скачанных видеофайлов для объединения:

MBP:icped ptath$ for n in $(seq -w $(%05d) 01000); do echo file index0$n.ts >> videolist; done

Объединяем:

MBP:icped ptath$ ffmpeg -f concat -i videolist -c copy fullvideo.ts

Процесс идёт на моём стареньком ноуте со скоростью около 200х, пару часов обрабатываются менее минуты.

Буквально меньше недели назад в Саратов пришел Тинькофф Мобайл (далее — TM) и уже вчера мне привезли пару SIM-карт.

Начнем с хорошего. Положительные моменты заключаются в высоком качестве сервиса, скорости и удобстве. Карту привезли домой в красивой коробочке, еще до подключения бесплатно выбрал красивый номер, операторы в чате быстро помогли настроить iMessage, рассказали об условиях и ограничениях.

В приложении сразу всё ясно и понятно, там минуты, там СМС, там гигабайты, а вон там роуминг. В любом роуминге все приложения тинькова бесплатно, это просто отлично когда стоишь на ресепшене отеля с картой и жестами объясняешь какому-нибудь пакистанцу что сейчас на карту денег скину и надо её еще раз прокатить. Или когда карта дает отказ и банк тебе начинает звонить/писать в роуминге по 350 рублей/минута.

Национального роуминга нет, а по закону его не будет у всех операторов с лета 2019 года. Еще осенью большая тройка привела к этому основные свои тарифы.

Любое (до 15 штук) количество сим-карт будет видно в приложении банка и приложении ТМ, каждой можно управлять, удобно. Никаких платных гудков, свистков, баннеров на сайтах и прочего платного контента, которым так любят промышлять Мегафон, Билайн и МТС — это самый основной и главный плюс; подобного развода в принципе нет, ни копейки более тарифа не списывается (якобы, но примеров обратного не нашёл). Киллер фича — виртуальный номер (100 руб/мес), с которого можно звонить и писать СМС, подключается, заменяется и отключается за секунду в приложении.

Я хотел сперва попробовать ТМ в бою и лишь потом переводить туда с Мегафона свои номера, многим из которых за 10 лет. Почему Мегафон раздражает — отдельная история, как-нибудь попозже.

TM использует сети Tele2 и в целом по Саратову оно работает. Но были места (подвалы, ТРЦ и прочие) где TM тупо терял сеть и для меня это совершенно неприемлемо. Покрытие и мощность сигнала в ареале моего обитания проигрывает Мегафону, при том что к скорости Интернета и связи вопросов в принципе нет никаких. Временами на LTE от Tinkoff Mobile появлялся пинг в 200-300, но в основном держался меньше сотни.

Использовать TM в существующем виде я не могу. С этими грустными мыслями решил посчитать еще и экономическую сторону вопроса.

Опыт показывает, что мне нужно примерно 400-600 минут и 10-20 гигабайт в месяц на телефоне. В ТМ это будет стоить 259 рублей за минуты и 399 рублей за интернет, итого почти 660 рублей. При этом 15 гб трафика обойдется дешевле в 2 (два раза) — 199 рублей. Ну я не маркетолог, значит кому-то так надо.

Можно взять меньше траффика, заменив пакетом на музыку (включая iTunes и Яндекс.Музыка — 59 руб.), соцсети и мессенджеры, но статистика телефона говорит что меня больше всего уходит на Safari, iCloud, Telegram и VPN (ну и на музыку конечно), которых нет ни в одном из пакетов.

Есть минусы и по звонкам — пакет минут будет тратиться на всё, кроме звонков на телефоны абонентов TM. Таких пока очень мало, а на Мегафоне у меня минимум треть минут бесплатны именно по причине разговоров внутри сети.

Детям вполне хватает 100-200 минут и те же 20 гигабайт, что в TM обойдется почти в 500 рублей.

Актуальные тарифы на Мегафоне (корпоративный безлимит с поездками по РФ) для меня сейчас выглядят так:

Мой тариф на 1000 минут и 20 гигабайт, без какого-либо роуминга по России обойдется в 515 рублей, детские — в 315 рублей.

Возможно, что поигравшись с пакетами на TM можно получить и более дешевую связь, но пока в Саратове её качество совершенно неприемлемо. Для путешествий симки оставим, зарубежный роуминг на треть выгоднее предложений Мегафона.

Сегодня я расскажу вам о HomeKit устройствах для нищебродов. HomeKit это старая, но не особо распространенная концепция умного дома от Apple. Выглядит оно отлично, стандартное начиная с iOS 10 приложение,  позволяющее управлять всеми лампочками, чайниками и прочим.

Однако не особо распространен Apple Home именно из-за цен на устройства, например лампочка стоит от 3000₽, розетка — 6000₽, термостат — 12000₽ и так далее.

Энтузиасты давно придумали и внедрили homebridge — "поддержка HomeKit для нетерпеливых", сервер на nodejs, крутящийся в локальной сети и позволяющий добавлять в умный дом устройства, которые не поддерживаются официально. Минусы у этого решения есть — необходимость постоянно держать в сети запущенный сервер (для этого рационально использовать raspberry pi, моя уже в пути) и все равно нужен хаб для управления извне локальной сети — Apple TV 4, HomePod или воткнутый в розетку iPad.

Однако прогресс не стоит на месте и существуют решения для некоторых устройств, не требующие ни того, ни другого.

Взять к примеру газовый котёл для отопления дома. Обычный котел имеет регулировку температуры, но это температура носителя — воды. И котлу глубоко параллельно, что в доме температура приближается к 30 градусам цельсия — он будет жечь газ и греть воду в трубах до 40 градусов минимум (зависит от модели котла). У меня Electrolux Basic 24:

У него масса настроек, он знает день недели и время, может резулировать температуру (носителя) в зависимости от этого. Умеет работать с датчиком (проводной, от 7000 рублей, под заказ), но через жопу — он ставится на улице и смотрит погоду, потом в зависимости от погодной зоны регулирует нагрев. Это мало коррелирует с температурой в доме и поэтому есть возможность подключить комнатный термостат.

Этот прибор смотрит на температуру в доме и в зависимости от нее включает или выключает горелку — намного более рационально чем смотреть погоду. Но они тоже небюджетные и либо тупые проводные (от 4000 рублей), либо проприетарные и стоят около 9000.

Прямо сейчас я расскажу как сделал из говна и палок подручных средств и с интеграцией в HomeKit, фактически это термостат для любого современного газового котла с полной поддержкой HomeKit за менее чем 1000 рублей.

Берем у разорившихся майнеров обычную релюшку Sonoff, мне в Саратове такая обошлась в 500 рублей (в Китае от 290):

По задумке производителя это устройство получает 220в и по команде пользователя, получаемой через Wi-Fi и проприетарное приложение, передает их дальше, выдерживает 10А. Железка качественная и реально держит большие токи.

Просим друга с прямыми руками припаять (1 пиво или бесплатно) гребенку (20 рублей) на пять дырочек на плате (тут уже с проводами, сорри):

Немаловажный момент — пока друг с прямыми руками рядом, нам надо чтоб реле работало как простой контактор, по команде замыкающий цепь (aka "сухие контакты"). Для этого надо перепилить (с двух сторон, это уточнение написано кровью) одну из силовых дорожек, а потом тестером проверить результат.

Покупаем USB-UART штуковину (190 рублей в столице Поволжья, 30 в Китае) и подключаем, поменяв местами RX и TX при выключенном питании 220В, это очеь важно =). К сожаленью картинок не сохранилось, но тут поможет вот это: распиновка Sonoff basic.

Чтобы эта штука работала под Mac, нужны драйвера, которые лежат здесь. Проверяем что устройство видно (второе в списке), вытыкаем его из USB порта:

MBP:RavenCore ptath$ ls -lah /dev/cu.*
crw-rw-rw-  1 root  wheel   21,   1  7 дек 01:52 /dev/cu.Bluetooth-Incoming-Port
crw-rw-rw-  1 root  wheel   21,  13 16 дек 23:00 /dev/cu.SLAB_USBtoUART

Идём на Github и внимательно читаем про RavenCore, весьма технологичную прошивку, которая в дальнейшем будет сама себя обновлять без необходимости подключения проводов. Скачиваем бинарники.

Убеждаемся что не воткнули в розетку Sonoff, иначе все взорвется. Подключаем припаянные контакты к переходнику, зажимаем на Sonoff единственную кнопку и только тогда втыкаем в USB компьютера (режим прошивки). После этого кнопку можно отпустить.

Нам нужен python3 и esptool, все ставится через brew или ручками.

MBP:RavenCore ptath$ esptool.py -p /dev/cu.SLAB_USBtoUART --baud 115200 write_flash -fs 1MB -fm dout -ff 40m \ 0x0 rboot.bin 0x1000 blank_config.bin 0x2000 otaboot.bin

Прошивка занимает пару минут, после этого подключаемся к Wi-Fi сети OTA-чтототам и она сразу откроет браузер, в котором надо указать имя и пароль домашней, постоянной сети и ссылки на бинарники прошивки в интернете (не обязательно, но иначе придется каждый раз разбирать и прошивать руками как сейчас):

RavenSystem/ravencore
main.bin

После этого жмякаем зеленую кнопку Join и ждем около минуты пока железка перезагрузится и подключится к домашней сети. В приложении Home добавляем новый аксессуар, выбираем "Нет кода или не можете сканировать" и пишем пин 02182017. У меня ожидание заняло почти две минуты, стоит набраться терпения.

Для того чтобы оно работало как термостат, надо подключить датчик температуры. Прошивка поддерживает стандартные DHT-11 (150 рублей в Саратове) и DHT-22 (300 рублей), а также более современные и дорогие, которые я просто не нашёл в наличии. На припаянные ранее пины подключаем датчик — питание, земля и дата, один свободный. У меня от датчика до Sonoff 10 (десять) метров обычного телефонного провода:

Проверяем работу в Apple Home и лезем в сам котёл (отключив его от 220 конечно). В инструкции к котлу находим пины, отвечающие за комнатный термостат, — на них должна быть перемычка или длинные провода.

Пины термостата на котле с завода нормально замкнуты, то есть наша железка для нагрева тоже должна их замыкать, а для остановки — размыкать. Перепаянный Sonoff нормально разомкнут и только по сигналу с датчика о целевой температуре (её понижении до порога) замыкает контакты.

Питание Sonoff можно завести с самого котла чтобы не висели сопли. У меня в итоге из котла просто выходит 10 метров провода с датчиком, потом повешу где-то на стене на уровне пояса.

Ну вот как пользоваться продуктами корпорации добра? Постоянно происходит следующее — пробуешь, входишь во вкус и они это выключают.

Сегодня очередь Fusion Tables, через год оно погибнет безвозвратно.

Google Fusion Tables was launched almost nine years ago as a research project in Google Labs, later evolving into an experimental product. For a long time, it was one of the few free tools for easily visualizing large datasets, especially on a map. Since then, Google has developed several alternatives, providing deeper experiences in more specialized domains.

In order to continue focusing our efforts in these areas, we will be retiring Fusion Tables. We plan to turn down Fusion Tables and the Fusion Tables API on December 3, 2019. Embedded Fusion Tables visualizations — maps, charts, tables and cards — will also stop working that day. Maps using the Fusion Tables Layer in the Maps JavaScript API v3.37 will start to see errors in August 2019.

С другой стороны, у меня до сих пор есть бесплатный домен (ныне Gsuit, от $5 в месяц за человека) в Google Apps. Он был заведен тогда, когда у гугля не было нормальных юристов — его не могут удалить, но и любой мой чих там приведет к переводу на платный тариф =)

Д. Глуховский (тот, что "Метро 203х" написал^[1]) дал интервью на немецком, перевод есть тут. Писатель, высокий слог, слова с большой буквы и всё такое.

Товарищ капитан сделал очередное изложение на тему о скифах и азиатах, это похоже на модный тренд сейчас. За сутки более 700 комментариев (на немецком) и ими можно зачитаться. Не знаю у нас новостного ресурса, где была бы столь вежливая и аргументировання полемика.

Избранные моменты самой статьи:

Мы хотели быть вами, и наконец нам это позволили. Жители городов, опьяненные потребительской вседозволенностью, преклонили колена перед западным Золотым тельцом. Мы обращались в вашу веру, просто потребляя ваше, выучивая названия ваших брендов, дорываясь до ваших писателей, поглощая ваши телесериалы.

Признаются ли в этом те, кому за 40-50? Поймут ли это родившиеся в России? Лично я прекрасно помню эту одержимость окружить себя вещами, сделанными не на территории СССР: техникой, одеждой, мебелью — всем чем угодно; при этом качество иногда было вполне сопоставимо с отечественными аналогами, про цену и не говорю.

Россия — страна догоняющего развития, и почти все ее модернизационные скачки были связаны именно с новыми волнами заимствований на Западе. Хочешь ускоряться — сначала признай себя отсталым. Отказывайся от своих ценностей, признавай их архаичными, неуклюжими, бессмысленными. Хочешь быть европейцем — признайся себе в том, что ты — человек второго сорта, который мечтает стать человеком сорта первого.

Строго говоря Россия это весьма молодое государство и за эти три десятка лет нет ни одного модернизационного скачка. В позднем СССР срезали по микронам слои с процессоров, фоткали и печатали по ним свои — но это был секрет и никто не признавался. Российская Империя, да и Русское Царство были вполне себе современными государствами.

И наша имперская ностальгия — нормальная человеческая ностальгия по утраченному мировому величию, от которой мучаются до сих пор Великобритания, Франция и даже Венгрия, — наложилась на извечный наш комплекс неполноценности, на ощущение себя людьми второго сорта перед европейцами, комплекс, от которого только имперская гордость нас и излечивала. Да, мы жили в говне, но наши танки стояли от Владивостока до Дрездена, Варшавы и Праги: мы были величайшей (если судить по территории) из сохранившихся империй.

Непохоже что вышеуказанные страны мучаются, выглядит как будто они этим наслаждаются. Все они до сих пор сохранили своё влияние в бывших протекторатах, а Королеву так вообще на половине шарика вспоминают на официальных мероприятиях.

Век империй закончился, как только кончилась свободная (т.е. с населением, чьи технологии не позволяли производить огнестрельное оружие) территория на планете. Несправедливо говорить что наши танки стояли так широко, силы союзников в то время занимали не меньшую территорию. Так же маловероятно, что кто-то в 1945 и позднее испытывал имперскую гордость — десятки миллионов погибших, населенные пункты без мужчин, калеки, разрушенные города, а позже ещё и разбор полётов среди выживших. Если бы кто-то тогда увидел популярное нынче "можем повторить", то вряд ли согласился бы с этим.

В открытом мире, где у граждан есть возможность сравнивать все со всем, где им всегда приходится спрашивать себя, почему они живут хуже соседа, власти приходится изыскивать этому свои объяснения и свои оправдания. Мы хуже живем, зато у нас свой особый путь, говорит нам телевизор. Мы беднее, зато мы гордые. Это буржуи нас наказывают за то, что мы Крым взяли. Это они нам с колен подняться не дают. Да, мы в говне по пояс, зато вон какие танки по Красной площади ездят.

Это конец мысли автора, тут никаких выводов. Красотища.

В стародание времена nic.ru был единственным реальным способом зарегистрировать домен. Поэтому многие люди за 30 40 45 продолжают автоматически продолжать пользоваться этим сервисом и даже заводят отдельных аккаунты для своих юрлиц. Страшная ошибка =)

При этом его передача и прочие операции требовали личного присутствия в офисе в DC и я даже разок был там с этой целью. Сейчас всё проще, регистраторов как грязи, домены в зоне .ru люди регистрировали тысячами и сейчас вроде уже даже свободных четырехсимвольных нет.

Однако мне совершенно непонятно отчего nic.ru сейчас хочет за продление обычнейшего домена в зоне .ru (или .рф) целых 890 рублей. Первоначально их регистрировали по 199 рублей

И ничего не сделать, приходится платить — лишь по истечении месячного периода paid-till можно его зерегистрировать на другое лицо. Передача в управление партнеру с нормальными ценами тоже занимает время, а домен-то разделегировался уже и нужен прям щас, почта стоит, сайт лежит.

Один домен конечно копейки, но когда их 20-150 и все кончаются в один день?

Родил альфа-версию бота для Telegram, который показыает информацию о майнерах на HiveOS. Удивительно, но Python тут не при чем, всё отлично крутится на бесплатных сервисах Корпорации Добра (Google Script, Firebase).

HiveOS делал однозначно параноик. Публичного API как такового нет, любой запрос должен быть подписан приватным ключом. При этом через API в принципе ничего кроме статистики получить невозможно, ну если только поменять кошельки на другие, уже имеющиеся у пользователя.

Every API call has a SHA-256 HMAC signature generated with your secret key. Our server generates it's own HMAC signature and compares it with the API caller's. If they don't match the API call is discarded.

Нужны тестеры, чтобы получить нормальные ответы API от асиков и прочих ненормальных майнеров. Созданная на родном форуме тема ажиотажа не вызвала =) Зарегистрировалось и активно используют сервис всего ~30 человек.

P.S. Javascript это жесть. Моё поколение, взрощенное на Basic, Pascal и прочем говне в шоке от такой роскоши.