Вообще, одна из базовых концепций, заявленных при создании Юникода, это простота. То есть, конечно, базовая спецификация содержит около тысячи страниц, плюс три десятка технических приложений. И это без каталога из сотен тысяч символов со всеми их характеристиками. Но вот сам итоговый текст в юникодовой кодировке, он простой и незамутнённый. Без всяких знаков форматирования, контрольных символов и другого мусора. С ним легко работать и обрабатывать. Ну, если про диакритику не вспоминать. И не задумываться про все возможные реализации UTF. А так всё хорошо.

Потихоньку, Юникод начал продавать душу и простоту ещё давно. То селекторы начертания введут. То региональные индикаторы из которых можно лепить коды стран, типа «RU» и «IT», а айфончик будет их заменять на флаги (как будто миллиона не использованных символов мало было для того, чтобы ввести отдельные флаги).

Но тут подоспели эмоджи. И большинство населения земли стремительно переходит с общения с помощью старых письменностей на общение сугубо с помощью эмоджи. Чтобы не отстать от прогресса, Юникод, так же, становится всё больше не стандартом кодирования различных алфавитов, а стандартом кодирования смайликов и эмоджи. Каким будет светлое будущее, уже сейчас можно представить с помощью черновика стандарта UTS-52.

Все символы-эмоджи в Юникоде описаны по возможности нейтрально. Например, «человек на лыжах». Но при выводе на экран, выводится конкретный лыжник. Обычно, это белый джентльмен с достатком выше среднего. Что не всем, конечно, может нравится. Первой ласточкой стала возможность менять цвет кожи. Можно было сделать из лыжника афро-американца, афро-азиата или афро-африканца, наконец. Хотя зачем в Африке лыжи?

И вот теперь новый прорыв. Предложен механизм с помощью которого можно будет делать вообще-вообще что угодно. Настраивать свои любимые смайлы, как душа просит. Хотя пока ещё не совсем всё что угодно, на данный момент предложены только модификаторы пола, направления и опять-таки цвета (ну и новый вариант флагов до кучи). То есть можно будет сделать из лыжника белую девушку левых взглядов, а потом поменять её на азиата с правым уклоном. Всё это открывает новые горизонты для реализации себя с помощью написания эсэмэсок.

Некоторые эксперты предсказывают появление модификатора «копуляция», которым можно будет соединять различные символы (например, «котик с глазами сердечками» и «латинская буква L»), а также выстраивать с его помощью цепочки.

Узнать, как всё это будет из первых рук можно на официальном сайте. Либо прочитать русский перевод на сайте Юникод Тэйбл.

Юникод Тэйбл — самый лучший Тэйбл об Юникоде в мире!

Нужно знать:

— PHP5 (>5.3 с неймспейсами и всем остальным)
— JavaScript (работать с jQuery и иметь представление о том, как она сама работает)
— MySQL
— HTML и CSS на уровне «внедрить и подправить». Верстать макеты заставлять не будем.
— Unix, хотя бы на уровне пользователя.
— ООП, MVC и т.д. и т.п.

Ключевые слова с которыми придётся столкнуться:

Git, Sphinx, Composer, PSR, phpunit,
jQuery, node.js, ES6, TypeScript, WebPack, Grunt, Gulp

Работа в команде, участие в разработке сайтов.
Примерный уровень сайтов:
unicode-table.com
arendasmeni.ru
hotel-inn.ru
sanitarim.ru

Портфолио

Я забросил последнее время JavaScript, а он тут развивается семимильными шагами. Так что я решил освежить знания и посмотреть на новые веяния. Для начала взялся разобраться с TypeScript (потому что я типизированный задрот и педант), Node.js (потому что куда без него), а заодно подумать над модульной системой для клиента (потому что 21-й век на дворе).

И чтобы всё это объединить, я написал на TypeScript модульную систему, которая эмулирует окружение ноды в браузере (не полностью, конечно, но немного).

Вот — axy.define.

Имеется некая виртуальная файловая система, в которой в виде файлов лежат модули и любые другие данные, с ними можно работать с помощью модуля fs. require() ищет модули внутри этой «ФС». Полный алгоритм ноды: относительные пути, поиск по node_modules + системные каталоги, подстановка расширений, индексные файлы, package.json…

Можно написать аяксовый загрузчик и модули с данными будут прозрачно подсасываться с сервера.

Частично реализованы некоторые элементы окружения, global, process, модули ядра, такие как fs, path.

Пример

Ссылка

Тестовое приложение тупо меняет цвет страницы на серый.

Для сборки проекта есть утилита в виде npm модуля, которая запускается из командной строки с нужными опциями.
Рекурсивно и асинхронно обходит каталог с исходниками, заключает модули во врапперы, записывает всё в итоговый каталог.

В примере тестовый проект собран вместе с node_modules в которой лежит сама утилита сборки.
В браузере же:

1. Из «командной строки» опять запускается сборка проекта уже в виртуальной ФС.
2. Собранный проект запускает отдельную песочницу.
3. В песочнице опять проходит сборка с нуля.
4. Собранный повторно проект уже запускается и меняет цвет страницы.
5. Стандартный поток вывода перенаправлен из консоли в дивы.

Такой вот треш.

axy/fs-paths: пути в ФС

Работа с путями к файлам. Разбор, нормализация, вычисление относительных и всё такое прочее.
Разные типы: Unix, Windows, UNC, даже URL’ы.
Любителям статики — статика, любителям объектов — объекты :)

Допустим, мы спарсили страничку по адресу http://example.com/news/view/?id=10, а в ней ссылки.
Как узнать, куда они ведут?

use axy\fs\paths\Paths;

$base = 'http://example.com/news/view/?id=10';

$links = [
    './../archive/?page=5#10',
    '/profile/',
    'http://site.loc/',
];

$urls = Paths::getAdapter(Paths::TYPE_URL);

foreach ($links as $link) {
    echo $link.' --> '.$urls->resolve($base, $link).PHP_EOL;
}

Результат:

./../archive/?page=5#10 --> http://example.com/news/archive/?page=5#10
/profile/ --> http://example.com/profile/
http://site.loc/ --> http://site.loc/

axy/callbacks: колбэки

В дополнение к стандартному callable связывание аргументов:

$callback = new Callback(['obj', 'sum'], [1, 2]);
$callback(3, 4); // $obj->sum(1, 2, 3, 4);

Или так:

$callback = ['obj', 'sum', [1, 2]];
// ...
Callback::call($callback); // $obj->sum(1, 2);

И связывание контекста заодно:

class MyClass
{
    public function getEventHandler()
    {
        return new Callback([$this, 'onEvent'], ['click'], true);
    }

    private function onEvent($event)
    {
        echo 'Event '.$event.'!';
    }
}

$obj = new MyClass();
$handler = $obj->getEventHandler();

// click
$handler(); // "Event click!". Private method was called

axy/magic: магия

Работа с магическими свойствами: отложенное создание магических свойств, надстройки над массивами, read-only и всё такое прочее.
Всё в виде трейтов, комбинируется, как угодно.

axy/envnorm: нормализация окружения

При запуске приложения, обычно, нужно поколдовать с глобальными настройками и окружением:

— Перехватить все ошибки и предупреждения и выдавать вместо них нормальное исключение.
— Перехватить исключения на верхнем уровне.
— Выводить ошибки при разработке и отключить на продакшене.
— Настроить недонастроенное окружение: правильную кодировку, таймзону путь к сендмайлу и т.п.

Просто пишем нужный конфиг и выполняем вначале:

use axy\envnorm\Normalizer;

$config = [
    'errors' => [
        'exceptionHandler' => 'myExceptionHandler',
    ],
    'datetime' => [
        'timezone' => 'Europe/Moscow',
    ],
];

Normalizer::createInstance($config)->normalize();

Всё в composer’е, на гитхабе и с документацией на подобии инглиша.

Если кто не знает что такое source map

Вот, допустим, у нас есть сайт, а у него много JavaScript-файликов. Ну и при деплое, мы их все, как порядочные люди, сливаем вместе и сжимаем каким-нибудь минификатором. И наши пользователи не грузят теперь себе много мелких файликов со всеми комментариями и отступами, а загружают парочку сжатых.

Единственная проблема, что в сжатом файле теперь у нас какая-то херь, которую совершенно невозможно дебажить. И сообщения об ошибках ведут теперь совершенно непонятно куда.

Однако, все современные минификаторы могут при сжатии ещё создавать файл source map.
В нём хитрым образом закодировано соответствие позиций в сгенерированном файле и в исходных.
В конце сжатого файла можно дописать ссылку на карту:

//# sourceMappingURL=script.min.js.map

И происходит волшебство. Грузится сжатый файл, а в отладчике браузера показываются исходные. Более того, так как в map-файле содержится только соответствие строк и столбцов между файлами, то можно спокойно дебажить TypeScript или какой-нибудь там Coffee прямо в браузере:

Ну, то есть вообще, что угодно:

И, допустим, у нас такой кейс

Например, мы, как те ещё извращенцы пишем на TypeScript и при деплое делаем следующее:

1. Компилируем ts → js
2. Вырезаем лишнюю хрень из js, которую ts-компилятор туда любит пихать.
3. Обёртываем каждый файл в свою обёртку для commonJS
4. Сливаем свои маленькие модули в несколько больших файлов
5. Минимизируем их

И у нас возникает такая эротическая фантазия, чтобы после всего этого ещё и в отладчике у нас бы показывался исходный TS-код.

Минификатор нам конечно map-файл создаст, но он будет указывать на промежуточные файлы с предпоследнего этапа.
Какой-нибудь Google Closure Compiler может быть настолько крутым, что половину наших пунктов за нас сделает и ещё промежуточные map-файлы сможет слить в один.
Но всё равно за всеми нашими фантазиями ему не угнаться, а значит придётся всё делать вручную.

Библиотечка

Взять можно через композер: axy/sourcemap.
Документация тут.

Создание новых карт, загрузка существующих, редактирование, удаление/вставка кусков, поиск по фильтрам и всякая другая чепуха, всё включено.

Сливаем js-файлы, параллельно сливаем их карты:

$map = new SourceMap();

$map->concat('one.js.map', 0); // one.js в начале итогового js-файла
$map->concat('two.js.map', 25); // two.js вставлен с 25-й строки
$map->concat('three.js.map', 100);

Вставляем в начало js-файла пару строк, изменяем его карту:

$map = SourceMap::loadFromFile('out.js.map');
$map->insertBlock(0, 0, 2, 0); // все позиции сдвинутся вниз
$map->save();

Изменяли файлы в несколько этапов и получили несколько последовательных карт. Сливаем их в одну:

$map = SourceMap::loadFromFile('out.js.map');
$map->merge('stage3.js.map');
$map->merge('stage2.js.map');
$map->merge('stage1.js.map');
$map->save();

Всё в доке описано.

Теперь рассмотрим подробнее, что означает этот набор слов.

UTF-16 vs UCS-2

Как, наверняка, знают все здесь присутствующие, строки в компьютерах представляются, как последовательность байтиков. А каким образом эти байтики соответствуют буковкам, это определяет кодировка.

Старые добрые кодировки, вроде Windows-1251 были однобайтными. Одному символу — один байт. Работать с ними было одно удовольствие. Хочешь узнать длину строки (количество символов): это просто количество байт. Нужен 5-й символ: просто нужен пятый байт от начала строки. Единственный минус: в нашем многополярном мире 256 различных символов, это слишком мало. Особенно для китайцев с их тысячами иероглифов.

Поэтому теперь мы все любим Unicode. В юникоде много разных кодировок на все случаи жизни. Вот, например, UTF-8: в нём можно закодировать любой Unicode-символ хитрой переменного размера последовательностью байт. При этом базовая ASCII в нём остаётся такого же вида, как и в старых кодировках. Можно читать английские тексты не думая о кодировках, исходники программ и HTML/XML файлы сохраняют свою структуру, а наиболее популярные символы занимают меньше места, чем всякие иероглифы, что тоже приятно.

Неудобно его только обрабатывать. Чтобы узнать длину строки или найти N-й символ, нужно проходить по всем байтам сначала и производить над каждым разные вычисления. Что напрягает. Поэтому в памяти строки лучше хранить в какой-нибудь кодировке фиксированного размера.

Например, в UTF-32 (или UCS-4, что одно и тоже). Четыре байта на символ. Нужна длина: поделите количество байт на 4. Нужен N-й символ — умножьте на 4. Благодать. Единственный минус, тот же Firefox спокойно выедает гигабайт памяти. А если он ещё строки будет хранить по 4 байта на каждый символ, то вообще п.ц.

Поэтому лучше использовать UTF-16 (или UCS-2, что поначалу было одно и тоже). Те же радости фиксированной ширины и при этом вдвое меньше занятого места. Однако, количество различных символов сокращается до 2^16. Сначала это никого не волновало, ибо, как говорили древние: «64К хватит всем». Но в новых стандартах Unicode начали появляться такие обязательные к использованию символы, как мордочка обезьяны, улыбающийся кот с глазами сердечками и воняющий кусок говна.

Разработчики не устояли и придумали хак для того, чтобы с помощью UTF-16 можно было кодировать хотя бы миллион символов. Суррогатные пары. Есть «High Surrogates» (диапазон кодов D800—DB7F) и есть «Low Surrogates» (DC00—DFFF). Вместе верхний и нижний суррогат составляют суррогатную пару, которая кодирует символ выше базовой плоскости (дальше первых 64K). Итого такой символ занимает 4 байта. Например, вышеприведённый символ дымящегося «чего надо» представляется двумя суррогатами D83D и DCA9, которые путём хитрых манипуляций приводятся к итоговому Unicode-коду 1F4A9.

С одной стороны в UTF-16 мы получили возможность использовать символ говна, с другой мы вернулись к переменной длине символа. И нам опять следует на каждый чих проходить всю строку сначала. В UCS-2 же суррогатные пары никак не обрабатываются и D8:3D:DC:A9 в нём будет просто двумя ничего не значащими символами.

В JavaScript

Стандарт ECMAScript по поводу того, какую кодировку следует использовать, как всегда темнит. В п.2. он заявляет «используйте UCS-2 или UTF-16, как вам нравится, хотя лучше UTF-16», а в 4.3.16 начинает что-то рассказывать про 16-битный integer, завершая своим любимым «стандарт не накладывает ограничений». Как обычно — делайте вы что хотите.

Переходим к делу. Мы захотели раскрутить Юникод на полную катушку и решили использовать символ фекалий в квадратных скобочках в своём нике на форуме:

В HTML это выглядит, например, так:

Автор: 
[💩]

Содержимое тега div#nick в честном UTF-16 будет представлено в виде последовательности байтов 00:5B:D8:3D:DC:A9:00:5D. При разборе этого мы берём первое 16-битное слово: 005B. Это открывающая скобочка, обычный символ. Дальше — D83D, это начало суррогатной пары, дальше должна идти часть из «Low Surrogates» и она там есть: DCA9. Значит склеиваем в один символ, преобразуя в код 1F4A9. Итого у нас строка из трёх символов: 5B 1F4A9 5D.

Если же мы разбираем эти байты с точки зрения UCS-2, то у нас просто набор 2-байтных слов: 005B D83D DCA9 005D.

Попробуем:

var nick = document.getElementById("nick").firstChild.nodeValue,
    len = nick.length,
    i;
console.log("length = " + len);
for (i = 0; i < len; i += 1) {
    console.log(nick.charCodeAt(i).toString(16));
}

Результат:

length = 4
5b
d83d
dca9
5d

То есть из DOM нам пришёл UTF-16, но JS работает с ним, как с UCS-2. Длина строки у нас вместо 3 стала 4, а если мы захотим получить третий символ, то вместо "]" мы получим хз что (DCA9).

Точно также если мы захотим вывести улыбающегося кота, зная его код (1F63B):

var cat = String.fromCharCode(0x1F63B);

document.getElementById("nick").innerHTML = cat;

console.log(cat.charCodeAt(0).toString(16)); // f63b

Хрена с два. fromCharCode() использует только младшие 16 бит.

Попаболь

Поэтому, если у вас есть вероятность попадания в ваши строки дымящихся кусков говна и вы хотите их корректно обрабатывать, то вам придётся самим реализовывать поддержку UTF-16 поверх UCS-2.

Таким, например, макаром

Или таким

На сегодня всё.

1. Пароль на почту — не секьюрно.

Ну, правил на все случаи нет, всегда головой нужно думать. Если важна безопасность, можно и не высылать на почту, можно и вводить мышкой на виртуальной клавиатуре. Плюс https, двухфакторная авторизация, usb-токен и бумажное письмо с паролем почтой России. Хотя последнее я бы не рекомендовал.

У меня таких сайта четыре, где я готов поеб.цо ради безопасности. Ещё есть полтора десятка сайтов, утеря доступа к которым принесла бы мне некий дискомфорт.

И ещё есть сотня разных форумов, рассылок, coub’ов, весёлых картинок, эксклюзивных фоточек котеков и остальной порнографии. Когда у меня сопрут почту, я больше буду волноваться за саму почту, чем за этот трэш.

Когда на подобных сайтах меня заставляют лишний раз думать, я обычно ухожу. Я не люблю думать лишний раз.

Итого: если у вас банк, вы можете требовать от клиентов каких-то действий ради их же безопастности.
А если у вас фоточки котиков и вы хотите удержать случайного посетителя, чтобы он зарегистрировался и написал в камментах «ми-ми-ми», то будьте проще. И в первую очередь подумайте, зачем вам вообще эта регистрация сдалась.

2. «один клик по полю с паролем и lastpass генерит мне уникальный пароль необходимой мне сложности и длины и заполняет оба поля»

Да, не надо забывать и о более прошаренных боярах. Значит просто вкладочка «ввесть пароль самому» и вкладочка «создать пароль и прислать».

Вот, например, форма:

Значительное количество граждан, наконец, поняло, что если есть мыло, то отдельный «логин» в большинстве случаев не требуется. Не все, но значительное количество. Это радует.

Что огорчает:

1. Я должен придумать себе какой-то пароль. Уникальный и сложный. А я не люблю ничего придумывать и мозги напрягать, я лучше уйду с сайта. И потом эти люди удивляются, что половина паролей — «123456».

2. Я должен его куда-то записать. На бумажку или в файлик. Так чтобы всегда его найти. Куда мне его записать? Я опять должен насиловать себе мозг. Ну его в баню.

3. Я должен идти к себе на почту и жать на какую-то ссылку.

Делаем чуть лучше

Просто ввожу своё мыло и мне на него приходит:

«Здравствуйте, Вася! Мы рады приветствовать вас на сайте «Весёлые Шлюшки».
Ваши данные для входа:
e-mail: my@email.loc,
пароль: D32nD38Neu23
Вы всегда можете сменить пароль на свой любимый 123456 в личном кабинете.»

1. Я ничего не придумываю, за меня сами всё придумают. И придумают сложный и уникальный пароль.

2. Он у меня в почте, мне не надо думать где его хранить. Я с любого компа захожу в свой джымаил и нахожу свой пароль.

3. Я его просто запомню в браузере и забуду.

4. Если я авторизовался на сайте по паролю, который мне прислали на почту, то это уже значит, что почта моя. Не нужно никаких ссылок для активации.

Напоминание пароля

Точно также. Не ссылку на ввод нового пароля, который нужно опять запоминать. А «вот ваш новый пароль — F348rNh64, а вот ссылка на его активацию, если это не вы запросили, игнорируйте». Мой новый пароль опять у меня на почте, в любой момент я могу его найти.

Продолжим при следующей встрече.

Наш любимый PHP последнее время развивается семимильными шагами. И, хотя от этого развития по-прежнему веет обычным пыховским распиздяйством, но всё равно, даже снобы питонисты признают, что «оно наконец-то становится похоже на язык».

И фреймворки тоже подтягиваются. Прошло время php-нюков и жумл. Теперь php-человек использующий Symfony ощущает себя не говнокодером, но Программистом. Наконец-то, на php-форумах начали появляться фразочки типа «dependency injection», «service container» и другая чертовщина. Наконец-то, на php начали писать расширяемый, повторно используемый и тестируемый код. Symfony — рулит!

Но, воспаде, господа, это же Java! Это же не PHP ни разу.
Ява, конечно, это прекрасный и достойный образец для подражания. Но может нужно знать меру?

Несомненно, Symfony сейчас, это самое продвинутое, что есть в мире Похапе. Все остальные решения сосут у неё по полной. Но ведь и она сама точно также сосёт у Явы. Потому что, это Ява, написанная на Похапе.

Собственно, к чему это. Вот есть, допустим, человек, которому надоело говнокодить на пыхе. Его тянет к трёхэтажным паттернам. Его манят аннотации и огромные xml-конфиги. Он хочет чтобы логика была размазана ровным слоем по десятку пакетов. Чтобы всё наследовалось и расширялось. Он готов потратить немалое количество своего времени на изучение Symfony и связанной с ней инфраструктуры.

Может ему лучше потратить это время на изучение Java и её инфраструктуры? Мне кажется толку будет больше.

Если вам не понравилось то, как мы перевели название, просто щелкните по нему и введите то, которое, как вам кажется, является правильным:

Понятно, что хотя мы вам, несомненно, доверяем, название не изменится сразу же, а отправится к нам на проверку.

Приходящие к нам исправления, как и обычно, делятся на две группы:

1. Полезные.
2. Херня.

Как вы понимаете, в этой статье мы будем рассматривать вторую группу, как самую интересную.

Большая часть исправлений, как и следовало ожидать, относится к группе «х.й», «п.зда» и «Дж.гурда».
Ну и всё остальное от «fwenqebrwereer» до проявлений совершенной уже клиники.

Но самая интересная и неожиданная следующая группа. Вот примеры:

2464 ⑤: Цифра пять в круге → Цифра шесть в круге
2705 ✅: Жирная незакрашенная отметка галочка → Жирная закрашенная отметка галочка
00B2 ²: Верхний индекс 2 → Нижний индекс 2
00BF ¿: Перевернутый вопросительный знак → Перевернутый восклицательный знак
00B3 ³: Верхний индекс 3 → Верхний индекс 4
02FF ˿: Модификатор буквы нижняя левая стрелка → Модификатор буквы средняя правая стрелка

Кто-то тратит время своей жизни с тем, чтобы не просто написать «хуй», а исправляя пять на шесть и верх на низ.
Причём это совершенно разные люди с различных IP.

Не отстают и англоязычные:

2799 ➙ Heavy rightwards arrow → Heavy leftwards arrow
254C ╌ Box drawings light double dash horizontal → Box drawings light double dash vertical
1E24 Ḥ Latin capital letter h with dot below → Latin capital letter t with dot below

Да что там, англоязычные. Угадайте не пользуясь гуглотранслейтом, что здесь написано:

2086 ₆ 下标六 → 下标五

Хотелось бы узнать у знатоков психологии и психиатрии, что это за тик такой.

Дедушка Фрейд, наверное бы, определил, что пациентов в детстве напугали большим пинусом.

P.S. Не забываем голосовать за нас на «рейтинге рунета».