buy it, use it, break it, fix it.

СССР, 1960-63

2009-08-12T15:14:00.000-07:00

Великолепные фотографии из СССР 60х годов: Marc Riboud — RUSSIA, 1960-63.

Хм

2009-08-05T15:53:00.000-07:00

С удивлением обнаружил, что в Python декоратор нужно обязательно объявлять до его первого использования.

Канатоходец

2009-07-29T23:18:00.000-07:00

Сан-Франциско, среда, вечер. На берегу залива.

Sagrada Família

2009-07-29T01:24:00.000-07:00

Искупительный Собор Святого Семейства. Барселона, Каталония, Испания.

Dear NULL

2009-07-08T14:49:00.000-07:00

Вот такое письмо я получил сегодня утром. Я практически оскорблен.

Гей-парад в Сан-Франциско, 2009

2009-06-29T23:57:00.000-07:00

Выложил фотографии гей-парада, который проходил в минувшее воскресенье в Сан-Франциско. Ниже фликровское слайд-шоу (нужен флеш), а вот прямая ссылка на фотографии.

Там же был махонькая демонстрация пуританских гомофобов против геев, лесбиянок и прочей угрозы национальной безопасности США (я серьезно, на одном плакате так и написано). Прямая ссылка на фотографии, слайдшоу ниже:

Гэвин Ньюсом

2009-06-28T20:35:00.000-07:00

Сегодня, SF Pride '09, мэр Сан-Франциско Гэвин Ньюсом.

Новости нашего городка

2009-06-24T23:13:00.000-07:00

(06-24) 13:20 PDT ЮЖНОЕ САН-ФРАНЦИСКО — Бездомный врезал скейтбоурдом по лицу другого бездомного в результате спора на тему квантовой физики и расщепления атомов. SFGate

Ошибка в несуществующем файле

2009-06-15T17:02:00.000-07:00

Интересное случилось на работе. Началось всё с того, что некоторые тесты при своем падении начали тащить за собой весь фреймворк. Т. е. выполняется тест, в тестируемом файле вылезает какая-нибудь ошибка и, вместо того, чтобы записать её в лог и красиво закончить работу, вся тестинговая подсистема падает с сообщением AttributeError: 'NoneType' object has no attribute 'startswith'. Это проявлялось только у меня на компьютере, поэтому, вооружившись дебаггером, я начал ковырять один такой тест.

Сразу выяснилось, что traceback.extract_tb иногда возвращал None вместо содержимого строки, на котором произошла ошибка. Далее джанга пыталась безуспешно вызвать метод startswith у None в результате чего и падала .

Функция extract_tb возвращает None вместо содержимого строки только тогда, когда исходный текст модуля не доступен. Я начал дебаггить модули traceback и linecache, чтобы понять почему мы не можем прочитать прекрасно читаемый файл и обнаружил чудесное:

(Pdb) tb.tb_frame.f_code
<code object click at 0x10894e8, \
file "/home/anton/disqus/disqus/contrib/selenium.py", line 268>

Дело в том, что у меня ни то, что этого файла, у меня даже /home на компьютере нет (на OS X пользовательские директории находятся в /Users). Т. е. в какой-то момент исключение генерировалось из несуществующего файла (cправедливости ради, стоит отметить, что правильная мысль о причине AttributeError у меня была ещё в самом начале, но я её почему-то отбросил). Увидев это, я понял отчего несуществующие файлы у меня бросаются исключениями. Осталось только провести небольшой эксперимент: найти правильный selenium.py, изменить дату модификации и запустить тест заново.

Всё дело в том, что я какое-то время пользовался этой же инсталляцией с удаленной линукс машины, монтировав директорию через sshfs. Линуксовый питон создавал .pyc файлы а, поскольку файл с того момента не менялся, мой текущий питон файлы не пересобирал и соответственно модуль selenium думал, что он находится по старому адресу и этот адрес отдавал дальше по запросу. Модуль traceback, получив такой адрес, пытался прочитать исходный текст файла, не находил его и возвращал None.

Разные вещи

2009-06-10T23:29:00.000-07:00

Музей компьтерной истории

Скопировал с фотоаппарата и выложил в сеть фотографии, которые я сделал в музее компьютерной истории, что в Маунтин-Вью.

MongoDB

Сегодня был в компании Slide на докладе о MongoDB. MongoDB это высоко-производительная, документо-ориентированная система без формальной схемы базы данных (если я правильно перевел high-performance, document-oriented schema-free database). Половину доклада можно было, в принципе, прочитать у них на сайте, а вот вторая половина — про автоматический шардинг — получилась весьма интересной.

Мы, на работе, тоже используем Монго, но пока только для нескольких небольших проектов. К примеру, все данные для нашего шортера адресов хранятся именно в этой базе данных.

Кстати, интересный факт: поскольку шелл для этой базы данных написан с использованием джаваскрипта, они используют джаваскрипт-интерпретатор. Так вот, раньше они пользовались V8, но недавно переключились на SpiderMonkey. Сегодня я спросил у авторов о причине и оказалось, что V8 очень трудно портировать на 64 битные системы. Вот и весь интересный факт.

Сан-Франциско

В Сан-Франциско холодно и нет солнца и это не смотря на то, что сейчас лето. Последние два-три дня вообще постоянные тучи и туманы.

Google I/O

Нашел себя среди официальных фотографий с Google I/O.

Сергей Брин на Google I/O

2009-05-28T12:30:00.001-07:00

Минут 10 назад, Сергей Брин дает интервью на Google I/O:

Пуританская страна

2009-05-26T10:50:00.000-07:00

Около часа назад, демонстрация возле Верховного Суда Калифорнии.

Суд оставил Prop 8 в силе, тем самым оставив браки между геями вне закона.

UPD: Остальные фотографии.

Битовые поля

2009-05-24T23:40:00.000-07:00

Когда таблица в классической, реляционной базе данных достигает определенного размера процесс какого-либо изменения её структуры становится очень болезненным. Однако, по мере того, как ваша программа развивается и обрастает новым функционалом, добавлять дополнительную информацию просто необходимо.

У нас чаще всего к большим таблицам нужно добавлять поля-флаги: разрешены ли комментарии в треде, подтвердил ли пользователь свой эл. адрес и так далее. К примеру, с тем пор как мы запустили «социальные комментарии» (на русском это название звучит ещё хуже, чем на английском) к нашим источникам добавились ещё два сайта: Reddit и News YC. А это два новых флага в таблице.

Решение этой задачки далеко не ново и было взято моим коллегой Эндрю из Си: чтобы компактно хранить данные булевого типа в одном поле можно использовать битовые поля. С такими полями нет необходимости каждый раз менять структуру таблиц, достаточно лишь закрепить в коде следующий свободный бит за соответствующим флагом.

Ниже я написал небольшой пример, основанный на используемом нами подходе:

from functools import partial

def bitfield_handler(field, bit):
    mask = 2**bit

    def _bit_handler(self, value=None):
        if value is not None:
            oldvalue = (getattr(self, field, 0) or 0)
            if value:
                setattr(self, field, oldvalue | mask)
            else:
                setattr(self, field, oldvalue & (~mask))
        curvalue = (getattr(self, field, 0) or 0)
        return curvalue & mask

    return _bit_handler

properties_handler = partial(bitfield_handler, 'properties')

class User(object):
    def __init__(self):
        self.properties = 0

    IS_VERIFIED = properties_handler(0)
    RECEIVE_NOTIFICATIONS = properties_handler(1)


if __name__ == '__main__':
    user = User()
    user.IS_VERIFIED(True)
    assert(user.IS_VERIFIED())
    assert(not user.RECEIVE_NOTIFICATIONS())

    user.IS_VERIFIED(False)
    user.RECEIVES_NOTIFICATIONS(True)
    assert(not user.IS_VERIFIED())
    assert(user.RECEIVE_NOTIFICATIONS())

В принципе, код вполне себе понятный, но если есть какие-либо вопросы — с радостью отвечу на них в комментариях. Вы можете заметить, что конкретно эту имплементацию можно улучшить: использовать свойства вместо обычных методов, не возвращать ничего при установке бита и т. д. Я с этим согласен, но эта заметка не про конкретную реализацию, а про общий подход.

По теме:

Битовое поле в Википедии

Google I/O 2009

2009-05-24T01:27:00.000-07:00

В среду и четверг я буду на конференции Google I/O. Вроде все доклады, на которые хочу сходить, выбрал и занес себе в календарик. Хотя одна дыра всё таки осталась, но её заполню уже на месте. Очень жду V8: Building a High Performance JavaScript Engine и Even Faster Websites.

Кремниевая Долина

2009-05-19T00:31:00.001-07:00

Создал на фликре коллекцию, куда буду складывать фотографии из Кремниевой Долины. Пока выложил Гуглплекс, Стэнфордский университет и кусочки маленьких американских городков.

Изнутри офисы Гугла мне посмотреть не удалось, потому что я там был проездом, а у них без знакомого сотрудника внутрь не пускают. Как найду кого-нибудь, кто согласится устроить мне тур, так и посмотрю (хотя коллеги по работе говорят, что ничего особенного внутри нет — офисы, как офисы; но всё равно интересно).

Стэнфорд — огромный университет (все красные крыши на фотографиях — здания университета), по территории разбросаны скульптуры Родена, бегают белки и студенты.

Наблюдение

2009-05-14T21:34:00.000-07:00

Допустим, у нас есть модель A1 со связанным полем field1 и вы хотите проверить наличие этого поля в райнтайме. Выполнив hasattr(A1, 'field1') вы также выполните операцию getattr*, что, в свою очередь, вполне возможно приведет к дополнительному (и порой совершенно ненужному) запросу к базе данных.

* — django/db/models/fields/related.py:228

Новости нашего городка

2009-05-12T20:17:00.000-07:00

16:20 PDT РИЧМОНД — Подозреваемый в убийстве 21-летнего мужчины был арестован после того, как он позвонил в службу спасения, повредив колено во время бегства с места преступления. SFGate

Kindle 2

2009-04-13T23:40:00.004-07:00

Только что купил себе Kindle 2, должны на этой неделе доставить. Решающим фактором для меня оказалась книга Адама Смита The Wealth of Nations, которую я купил несколько дней назад. Во-первых, книга толстая — ни в поезде, ни в кровати её толком не почитаешь. Во-вторых, текст напечатан мелким шрифтом на очень сильно переработанной бумаге, что сводит на нет весь комфорт чтения. Ну и цена: 15 долларов за печатное издание против 80 центов за электронную версию (с большим, хорошим шрифтом и на приятном глазу экране).

Видео: A Whirlwind Excursion through Writing a C Extension

2009-04-06T01:05:00.004-07:00

Команда, которая снимала ПайКон в этом году, выложила приличное количество видео-записей по адресу http://pycon.blip.tv. Звук и видео очень даже приличные, я сам планирую посмотреть в ближайшее время те доклады, что пропустил на самой конференции.

И ещё раз хочу посоветовать всем, кто интересуется программированием самого языка, замечательный доклад Нэда Батчелдера A Whirlwind Excursion through Writing a C Extension, который рассказывает о Python-C API. Это именно тот инструментарий, который вы будете использовать если вдруг захотите написать расширение к Питону, какой-нибудь нативный модуль или просто внести свой вклад в развитие языка.

Click To Play

Кино

2009-04-06T00:44:00.004-07:00

За, уже прошедшие, выходные я посмотрел четыре фильма:

Yes Man (2008) — фильм хороший, но не более того.
Im Juli (2000) — это уже второй фильм Фатиха Акина (а всего у него я смотрел целых два фильма), от которого я в полнейшем восторге. Первым был Gegen die Wand (2004).
Monsters vs. Aliens 3D (2009) — я первый раз в своей жизни смотрел кино в 3D очках и могу сказать, что технология классная. А вот мультфильм совершенно не понравился.
The Picture of Dorian Gray (1945) — не смотря на то, что я большой поклонник романа (хотя возможно это было причиной), фильм мне не понравился.

PyCon '09

2009-03-29T08:02:00.007-07:00

Сегодня завершился третий и заключительный день конференции ПайКон '09, которая в этом году проходит в городке Роузмонт, что рядом с Чикаго. За эти дни было сделано немало интересных докладов, два кейноута и большое количество мини-презентации на различные тематики, в большинстве своем, так или иначе относящиеся к Питону.

Лучшим был доклад Нэда Бэтчелдера о том, как программировать расширения к Питону на языке Си. За 45 минут, со скоростью и уверенностью хорошего лектора, Нэд рассказал о том, как написаны модули языка изнутри, показал примеры создания собственных нативных функций и типов данных, а также предупредил о некоторых ловушках, которые могут встретиться по мере написания своего расширения.

И как оказалось, на этом — более низком уровне — нет ничего сложного. Но, несмотря на то, что код хорошо спроектирован и задокументирован, при написании расширения стоит быть внимательным, потому как Си по прежнему Си: нужно следить за утечками памяти, перехватывать неверные данные и инициализировать исключения (исключений в Си нет, поэтому при неверных данных нужно зарегистрировать исключение и вернуть NULL; в любом другом случае NULL возвращать нельзя), и т. д. Таким образом, на этом уровне нам предстоит выполнять все действия, что этажом выше делают за нас, вручную.

Нэд опубликовал свои слайды и описание к ним у себя на сайте: A Whirlwind Excursion through Python C Extensions.

После этого доклада мне снова захотелось поучаствовать в разработке Питона, а потому презентация Брэта Кеннона пришлась как раз кстати. Брэт, один из основных разработчиков языка, рассказал о том, как текущая команда и небольшая армия помощников улучшают Питон и как мы можем вступить в их ряды.

Всё это весьма интересно, но тут есть один нюанс. Я ни разу не натыкался на живой баг в Питоне, а те, что описаны в багтрекере либо относятся к совсем уж редко используемым модулям, либо к каким-нибудь нестандартным архитектурам. По поводу добавления функционала особо светлых идей у меня тоже нет, поэтому в один из перерывов я спросил у Брэта с чего можно начать. Как оказалось, улучшения требуют автоматические тесты и именно это может стать стартовой точкой для тех, кто хочет помочь, но не знает как. Конечно, написание и улучшение тестов не самая интересная задача на свете, но зато в процессе можно более глубоко понять Питон изнутри.

На конференции также было два кейноута: один от автора языка, Гвидо ван Россума, а второй от основателей Реддита. Последний был посвящен переходу от Лиспа к Питону, всяким интересным техническим деталям и шуткам.

Что касается Гвидо, то он говорил на разные темы: про твиттер, пути развития языка, основной команде и, конечно же, программистах. Он посоветовал не сильно беспокоиться по поводу популярности других языков и состояния мировой экономики, потому что “you are too smart to fail”. Относительно самого языка, Великодушный Диктатор призвал перестать подкручивать сам язык и сфокусироваться на проблемах вокруг него.

Кстати, на семинаре посвященном различным имплементациям Питона, я узнал об одном проекте, разрабатываемым инженерами из Гугла. Называется проект Unladen Swallow и цель у них — написать значительно более быструю версию CPython, а после влить изменения в основную ветку. Они также планируют заменить виртуальную машину Питона на JIT построенный на базе LLVM.

Были также доклады не совсем относящиеся к Питону, как например великолепный обзор текущего состояния рынка не-реляционных баз данных. Боб Ипполито рассказал об основных алгоритмах, которые используют у себя такие гиганты интернетов, как Гугл, Амазон, Фейсбук так далее. Разработки у них очень интересные, но в большинстве случаев (Dynamo/Амазон и BigTable/Гугл) проприетарные и их невозможно использовать за пределами компании. Другое дело Фейсбук: их Cassandra это вполне себе открытый проект. У всех этих проектов есть один общий недостаток: они заточены под инфраструктуру компании, в которой разрабатывались. В общем, рынок пока молодой, программы либо заточены под конкретные нужды, либо пока ещё не стабильны.

Это та небольшая часть докладов, о которой у меня сейчас есть время рассказать. ПайКон — отличная конференция, с огромным количеством интересных людей, проектов и тем для обсуждений, которые я не смогу полностью описать. Но все кейноуты, доклады и мини-презентации были записаны на видео и через некоторое время их выложат в сеть. Как только это случится (и мне станет об этом известно), я дам ссылки на видео и, по возможности, сопровожу их кратким описанием.

Flickr album update: Converse / Chuck Taylor

2009-03-15T21:12:00.002-07:00

Modern art

2008-12-20T18:58:00.004-08:00

Imagine that you don't understand modern art. I mean, what if all those abstract pictures and installations are completely meaningless to you. No, honestly, imagine that this circle is just a circle and not the answer to the ultimate question about life, the universe and everything. You see, that is how I feel every time I see a trash can filled with variegated stones. Because, usually, for me it is a can with stones and for everybody else it is a message about humanity. But I was wrong. I mean, a room with sand is still a room with sand. Nothing to do with that, I am not enlightened. I was wrong about modern art in general. I realized that today while visiting San Francisco Museum of Modern Art. There I made a very interesting observation (which most of you may call self-evident). And it goes like this: modern art is not just meaningless installations or weird videos. It is also beautiful and useful things, social analysis and even science. Yes, perhaps your laptop (or bicycle, or even your graduate work) is also a piece of modern art. They have Apple Cube and iPhone in the industrial design section. They have a picture of bacillus in spoiled milk in the microscopes section. And I am not telling you about telescopes section which is totally great. Of course there are still a lot of pretty but useless pictures and installations. Don't get me wrong, you can have it on your wall but you can't ask it to make a sandwich. Also, SFMOMA has a pricey shop on the first floor which reminded me that ordinary things can be beautiful. And even more, ordinary things must be beautiful. That's all. Now, to advertise my own photo album at flickr, I am going to say that there is a set with photographs from the museum and you really should check it out. Okay, done.

Sculptures

2008-12-14T21:02:00.004-08:00

San Francisco has a lot of nice sculptures. Like this one which is located across the street from the Golden Gate University:

And its neighbors (click to enlarge):

iCon

2008-12-12T12:43:00.004-08:00

So I read the iCon by Simon and Young. The book is nice although not terribly interesting and sometimes even boring. But don't take my word for it because I don't really like biographies.

And I also found a great quote there that is still relevant:

“The rewarding things isn't merely to start a company or to take it public. It's like when you're a parent. Although the birth experience is a miracle, what's truly rewarding is living with your child and helping him grow up. The problem with the Internet start-up craze isn't that too many people are starting companies; it's that too many people aren't sticking with it. That's somewhat understandable, because there are many moments filled with despair and agony, when you have to fire people and cancel things and deal with very difficult situations. That's when you find out who you are and what your values are.” —Steve Jobs