Руслан Гроховецкий "Как Python стал делать погоду в Яндексе"
3 likes•1,869 views
Документ освещает использование языка Python в разработке погодного сервиса Яндекса. Обсуждаются преимущества Python и фреймворка Django, включая их продуктивность и читаемость кода, а также внедрение различных библиотек для повышения эффективности разработки. Кроме того, подчеркивается масштабируемость и отказоустойчивость архитектуры сервиса, а также значительное увеличение числа поддерживаемых городов и сокращение времени доставки данных.
![Генераторы
def parse_point(tree):
for found in tree.xpath('//gml:featureMember'):
try:
name = found.xpath('.//addr:LocalityName')[0].text
except IndexError:
continue # нашли не город
country = found.xpath('.//addr:CountryName')[0].text
pos = found.xpath('.//gml:pos')[0].text
lon, lat = tuple(map(Decimal, pos.split()))
yield dict(country=country, name=name, lon=lon, lat=lat)
for city in parse_point(xml_tree):
do_something(city[‘name’], city[‘country’])
do_something_else(city[‘lon’], city[‘lat’])
18](https://image.slidesharecdn.com/grokhovetskyekb-120731045224-phpapp01/85/Python-18-320.jpg)
![@декораторы
@responding_JSONP
@accepts_query
@cached_query
@fixing_wrong_query_layout
def suggest_cities(query, inverted_query, lang='ru'):
'''Саджест. Ищет по названию города
Возвращает JSONP с массивом найденных городов.'''
return [{'geoid': location.slug,
'city': location.name
} for location in search_locations_for_suggest(
query, inverted_query, lang)]
19](https://image.slidesharecdn.com/grokhovetskyekb-120731045224-phpapp01/85/Python-19-320.jpg)
![List comprehensions
@responding_JSONP
@accepts_query
@cached_query
@fixing_wrong_query_layout
def suggest_cities(query, inverted_query, lang='ru'):
'''Саджест. Ищет по названию города
Возвращает JSONP с массивом найденных городов.'''
return [{'geoid': location.slug,
'city': location.name
} for location in search_locations_for_suggest(
query, inverted_query, lang)]
20](https://image.slidesharecdn.com/grokhovetskyekb-120731045224-phpapp01/85/Python-20-320.jpg)
![ORM
Location.objects.filter(climate__isnull=False,
factual__temperature__range=[30, 35],
factual__water_temperature__gte=25)
.exclude(country__in=[u'Египет', u'Турция'])
.order_by('-weight')
27](https://image.slidesharecdn.com/grokhovetskyekb-120731045224-phpapp01/85/Python-27-320.jpg)
Руслан Гроховецкий "Как Python стал делать погоду в Яндексе"
- 1. Как Python стал делать погоду в Яндексе Руслан Гроховецкий Разработчик справочных сервисов Я.Субботник, Екатеринбург, 2 июля 2011 года
- 2. Как было • XScript • CORBA • C++ • Perl • Java • — Ручку старого серванта не дёргать! 2
- 3. Всё хорошо, но... 3
- 5. Дедлайны — поджимают — А-а-а-а-а-а! 5
- 6. — Концепция поменялась! Нужно быстро переделать 6
- 7. Растёт и ширится инфраструктура Нет отдельных частей, всё друг с другом связано 7
- 8. В итоге Разработчики не всегда успевали реализовывать все клевые штуки, которые придумывались. 8
- 9. Потому что Делать и переделывать сервисы на «обычных» языках и технологиях долго и накладно. 9
- 10. Что нужно было сделать Повысить производительность и гибкость разработки 10
- 11. Питон? Дзен: язык специально спроектирован именно для продуктивности разработки и читаемости кода Джанго: веб-фрейморк для перфекционистов с дедлайнами Батарейки: много хороших библиотек Мотивация: разработчики любят Питон Перспективы: у Питона хорошие, растущее сообщество 11
- 12. — А давайте на Django будем быстрые прототипы делать? 12
- 13. — Смотрите, оно держит нагрузки! 13
- 14. Яндекс.Питон Тесты Погода Афиша OpenId Расписания API Я.ру ЕГЭ Интранет Спецпроекты событий Куча утилит Яндекс.Интернет + еще сервисы в разработке, следите за новостями 14
- 15. import this #The Zen of Python • Beautiful is better than ugly. • Explicit is better than implicit. • Simple is better than complex. • … • Readability counts. • … 15
- 16. DRY-принцип Do not Repeat Yourself Выносите отдельно всё что можно, если это упрощает код – генераторы – контекстные менеджеры – декораторы Главное — сухо! 16
- 17. Утиная типизация (duck typing) Если она выглядит как утка, и крякает как утка — значит это утка. 17
- 18. Генераторы def parse_point(tree): for found in tree.xpath('//gml:featureMember'): try: name = found.xpath('.//addr:LocalityName')[0].text except IndexError: continue # нашли не город country = found.xpath('.//addr:CountryName')[0].text pos = found.xpath('.//gml:pos')[0].text lon, lat = tuple(map(Decimal, pos.split())) yield dict(country=country, name=name, lon=lon, lat=lat) for city in parse_point(xml_tree): do_something(city[‘name’], city[‘country’]) do_something_else(city[‘lon’], city[‘lat’]) 18
- 19. @декораторы @responding_JSONP @accepts_query @cached_query @fixing_wrong_query_layout def suggest_cities(query, inverted_query, lang='ru'): '''Саджест. Ищет по названию города Возвращает JSONP с массивом найденных городов.''' return [{'geoid': location.slug, 'city': location.name } for location in search_locations_for_suggest( query, inverted_query, lang)] 19
- 20. List comprehensions @responding_JSONP @accepts_query @cached_query @fixing_wrong_query_layout def suggest_cities(query, inverted_query, lang='ru'): '''Саджест. Ищет по названию города Возвращает JSONP с массивом найденных городов.''' return [{'geoid': location.slug, 'city': location.name } for location in search_locations_for_suggest( query, inverted_query, lang)] 20
- 21. @декораторы def responding_JSONP(view): @wraps(view) def wrapper(request, *args, **kwargs): result = view(request, *args, **kwargs) if isinstance(result, HttpResponse): return result json_callback = request.GET.get('jsonp', 'jsonp') data = json.dumps(result) return HttpResponse( "%s(%s);" % (json_callback, data), mimetype='application/json; charset=utf-8', ) return wrapper 21
- 22. Контекстные менеджеры with DistributedLock('my_lock') as lock: if lock: # если лок взялся do_something() # выполнится только на одной машине # после выхода из блока with лок сам снялся # или лок на целую функцию, с помощью декоратора @distributed_locked('my_lock') def my_routine(): do_something() do_something_else() 22
- 23. Питон для шелл-скриптинга for directory in os.listdir(workdir): xml_name = os.path.join(workdir, directory, 'climate.xml') with elementflow.xml(open(xml_name, 'w'), 'climate') as xml: with xml.container('charts'): subpath = os.path.join(workdir, directory) for filename in sorted(os.listdir(subpath)): if filename.endswith('.png'): crop(os.path.join(workdir, directory, filename)) xml.element('chart', text=filename) 23
- 24. Генерация XML на лету for directory in os.listdir(workdir): xml_name = os.path.join(workdir, directory, 'climate.xml') with elementflow.xml(open(xml_name, 'w'), 'climate') as xml: with xml.container('charts'): subpath = os.path.join(workdir, directory) for filename in sorted(os.listdir(subpath)): if filename.endswith('.png'): crop(os.path.join(workdir, directory, filename)) xml.element('chart', text=filename) 24
- 25. Интернационализация locale/LC_MESSAGES/be/django.po # ru: "полупрозрачная облачность" #: common/weather/__init__.py:147 msgid "thin high clouds" msgstr "напаўпразрыстая воблачнасць" # ru: "туман" #: common/weather/__init__.py:148 msgid "fog" msgstr "туман" 25
- 26. Интернационализация common/weather/conditions.py from django.utils.translation import ugettext_noop as _ _('thin high clouds') _('fog') _('chance of show') _('chance of hail') #... somewhere/generate.py from django.utils.translation import ugettext as _ xml.element('weather_type', text=_(weather.condition, lang)) 26
- 27. ORM Location.objects.filter(climate__isnull=False, factual__temperature__range=[30, 35], factual__water_temperature__gte=25) .exclude(country__in=[u'Египет', u'Турция']) .order_by('-weight') 27
- 28. Батарейки 28
- 29. import antigravity 29
- 30. Резко, неожиданно... Повышаем производительность разработки за счет того, что кто- то уже разработал большие части за нас. 30
- 31. Встроенные • ширпотреб: re, difflib, datetime, codecs, itertools, … • веб: urllib2, httplib, cookielib, BaseHTTPServer, … • скриптинговые: os, shutil, argparse, optparse, logging, configparser, … • структуры и алгоритмы: collections, queue, heap, bisect, … • ОС-ные, оболочные: windows, posix, macOS, TK, … • IPC, sockets: subprocess, socket, eventlib, … • протоколы: email, json, mimetools, mailbox, base64, uu, fptlib, poplib, … • звуковые: audioop, wave, chunk, … • локализация, интернационализация: gettext, locale, … • парсерные: code, parser, tokenizer, … • документация, тесты: pydoc, doctest, unittest, … • отладка и профилирование: pdb, ipdb, hotshot, … 31
- 32. Сторонние • БД: mysql, postgressSQL, • XML: ElementTree, beautifulsoup, lxml, elementflow • Фреймворки: django, pyramid, twisted, SQLAlchemy, web.py, WebOb, tornado, jinja2 • Картинки: PIL (Python Imaging Library), ImageMagick, • Мозги: NumPy, SciPy, Python(x, y), PyGSL, OpenOpt, matplotlib, SymPy, NLTK, ... • Тысячи их… 32
- 33. Вставляем батарейки $> easy_install название батарейки 33
- 34. IDE — это важно — Я привык к клёвым штукам моего Эклипса (Зенд Студио) 34
- 35. PyCharm 35
- 36. Питон не тормозит! 36
- 37. — Но ведь Си работает быстрее Вспоминаем, какую проблему в первую очередь решаем? Скорость разработки, а не работы кода. 37
- 39. Нагрузочное тестирование Иллюстрация из презентации Андрея Кузмичева «Танки в Лунапарке» 39
- 40. Библиотеки, написанные на С lxml — скоростной парсинг и генерация XML NumPy — числодробилка, обработка больших N-мерных массивов 40
- 41. Профилирование Найдите 1% кода, который стоит переписать 41
- 42. Кэширование Ваш код на Питоне является частью общей архитектуры, и кеширование — тоже элемент её. from django.views.decorators.cache import cache_page @cache_page(60 * 15) def my_view(request): ... 42
- 43. Совсем критическую часть кода можно переписать на C/С++ Это требуется очень редко Cython Boost.Python 43
- 45. Большая погода снаружи 3 млн посетителей в день 7,5 млн хитов в день 7538 городов в 226 странах ≈40 тыс. уникальных страниц 45
- 46. И это тоже все погода • Мини-погода • Бары • Виджеты • Информеры • Карты • Телевизоры • Мобильные сайты и приложения • Тема для Я.Почты 46
- 47. Поставщики «Метеоновости» → “Foreca” → ? 47
- 48. Логика на стороне Яндекса • Предупреждения • Сборка факта • Ночь после дня 48
- 49. Требования • Масштабируемость • Отказоустойчивость • Работа в нашей кластерной инфраструктуре 49
- 50. Решение Xscript динамический фронт-энд с кешированием Python + Django Бек-энд, генерирует статичные XML с погодой Несколько динамических http-ручек и информеры 50
- 51. Поставщик Общая архитектура cron P) T HT L( XScript Django XM запрос Импорт прогнозов frontend (раз в час) (кластер) backend Импорт наблюдений (кластер) (раз в 10 минут) DB HTML XML master с Генерация погодой погодных XML (раз в 10 минут) slave Генерация 1 списков городов запрос (раз в сутки) slave Django Импорт городов 2 геобаза (метаданные) … frontend (раз в сутки) (кластер) PNG, JSON slave N 51
- 52. PIL для генерации информеров 52
- 54. Увеличили … число городов в три раза, с 2500 до 7538 54
- 55. Ускорили Одновременно с этим ускорили доставку погоды от поставщика до экрана с 30 до 5 минут* * для городов, которые интересуют 98% посетителей 55
- 56. Перевели Украинский Беларусский Казахский Татарский ... 56
- 57. У Питона есть будущее 57
- 58. Популярность С++ TIOBE Programming Community Index на июнь 2011 58
- 59. Популярность Java TIOBE Programming Community Index на июнь 2011 59
- 60. Популярность Perl TIOBE Programming Community Index на июнь 2011 60
- 61. Популярность Питона растёт TIOBE Programming Community Index на июнь 2011 61
- 63. Развитие Джанго 2005 — 0.90 2006 — 0.95 2007 — 0.96 2008 — 1.0 2009 — 1.1 2010 — 1.2 2011 — 1.3 (Сейчас в транке 1.4 pre-alpha) 63
- 64. Python 3 • Кое-что причесали в ситаксисе • print «Hello, world» → print («Hello world») • Кое-что в библиотеках • dict.iterkeys() → dict.keys() • итераторы повсюду • Причесали юникод • str → bytes, unicode → string, • строковые литералы по умолчанию юникодные 64
- 66. Книжки 66
- 67. Найдите 30 минут и пройдите туториал djangoproject.com 67