IOP202 DevCon 2012 Apache Lucene in Windows Azure

Интеграция Apache Lucene
в Windows Azure // DevCon•12

ВАДИМ НОВИЦКИЙ
Вице-президент по разработке в проекте
AtContent.com, IFFace Inc.

@vadinov | ifface.com

AtContent.com
О сервисе

#msdevcon

AtContent - это
Новый
Легальное
подход к Автоматиза Управление копирование
публикации ция контентом проще и
и разделения из одного выгоднее
дистрибуции дохода места нелегального

Платежная Аналитика Оплата
Управление
система и разделением автору
внутри статистика дохода напрямую

Демонстрация решения
Как же все происходит внутри?
Демонстрация

#msdevcon

Apache Lucene
Полнотекстовый поиск в Windows Azure

#msdevcon

Apache Lucene - это
Библиотека для полнотекстового поиска
Высокопроизводительная
Написана на Java
С открытым исходным кодом
Кроссплатформенная
Портирована на многие языки программирования, включая C#

Apache Lucene в AtContent
Индексирование публикаций
Индексирование профилей
пользователей
Поиск по публикациям и профилям
пользователей

Библиотека Lucene.NET for
Azure
Доступна по ссылке:
http://ou.gs/AzureDirectory

#msdevcon

Детали реализации
Хранение индексов
Apache Lucene — файлы
Lucene.NET for Azure — блобы

Структура данных
Элемент индекса — документ
Элемент документа — поле

Добавление в индекс
SearchTicket Ticket = Item.GetSearchTicket();
DeleteDocument(Ticket.Id);
string Language = DefinitionLanguage(Ticket.Language);
Analyzer Analyzer = new SnowballAnalyzer(Language);
var Writer = new IndexWriter(Directory, Analyzer);
AddDocument(Writer, Ticket);
Writer.Optimize();
Writer.Commit();
Writer.Close();

Добавление документа
var Doc = new Document();
Doc.Add(new Field("Id", Id, Field.Store.YES,
Field.Index.NOT_ANALYZED, Field.TermVector.NO));
Doc.Add(new Field("Type", Type, Field.Store.YES,
Field.Index.ANALYZED,
Field.TermVector.WITH_POSITIONS_OFFSETS));
Doc.Add(new Field("IndexField", IndexField,
Field.Store.YES, Field.Index.ANALYZED,
Field.TermVector.WITH_POSITIONS_OFFSETS));
Writer.AddDocument(Doc);

Блокировка поискового индекса
Поисковый индекс
блокируется на время
изменения

Lease Extensions
Используется
расширение для
блобов, блокирующее
запись в блоб

Особенности исключений
Некоторые исключения
вываливаются из
библиотеки наружу

Производительность
Синтетический тест на 1 000 000 записей
Заполнение индекса — около 250 секунд
Поиск частоупотребимого слова — 8-25 мс. (50 потоков,
478 325 совпадений)
Поиск редкоупотребимого слова — ≈0-5 мс. (50 потоков,
283 совпадения)
Конкурентный поиск не увеличивает время обработки запроса

Размер индекса — 20-30% от исходного контента

Сделать свой Яндекс?
Не получится 
Отсутствие поддержки морфологии
Терабайты индексов нужно где-то хранить

Отличия между поисковым движком и поисковой системой

Альтернативы
Bing API
5 000 запросов в сутки бесплатно
Поиск по веб, картинкам, новостям, видео
Не решает проблему поиска внутри сервиса

Sphinx
Потребует дополнительного MySQL-сервера
Более сложная интеграция
НЕ масштабируется

CPlase Engine
Библиотека улучшений для Windows Azure

#msdevcon

Фабрика контекстов
Создание контекстов
для работы с Table
Storage, Blob Storage и
Queue

Фабрика контекстов
Создание контекста для Table Storage
//было
var StorageAccount = RoleEnvironment.IsEmulated ?
CloudStorageAccount.FromConfigurationSetting(
"EmulatedConnectionString") :
CloudStorageAccount.FromConfigurationSetting(
"ConnectionString");
var Context = new TableServiceContext(
StorageAccount.TableEndpoint.ToString(),
StorageAccount.Credentials);
//стало
var Context = CPlase.Azure.GetContext();

Утилиты для Blob
Работа с хранилищем,
чтение папок, удаление
папок, сериализация в
блобы

Утилиты для Blob
Сохранение данных в блоб
//было
try
{
var BlobClient = Azure.GetBlobClient();
var BlobRef = BlobClient.GetBlobReference(BlobUrl);
BlobRef.UploadText(Content);
}
catch { }
//стало
CPlase.BlobUtils.SaveBlob(BlobUrl, Content);

Работа с кешем на экземпляре
Создание кеша,
управление кешем,
синхронизация кеша
между инстанциями

Сохранение на экземляре
//было
var Storage = RoleEnvironment.GetLocalResource(LocalResourceName);
var FinalPath = GetPath(Storage, Path);
try
{
string DirectoryPath = System.IO.Path.GetDirectoryName(FinalPath);
if (!Directory.Exists(DirectoryPath))
Directory.CreateDirectory(DirectoryPath);
File.WriteAllText(FinalPath, Content);
}
catch () {}
//стало
CPlase.InstanceStorage.Save(LocalResourceName, Path, Content);

Утилиты для работы с Queue
Создание очередей,
управление
сообщениями в
очередях

Работа с Queue
Добавление в очередь и вызов обработчика
public static bool AddToQueue<QueueHandlerType>(
CloudQueue Queue, string Task) {
try {
var Message = new CloudQueueMessage(Task);
Queue.AddMessage(Message);
Internal.RoleCommunicatior.
WorkerRoleCommand(typeof(QueueHandlerType));
return true;
}
catch { return false; } }

Расширения для LINQ
Позволяют
осуществлять
операции Or и
Contains для Table
Storage

Утилиты безопасности
Работа с шифрованием
MD5, генерация
последовательностей,
системы счисления

Генерация ключа раздела
Использование утилит безопасности
string MD5Bits = Security.GetHashMD5Binary(
InputString, PartitionBitCount);
string MD5PartitionBits =
Convert.ToString(Convert.ToInt32(MD5Bits, 2), 16);
Entity.PartitionKey = MD5PartitionBits;

Фреймворк для сообщений
Организация обмена
сообщениями между
ролями и
экземплярами

Примеры сообщений
var Command = new CPlase.Internal.Commands.
ClearCacheCommand(RESOURCE_NAME, LocalUrl);
CPlase.Internal.RoleCommunicatior.WebRoleCommand(Command);

CPlase.Internal.RoleCommunicatior.
WorkerRoleEchoCommand(Command);

CPlase.Internal.RoleCommunicatior.
WorkerRoleCommand(typeof(QueueHandlerType));

Полезные материалы
http://ou.gs/AzureDirectory
https://cplaseengine.codeplex.com
http://ou.gs/CPlaseEngineAbout

Связанные сессии
WEB202
ASP.NET for Mobile and Slate Devices
IOP201
Windows Azure and Open Source Solutions
AZR205MN
Запускаем корпоративные сервисы в облака - практика для
разработчика

Пожалуйста
Оцените доклад и мастерство докладчика.
Форма для оценки находится в вашем инфопакете.

© 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.
The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the
part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

IOP202 DevCon 2012 Apache Lucene in Windows Azure

Recommended

More Related Content

What's hot (20)

Similar to IOP202 DevCon 2012 Apache Lucene in Windows Azure (20)

IOP202 DevCon 2012 Apache Lucene in Windows Azure