Rubylight Pattern-Matching Solutions

1
Rubylight programming
contest 1 results
jug@rubylight.com

Входящие сообщения
- What type of iPhone do you have?
- Hi, take a look here:
http://www.youtube.com/watch?
v=RC_6skf1-t
- Salut est-ce que tu peux aimer ma photo
de profil?
- Привет! У нас сегодня акция. Заходи,
сюда узнаешь больше!

Шаблоны (patterns)
- IPhone
- youtube.com/watch
- look here
- Заходи, сюда
- photo

Проверка по шаблонам
- What type of iPhone do you have?
- Hi, take a look here:
http://www.youtube.com/watch?
v=RC_6skf1-t
- Salut est-ce que tu peux aimer ma photo
de profil?
- Привет! У нас сегодня акция. Заходи,
сюда узнаешь больше!

Интерфейс
public interface IPatternMatcher {
void addPattern(String pattern);
String checkText(String text);
}

Дополнительно
- Оценивается производительность
решения!
- Подробности на сайтах JUG.LV и
https://wiki.rubylight.com/display/JUG
- Решения ждем до 31 Мая 2013
- Интересные реализации будут
рассмотрены и отмечены на следующем
собрании JUG

Зачем это надо
- Борьба со спамом в Ask.fm
- Анти-вирусные приложения
- Network intrusion detection
systems(NIDS)
- Поиск геномов в ДНК
- grep/fgrep утилита в Unix

Простое решение
public void addPattern(String pattern) {
patternList.add(pattern);
}
public String checkText(String text) {
for(String pattern : patternList) {
if(text.contains(pattern)) {
return pattern;
}
}
return null;
}

Поиск одного шаблона
I like IPhones!
IPhone
IPhone
IPhone
IPhone
IPhone
IPhone
IPhone
IPhone

`
Сложность
O(m*p) — в худшем случае
O(m*n) — в лучшем случае
m — длина текста
n — количество шаблонов
p — суммарная длина всех шаблонов

Загруженность CPU
- 1000 сообщений в секунду
- 35 000 шаблонов

Что делать?
- Добавлять сервера
- Оптимизировать алгоритм

Наше решение
- Строим хеш таблицу для шаблонов
- Сканируем входной текст по 3 символа
- Вычисляем хеш из этих 3 символов
- Ищем шаблон по хешу

Хеш функция
youtube – hash(you) -> 676
phone – hash(pho) -> 4277
photo – hash(pho) -> 4277
look here – hash(loo) -> 64718

Хеш таблица
0
...
676
...
...
4277
...
...
64718
...
65536
null
youtube
photo phone
look here
null
null
null
null

Поиск шаблона
I like phones!
I l – hash-> 10234
li – hash-> 676 - youtube
lik – hash-> 64718
ike – hash-> 676
Ke – hash-> 52546
E p – hash-> 3682
ph – hash-> 32568
pho – hash-> 4277 - photo, phone

Хеш функция
public int calculateHash(String text, int startIndex) {
return (text.charAt(startIndex)*11 +
(text.charAt(startIndex + 1) * 13) +
(text.charAt(startIndex + 2) * 29))
% entryArray.length;
}

Хеш функция II
int calculateHash(String text, int startIndex) {
return
((text.charAt(startIndex)<<8)*111 +
(text.charAt(startIndex + 1) * 91) +
(text.charAt(startIndex + 2)<<4) * 113)
% entryArray.length;
}

Загруженность CPU после
- 1000 сообщений в секунду

Решение не оптимально
- Только 3 первых символа учитываются
- Можно использовать Rolling hash
- Возможны низкоуровневые оптимизации

Оптимальное решение
- Сначала достигаем оптимальной
сложности O()
- Потом делаем низкоуровневые
оптимизации

Присланные решения
- Всего было прислано 17 решений
- Участвовало 10 разработчиков
- 3 решения не прошли тест
- 1 решение выполнялось слишком долго
- До финала дошло 6 решений
- Все, кроме одного — самописные
- Коментарии в коде отсутствуют

Тест производительности
- 1000 000 входящих текстовых сообщений
- Сообщения от 3 до 300 любых символов
- Шаблоны от 3 до 300 любых символов
- Ограничение по памяти 512Mb
- Предварительный разогрев
- Все взято из реальной системы

Финальный
запуск

Лучшее решение
- Trie структура данных (индекс шаблонов)
- Низкоуровневая оптимизация
- Оптимизирован поиск потомков
- Оптимизирована работа с текстом

Trie
P H
H
O
T
O
O
S
T
(PHOTO)
(HOST)
N
E
(PHONE)
T
I
P
(TIP)

Trie - поиск шаблона
P H
H
O
T
O
O
S
T
(PHOTO)
(HOST)
N
E
(PHONE)
T
I
P
(TIP)
MY IPHONE

Поиск потомка
P H
H
O
T
O
O
S
T
(PHOTO)
(HOST)
N
E
(PHONE)
T
I
P
(TIP)

P H
H
O
T
O
O
S
T
(PHOTO)
(HOST)
N
E
(PHONE)
T
I
P
(TIP)
H P T....
min: H max: T
0 1 8 12....

l p y
o hh
o
n tn
e o
..
....
o
t
u
b
e
o
k
etc
min: l max: y
min: n max: t
root
min: n max: t

Обход текста (String)
public final class String {
private final char value[];
private final int offset;
private final int count;
public char charAt(int index) {
if ((index < 0) || (index >= count)) {
throw new StringIndexOutOfBoundsException(index);
}
return value[index + offset];
}
}

Обход текста (reflection)
public PatternMatcher() {
valueField_ = String.class.getDeclaredField("value");
offsetField = String.class.getDeclaredField("offset");
valueField_.setAccessible(true);
offsetField.setAccessible(true);
}
public String checkText(String text) {
chars = (char [])valueField_.get(text);
offset = offsetField.getInt(text);
// work with chars[] and offset
...
}

Что можно улучшить?
- Может занимать много памяти
- Поиск подстроки всегда начинается с
корня

Наука
Michael Oser Rabin Richard Manning KarpAlfred Aho

Существующие алгоритмы
- Aho-Corasick string matching algorithm (1975)
- Rabin-Karp string search algorithm (1987)
- Commentz-Walter algorithm

Алгоритм Aho-Corasick
P H
H
O
T
O
O
S
T
(PHOTO)
(HOST)
N
E
(PHONE)
T
I
P
(TIP)

5
Поздравляем победителей!
jug@rubylight.com

Все решения
1 708ms Aivars Kalvans, Trie с оптимизациями
3 205ms Arkadi Shishlov, Aho-Corasick библиотека
6 356ms Eugene Igans, RadixTrie
12 140ms Reinis Reinikovs, Trie + TreeMap для потомков
19 353ms Kiril Menshikov, Trie +?
56 220ms Deniss Mosičkins, Rolling hash

5
Rubylight programming
contest 2
jug@rubylight.com

Исходные данные
●
Highload project, запросы обрабатываются
сотнями серверов
●
Сервера (инстанции) находятся в облаке
Amazon
●
Плата берется за каждый час работы каждого
инстанса
●
Мы можем програмно стартовать и
останавливать инстансы
●
Нагрузка в течении дня меняется

Задача
Обработать как можно больше
запросов в течении всего
времени теста, затратив
минимальное количество денег
на оплату инстанций

Изменение нагрузки

Подсчет прибыли
●
Чем больше мы обрабатываем запросов, тем
больше наша прибыль!
●
Каждый инстанс может обработать не более
миллиона запросов в час
●
Каждый обработаный запрос приносит доход.
●
Расходы на оплату инстансов вычитаются из
прибыли
●
За недостаточную для текущей нагрузки
мощность взимается штраф

При недостаточной
мощности
●
Если текущая мощность (количество
инстанций) недостаточна для текущей
нагрузки, количество обработанных
запросов ограниченно количеством
инстанцийй
●
Кроме этого, взимается штраф,
пропорциональный квадрату от разницы
между текущей мощностью и требуемой
для данной нагрузки

Имплементация
interface InstanceManager {
void loadNotification(long requestCount, CloudAPI cloudApi);
}
interface CloudAPI {
void startInstances(int n);
void stopInstances(int n);
}
●
Implement InstanceManager
●
InstanceManager.loadNotification будет
вызываться каждый час в симуляторе с
количеством запросов, поступивших за
последний час

Ограничения
●
Java 7 (other JVM languages are not allowed)
●
Open-source Java libraries available in public
Maven repositories
●
Pure Java - No native code
●
No filesystem and network access
●
Single threaded
●
-Xmx512m

Подсчет результата
●
Тест прогоняется “в течении месяца”
●
Результат = R – I – F
●
R – количество обработанных запросов * на
стоимость запроса
●
I – сумма расходов на инстанции
●
F – сумма штрафов

Дополнительно
●
Подробности на сайтах JUG.LV и
●
Решения ждем до 31 Июня 2013
●
Интересные реализации будут
рассмотрены и отмечены на
следующем собрании JUG

6
Ждем ваших решений!
Удачи!
jug@rubylight.com

Rubylight Pattern-Matching Solutions

More Related Content

Similar to Rubylight Pattern-Matching Solutions (20)

More from Dmitry Buzdin (20)

Rubylight Pattern-Matching Solutions