Alexey Tokar To find a needle in a haystack

•

0 likes•81 views

The talk will cover core principles of text search applicable to fixed size dictionaries. We will have a deep look at some algorithms which are deeply hidden inside huge search engines or basic search inputs on web-sites. My goal is to provide comparison between different search approaches and provide objective assessment based on complexity, memory consumption and CPU utilization of each of them.

Parametric search
http://market.yandex.ua

Simple matching
String needle = getUserInput();
for ( String title : dictionary ) {
if ( title.equals( needle ) ) {
System.out.println( “Gotcha!” );
}
}

Simple matching: better
String needle = getUserInput().toLowerCase();
for ( String title : dictionary ) {
if ( title.startsWith( needle ) ) {
System.out.println( “Gotcha!” );
}
}

Simple matching: awesomest !
String needle = “транс”;
начало сравнений
...
терминатор
транзит
трансамерика
трансильвания
трансформеры
...

Hash-based search
.hashCode() % buckets.length buckets
Терминатор 1207003689 00
Альф 32058595 01
Поймай меня если сможешь 824411401 02
Умри, но не сейчас 1792373633 03
Зловещие мертвецы 1534549542 04
Терминал 1534215135 05
09
...

Radix trie
ме
с довый месяц
т яц в деревне
о ь в
сына встречи уду ампира илли
...
Медовый месяц
Месяц в деревне
Месть вампира
Месть вуду
Месть вилли
Место сына
Место встречи
...

Fuzzy search factors
Трансформеры
перестановка трансфромеры
вставка транссформеры
удаление тр_нсформеры
замена трансформиры

Levenshtein distance
Ученый-математик, доктор
физико-математических
наук.
Функцию его имени можно
найти в любом языке
программирования.
http://ethw.org/images/8/83/Levenshtein.jpg

Jaro-Winkler distance
s - длина слова
m - кол-во совпавших сомволов
t - половина транспозиций
l - длина общего префикса
p - коэф.сглаживания (~0.1)

Jaro-Winkler distance
m = 5
W1
W2
d
хорошо
шорох
0.7
пробка
коробка
0.78
звезда
звездный
0.89

Depth-first search (DFS)
A
B C
DC A C
DB D E F
Needle = ABCD
ABCD
ABC(B→D)
AB(+C)D
A(C→B)CD
A(C→B)C(E→D)
A(C→B)C(F→D)
A(+B)C(A→D)

N-gram
АЛО начАЛО, русАЛОчка,
волшебное
зеркАЛО ...
АЧА нАЧАло, удАЧА, нАЧАльники ...
НАЧ НАЧало, НАЧальники,
геркулес
НАЧало ...
ЧАЛ наЧАЛо,
мгновения
пеЧАЛи,
наЧАЛьники ...
Начало (Inception), 2010 год

N-gram
●
○
○
●
○
○
●
○
*по моему субъективному опыту

Template hashing
T R A N S F O R M E R S
1 0 1 0 0 0 1 1 1 1 0 0 0
A C E G I K M O Q S U W Y
B D F H J L N P R T V X Z

More from Аліна Шепшелей

Valerii Iakovenko Drones as the part of the present

Аліна Шепшелей

Valerii Moisieienko Apache hbase workshop

Аліна Шепшелей

This document provides an overview and agenda for an Apache HBase workshop. It introduces HBase as an open-source NoSQL database built on Hadoop that uses a column-family data model. The agenda covers what HBase is, its data model including rows, columns, cells and versions, CRUD operations, architecture including regions and masters, schema design best practices, and the Java API. Performance tips are given for client reads and writes such as using batches, caching, and tuning durability.

Dmitriy Kouperman Working with legacy systems. stabilization, monitoring, man...

Аліна Шепшелей

About half of the developers, one way or another, faced with the legacy-projects. Not everyone can (and want) work with them. But with the right approach, such projects can be carried out with pleasure and even enthusiasm. We suggest that such a legacy of understanding, what are these project management techniques, practices, and explore the developers consider useful decisions: • Examples of optimization - it's worth a try; • Monitoring applications - JavaMelody; • Monitoring applications - logs and ELK (ELasticSearch + Logstash + Kibana); • Monitoring applications - Java Mission Control and Heap Dump Memory Analyzer Tool.

Anton Ivinskyi Application level metrics and performance tests

Аліна Шепшелей

Миша Рыбачук Что такое дизайн?

Аліна Шепшелей

Макс Семенчук Дизайнер, которому доверяют

Аліна Шепшелей

Anton Parkhomenko Boost your design workflow or git rebase for designers

Аліна Шепшелей

Andrew Veles Product design is about the process

Аліна Шепшелей

This document discusses product design and the product design process. It emphasizes that product design is about focus, thinking through every step of the process from initial ideas to implementation. This includes activities like creating portraits, user stories, specifications, site maps, flows, wireframes, prototypes, and UI design. It also notes that the goal is stable growth for the product over time, but that the solution designed may need to change as problems change. Examples are provided of redesigns for a mobile app, desktop app, and logo. The conclusion emphasizes that building the right features for the right users is more challenging than just building features.

Kononenko Alina Designing for Apple Watch and Apple TV

Аліна Шепшелей

Mihail Patalaha Aso: how to start and how to finish?

Аліна Шепшелей

Mikhail Patalakha is a mobile ASO manager with experience managing over 50 successful projects. He provides tips for optimizing mobile app keywords and rankings, including opening the application, researching competitors' keywords, removing duplicates, getting new keywords from Google Keyword Planner, defining competition and traffic from services like SensorTower and ASOdesk, choosing keywords based on difficulty, and calculating approximate visitor numbers using a provided formula. His contact information is provided for further questions.

Gregory Shehet Undefined' on prod, or how to test a react app

Аліна Шепшелей

Alexey Osipenko Basics of functional reactive programming

Аліна Шепшелей

Vladimir Mikhel Scrapping the web

Аліна Шепшелей

Roman Ugolnikov Migrationа and sourcecontrol for your db

Аліна Шепшелей

The document discusses database migration and source control. It describes how database structure, data, and logic can change across versions. It recommends using tools like Liquibase and Flyway to manage database schema changes and keep the database schema in sync with code. These tools allow defining changes in migration files and rolling back changes if needed. The document also covers how the tools work, supported databases, file formats, preconditions, and provides a demo of using the tools for a sample database migration.

Dmutro Panin JHipster

Аліна Шепшелей

JHipster is a Yeoman generator used to create a Spring Boot and AngularJS project. It saves development time by including accepted practices and scaffolding for both design and runtime. The generator supports technologies like Spring Boot, AngularJS, Bootstrap, and MySQL. Developers can add additional functionality through JHipster modules and sub-generators. The generated projects include tools for testing, deployment to Docker, and integration with services like Elasticsearch.

Alex Theedom Java ee revisits design patterns

Аліна Шепшелей

Enter "Django Channels": new way of desinging and thinking about your application. It separates transport and processing concerns in typical Django project using combination of ASGI (Asynchronous Server Gateway Interface) and worker processes, enabling your application to be "event-oriented" and implement new workflows for processing your data. How does it work? What do you need to start? Is it even useful? Learn for yourself with this introductory talk.

Volodymyr Getmanskyi How to build a dynamic pricing model using big data

Аліна Шепшелей

Maksym Antipov Hardware development as a hobby and a job

Аліна Шепшелей

Ievgen Vladimirov Only cloud

Аліна Шепшелей

Denis Reznik Data driven future

Аліна Шепшелей

More from Аліна Шепшелей (20)

Valerii Iakovenko Drones as the part of the present

Valerii Moisieienko Apache hbase workshop

Dmitriy Kouperman Working with legacy systems. stabilization, monitoring, man...

Anton Ivinskyi Application level metrics and performance tests

Миша Рыбачук Что такое дизайн?

Макс Семенчук Дизайнер, которому доверяют

Anton Parkhomenko Boost your design workflow or git rebase for designers

Andrew Veles Product design is about the process

Kononenko Alina Designing for Apple Watch and Apple TV

Mihail Patalaha Aso: how to start and how to finish?

Gregory Shehet Undefined' on prod, or how to test a react app

Alexey Osipenko Basics of functional reactive programming

Vladimir Mikhel Scrapping the web

Roman Ugolnikov Migrationа and sourcecontrol for your db

Dmutro Panin JHipster

Alex Theedom Java ee revisits design patterns

Volodymyr Getmanskyi How to build a dynamic pricing model using big data

Maksym Antipov Hardware development as a hobby and a job

Ievgen Vladimirov Only cloud

Denis Reznik Data driven future

Recently uploaded

InfoSecurityRussia_2016_Conference__.pdf

Yury Chemerkin

Если с вашим кораблем что-то происходит - пора устранять утечки в морской киб...

Ирония безопасности

Как приятно обсуждать корабли без экипажа и проблемы их кибербезопасности! Этот документ посвящён миру морских автономных надводных кораблей (MASS), где отсутствие экипажа не означает отсутствия кошмаров в области кибербезопасности, юридических сложностей и нормативных барьеров. Отрасль на целых 20 лет отстаёт от других секторов в области кибербезопасности. Эксперименты и взломы показали, что взломать судовые системы, такие как система отображения электронных карт и информации (ECDIS), проще простого, что довольно тревожно, учитывая, что эти системы управление покрывают всю активность устройства, в т.ч. рулевым управлением или балластом. Что касается заинтересованных сторон, от производителей судов до страховщиков, то в этой игре заинтересованы все. Все они заинтересованы в том, чтобы руководить разработкой и внедрением MASS, надеясь, не столкнувшись на своём пути с большим количеством айсбергов, но заработав много денег. Проблемы, затронутые в этом документе, реальны, а интеграция MASS в мировую судоходную индустрию — это не только технологический прогресс, но и защита этой технологии от угроз, которые могут потопить её быстрее, чем торпеда. Важность обеспечения защищённости и соответствия международным стандартам трудно переоценить, что делает этот анализ важнейшим навигационным инструментом для всех, кто участвует в будущих морских операциях. ---- В документе предлагается анализ проблем, связанных с морскими автономными надводными кораблями (MASS). Рассматриваются различные критические аспекты MASS, включая технологические достижения, правовые и нормативные проблемы, а также последствия для кибербезопасности, связанные с этими беспилотными судами, такие как изучение текущего состояния и будущих перспектив MASS технологий с акцентом на их потенциал революционизировать морскую индустрию, уникальные риски кибербезопасности, создаваемые автономными судами, и стратегии, реализуемые для снижения этих рисков. Анализ подчёркивает взаимосвязь морских технологий с проблемами регулирования и безопасности. Он особенно полезен специалистам в области безопасности, заинтересованным сторонам морской отрасли, политикам и учёным. Понимая последствия, профессионалы могут лучше ориентироваться в сложностях интеграции передовых автономных технологий в мировую судоходную индустрию, обеспечивая безопасность и соответствие международным законам и стандартам. Потенциал MASS обусловлен достижениями в области больших данных, машинного обучения и искусственного интеллекта. Эти технологии призваны произвести революцию в судоходной отрасли стоимостью 14 триллионов долларов, традиционно зависящей от человеческих экипажей. 📌 Отставание морской отрасли в области кибербезопасности: морская отрасль значительно отстаёт от других секторов в плане кибербезопасности, примерно на 20 лет. Это отставание создаёт уникальные уязвимости и проблемы, которые только начинают осознаваться. 📌 Уязвимости в судовых системах: уязвимости в морских системах проявляются в лёгкости доступ

Взлом клятвы Гиппократа. Криминалистическая забава с медицинским Интернетом в...

Хроники кибер-безопасника

в документе содержится криминалистический анализ области медицинского интернета вещей (IoMT), различных критических аспектов, имеющим отношение к данной области, включая разработку современных и эффективных методик forensics-анализа; методов получения данных с медицинских устройств; изучение проблем конфиденциальности и безопасности медицинских систем, и того, как это влияет на forensics-исследования; обзор forensics-технологий, с акцентом применимые к медицинским устройствам; анализ примеров из реальной практики. Этот документ предлагает качественный материал текущего состояния медицинской криминалистики, что делает его ценным ресурсом для специалистов в области безопасности, forensics-специалистов и специалистов из различных отраслей промышленности. Представленная информация может помочь улучшить понимание и внедрение эффективных методов forensics-анализа. ------- Быстрое внедрение Интернета вещей (IoT) в отрасли здравоохранения, известного как Интернет медицинских вещей (IoMT), произвело революцию в уходе за пациентами и медицинских операциях. Устройства IoMT, такие как имплантируемые медицинские устройства, носимые медицинские мониторы и интеллектуальное больничное оборудование, формируют и передают огромные объёмы конфиденциальных данных по сетям. Криминалистика медицинских сетей Интернета вещей – это развивающаяся область, которая фокусируется на идентификации, сборе, анализе и сохранении цифровых доказательств с устройств и сетей IoMT. Она играет решающую роль в расследовании инцидентов безопасности, утечек данных и кибератак, направленных против организаций здравоохранения. Уникальная природа систем IoMT с их разнообразным набором устройств, протоколов связи и форматов данных создаёт значительные проблемы для традиционных методов цифровой криминалистики. Основными задачами forensics-анализа медицинских сетей Интернета вещей являются: 📌 Реагирование на инциденты: Быстрое реагирование на инциденты безопасности путём определения источника, масштабов и последствий атаки, а также сбора доказательств или соблюдения нормативных требований. 📌 Сбор доказательств: Разработка специализированных методов получения и сохранения цифровых доказательств с устройств, сетей и облачных систем IoMT при сохранении целостности данных и цепочки хранения. 📌 Анализ данных: Анализ собранных данных, включая сетевой трафик, журналы устройств и показания датчиков для реконструкции событий, приведшие к инциденту, и определить потенциальные уязвимости или векторы атак. 📌 Анализ угроз: использование информации, полученной в ходе исследований для улучшения анализа угроз, совершенствования мер безопасности и предотвращения атак на IoMT. Криминалистика медицинских сетей Интернета вещей требует междисциплинарного подхода, сочетающего опыт цифровой forensics-анализа, кибербезопасности, особенностей сектора здравоохранения и технологий Интернета вещей. Forensics-исследователи должны ориентироваться в сложностях систем IoMT, включая неоднородность устройств, огранич

Морская безопасность. OSINT | Maritime Security. OSINT [RU].pdf

Ирония безопасности

Гигантские суда, которые правят морями, не могут даже следить за собой без помощи безопасников. Когда их любимая система искусственного интеллекта выходит из строя, они становятся слепыми, глухими и немыми - жестокая шутка над их предполагаемым морским мастерством. Этот документ, по своему грандиозному замыслу, стремится раскрыть чудо морской разведки с открытым исходным кодом (maritime OSINT). Будут представлены конкретные примеры из реальной жизни, выдержанные в духе шекспировской трагедии, иллюстрирующие практическое применение и неоспоримые преимущества морской OSINT в различных сценариях обеспечения безопасности. Для специалистов в области кибербезопасности и морских правоохранительных органов этот документ станет настоящим открытием, поскольку он снабдит их знаниями и инструментами, необходимыми для того, чтобы ориентироваться в сложностях морских операций OSINT, сохраняя при этом видимость соблюдения этических и юридических норм. Исследователи, политики и заинтересованные стороны отрасли найдут этот документ незаменимым источником, проливающим свет на потенциал и значение морской OSINT для охраны наших морей и обеспечения безопасности на море. ---- Документ направлен на предоставление всестороннего анализа maritime OSINT и её различных аспектов: этических последствий использования методов OSINT, особенно в контексте морских правоохранительных органов, выявление и решение оперативных проблем, с которыми сталкиваются морские правоохранительные органы при использовании maritime OSINT, таких как сбор, анализ и распространение данных. Анализ обеспечит тщательное изучение этих аспектов, предоставив ценный ресурс специалистам по безопасности, правоохранительным органам, заинтересованным сторонам морской отрасли и исследователям. Кроме того, документ послужит ценным ресурсом для заинтересованных представителей отрасли, стремящихся понять потенциал и последствия морской OSINT для обеспечения охраны на море. Морская OSINT-разведка связана с практикой сбора и анализа общедоступной информации, относящейся к морской деятельности, судам, портам и другой морской инфраструктуре, в разведывательных целях. Это включает в себя использование различных открытых источников данных и инструментов для мониторинга, отслеживания и получения информации о морских операциях, потенциальных угрозах и аномалиях. Морская OSINT-разведка важна для сбора информации, критически важной для бизнес-операций, особенно когда электронные системы, такие как автоматические идентификационные системы (AIS), выходят из строя. OSINT может предоставить ценный контекст и информацию об операциях судов, включая идентификацию судов, их местоположения, курсов и скоростей. A. Источники данных • Веб-сайты и сервисы для отслеживания судов (например, MarineTraffic, VesselFinder), которые предоставляют исторические данные о перемещениях судов, их местоположении и деталях в режиме реального времени. • Спутниковые снимки и данные дистанционного зондирования от таких поставщиков, как Sentinel,

Добро пожаловать в Кибербиобезопасность - потому что обычная кибербезопасност...

Ирония безопасности

Как замечательно, что в наш современный век каждый бит биологических данных может быть оцифрован, сохранен и потенциально похищен «кибер-художниками»! В то время, пока учёные заняты расширением границ биотехнологий, хакеры, возможно, замышляют очередную крупную кражу биологических данных? Этот восхитительный сценарий открывается благодаря постоянно расширяющемуся цифровому ландшафту биологии и биотехнологий, где интеграция компьютерных наук, инженерии и науки о данных преобразует наше понимание биологических систем и манипулирование ими. Хотя слияние технологии и биологии даёт огромные преимущества, оно также требует тщательного рассмотрения этических аспектов, вопросов безопасности и связанных с ними социальных последствий. Но давайте будем честны, по большому счету, что такое небольшой риск по сравнению с потенциальными научными достижениями? В конце концов, прогресс в области биотехнологий никого не ждёт, и мы просто участвуем в этом захватывающем приключении. Поскольку мы продолжаем ориентироваться в этом сложном ландшафте, давайте не будем забывать о важности надёжных мер защиты данных и совместных международных усилий по защите конфиденциальной биологической информации. В конце концов, что может пойти не так? ---- В документе представлен анализ последствий использования биологических данных для безопасности. Анализ исследует различные аспекты биологической безопасности данных, в том числе уязвимости, связанные с получением доступа, злоупотреблениями со стороны государственных и негосударственных субъектов, и последствий для национальной, так и транснациональной безопасности. Рассматриваемые аспекты включают влияние технологических достижений на безопасность данных, роль международной политики в управлении данными и стратегии снижения рисков несанкционированного доступа к данным. Документ предлагает ценную информацию специалистам по безопасности, политикам и лидерам отрасли в различных секторах, подчеркивая важность надежных мер защиты данных и совместных международных усилий по защите конфиденциальной биологической информации. Анализ служит важнейшим ресурсом для понимания сложной динамики на стыке биотехнологии и безопасности, предоставляя практические рекомендации по повышению биозащиты в цифровом мире. Развивающийся ландшафт биологии и биотехнологии, на который значительное влияние оказывают достижения в области информатики, инженерии и науки о данных, меняет понимание биологических систем и манипулирование ими. Интеграция этих дисциплин привела к развитию таких областей, как вычислительная биология и синтетическая биология, которые используют вычислительные мощности и инженерные принципы для решения сложных биологических проблем и создания новых биотехнологических приложений. Междисциплинарный подход не только ускорил исследования и разработки, но и внедрил новые возможности, такие как редактирование генов и биомоделирование, расширяя границы того, что возможно с научной точки зрения. Однако стремительная цифровизация также со

YURY_CHEMERKIN_InfoSecurityRussia_2011.pdf

Yury Chemerkin

This presentation from InfoSecurity Russia 2011 focuses on the security vulnerabilities of BlackBerry solutions. It covers various aspects of information security, mobile platforms, risk management, and reverse engineering. The document also discusses the architectural and functional documentation of BlackBerry's secure mobile platform, comparing it with other platforms like iOS, Android, and Windows Mobile.

Recently uploaded (6)

InfoSecurityRussia_2016_Conference__.pdf

Если с вашим кораблем что-то происходит - пора устранять утечки в морской киб...

Взлом клятвы Гиппократа. Криминалистическая забава с медицинским Интернетом в...

Морская безопасность. OSINT | Maritime Security. OSINT [RU].pdf

Добро пожаловать в Кибербиобезопасность - потому что обычная кибербезопасност...

YURY_CHEMERKIN_InfoSecurityRussia_2011.pdf

Alexey Tokar To find a needle in a haystack

1. Найти иг[ло]ку в стоге сена

2. Information retrieval ● ○ ● ○ ● ○

3. Computer vision

4. Parametric search http://market.yandex.ua

5. Text search

6. Basic data structures

7. Simple matching String needle = getUserInput(); for ( String title : dictionary ) { if ( title.equals( needle ) ) { System.out.println( “Gotcha!” ); } }

8. Simple matching: better String needle = getUserInput().toLowerCase(); for ( String title : dictionary ) { if ( title.startsWith( needle ) ) { System.out.println( “Gotcha!” ); } }

9. Simple matching: awesomest ! String needle = “транс”; начало сравнений ... терминатор транзит трансамерика трансильвания трансформеры ...

10. Simple matching. Results.

11. Hash-based search .hashCode() % buckets.length buckets Терминатор 1207003689 00 Альф 32058595 01 Поймай меня если сможешь 824411401 02 Умри, но не сейчас 1792373633 03 Зловещие мертвецы 1534549542 04 Терминал 1534215135 05 09 ...

12. Hash-based search 05 ТерминалАльф ...

13. Hash-based search

14. Radix trie ме с довый месяц т яц в деревне о ь в сына встречи уду ампира илли ... Медовый месяц Месяц в деревне Месть вампира Месть вуду Месть вилли Место сына Место встречи ...

15. Radix trie

16. Advanced approaches

17. Fuzzy search factors Трансформеры перестановка трансфромеры вставка транссформеры удаление тр_нсформеры замена трансформиры

18. Levenshtein distance Ученый-математик, доктор физ��ко-математических наук. Функцию его имени можно найти в любом языке программирования. http://ethw.org/images/8/83/Levenshtein.jpg

19. Jaro-Winkler distance s - длина слова m - кол-во совпавших сомволов t - половина транспозиций l - длина общего префикса p - коэф.сглаживания (~0.1)

20. Jaro-Winkler distance m = 5 W1 W2 d хорошо шорох 0.7 пробка коробка 0.78 звезда звездный 0.89

21. Jaro-Winkler distance

22. Depth-first search (DFS) A B C DC A C DB D E F Needle = ABCD ABCD ABC(B→D) AB(+C)D A(C→B)CD A(C→B)C(E→D) A(C→B)C(F→D) A(+B)C(A→D)

23. Depth-first search (DFS)

24. N-gram АЛО начАЛО, русАЛОчка, волшебное зеркАЛО ... АЧА нАЧАло, удАЧА, нАЧАльники ... НАЧ НАЧало, НАЧальники, геркулес НАЧало ... ЧАЛ наЧАЛо, мгновения пеЧАЛи, наЧАЛьники ... Начало (Inception), 2010 год

25. N-gram

26. N-gram ● ○ ○ ● ○ ○ ● ○ *по моему субъективному опыту

27. N-gram

28. Lookup improvements

29. Template hashing T R A N S F O R M E R S 1 0 1 0 0 0 1 1 1 1 0 0 0 A C E G I K M O Q S U W Y B D F H J L N P R T V X Z

30. Template hashing

31. Bloom filter 0 1 0 0 0 0 1 1 0 0 Needle

32. Bloom filter

33. Thank you! Questions? :)