История и технология поиска, анализа и проверки документов

История и технология поиска, анализа и проверки документов

Сколько Вам потребуется времени, чтобы узнать, что Ваши материалы скопировали ! Неделя? Месяц? Год?

Развитие информационных технологий и, в особенности, сети Интернет наряду с безусловными положительными для общества аспектами, породило также и ряд проблем в таких областях, как защита авторских прав, интеллектуальной собственности, сохранение конфиденциальности информации и др.

В сфере образования эти проблемы проявились в использовании учащимися Интернета в качестве источника при подготовке письменных работ (рефератов, курсовых или дипломных работ и пр.). Зачастую подготовка работы сводится к копированию найденных текстов при минимуме интеллектуальных усилий.

Перед преподавателями возникла задача проверки работ учащихся на предмет заимствований из Интернет-источников. Для проверки реферата среднего размера с целью доказательства факта «списывания» из Интернета преподавателю, использующему «обычные» поисковые системы, такие как Яндекс, Google и др., необходимо в среднем не меньше одного часа. При большом количестве проверяемых работ задача становится практически невыполнимой. Для обеспечения преподавателей эффективным средством проверки работ было решено создать Интернет-сервис StopCopy.ru.

Интернет-сервис StopCopy.ru впервые в России предлагает набор услуг, в совокупности реализующих технологию проверки текстовых документов на наличие заимствований из общедоступных сетевых источников.

Функциональное ядро StopCopy.ru использует уникальные алгоритмы, разработанные российскими учеными, что обеспечивает быстрый и эффективный поиск заимствованных фрагментов, а также гарантирует корректную обработку русскоязычных текстов. Поиск ведется в первую очередь в форумах, блогах и дневниках — как индикаторах общественного мнения. Кроме того, анализируются онлайновые СМИ и обычные веб-ресурсы. Дополнительно используются функциональные возможности таких поисковых систем и ресурсов, как Yandex.ru, Google.com, Mail.ru, Rambler.ru, Msn.com, LiveJournal.ru, Kanban.ru и др. Это позволяет максимально быстро и точно замечать все упоминания заданной темы. StopCopy.ru непрерывно отслеживает новые публикации и находит информацию буквально через несколько минут после того, как она попадает в сеть.

Стратегической задачей StopCopy.ru является уменьшение заимствования авторских материалов в цифровых сетях передачи данных, а также повышение качества российского образования в тех его частях, где от обучающегося требуется творческая работа по написанию рефератов, курсовых и дипломных работ и иных материалов собственного сочинения. Эта задача решается путем побуждения обучающихся к самостоятельному написанию текстов, а не создания их, например, путем компиляции найденных в Интернете страниц, касающихся заданной тематики.

Поиск совпадений осуществляется методом сравнения последовательностей символов без учета языковых особенностей и речевых взаимосвязей, за счет этого достигается высокая, в несколько секунд, скорость поиска совпадений. К тому же, система позволяет бороться с плагиатом на любом языке — в этом состоит ее преимущество перед западными аналогами, например, TurnsItIn.

Принцип действия механизма проверки текстовых документов на наличие заимствований, реализованного в нашей системе, заключается во взаимодействии ее модулей, каждый из которых функционирует параллельно с другими и решает свою определенную задачу. Условно, процесс функционирования системы можно разбить на последовательные этапы, в рамках которых определенные модули выполняют определенные операции, хотя в реальности эти этапы могут также происходить либо в другом порядке, либо одновременно.

На первом этапе система собирает информацию из различных источников: загружает из Интернета и обрабатывает сайты, находящиеся в открытом доступе, базы научных статей и рефератов. Загруженные документы проходят процедуру фильтрации, основанную на уникальной технологии очистки текста, в результате которой отбрасывается бесполезная с точки зрения потенциального цитирования информация (это касается в первую очередь HTML-страниц с большим количеством рекламы, новостных заголовков, меню и так далее).

На следующем этапе каждый из полученных таким образом текстов определенным образом форматируется и заносится в системную базу данных.

Все документы, загружаемые для проверки, ставятся в очередь на обработку и, благодаря использованию в аналитических модулях нашей системы новаторских технологий и проведению качественной оптимизации, проверка документа, такого, как, например, реферат среднего размера, занимает всего несколько секунд.

Кроме того, наша система обладает высокой отказоустойчивостью, иллюстрируемой, к примеру, тем, что в случае возникновения при проверке документа нештатных ситуаций или сбоев, этот документ лишь переставляется в очереди на несколько минут назад и затем проверяется вновь.

Наконец, после успешной проверки документа, пользователь получает доступ к отчету, в котором в наглядной форме представляются ее результаты. Оригинальная структура отчета позволяет выделять в проверяемом тексте заимствованные части как по всем источникам, так и по их любому подмножеству.

Основные функциональные возможности

Проверка на наличие заимствований документов в форматах RAR, ZIP, DOC, RTF, PDF, TXT, HTML, и тд.
Формирование отчетов о проверке: выделение в проверяемом тексте совпадающих фрагментов с указанием источников цитирования.
Возможность просмотра сохраненных источников.

Производительность системы

Допустимый размер документа: до 15 МБ.
Время проверки среднего документа: 2-3 сек.
Количество источников на текущий момент: более 12,7 млрд. документов.
Скорость прироста базы: порядка 120 тыс. документов в неделю.

Перспективы проекта

В настоящий момент система используется в Московском институте экономики, менеджмента и права (МИЭМП), а также многими преподавателями из различных ВУЗов страны. Планируется внедрение системы в учебный процесс ведущих ВУЗов РФ и СНГ.

Также, идет разработка версии системы, предназначенной для работы в локальной сети на корпоративном хранилище документов. Потенциальными потребителями таких систем могут стать компании и государственные организации, которые оперируют большим количеством документов и предъявляют повышенные требования к конфиденциальности.

Мы непрерывно просматриваем огромный поток новых сообщений, публикуемых в интернете.
Мы умеем отследить интересующую вас тему с точностью до одного слова.
Отчет по вашей теме ежедневно в вашем почтовом ящике!

Ознакомиться с Пользовательским соглашение, Вы можете здесь.

Если Вам не безразлична судьба Ваших творений - присоединяйтесь.