Типичные ошибки распознавания - собираем статистику для скрипта ФБЕ

Опубликовано чт, 06/01/2011 - 11:12 пользователем TaKir

Собираю статистику по наиболее частым типичным ошибкам распознавания для включения их в скрипт ФБЕ:

Варианты:
пе (не), оп (он), пи (ни), ва (за), пее (нее), опа (она)...

Прошу участвовать всех желающих.

Дополненный список я хочу включить в недавно обновленный скрипт "Поиск по набору регэкспов", автор Sclex (http://groups.google.com/group/fiction-book-editor/browse_thread/thread/b4700ee54d255384), работающий под ФБЕ.
Собранная статистика еще больше упростит отлов косяков сканирования и, соответственно, позволит более качественно и быстро делать верстку отсканенных книг и быстрее находить косяки в уже сделанных книгах тем, кто занимается их правкой-вычиткой.

Сейчас данный скрипт у меня ищет:
- смесь латиницы с кириллицей во всех вариантах,
- смесь букв с цифрами,
- неправильные дефисы-тире,
- мусор после скана,
- концы строк без знаков препинания
- неполный курсив слова
- указанные выше типичные ошибки распознавания
и другие подозрительные места.

Использование этого скрипта заметно сокращает время работы над книгой в ФБЕ.

Комментарии

Опубликовано ср, 12/01/2011 - 05:49 пользователем Рыжий Тигра

Sclex написал:
http://rghost.ru/3908064
Ага, сенькс, поиграюсь...

Опубликовано пт, 14/01/2011 - 09:35 пользователем NickNem

У меня на памяти только 3 часто встречающихся варианта с "ф":
фоб -гроб
неф - негр
фаната - граната

Опубликовано сб, 15/01/2011 - 09:51 пользователем Oldtimer

NickNem написал:
У меня на памяти только 3 часто встречающихся варианта с "ф":
фоб -гроб
неф - негр
фаната - граната

фазу - сразу

Опубликовано пн, 10/01/2011 - 19:38 пользователем wotti

А если рядом получаются Ь или Ы и любая специфическая буква кириллицы - то тоже крах. : типа -ьф, -шь, -ьш, итд..

Опубликовано ср, 12/01/2011 - 02:39 пользователем SunnyCat

угу, бьш и бьша у меня просто фавориты из последнего скана.... (был и была)

Опубликовано вт, 11/01/2011 - 01:40 пользователем Ser9ey

Самая безнадега в распознавании дореформенной орфографии. А Файны всё хвалятся...

Опубликовано вт, 11/01/2011 - 06:06 пользователем Алексей_Н

Как раз сейчас делаю книжку с дореформенной орфографией. Ошибок не больше, чем при обычном скане. Все ошибки типичны и исправляются обычным "Изменить на...".

Опубликовано вт, 11/01/2011 - 12:58 пользователем Ser9ey

Алексей_Н написал:
Как раз сейчас делаю книжку с дореформенной орфографией. Ошибок не больше, чем при обычном скане. Все ошибки типичны и исправляются обычным "Изменить на...".

Вам повезло.

Опубликовано сб, 15/01/2011 - 19:35 пользователем Ханурик

Не сказал бы, что все так страшно. Дореформенные книги FR9 распознаются вполне на уровне. Яти, фиты, еры и прочее распознаются на ура.
С дореформенными сложность скорее возникает в правке орфографии. Впрочем от скрипта чистящего старую орфографию я бы тоже не отказался бы.)

Опубликовано вс, 16/01/2011 - 04:02 пользователем TaKir

Ханурик написал:
Впрочем от скрипта чистящего старую орфографию я бы тоже не отказался бы.)

Скрипту совершенно по барабану правила любого языка. Что напишут - то и будет искать
Так что набрасывайте примеров косяков из старой орфографии и пользуйтесь )

Опубликовано вт, 11/01/2011 - 02:25 пользователем klepik.u

есть такакая прога ocr pad
статистика там большая вроде
но как её взять не знаю

Опубликовано вт, 11/01/2011 - 02:48 пользователем Wictor

. 1/1 -> . И

Опубликовано вт, 11/01/2011 - 06:06 пользователем peshehodrost

пропустил своп, (хотя это свои) пропустил па (на) , пропустил слово просплп ( просили)
малень– кой ( маленькой) Поляиовке ( Поляновке ) Дем?нтий (Дементий) M це иске ( Mценске ) поляновски? (поляновские) до– черьми (дочерьми) Лйя (Лия) втот (этот) втот (этот) ваписка (записка) втот (этот) стоа (стон ) Ht (ж) їдейственная (единственная) обрывкн (обрывки) маркиэка (маркизка)

Опубликовано вт, 11/01/2011 - 06:12 пользователем Алексей_Н

В каждой книжке есть свои заморочки.
"Малень- кой", "до- черьми" - не распознан знак переноса.
"Дем?нтий" - скорей всего буква вместо вопросительного знака стояла под ударением.
Надо ли всё это включать в общий скрипт?

Аватар пользователя Captain Scarlett

Опубликовано вт, 11/01/2011 - 06:20 пользователем Captain Scarlett

Алексей_Н написал:
В каждой книжке есть свои заморочки.
"Малень- кой", "до- черьми" - не распознан знак переноса.
"Дем?нтий" - скорей всего буква вместо вопросительного знака стояла под ударением.
Надо ли всё это включать в общий скрипт?

Стоит включить "- ".
"?" в середине слова ловится "слипшимися словами".

Опубликовано вт, 11/01/2011 - 06:24 пользователем Алексей_Н

"- " вроде тоже ловится "слипшимися словами".

Опубликовано вт, 11/01/2011 - 06:48 пользователем Рыжий Тигра

Алексей_Н написал:
"Малень- кой", "до- черьми" - не распознан знак переноса.
Это лучше ловить в файн-ридере...

Опубликовано вт, 11/01/2011 - 06:46 пользователем Рыжий Тигра

peshehodrost написал:
[...] Поляиовке [...] Лйя (Лия)
Таки да. Весьма неестественные буквосочетаия.

Опубликовано вт, 11/01/2011 - 06:26 пользователем Astrowalk

Часто встречаю: "ведено" вместо "велено", "юнкере" вместо "юнкерс" (второй, вероятно, родственник "Тайме").

Опубликовано вт, 11/01/2011 - 10:28 пользователем TaKir

Внесены добавки в скрипт, согласно многим вашим комментам...

На всякий случай уточняю, что скрипт только ищет подозрительные места, и ничего автоматом не заменяет, во избежание...
Любую строчку можно поправить или отключить, (стерев полностью или закомментировав ее с помощью // )

Не получается запостить корректно все строки скрипта, поэтому просто дам ссылку на обновленную версию:

http://narod.ru/disk/3209760001/Poisk_po_naboru_regexpov_TaKir_2_6.rar.html

Если какие-то еще явные косяки кто вспомнит-придумает - прошу отзываться.
Также прошу комментировать неправильную работу поиска, если такая проявится.

Опубликовано вт, 11/01/2011 - 10:55 пользователем golma1

Сегодня опять "дошлифовала" твоим скриптом новый файл. И это снова повод сказать - огромное спасибо.
Твой скрипт вошёл в число обязательных.

Аватар пользователя s_Sergius

Опубликовано вт, 11/01/2011 - 12:09 пользователем s_Sergius

Присоединяюсь. Прицепил этот скрипт на F4. Теперь это одна из «любимых» клавиш.

Опубликовано вт, 11/01/2011 - 12:26 пользователем Алексей_Н

Решил попробовать...
Сразу же несколько вопросов:
Скрипт действует только до первого сомнительного места? Чтобы продолжать, его надо снова включать?

Застрял на слове "хозяин". Сочетание "яи" оказалось слишком частым, и меня это стало раздражать.
Почему-то скрипт останавливается на кавычках - «. Они что, тоже записаны в сомнительные символы?
Частица "б" в текстах используется часто. Надо ли ее включать в скрипт?

А вот что еще можно включить, так это однобуквенные предлоги и частицы с последующей запятой, типа: "в," "б," "о,".

Опубликовано вт, 11/01/2011 - 12:38 пользователем Igorek67

Тоже показывает только «, яи и ). Щелкаю минут пять уже и ничего пока другого. :)
Чуть позже:
Находит, кое что, все-таки. Можно пользоваться.:)

Опубликовано вт, 11/01/2011 - 12:47 пользователем golma1

Я пользуюсь предыдущей версией. Никаких "яи" и прочего упомянутого не заметила.
Может, дело в этом?

Аватар пользователя s_Sergius

Опубликовано вт, 11/01/2011 - 12:51 пользователем s_Sergius

Согласен, остановки на словах типа «хозяин» несколько раздражают, но никто ведь не мешает убрать из скрипта соответствующую строчку.

А вот если бы он еще и обучался по ходу дела, вообще бы цены не было.

Опубликовано вт, 11/01/2011 - 14:07 пользователем TaKir

В скрипте надо поправить соответствующие строки:

1) чтобы не искало кавычку в начале строки, строку:
addRegExp("^[\]».,:;!\?-·)(\"]","","Найдено:знаки препинания в начале строки");

заменить на:

addRegExp("^[-\\]».,:;!\?·)(]","","Найдено:знаки препинания в начале строки");

2) поправить "хозяина", чтобы не мешал ))
tagRegExp("(яи)[а-м,о-я]","i","Найдено: часть слова \"яи\" (\"ян\" с опечаткой).");

Опубликовано вт, 11/01/2011 - 17:48 пользователем Sclex

Чтобы не экранировать кавычки (т.е. не ставить рядом с ними слэш), можно снаружи аргумента функции написать одинарные кавычки:

tagRegExp("(?<![а-яё])ке(?![а-яё])","i",'Найдено: слово "ке" ("не" с опечаткой).');

Так исходник скрипта, наверное, будет читаться приятней.

Опубликовано ср, 12/01/2011 - 04:23 пользователем TaKir

Sclex:
Ага, спасибо!
А как все же задать начало или конец слова при поиске в ФБЕ?
стандартные варианты типа >, <, \b что-то не хотят у меня работать...

Опубликовано ср, 12/01/2011 - 04:41 пользователем Sclex

\b работает, но только для английских букв. Ничего лучше, чем (?<![а-яёa-z]), предложить не могу.

Опубликовано ср, 12/01/2011 - 02:29 пользователем Рыжий Тигра

TaKir написал:
tagRegExp("(яи)[а-м,о-я]","i","Найдено: часть слова \"яи\" (\"ян\" с опечаткой).");
Тогда пролетит мимо слова "окаяиный" :-(

Опубликовано чт, 13/01/2011 - 05:19 пользователем izekbis

Где можно взять Ваш скрипт? И как его использовать? Извините, я с такими вещами не сталкивался и проверял проверкой правописания.

Опубликовано чт, 13/01/2011 - 08:08 пользователем NickNem

Еще ФР часто разрывает аббревиатуры типа "ССС Р"

Опубликовано чт, 13/01/2011 - 09:11 пользователем oldvagrant

В последнее время книжках в трех с обилием курсива массово встречалось распознавание "рк" вместо "уж"...

Не придумал, как массово контролировать.:(

Опубликовано пт, 14/01/2011 - 09:23 пользователем NickNem

Отличный скрипт! Сам все собирался написать что-то вроде этого, но...
TaKir-у респектище!!! Человек-гигант!

По скрипту: я себе добавил еще вот это:
tagRegExp("(?<![а-яё])мыс(?![а-яё])","i","Найдено: слово \"мыс\" (\"мы с\" с опечаткой).");
tagRegExp("(?<![а-яё])ноты(?![а-яё])","i","Найдено: слово \"ноты\" (\"но ты\" с опечаткой).");
tagRegExp("(?<![а-яё])нотам(?![а-яё])","i","Найдено: слово \"нотам\" (\"но там\" с опечаткой).");
tagRegExp("(?<![а-яё])ода(?![а-яё])","i","Найдено: слово \"ода\" (\"о да\" с опечаткой).");
tagRegExp("(?<![а-яё])яс(?![а-яё])","i","Найдено: слово \"яс\" (\"я с\" с опечаткой).");
tagRegExp("(?<![а-яё])яв(?![а-яё])","i","Найдено: слово \"яв\" (\"я в\" с опечаткой).");
tagRegExp("(?<![а-яё])атак(?![а-яё])","i","Найдено: слово \"атак\" (\"а так\" с опечаткой).");
tagRegExp("(?<![а-яё])итак(?![а-яё])","i","Найдено: слово \"итак\" (\"и так\" с опечаткой).");

Опубликовано пт, 21/01/2011 - 09:24 пользователем NickNem

tagRegExp("(?<![а-яё])гак(?![а-яё])","i","Найдено: слово \"гак\" (\"так\" с опечаткой).");
tagRegExp("(?<![а-яё])гут(?![а-яё])","i","Найдено: слово \"гут\" (\"тут\" с опечаткой).");
tagRegExp("(?<![а-яё])тог(?![а-яё])","i","Найдено: слово \"тог\" (\"тот\" с опечаткой).");
tagRegExp("(?<![а-яё])гот(?![а-яё])","i","Найдено: слово \"гот\" (\"тот\" с опечаткой).");
tagRegExp("(?<![а-яё])еше(?![а-яё])","i","Найдено: слово \"еше\" (\"еще\" с опечаткой).");

Опубликовано пт, 21/01/2011 - 06:18 пользователем TaKir

Обычно прилипшие тире чистятся скриптом "генуборка", но не все варианты (спасибо shokons за подсказку).

Добавка в скрипт "Поиск по набору регэкспов", автор Sclex для тех случаев, которые генуборка не исправляет:

прилипшие тире:
addRegExp("[A-Za-zА-яЁё][—]","","Найдено: прилипшее тире в конце и середине слова");
addRegExp("[—][A-Za-zА-яЁё]","","Найдено: прилипшее тире в начале и середине слова");

Опубликовано пт, 21/01/2011 - 07:25 пользователем Oldtimer

Неожиданно.
Грецию -> Грешно
Польши -> Полыни

Опубликовано пт, 21/01/2011 - 08:41 пользователем mikebb

Странно - это только у меня при OCR окончание сти превращется в трейд марк на конце - вместо "сущности" получаем "сущностм
а что есть за tagRegExp? Это в каком редакторе? Я пользуюсь FBE 2.6

Опубликовано пт, 21/01/2011 - 10:57 пользователем Zadd

mikebb написал:
Странно - это только у меня при OCR окончание сти превращется в трейд марк на конце - вместо "сущности" получаем "сущностм

Я думаю, что это скорее всего, сущности
У меня тоже бывает, когда некоторые буквы распознаются как будто бы они были в верхнем индексе, хотя на самом деле на скане ничего подобного не было. Возможно, тут виноват перекос скана.(Сканировщик сканировал страницу под углом, который FR не смог распознать). Иногда из-за перекоса текст становится курсивным.

Опубликовано пт, 21/01/2011 - 14:16 пользователем shokons

Zadd написал:

У меня тоже бывает, когда некоторые буквы распознаются как будто бы они были в верхнем индексе, хотя на самом деле на скане ничего подобного не было. .

В принципе можно добавить

tagRegExp("[а-яёa-z]< sup>[а-яёa-z]+?< /sup>|< sup>[а-яёa-z]+?< /sup>[а-яёa-z]","i","Найдено: Найдено: верхний индекс в средней части слова.");
tagRegExp("[а-яё]< sup>[а-яё]+?< /sup>|< sup>[а-яё]+?< /sup>[а-яё]","i","Найдено: Найдено: верхний индекс.");
tagRegExp("< sup>[а-яёa-z]+?< /sup>[а-яёa-z]|[а-яёa-z]< sup>[а-яёa-z]+?< /sup>","","Найдено: верхний индекс в начале или конце слова.");

tagRegExp("[а-яёa-z]< sub>[а-яёa-z]+?< /sub>|< sub>[а-яёa-z]+?< /sub>[а-яёa-z]","i","Найдено: нижний индекс в средней части слова.");
tagRegExp("[а-яё]< sub>[а-яё]+?< /sub>|< sub>[а-яё]+?< /sub>[а-яё]","i","Найдено: нижний индекс части слова.");
tagRegExp("< sub>[а-яёa-z]+?< /sub>[а-яёa-z]|[а-яёa-z]< sub>[а-яёa-z]+?< /sub>","","Найдено: нижний индекс в начале или конце слова.");

tagRegExp("[а-яёa-z]< strong>[а-яёa-z]+?< /strong>|< strong>[а-яёa-z]+?< /strong>[а-яёa-z]","i","Найдено: жирность в средней части слова.");
tagRegExp("[а-яё]< strong>[а-яё]+?< /strong>|< strong>[а-яё]+?< /strong>[а-яё]","i","Найдено: жирность части слова.");
tagRegExp("< strong>[а-яёa-z]+?< /strong>[а-яёa-z]|[а-яёa-z]< strong>[а-яёa-z]+?< /strong>","","Найдено: жирность в начале или конце слова.");
tagRegExp("(ыи)","i","Найдено: часть слова \"ыи\" (\"ьш\" с опечаткой).");

--------------------------------
Вот только не знаю - будет ли скрипт тормозить из-за увеличения кол-ва выражений?
Я себе поставил - вроде изменения скорости визуально не заметил, а специально мерить неохота )))

Кстати - по поводу тире.
А где-нибудь нужно, чтобы тире "прилипало" к слову? (текст— текст )
Если нет ( а я так и не вспомнил - где нужно ) то можно регеспом массово: (текст — текст )
([а-яё\d"».,)])([—])(\s)
в замену: $1 — $3

Опубликовано пт, 25/02/2011 - 04:52 пользователем mikebb

Нет это именн превращение в тм!
оставлености получилось оставленное™
захваченности получилось захваченное™

Опубликовано пт, 21/01/2011 - 12:15 пользователем TaKir

mikebb написал:
Странно - это только у меня при OCR окончание сти превращется в трейд марк на конце - вместо "сущности" получаем "сущностм

Неоднократно тоже встречал такое в ФР.

Опубликовано пт, 21/01/2011 - 08:43 пользователем mikebb

А где теперь дополнение? У меня поход по ссылека приводит к
SearchWithRegexpSet_v21.rar (3.2 КБ)
Файл удален.

Опубликовано пт, 21/01/2011 - 12:26 пользователем TaKir

mikebb написал:
А где теперь дополнение? У меня поход по ссылека приводит к SearchWithRegexpSet_v21.rar (3.2 КБ)
Файл удален.

http://groups.google.com/group/fiction-book-editor/browse_thread/thread/b4700ee54d255384/e200b7b6f319c4c8
Актуальная на сегодня версия - 2.7.
Скрипт "Поиск по набору регэкспов v2.7":
Скачать:
http://rghost.ru/3955874
или
http://scripts.fictionbook.org/files/SearchWithRegexpSet_v27.rar

Напоминаю, что исходный скрипт не содержит поисковых строк. Их надо скопировать из старой версии, которой вы сейчас пользуетесь и закомментарить следующую строку:
addRegExp("","i","Задайте список регэкспов, отредактировав скрипт в текстовом редакторе (кодировка UTF-8). Инструкция – в скрипте.");

Ускорена работа скрипта.
Теперь у функций addRegExp и tagRegExp появился пятый параметр:
ограничение на длину строки, которую могут находить конструкции просмотра назад, т.е. (?<= ...) и (?

Опубликовано пт, 21/01/2011 - 11:57 пользователем shokons

Сорри, почему-то не отражаются теги. Поставлю пробел после угловой скобки

Опубликовано пт, 21/01/2011 - 14:11 пользователем Рыжий Тигра

shokons написал:
почему-то не отражаются теги
Вместо "<" пиши "&lt;".

Опубликовано сб, 22/01/2011 - 12:21 пользователем XtraVert

Кто-нибудь, выложите пожалуйста скрипт со всеми поисковыми строками, и закомменченый, где нужно... У меня с этим проблемы.

Опубликовано сб, 22/01/2011 - 13:05 пользователем shokons

Это мой вариант ( со всеми здешними дополнениями) http://ifolder.ru/upload/?session=e304e600145a5b151f77b967e9ab7b2a

Опубликовано сб, 22/01/2011 - 13:06 пользователем XtraVert

спасибо..

Страницы
X