ся от других алгоритмов сортировки. Предоставляя такую лямбда-функцию, мы даем алгоритму команду не просто определить, меньше ли значение
a
, чем значение b
(реализация по умолчанию), но и сравнить значения a.second
и b.second
. Обратите внимание: все объекты являются парами «строка и ее значение счетчика», и с помощью нотации a.second
мы получаем доступ к значению счетчика для слова. Таким образом, наиболее часто встречающиеся слова перемещаются в начало вектора, а наиболее редко встречающиеся — в конец.Вспомогательный стилистический редактор для поиска длинных предложений в текстах с помощью std::multimap
Когда большое количество элементов нужно сохранить в упорядоченном виде, а ключи могут встречаться несколько раз, пригодится контейнер
std::multimap
.Придумаем пример, где можно было бы это использовать. В текстах на немецком языке нередко встречаются очень длинные предложения, что не так актуально для английского. Мы реализуем инструмент, который позволит немецким авторам анализировать текстовые файлы, написанные на английском языке, опираясь на длину всех предложений. Чтобы помочь автору улучшить его стиль, программа сгруппирует предложения по длине. Таким образом, автор сможет выбрать самые длинные предложения и разбить их на части.
Как это делается
В этом примере мы считаем данные, введенные пользователем, из стандартного потока ввода, и разобьем их на предложения (а не на слова, как делали раньше). Далее поместим все предложения в контейнер
std::multimap
в паре с переменной, в которой записана их длина. После этого выведем пользователю все предложения, отсортировав их по длине.
1. Как обычно, включим все необходимые заголовочные файлы. Контейнер
std::multimap
поставляется оттуда же, откуда и контейнер std::map
:
#include
#include
#include
#include
2. Мы будем применять множество функций из пространства имен
std
, поэтому объявим о его (автоматическом) использовании:
using namespace std;
3. При токенизации строк путем извлечения их содержимого, стоящего между точками, получим предложения текста, окруженные пробелами, символами перехода на новую строку и т.д. Это нежелательным образом увеличивает их размер, так что отбросим лишние символы с помощью вспомогательной функции, которую сейчас определим:
string filter_ws(const string &s)
{
const char *ws {" \r\n\t"};
const auto a (s.find_first_not_of(ws));
const auto b (s.find_last_not_of(ws));
if (a == string::npos) {
return {};
}
return s.substr(a, b - a + 1);
}
4. Функция определения длины предложения станет принимать гигантскую строку, содержащую весь текст, и возвращать контейнер
std::multimap
, в котором будут соотнесены предложения и их длины:
multimap get_sentence_stats(const string &content)
{
5. Начнем с объявления структуры
multimap
, которая станет возвращаемым значением, а также нескольких итераторов. Поскольку мы создадим цикл, нам понадобится конечный итератор. Далее воспользуемся двумя итераторами, чтобы указать на две соседние точки (знаки препинания) внутри текста. Все находящееся между ними будем считать предложением.
multimap ret;
const auto end_it (end(content));
auto it1 (begin(content));
auto it2 (find(it1, end_it, '.'));
6. Итератор
it2
всегда будет указывать на одну точку дальше, чем итератор it1
. До тех пор, пока итератор it1
не достигнет конца текста, все будет в порядке. Второе условное выражение проверяет, действительно ли итератор it2
указывает на позицию, стоящую на несколько символов дальше. Если это не так, то у нас не осталось непрочитанных символов.
while (it1 != end_it && distance(it1, it2) > 0) {
7. Создаем строку из всех символов между итераторами, после чего удаляем лишние пробельные символы из ее начала и конца, чтобы определить точную длину предложения:
string s {filter_ws({it1, it2})};
8. Возможно, приложение не содержит ничего, кроме пробельных символов. В этом случае просто отбрасываем его. В противном случае установим его длину, определив количество слов. Это делается легко, поскольку все слова разделены одним
пробелом
[2]. Затем сохраняем количество слов и само предложение в контейнер multimap
:
if (s.length() > 0) {
const auto words (count(begin(s), end(s), ' ') + 1);
ret.emplace(make_pair(words, move(s)));
}
[3]
9. На следующей итерации цикла мы переводим ведущий итератор
it2
на символ точки в следующем предложении. Догоняющий итератор it1
переводим на следующий символ относительно предыдущей позиции ведущего итератора:
it1 = next(it2, 1);
[4] it2 = find(it1, end_it, '.');
}
10. После завершения работы цикла контейнер будет содержать все предложения, объединенные в пары с количеством слов, содержащихся в них. Наконец можно вернуть полученный результат:
return ret;
}
11. Теперь воспользуемся вновь добавленной функцией. Сначала укажем
std::cin
не пропускать пробельные символы, поскольку нам нужны предложения с пробелами как единое целое. Чтобы считать весь файл, инициализируем std::string
на основе итераторов потока ввода, которые инкапсулируют std::cin
:
int main()
{
cin.unsetf(ios::skipws);
string content {istream_iterator{cin}, {}};
12. Поскольку нужен полученный контейнер
multimap
лишь для того, чтобы вывести на экран результат, помещаем вызов функции get_sentence_stats
непосредственно в цикл и передаем ему нашу строку. В теле цикла выведем элементы построчно:
for (const auto & [word_count, sentence]
: get_sentence_stats(content)) {
cout << word_count << " words: " << sentence << ".\n";
}
}
13. После компиляции кода мы можем дать приложению команду использовать содержимое любого текстового файла. Текст-пример
Lorem Ipsum
даст следующий результат. Вывод на экран довольно велик для длинных текстов с большим количеством предложений: сначала выводятся самые короткие предложения, а затем — самые длинные. В результате мы сразу видим самые длинные предложения, поскольку обычно по умолчанию на экране отображается нижняя часть вывода:
$ cat lorem_ipsum.txt | ./sentence_length
[5]...
10 words: Nam quam nunc, blandit vel, luctus pulvinar,
hendrerit id, lorem.
10 words: Sed consequat, leo eget bibendum sodales,
augue velit cursus nunc,.
12 words: Cum sociis natoque penatibus et magnis dis
parturient montes, nascetur ridiculus mus.
17 words: Maecenas tempus, tellus eget condimentum rhoncus,
sem quam semper libero, sit amet adipiscing sem neque sed ipsum.
Как это работает
Весь этот пример посвящен разбиению большой строки на предложения, после чего мы определяем их длину и помещаем в контейнер