Исходный список

Строк в исходном списке: 0

Учитывать регистр: «Москва» и «москва» — разные строки Учитывать пробелы и табуляцию при сравнении Удалить пустые строки и строки из пробелов

Если отключить учёт пробелов, пробелы по краям игнорируются, а несколько пробелов или табуляций между словами считаются одним пробелом. Написание первой строки в результате сохраняется.

Удалить дубликатыОчистить

0Было строк

0Осталось строк

0Удалено дублей

0Удалено пустых

Результат без дубликатов

Скопировать результатСкачать TXTВ исходный список

Посмотреть удалённые дубли

Удалённые повторяющиеся строки

Показано каждое удалённое повторение в исходном виде. Пустые строки, исключённые отдельной настройкой, сюда не входят.

Скопировать дубли

Сравнение выполняется построчно: слова внутри одной строки не удаляются. Текст обрабатывается в браузере и не отправляется этим инструментом на сервер. Лимит за один запуск — 200 000 строк и 5 млн символов. Завершающий перенос строки не считается дополнительной пустой строкой.

Для чего нужен сервис удаления дубликатов?

Повторяющиеся строки часто появляются при объединении таблиц, сборе ключевых слов и копировании данных из разных источников. Инструмент помогает убрать такие повторы и получить список, в котором каждое значение встречается один раз.

Сервис пригодится для очистки:

• ключевых слов и фраз для контекстной рекламы и SEO;
• списков ссылок и адресов страниц;
• названий товаров, категорий и городов;
• артикулов, идентификаторов и других значений из таблиц.

Сравнение выполняется построчно. Каждый элемент списка нужно размещать с новой строки.

Как удалить повторяющиеся строки

1. Вставьте текст в поле «Исходный список».
2. Выберите, нужно ли учитывать регистр, пробелы и табуляцию.
3. Оставьте включённым удаление пустых строк, если они не нужны в результате.
4. Нажмите «Удалить дубликаты».
5. Заберите очищенный список кнопкой «Скопировать результат» или «Скачать TXT».

Исходный текст останется в первом поле. Если хотите обработать результат с другими настройками, нажмите «В исходный список».

После изменения текста или настроек результат сбрасывается. Для повторной обработки снова нажмите «Удалить дубликаты».

Пример удаления дублей

Допустим, в исходном списке пять строк:

Москва
Казань
Москва
Самара
Казань

После обработки останутся три:

Москва
Казань
Самара

Сервис удалит два повторения. Первое вхождение каждого значения и порядок строк сохранятся.

Настройки сравнения

Учитывать регистр

При включённой настройке «Москва» и «москва» считаются разными строками.

Если отключить учёт регистра, сервис распознает их как дубликаты и оставит тот вариант, который встретился первым. Написание сохранённой строки не изменится.

Учитывать пробелы и табуляцию

При включённой настройке строки с разным количеством пробелов считаются разными. Например, один и два пробела между словами влияют на сравнение.

Если отключить эту настройку:

• пробелы по краям строки будут игнорироваться;
• несколько пробелов или табуляций между словами будут считаться одним пробелом.

Пробел между словами не исчезает: «купить диван» и «купитьдиван» остаются разными значениями.

Эта настройка меняет способ сравнения. В результате сохраняется исходное написание первого вхождения, включая его пробелы.

Удалить пустые строки

Опция исключает пустые строки и строки, состоящие только из пробельных символов. Они подсчитываются отдельно от удалённых дублей.

Если отключить опцию, пустые строки участвуют в сравнении на общих основаниях.

Как посмотреть удалённые дубли?

Откройте раздел «Посмотреть удалённые дубли» под результатом. В нём показаны все удалённые повторения в том виде, в котором они были в исходном списке.

Если одно значение встретилось четыре раза, первое останется в результате, а остальные три появятся в списке удалённых дублей. Этот список можно скопировать отдельно.

Пустые строки, удалённые соответствующей настройкой, в этот раздел не попадают.

Что означают счётчики?

После обработки сервис показывает четыре значения:

• Было строк — количество строк в исходном списке.
• Осталось строк — количество строк в результате.
• Удалено дублей — количество исключённых повторений.
• Удалено пустых — количество строк, удалённых как пустые.

Один перенос строки в самом конце текста не считается дополнительной пустой строкой.

Частые вопросы

Можно ли удалить дубликаты ключевых слов?

Да. Вставьте каждое слово или ключевую фразу с новой строки. Сервис сравнит строки целиком и уберёт повторения с учётом выбранных настроек.

Удаляются ли повторяющиеся слова внутри одной строки?

Нет. Инструмент работает со строками целиком. Например, строка «купить купить диван» останется без изменений, если в списке нет её дубликата.

Считаются ли фразы с разным порядком слов дублями?

Нет. «Купить диван» и «диван купить» — разные строки. Сервис не переставляет слова, не определяет синонимы и не сравнивает фразы по смыслу.

Можно ли очистить список из Excel или Google Sheets?

Да. Скопируйте значения из одного столбца и вставьте их в исходное поле. После обработки результат можно скопировать обратно в таблицу.

Если вставить несколько столбцов, инструмент будет сравнивать каждую строку целиком, включая значения, разделённые табуляцией.

Как обрабатываются ссылки?

Ссылки сравниваются как текстовые строки. Адреса с разными протоколами, параметрами или завершающим слешем автоматически не объединяются.

Какой объём текста можно обработать?

За один запуск — до 200 000 строк и 5 млн символов. Если список больше, его нужно сократить или разделить на части. При раздельной обработке повторы между частями не обнаруживаются.

Сохраняется ли введённый текст?

Сам инструмент обрабатывает данные в браузере, не отправляет их на сервер и не сохраняет после перезагрузки страницы. Чтобы сохранить результат, скопируйте его или скачайте файл TXT.