• admin
• 16 Июнь 2009
• Рубрика: Скрипты на PHP

Удаление дублей

Довольно часто возникает ситуация когда необходимо очистить свою базу кейвордов или url от дублей. Можно конечно использовать Xrumer, но тогда удаление дубликатов у базы из нескольких млн строк займет приличное время, а вот этот простой скрипт на PHP довольно шустро удалит все дубликаты.

Для работы создайте файл key.txt и в него запишите базу которую нужно почистить. Не забудьте добавить памяти в php.ini (если есть конечно возможность).

Ну и запускайте этот код

<?php
set_time_limit(0);
$res=array();
$mass=file(“key.txt”);
$mass=array_unique($mass);
file_put_contents(‘key_unique.txt’, implode(“”,$mass));
?>

Файл  key_unique.txt и будет нашей почищенной базой.
Другим скриптом можно посчитать количество строк у файла

<?php
$mass=file(“key_unique.txt”);
$count=count($mass);
$count2=$count/1000;
echo “У файла key_unique.txt $count2 тысяч строк”;
?>