pcixi.ru
Творческое объединение шизофреников
Лечение шизофрении творчеством и общением на pcixi.ru

Форум » Я и моя Шизофрения » Психиатрия » Частная психиатрия » Проект "Интернет в голову" повышает интеллект и эрудицию
Проект "Интернет в голову" повышает интеллект и эрудицию
Talomir #346 | Среда, 01.12.2021, 02:25
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
ПОПРАВКА К СПАМ-СПИСКУ ДЛЯ ВЕРСИИ 1.8.8.6

Пришлось разбанить google и gmail в спам-списке 1.8.8.6, дело в том, что google в украине является чуть-ли не единственным провайдером баннерной рекламы, то есть баннерной сетью, что платит за показы. Другие баннерные сети вышли из бизнеса, а Яндекс забанен на фаерволах. Поэтому остаётся только google, и банить его получается неразумным.

spamlist.txt:



Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #347 | Среда, 01.12.2021, 04:41
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
PersonalInternetSearch.exe -c

Решил добавить ключ командной строки -c для запуска поиска без формы, на линукс-сервере. Для этого поправлю Program.cs и логику старта поиска, и добавлю методы цветного вывода протокола работы в консоль, как у программ - майнеров. Тогда поиск можно запустить в серверной версии на линукс-дедике, который обходится, вместе с доменом, в $8 / месяц.



Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #348 | Среда, 01.12.2021, 05:48
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
РЕЛИЗ ИНТЕРНЕТ ПОИСКА 1.8.8.6: 228 000 СТРАНИЦ

Откатился к старой версии базы страничек, которую поиск собирал пол года, и собрал, наконец-то, релиз 1.8.8.6 для pc и для сервера. Скачать и попробовать можно отсюда

Дальше - повышение стабильности поиска и выпуск версии под командную строку под линукс-дедики!




Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #349 | Среда, 01.12.2021, 22:14
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
НАЧАЛ ТЕСТИРОВАНИЕ ВЕРСИИ ПОИСКА 1.8.8.7

Поправки к архитектуре:


- хранить не больше 30 страниц каждого сайта

- качать не больше 30 страниц каждого сайта

- обходить не больше 200 ссылок с каждого сайта

- проверять на спам перед добавлением записи в базу

- проверять на спам при чтении записи из базы в память

- не обновлять спам-записи из базы повторной закачкой

Новая версия спам-списка:

- категории "лоховоды", "кукловоды", "спамеры", "мусор"

Поправки ошибок:

- передача хэш-таблицы методу, приводящая к индексации преимущественно мусора с сайта а не корня сайта

- упущение корневой ссылки на сайт в методе получения всех ссылок сайта, приводящая к пропуску основных сайтов

Вручную прописанные сайты для начала обучения базы страничек:

- форумы хакеров

- форумы кардеров

- форумы читтеров

- форумы фрикеров

- форумы программистов

- форумы системных администраторов

- форумы по электронике

- форумы по компьютерным играм

Релиз поиска планирую сделать через 2 недели, после исправления всех возможных ошибок. heart hi



Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #350 | Среда, 01.12.2021, 23:07
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +




Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #351 | Четверг, 02.12.2021, 04:39
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +



Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #352 | Четверг, 02.12.2021, 06:11
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
ИЗМЕНЕНИЕ ДИЗАЙНА СТРАНИЦЫ ПОИСКА 1.8.8.7





Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #353 | Четверг, 02.12.2021, 06:40
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
РЕЛИЗ ИНТЕРНЕТ ПОИСКА 1.8.8.7 ДЛЯ PC И СЕРВЕРА

Спустил релиз 1.8.8.7, так как он исправляет критические ошибки предыдущих версий. База страничек - начальная, её надо дообучать. Скачать и попробовать



Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Сообщение отредактировал(а) Talomir - Четверг, 02.12.2021, 21:26
Статус: нет меня
 
Talomir #354 | Четверг, 02.12.2021, 21:24
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
Поправил изображение гидры на главной страничке поиска, убрал небольшой дефект - полоску, и перезакачал дистрибутив 1.8.8.7 на страничку программы. Можно скачать и попробовать




Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #355 | Четверг, 02.12.2021, 23:21
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +



Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #356 | Пятница, 03.12.2021, 03:23
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
СПАМ-СПИСОК ИНТЕРНЕТ ПОИСКА 1.8.8.7




Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #357 | Пятница, 03.12.2021, 23:43
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
НАЧАЛ ТЕСТИРОВАНИЕ ПОИСКА ВЕРСИИ 1.8.8.8

В этой версии исправлена ситуация гонок в передаче параметров стартующим потокам ClassThreadsPool, могущая приводить к исчерпанию списка свободных потоков и зависанию задач поиска, типа скачивания сайтов или хэширования страничек сайтов. Тест исправления займёт от суток до нескольких суток.



Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #358 | Суббота, 04.12.2021, 06:30
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
СЛЕДУЮЩИЕ ВЕРСИИ АУДИО-БРАУЗЕРА БУДУТ С ПЕРСОНАЛЬНЫМ ПОИСКОМ ПО УМОЛЧАНИЮ


Изначально, я начал писать свою поисковую систему именно для аудио-браузера. В первую очередь, чтобы меня не забанил duckduckgo, как робота. Потом уже созрели идеи повышения надёжности децентрализированным поиском, отсутствие отслеживания и так далее, вплоть до заработка на баннерах на серверной версии.

Поэтому я решил в следующих версиях аудио-браузера сделать свой серверный поиск системой по умолчанию, с которой одним кликом мышки можно переключиться и на DuckDuckGo, работающую через всезнающий гугл.

Я бы отказался полностью от поисковой системы google, но она практически всезнающая, обучалась и программировалась 20 лет, и заиндексировала все знания планеты. Так что этот источник знаний нельзя исключить из планет-толкинга, так как по качеству информации ничего лучше нет и в ближайшее время не будет, разве что есть аналоги, пользующиеся их движком и базой знаний.

Но по умолчанию, при запуске, планет-толкинг студия будет открывать серверную версию персонального интернет поиска, для нажёжности и независимости от банов duckduckgo и google. Google банит программы как ботов, пока это обходится использованием интерфейса duckduckgo, но в будущем ситуация может измениться - в любой момент времени банить начнёт и duckduckgo. Выглядеть аудио-браузер с персональным поиском будет так:




Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #359 | Суббота, 04.12.2021, 22:08
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
РЕЛИЗ ПЕРСОНАЛЬНОГО ИНТЕРНЕТ ПОИСКА 1.8.8.8

Это исправление-релиз исправляет две критических ошибки в последних версиях интернет-поиска:

- запуск множества потоков, по ошибке, подсчёта статистики по базе, приводившая к блокировке базы и остановке хэширования страниц

- ситуация гонок в классе ClassThreadsPool

Скачать и попробовать интернет-поиск 1.8.8.8



Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Talomir #360 | Воскресенье, 05.12.2021, 00:51
Автор темы
Повелитель буйных
Постоянные пациенты
Юзер-бар +
СЛИВ ИЗ ПЕРСОНАЛЬНОГО ПОИСКА: ИГРА FAMILY SIMULATOR





Чтобы понять проблему шизофрении, нужно изучить ботов.
Чтобы решить проблему шизофрении, нужно изучить электронику.
Статус: нет меня
 
Форум » Я и моя Шизофрения » Психиатрия » Частная психиатрия » Проект "Интернет в голову" повышает интеллект и эрудицию
Поиск:

 Открыть форму: Новый ответ


[ Новые сообщения на форуме ]



Форма входа

Авторизация через соцсети

Логин:
Пароль: