Разработчики представили инструмент gzipt для генерации текста через сжатие

Разработчик представил gzipt — инструмент, использующий алгоритм сжатия DEFLATE для генерации текстовых последовательностей. Программа работает без классического обучения нейронных сетей, опираясь на принципы теории информации.

Принцип работы gzipt заключается в оценке вероятности продолжения текста через степень его сжатия. Инструмент использует поиск по лучу (beam search) для выбора наиболее вероятных токенов, которые обеспечивают минимальный размер итогового файла при сжатии алгоритмом gzip. Чем лучше последовательность сжимается в контексте заданного корпуса, тем выше её рейтинг в модели.

В ходе экспериментов система была протестирована на корпусе текстов Уильяма Шекспира. Инструмент демонстрирует способность к предсказанию символов, основываясь исключительно на статистических закономерностях, выявленных в процессе сжатия данных. Это позволяет генерировать текст, сохраняющий стилистические особенности исходного набора данных без использования весов нейросетей.

Реализация проекта доступна для анализа и воспроизведения в открытом доступе. Метод показывает альтернативный подход к моделированию языка, где вместо обучения параметров модели используется вычислительная мощность алгоритмов сжатия данных для определения предсказательной вероятности следующего элемента последовательности.