Описание задачи Это данные для [SNA Hackathon - Тексты][1], одной из трех задач из [SNA Hackathon][2]. Для соревнования [SNA Hackathon][2] были собраны логи показов контента из открытых групп в новостных лентах социальной сети [Одноклассники][4] пользователей за февраль-март 2018 года. В тестовое множество спрятаны последние полторы недели марта. Каждая запись в логе содержит информацию о том, что и кому было показано, а также о том, как отреагировал пользователь на этот контент: поставил ?Класс?, прокомментировал, проигнорировал или скрыл из ленты. Суть задачи в том, чтобы для каждого пользователя тестового множества отранжировать кандидатов, как можно выше поднимая тех, которые получат ?класс?. Описание данных Информация представлена в формате [Apache Parquet][5], который является основным для фреймворка Spark. Для работы с этим форматом из Python мы рекомендуем воспользоваться библиотекой [Apache Arrow][6]. Для простоты понимания в репозитории на [GitHub][7] выложены бейзлайны. Пользуйтесь! В обучающем множестве данные разложены по дням, а внутри дня разделены на 6 частей по ID пользователя (один и тот же пользователь всегда попадает в ту же самую часть). Такая раскладка позволяет участникам анализировать не все данные сразу, а ограничиться определёнными днями и/или подгруппами пользователей. Данные содержат следующие поля (папки `/train` и `/test`): - `instanceId_userId` — идентификатор пользователя (анонимизированный) - `instanceId_objectType` — тип объекта - `instanceId_objectId` — идентификатор объекта (анонимизированный) - `feedback` — массив с типами реакций пользователя (наличие в массиве токена Liked говорит о том, что объект получил ?класс? от пользователя) - `audit_clientType` — тип платформы, с которой зашёл пользователь - `audit_timestamp` — время, когда строилась лента - `metadata_ownerId` — автор показанного объекта (анонимизированный) - `metadata_createdAt` — дата создания показанного объекта Для объектов из обучающего текстового множества дополнительно предоставлены связанные с ними тексты в формате Apache Parquet (папка `/texts`): - `objectId` — идентификатор объекта - `lang` — язык текста (на базе детектора языка Одноклассников) - `text` — сырой текст, связанный с объектом - `preprocessed` — массив токенов, полученный после фильтрации пунктуации и стемминга Оценка результата Участники чемпионата должны так отсортировать ленту, чтобы объекты с высокой вероятностью ?класса? оказались наверху. Сортировка производится индивидуально для каждого пользователя, после чего формируется текст сабмита следующего вида (формат соответствует экспорту из Pandas-датафрейма с колонками типа `int` и `int[])`: User_id_1,"[object_id_1_1, object_id_2_2] User_id_2,"[object_id_2_1, object_id_2_2, object_id_2_3] В сабмите должна присутствовать строчка для каждого пользователя тестового набора, а строки отсортированы по возрастанию ID. Объекты для каждого пользователя должны быть отсортированы по убыванию релевантности. При оценке сабмита для каждого пользователя будет посчитан его личный ROC-AUC, после чего посчитано среднее по всем пользователям и умножено на 100. [1]: https://mlbootcamp.ru/round/19/tasks/ [2]: https://snahackathon.org/ [3]: https://mlbootcamp.ru/round/19/tasks/ [4]: https://ok.ru/ [5]: https://parquet.apache.org/ [6]: https://arrow.apache.org/ [7]: https://github.com/MailRuChamps/snahackathon