Предыдущие модели GPT (в том числе и отечественные аналоги) работали по принципу “гладко было на бумаге, да забыли про овраги”. Каждое наше тестирование на работе пока что заканчивалось тем, что в переписанном тексте алгоритм делал несколько фактических ошибок и мы откладывали работу с ним до выхода следующей версии. Ерзаю вот теперь и жду тестов на GPT-4o
Только что просмотрел крайне занимательный ролик, я бы даже сказал - фильм. Все же над ним трудились 3 месяца. Он достаточно хорошо структурирован и аргументирован. Смотрелся на одном дыхании. Выводы так же не дадут заскучать…
Советую его глянуть на досуге.
1 лайк
Алармисты в чате, трепещите
4 лайка
Ну это не совсем корректно. Все эти ресурсы имеют платный контент наряду с бесплатным. Как и наши Ведомости, например.
Ключевое слово было “помойки”, а не “платные”.
На NY Times я например сам подписан, это не помойка )
1 лайк
Over-enthusiastic ролик. На всякий случай напомню, сколько было хайпа по поводу autonomous driving 3-4 года назад, и где сейчас этот аutonomоus driving. Нигде, несмотря на весь прогресс.
Проблема в том GPT-подобные модели работают в режиме “пьяного поэта”, они с одинаковой вероятностью могут выдать и гениальный ответ и полное фуфло. Если вручную отобрать гениальные ответы, получится контент для ролика, который вы привели. Если не отбирать, то получится, что никакую мало-мальски ответственную работу ИИ поручить нельзя.
Для того, чтобы модель научилась отличать собственные верные ответы от неверных, боюсь что требуется другой уровень абстрактного мышления - не случайно выросший, как сорняк, в современных моделях, а целенаправленно культивируемый. Но пока не очень понятно, как это делать.
5 лайков
Проблема в том, что alignment это в общем случае про то, как сделать модель хуже.
А цель коммерческой компании, каковой является OpenAI - сделать модель лучше. Поэтому alignment хорош для пиара, но плох для конкурентоспособности.
3 лайка
Ну нет. Цитата
Вчера, вслед за Ilya Sutskever, из компании ушел Jan Leike. Он со-руководил командой SuperAlignment’а. И нет, вопреки расхожему мнению, это не про то, как сделать из LLM woke-модельку, которая не пишет расистские шутки. Направление должно было решить задачу контроля суперинтеллекта, то есть ответить на вопрос: как управлять поведением систем, которые будут умнее их создателей? Как модель с IQ 170 и навыками переубеждения на уровне мастера-манипулятора заставить делать то, что было бы полезным для нас, людей?
1 лайк
Вот всё вот это:
делает модель хуже, в смысле ограничивает её ответы и делает их менее интересными и разнообразными. А интересные ответы - это именно то, что продаётся пользователям и инвесторам.
За модель, которая умеет манипулировать людьми, заплатят намного больше, чем за модель, которая не умеет. Понятно почему.
Неплохой доклад с примерами, о потенциальных угрозах ИИ. Если коротко, то текущий уровень экспертизы просто не позволяет предсказать возможные издержки использования ИИ.
В чем проблема-то?
Если относится как в фантазеру по текстам, картинкам, то да
Но тут берут шире
Направление должно было решить задачу контроля суперинтеллекта, то есть ответить на вопрос: как управлять поведением систем, которые будут умнее их создателей? Как модель с IQ 170 и навыками переубеждения на уровне мастера-манипулятора заставить делать то, что было бы полезным для нас, людей?
Это просто красивая формулировка “как заставить модель давать ответы, которые одобрит комитет по этике”. Никакой объективной оценки, насколько полезен/вреден для человечества ответ модели, кроме оценки ответа комитетом по этике, пока не придумано.
Ну у вас, у цифровых нигилистов, да.
2 лайка
6 лайков