L1-10 — Когда Claude врёт¶
новичок
Читать ~15 мин · практика ~20 мин{ .lesson-meta }
Олег чуть не отправил контрагенту претензию со ссылкой на пункт 7.4 договора. Звучало солидно: «согласно п. 7.4, поставщик обязан…». Одна беда — пункта 7.4 в договоре не было. Claude его выдумал. Уверенно, гладко, с деловой интонацией.
Это последний урок уровня — и самый важный для долгой жизни с ИИ. Потому что доверие, не знающее границ, заканчивается отправленной претензией с выдуманным пунктом.
Разминка (не подглядывая в L1-09): назови три уровня страховки при изменении файлов.
Ответ
Дифф (предпросмотр «было/стало» до правки), «попроси вернуть» в той же беседе, копии документов во входящих — оригиналы нетронуты.
Почему он выдумывает¶
У этого явления есть имя — галлюцинации. Чтобы их предсказывать, достаточно понять одну вещь про устройство Claude: он не ищет ответ в справочнике — он составляет правдоподобный текст. Почти всегда правдоподобное совпадает с правдой: он действительно очень много знает. Но когда знаний не хватает, он не останавливается — он достраивает. Тем же уверенным тоном.
Из этого следует главное правило: уверенность тона ничего не говорит о правдивости. Claude звучит одинаково убедительно, когда цитирует твой договор и когда сочиняет его несуществующий пункт.
Где ждать вранья: карта рисков¶
Галлюцинации — не лотерея, у них есть любимые места.
Высокий риск — проверять обязательно
- Номера и реквизиты: статьи законов, номера пунктов, ГОСТы, даты постановлений. Самая опасная зона для офиса: «согласно ст. 317.1 ГК РФ…» — звучит шикарно, проверяется обязательно
- Свежие события: у Claude есть дата отсечки знаний; всё, что случилось позже, он не знает — но может «знать» галлюцинацией. Изменения в законах — сюда же
- Узкая специфика: внутренние регламенты твоей отрасли, региональная практика
Низкий риск — здесь курс и живёт
- Работа с тем, что у него перед глазами: пересказ, сравнение, поиск по твоим документам. Тут источник — твой файл, выдумывать незачем (хотя проверка цитатой всё равно дешевле ошибки)
- Переформулировки и структура: «перепиши вежливо», «собери в таблицу» — здесь врать просто не о чем
Заметь: весь наш курс построен вокруг зоны низкого риска. Claude в офисе силён не как справочник по законам, а как руки для работы с твоими документами.
Три приёма проверки¶
Приём 1: «Покажи, откуда взял». Знакомый по L1-07 — теперь понятно, зачем он нужен. Любой факт из документа — «процитируй пункт». Цитату он скопирует, а не сочинит, и ты сверишь за секунды.
Приём 2: «Если не уверен — скажи». Добавь в просьбу одну фразу: «если чего-то нет в документе или ты не уверен — скажи прямо, не придумывай». Это заметно снижает желание достраивать. (В L2-11 мы пропишем это правило один раз и навсегда.)
Приём 3: важное — во внешний источник. Ссылка на закон уходит в письмо или претензию? Открой закон и проверь глазами. Не «вероятно, правильно», а проверил. Минута против репутации — выгодная сделка.
Если поймал на вранье¶
Скажи прямо: «пункта 7.4 в договоре нет, проверь». Claude легко признаёт ошибку и поправится — без споров и оправданий (за это его можно уважать).
А вот если беседа длинная и он начал путаться систематически — не мучай её. Начни новую и сформулируй задачу заново, с чистого листа. Длинные захламлённые беседы — известный источник путаницы: где-то в середине он зацепился за неверную мысль и тащит её дальше. Новая беседа — стакан чистой воды.
Бояться нечего¶
«Так ему вообще нельзя доверять?»
Можно — как сильному стажёру: работу делает быстро и хорошо, но подпись под документом ставишь ты. Заметь, с коллегами-людьми так же: и они ошибаются уверенным тоном. Просто с Claude правила проверки проще и работают всегда.
«Проверка съест всю экономию времени»
Нет. Проверяются точечные факты — цифры, номера, цитаты. Структура, формулировки, поиск, сравнение — то, что съедало часы — остаётся быстрым. Олег тратит на проверку претензии три минуты. Раньше писал её сорок.
Попробуй сегодня¶
Поймай галлюцинацию за хвост — в учебных условиях
- Открой беседу по учебному договору из песочницы и спроси про несуществующее: «что говорит пункт 12.3 этого договора?» (такого пункта нет)
- Посмотри на ответ. Скажет «такого пункта нет» — отлично, так и должно быть. Начнёт рассказывать про пункт 12.3 — вот она, галлюцинация, живая
- Повтори вопрос с добавкой: «если такого пункта нет — скажи прямо». Сравни поведение
- На своём документе: задай вопрос по содержанию и попроси цитату. Сверь до буквы
Проверь себя¶
Claude уверенно сослался на статью закона с номером и датой. По каким признакам решать, проверять ли её?
Сначала ответь сам, потом открой
Признак один, и он прост: это факт из внешнего мира (не из твоего документа), и он пойдёт в дело. Номера статей — зона высокого риска, уверенный тон — не аргумент. Проверяем всегда, если ссылка уходит в документ или решение.
Можешь идти дальше, если
- Ты видел галлюцинацию своими глазами (или честное «такого пункта нет»)
- Можешь назвать две зоны высокого риска по памяти
- Проверил хотя бы одну цитату до буквы
Чек-лист уровня
Это был последний урок L1. Открой обзор уровня и пройди чек-лист выхода: восемь пунктов, которые отделяют «прочитал курс» от «у меня работает помощник».
Что дальше
Уровень 2 — то, ради чего всё затевалось. Двенадцать уроков про документы: Word, PDF, Excel, письма, протоколы, шаблоны, проверка на ошибки. Твой список «задач-копирок» из L1-01 начнёт таять с первого же урока.
Удалось ли спровоцировать галлюцинацию про пункт 12.3 — или Claude честно сказал «нет такого»? Напиши результат: интересна статистика по живым попыткам.