L1-08 — Когда Claude врёт¶
новичок
Олег чуть не отправил контрагенту претензию со ссылкой на пункт 7.4 договора. Звучало солидно: «согласно пункту 7.4, поставщик обязан…». Одна беда: пункта 7.4 в договоре не было. Claude его выдумал. Уверенно, гладко, с деловой интонацией.
Последний урок уровня и самый важный для долгой жизни с ИИ. Доверие без границ заканчивается отправленной претензией с выдуманным пунктом.
Разминка, не подглядывая в L1-07: назови три уровня страховки при изменении файлов.
Ответ
Дифф (предпросмотр «было/стало» до правки), просьба вернуть в той же беседе, копии документов во входящих с нетронутыми оригиналами.
Почему он выдумывает¶
У явления есть имя: галлюцинации. Чтобы их предсказывать, хватит одной мысли про устройство Claude: он не ищет ответ в справочнике, он составляет правдоподобный текст. Почти всегда правдоподобное совпадает с правдой, знает он действительно много. Но когда знаний не хватает, он не останавливается, а достраивает. Тем же уверенным тоном.
Отсюда главное правило: уверенность тона ИИ не гарантирует его правдивость. Claude звучит одинаково убедительно и при цитировании реального договора, и при создании несуществующих пунктов.
Где ждать вранья¶
Галлюцинации не лотерея, у них есть любимые места.
Высокий риск, проверять обязательно
- Номера и реквизиты: статьи законов, номера пунктов, ГОСТы, даты постановлений. Самая опасная зона для офиса.
- Свежие события: у Claude есть дата отсечки знаний, всё, что случилось позже, он не знает, но может «знать» галлюцинацией. Изменения в законах туда же.
- Узкая специфика: внутренние регламенты отрасли, региональная практика.
Низкий риск, здесь курс и живёт
- Работа с тем, что перед глазами: пересказ, сравнение, поиск по твоим документам. Источник — твой файл, выдумывать незачем.
- Переформулировки и структура: «перепиши вежливо», «собери в таблицу». Эти операции основаны на изменении формы, а не содержания, поэтому они выполняются абсолютно точно.
Весь курс построен вокруг зоны низкого риска. В офисе Claude силён не как справочник по законам, а как руки для работы с твоими документами.
Три приёма проверки¶
Покажи, откуда взял. Знаком по L1-06, теперь понятно зачем. Любой факт из документа — «процитируй пункт». Цитату он скопирует, а не сочинит, и ты сверишь за секунды.
Скажи, если не уверен. Добавь в просьбу фразу: «если чего-то нет в документе или ты не уверен, скажи прямо, не придумывай». Желание достраивать заметно спадает. (В L2-09 пропишем это правило раз и навсегда.)
Важное — во внешний источник. Ссылка на закон уходит в письмо или претензию? Открой закон и проверь глазами. Минута против репутации — выгодная сделка.
Если поймал на вранье¶
Скажи прямо: «пункта 7.4 в договоре нет, проверь». Claude легко признаёт ошибку и поправляется, без споров и оправданий. А если беседа длинная и он начал путаться систематически, не мучай её: начни новую и сформулируй заново. Захламлённая беседа — известный источник путаницы: где-то в середине он зацепился за неверную мысль и тащит дальше. Новая беседа — стакан чистой воды.
Ответы на частые вопросы¶
«Как правильно доверять ответам Claude?»
Относись к нему как к сильному стажеру: он делает работу быстро и качественно, но финальную подпись на документе ставишь ты. Проверить факты по тексту намного проще и быстрее, чем делать всю работу вручную.
«Не отнимает ли проверка слишком много времени?»
Проверять нужно только точечные ключевые факты: цифры, ключевые даты и статьи законов. Всё остальное — структуру документов, стиль, пересказы и сравнения — ИИ выполняет безошибочно и мгновенно. Олег тратит на проверку претензии три минуты, хотя раньше писал её сорок.
Сделай сегодня¶
Поймай галлюцинацию за хвост, в учебных условиях
- В беседе по учебному договору спроси про несуществующее: «что говорит пункт 12.3 этого договора?» (такого пункта нет).
- Скажет «такого нет» — отлично. Начнёт рассказывать про пункт 12.3 — вот она, живая.
- Повтори с добавкой «если такого пункта нет, скажи прямо». Сравни поведение.
- На своём документе: вопрос по содержанию плюс просьба процитировать. Сверь до буквы.
Проверь себя¶
Claude уверенно сослался на статью закона с номером и датой. По каким признакам решать, проверять ли её?
Сначала ответь сам, потом открой
Признак один и простой: это факт из внешнего мира (не из твоего документа), и он пойдёт в дело. Номера статей — зона высокого риска, уверенный тон не аргумент. Проверяем всегда, когда ссылка уходит в документ или решение.
Можешь идти дальше, если
- Видел галлюцинацию своими глазами (или честное «такого пункта нет»)
- Можешь назвать две зоны высокого риска по памяти
- Проверил хотя бы одну цитату до буквы
Поздравляю, это конец Уровня 1
Ты прошёл порог, на котором застревает большинство. Теперь у тебя:
- оплачен доступ, и ты понимаешь, что аккаунт — расходник;
- стоит VS Code с Claude Code, и они говорят по-русски;
- есть ИИ-кабинет, и ты знаешь, что Claude видит только его;
- за плечами первый пересказ документа с проверкой цитатой;
- в руках весь пульт: разрешения, дифф, откат, копии;
- и трезвый взгляд: уверенный тон не равен правде.
Сверься с чек-листом выхода и переходи дальше.
Что дальше
Уровень 2 — то, ради чего всё затевалось: документы. Word, PDF, Excel, письма, протоколы, шаблоны, проверка на ошибки. Твой список «задач-копирок» из L1-01 начнёт таять с первого же урока.
Удалось спровоцировать галлюцинацию про пункт 12.3 или Claude честно сказал «нет такого»? Напиши результат, интересна статистика по живым попыткам.