Automatyczna ewaluacja w aplikacjach LLM: jak…

    WiedzaLLM4 min

    Automatyczna ewaluacja w aplikacjach LLM: jak LlamaIndex może ułatwić ten proces

    Automatyczna ewaluacja w aplikacjach LLM: jak LlamaIndex może ułatwić ten proces

    W skrócie

    W miarę jak modele językowe (LLM) stają się coraz bardziej zaawansowane, rośnie potrzeba efektywnej i precyzyjnej oceny generowanych przez nie odpowiedzi.

    Wprowadzenie

    W miarę jak modele językowe (LLM) stają się coraz bardziej zaawansowane, rośnie potrzeba efektywnej i precyzyjnej oceny generowanych przez nie odpowiedzi. Aplikacje muszą teraz uwzględniać przetwarzanie wiedzy, w tym proces Retrieval-Augmented Generation (RAG), aby dostosować konkretne rozwiązania do swoich domen.

    Istnieją dwa główne podejścia do oceny: ocena automatyczna oraz ocena oparta na ręcznie przygotowanych zestawach referencyjnych. Każde z nich ma swoje zalety i wady.

    Metody oceny

    Ocena ręczna oparta na zestawie referencyjnym

    Ręcznie tworzone zestawy referencyjne mają kilka zalet, takich jak znajomość oczekiwanej odpowiedzi systemu dla konkretnych przypadków. Jednak mają istotne wady:

    1. Czasochłonność: Tworzenie ręcznych zestawów referencyjnych wymaga ekspertów do przygotowania, weryfikacji i zatwierdzania każdego pytania i odpowiedzi.

    2. Kosztowność: Zaangażowanie ekspertów generuje koszty, które szybko rosną wraz ze wzrostem liczby pytań i odpowiedzi.

    3. Ograniczona skalowalność: Utrzymanie i aktualizacja ręcznych zestawów referencyjnych jest trudne, a zasoby ludzkie stają się wąskim gardłem.

    4. Subiektywność: Oceny oparte na danych referencyjnych mogą być obarczone błędami i subiektywizmem.

    5. Ograniczona różnorodność danych: Eksperci mogą nie uwzględnić wszystkich możliwych wariantów pytań i odpowiedzi.

    Ocena automatyczna

    Ocena automatyczna przy użyciu ewaluatorów opartych na LLM umożliwia szybkie i skalowalne, wieloaspektowe ocenianie generowanych odpowiedzi. Nowoczesne narzędzia (np. Vertex, LlamaIndex) oferują wbudowane funkcje ewaluacji, które integrują modele, umożliwiając efektywne wykrywanie halucynacji i zapewnianie spójności pytań i odpowiedzi. Ocena automatyczna przyspiesza proces oceny, obniża koszty i minimalizuje błędy ludzkie, co czyni ją nieocenioną przy pracy z zaawansowanymi modelami językowymi.

    Ewaluacja w co.brick

    Problem oceny jest istotny w co.brick, gdzie rozwijamy aplikacje dla naszych klientów i rozwijamy technologię CoCo. CoCo to platforma AI wykorzystująca generatywną sztuczną inteligencję do wydobywania wiedzy z systemów technicznych (cloud-native, IIoT).

    Proces ewaluacji automatycznej

    Proces uwzględnia pytanie użytkownika, odpowiedź systemu oraz kontekst (wybrane węzły wiedzy). Opiera się na następujących pytaniach, aby ocenić wydajność aplikacji LLM:

    • Ocena wierności (Faithfulness): Czy wygenerowana odpowiedź jest zgodna z kontekstem (węzłami wiedzy)?

    • Ocena adekwatności: Czy odpowiedź i kontekst odpowiadają zapytaniu?

    • Odpowiedniość kontekstu: Które węzły kontekstowe zostały użyte do wygenerowania odpowiedzi?

    Inne metody i podejścia oparte na szczegółowych wytycznych zostaną przeanalizowane w przyszłych zadaniach.

    Dlaczego LlamaIndex?

    LlamaIndex to zaawansowane narzędzie Open Source zaprojektowane do efektywnego przetwarzania i zarządzania wiedzą w aplikacjach LLM. Wyróżnia się elastycznością i wszechstronnością, oferując wbudowane metody ewaluacji do automatycznej oceny odpowiedzi generowanych przez LLM. Pomaga to wykrywać halucynacje modelu i oceniać spójność odpowiedzi z kontekstem.

    Zakładając, że mamy dokumenty (bazę wiedzy) do wykorzystania w aplikacji, LlamaIndex pozwala na łatwe przetwarzanie różnych typów dokumentów w celu utworzenia węzłów wiedzy. Wiele podstawowych przykładów użycia LlamaIndex jest dostępnych w Internecie, więc nie będziemy tutaj rozwijać tego tematu. Podstawowe użycie wygląda następująco:

    documents = SimpleDirectoryReader("data").load_data()
    index = VectorStoreIndex.from_documents(documents)

    Na podstawie zindeksowanych danych można utworzyć wyszukiwarkę:

    query_engine = index.as_query_engine()
    response = query_engine.query("What does co.brick do?")
    print(response)

    Ocena wierności (Faithfulness)

    Używając FaithfulnessEvaluator z LlamaIndex, możemy ocenić, czy odpowiedź silnika zapytań odpowiada któremukolwiek z węzłów źródłowych. Jest to kluczowe do wykrywania halucynacji modelu.

    llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
    evaluator = FaithfulnessEvaluator(llm=llm)
    contexts = [node.node.text for node in response.source_nodes]
    eval_result = evaluator.evaluate(query=query, response=str(response), contexts=contexts) print(eval_result.passing)

    Wynik to albo True, albo False. Metodę tę można dostosować do działania na zestawie pytań referencyjnych lub automatycznie wygenerowanych pytań.

    Przykładowe wyniki dla serii pytań technicznych (pytania były generowane po polsku i angielsku):

    Pytania LLM i wyniki

    Ewaluator odpowiedzi na zapytanie (QueryResponseEvaluator)

    QueryResponseEvaluator ocenia spójność pytania i odpowiedzi (bez kontekstu). Użycie jest podobne do FaithfulnessEvaluator:

    evaluator = QueryResponseEvaluator(llm=llm) response = query_engine.query(example_query)
    contexts = [node.node.text for node in response.source_nodes]
    eval_result = evaluator.evaluate_response(query=query, response=str(response), contexts=contexts) print(eval_result.passing)

    Ewaluator trafności kontekstu (Context relevancy evaluator)

    Używając RelevancyEvaluator, możemy przeanalizować trafność każdego węzła kontekstowego względem pytania i odpowiedzi, co jest niezbędne do oceny skuteczności procesu RAG.

    query_engine = index.as_query_engine(similarity_top_k=6)
    response = query_engine.query(example_query)
    contexts = [node.node.text for node in response.source_nodes]
    llm = OpenAI(temperature=0, model="gpt-4")
    evaluator = RelevancyEvaluator(llm=llm)
    eval_source_result_full = [evaluator.evaluate(query=example_query, response=response_vector.response, contexts=[source_node.get_content()]) for source_node in response_vector.source_nodes]
    
    print(eval_source_result_full)

    Wnioski

    W naszej analizie użyliśmy LlamaIndex i jego ewaluatorów, aby ocenić zdolność systemu do odpowiadania na pytania użytkowników. Podobne ewaluatory prawdopodobnie są dostępne w innych bibliotekach. Metody automatyczne opierają się na ewaluatorach LLM, a jakość ocen zależy od modelu ewaluatora. Na przykład GPT-3 często dawał słabe wyniki, podczas gdy oceny GPT-4 były wiarygodne. Automatyczne metody ewaluacji mogą skutecznie sprawdzić, czy system jest odporny na halucynacje i optymalizować procesy tworzenia bazy wiedzy. Jednak korzystanie z tych metod wiąże się z kosztami związanymi z API modeli. W ocenie węzłów kontekstowych wymagane są większe modele. Ten tekst nie wyczerpuje tematu ewaluacji i będziemy kontynuować prace nad opracowaniem satysfakcjonujących metod automatycznej oceny dla aplikacji LLM. Zachęcam do implementacji tych metod w waszych projektach i eksperymentowania z różnymi modelami LLM, aby osiągnąć najlepsze rezultaty.