Fajnie - jak zwykle podnosisz poprzeczkę :) swego czasu zatrudniłem AI do wytłumaczenia mi konceptu, niby nie było źle ale Ty lepiej sobie z tym radzisz niż AI ;)
Warto tutaj podkreślić trochę to co było na końcu. Tak jak dobrze zrobione API sprawia, że korzystanie z narzędzia jest łatwe i przyjemne, tak dobrze zaprojektowane MCP, a nie zwykłe proxowanie tego co jest po API, będzie miało znaczenie jak skutecznie modele będą z tego MCP korzystać.
Dopiero na przykładzie z Product Insights zrozumiałem, że model nigdy nie rozmawia z serwerem MCP, tylko pisze prośbę, a całą resztę robi host. Do tej pory traktowałem opisy narzędzi jak dokumentację dla devów.
Z Twojego tekstu wynika, że to w praktyce prompt, który decyduje, czy agent w ogóle sięgnie po narzędzie, więc to spore pole dla PM-a bez pisania kodu. Masz jakiś sposób na testowanie takich opisów, np. zestaw pytań, na których sprawdzasz, czy model wybiera właściwe narzędzie?
Fajnie - jak zwykle podnosisz poprzeczkę :) swego czasu zatrudniłem AI do wytłumaczenia mi konceptu, niby nie było źle ale Ty lepiej sobie z tym radzisz niż AI ;)
Haha, dzięki :D!
Warto tutaj podkreślić trochę to co było na końcu. Tak jak dobrze zrobione API sprawia, że korzystanie z narzędzia jest łatwe i przyjemne, tak dobrze zaprojektowane MCP, a nie zwykłe proxowanie tego co jest po API, będzie miało znaczenie jak skutecznie modele będą z tego MCP korzystać.
100%
Jak zwykle: klarownie, konkretnie, treściwie! D
Z jakich MCP - GitHub, Google, Slack, Atlassian i masy innych tworzonych na potrzeby firmy :)
Jakich MCP najczęściej używacie?
Dopiero na przykładzie z Product Insights zrozumiałem, że model nigdy nie rozmawia z serwerem MCP, tylko pisze prośbę, a całą resztę robi host. Do tej pory traktowałem opisy narzędzi jak dokumentację dla devów.
Z Twojego tekstu wynika, że to w praktyce prompt, który decyduje, czy agent w ogóle sięgnie po narzędzie, więc to spore pole dla PM-a bez pisania kodu. Masz jakiś sposób na testowanie takich opisów, np. zestaw pytań, na których sprawdzasz, czy model wybiera właściwe narzędzie?
można napisać po prostu AI Evals które to automatycznie sprawdzają (odpalają się co jakiś czas). To trochę jak takie test case'y