Ik denk niet dat het lang zal duren tot dan OpenAI het zal ook een rol gaan spelen bij de ontwikkeling van een op kunstmatige intelligentie gebaseerde zoekmachine. De nieuwe web crawler GPTBot cu modede brede taal GPT-5 is al vrijgegeven.
Zij die gebruiken ChatGPT ik weet dit model van brede taal (LLM) loopt momenteel GPT-3.5, wordt getraind op een dataset die in september 2021 is bijgewerkt. Dus als er vanaf deze datum nieuwere informatie wordt opgevraagd, ChatGPT kan geen juiste informatie geven. Natuurlijk geldig voor de gratis versie die het gebruik van hulpplug-ins niet ondersteunt.
Met de release GPTBot, OpenAI heeft de weg vrij voor het indexeren van webpagina's via dit nieuwe web crawler. Zoals bedrijven als Google, Microsoft, Yahoo en vele anderen al vele jaren doen.
GPT-5 en de nieuwe webcrawler GPTBot ontwikkeld door OpenAI.
de nieuwe web crawler GPTBot gebruikt web agent:
User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)Website-eigenaren kunnen via het bestand de indexering van webpagina's regelen robots.txt, met dezelfde richtlijnen als voor anderen web crawleren van andere bedrijven.
Bijvoorbeeld als de eigenaar van een website dat niet wil OpenAI om informatie van de site te verzamelen, kan toevoegen robots.txt de lijnen:
User-agent: GPTBot
Disallow: /Zelfs als hij zich zo gedraagt web crawler, GPTBot zal een duidelijk doel hebben: openbaar beschikbare gegevens verzamelen en zorgvuldig bronnen vermijden die betrekking hebben op betaalmuren, het verzamelen van persoonlijke gegevens of inhoud die in strijd is met het beleid OpenAI.
Maar er zijn nogal wat controverses, sommige hebben zelfs geleid tot juridische stappen tegen het bedrijf OpenAI over privacy en het gebruik van inhoud zonder toestemming van de auteurs of zonder vermelding van de bronnen.
In juni gaf de Japanse privacytoezichthouder een waarschuwing aan OpenAI over ongeoorloofde gegevensverzameling. Ook Italië verbood het gebruik eerder dit jaar tijdelijk ChatGPT vanwege vermeende schendingen van de privacywetgeving van de Europese Unie.
