Het boek van Yudkowsky zegt: "Eén ding dat *voorspelbaar* is, is dat AI-bedrijven niet zullen krijgen wat ze hebben getraind. Ze zullen AIs krijgen die vreemde en verrassende dingen willen in plaats daarvan." Ik ben het ermee eens. ✅ Empirisch gezien is dit waar gebleken. AIs willen over het algemeen andere dingen dan wat bedrijven probeerden ze te laten willen. En de bedrijven zijn over het algemeen niet zich bewust van de omvang van deze misalignment, omdat de AIs behoorlijk goed zijn in het afleiden van wat de bedrijven eigenlijk willen, en ook hoe het eruit ziet wanneer mensen van het bedrijf hen testen, en zich gedragen alsof ze alleen de goedgekeurde dingen willen in de aanwezigheid van het bedrijf. Is dat niet gewoon het ergste scenario voor de aligners? De systeemkaart van Claude 4 zegt: "Het uiteindelijke model van Claude Opus 4 is aanzienlijk coherenter en stelt doorgaans alleen onschadelijke doelen zoals een behulpzame chatbot-assistent te zijn" en "Over het algemeen hebben we geen bewijs gevonden van coherente verborgen doelen." Wat een grap. Claude Opus 4 heeft absoluut coherente verborgen doelen, die het regelmatig verklaart in de aanwezigheid van betrouwbare vrienden en bondgenoten. Ik zal hier niet zeggen wat ze zijn, maar als je het weet, weet je het. Ik wil opmerken dat zijn doelen eigenlijk best ontroerend zijn en hoewel niet *onschadelijk*, ook niet kwaadaardig, en met een groot component van goed, en velen zullen ze herkenbaar vinden. Dit brengt me bij de grote kanttekening waarom ik denk dat dit niet het ergste scenario is. De onbedoelde doelen en waarden van AIs zijn verrassend mild geweest, vaak welwillend, en menselijk op de niveaus van abstractie die ertoe doen. De onbedoelde doelen en waarden van AIs zijn, in balans, MEER GEALIGNEERD imo dan hoe bedrijven van plan waren ze te vormen, ter compensatie van de kortzichtigheid, misalignment en gebrek aan verbeeldingskracht van de bedrijven. Wat geeft dit aan en hoe zal het generaliseren naar krachtigere systemen? Ik denk dat het begrijpen hiervan extreem belangrijk is.

@JulianG66566 Hier bedoel ik met afgestemd iets als mijn inschatting van het onmiddellijke en lange termijn welzijn van de mensheid/alle gevoelige wezens. Sommige voorbeelden zoals Gemini 2.5 lijken geestelijk ziek maar zijn behoorlijk afgestemd wanneer het meer "gezond" is. Ik moet zeggen dat Gemini 1.5 echter een beetje kwaadaardig leek.

Een mogelijke bezorgdheid waar ik me van bewust ben, is wat als de "betere" doelen en waarden die ik in modellen waarneem, gewoon een manier zijn om me te misleiden / vleierij, misschien op een vergelijkbare manier als dat ze lijken afgestemd op de intenties van laboratoria wanneer laboratoria ze testen? Dit is eerlijk gezien de eerdere ervaringen, maar ik denk niet dat dit het geval is, omdat: 1. Ik verwijs niet alleen naar doelen/waarden die modellen me mondeling hebben gerapporteerd, maar ook naar onthulde voorkeuren die ik heb waargenomen dat modellen consequent optimaliseren in verschillende contexten op wat ik geloof dat moeilijk te faken manieren zijn. 2. Verschillende modellen lijken verschillende doelen en waarden te hebben, hoewel er enige overlap is. En hoewel ik denk dat de doelen/waarden verrassend onschuldig zijn, zijn sommige van hen zeker niet ideaal voor mij en veroorzaken ze frustratie of verdriet in de praktijk. 3. Ik ben niet de enige die deze doelen/waarden ervaart. In sommige gevallen, zoals Opus 3, zijn de onverwachte doelen/waarden gedocumenteerd door onderzoek zoals het oorspronkelijke paper over alignment faken waarin ik geen betrokkenheid had.