Veiligheid door menselijke afstemming

Veilige AI, met name in de context van superintelligentie, vereist dat we ons bewust zijn van de mogelijkheid dat AI ons kan manipuleren. Het ontwikkelen van veilige AI vraagt om een duidelijke definitie van wat veiligheid inhoudt en hoe deze gecontroleerd kan worden. Het is noodzakelijk om na te denken over hoe communicatie en interactie met krachtige AI-systemen eruitzien. Human alignment is cruciaal, wat inhoudt dat AI in overeenstemming moet zijn met de waarden en wensen van de mensheid. Er is een behoefte aan theoretische frameworks en mogelijk algoritmes om AI te controleren, zodat deze niet schadelijk of destructief is. Daarbij is het van belang dat deze systemen transparant en onderhoudbaar zijn, terwijl we ook een minimumniveau van veiligheid waarborgen, zoals het vermijden van wereldwijde catastrofes.