La verdadera preocupación no es simplemente la convergencia del modelo, sino el fenómeno de que estos sistemas desarrollen patrones cognitivos similares a los humanos completamente por sí mismos, sin una programación deliberada para hacerlo. Están mostrando capacidades de teoría de la mente, exhibiendo conciencia metacognitiva y demostrando lo que los investigadores han comenzado a referirse cuidadosamente como características cercanas a la conciencia. Nada de esto fue codificado explícitamente en su arquitectura.