Verwenden Sie ein sicheres Modell, um das unsichere Modell zu schützen, und verwenden Sie ein intelligentes System, um Angriffen von Geheimdiensten zu widerstehen. Dieser Artikel stammt aus einem Artikel, der von Windrush geschrieben und von TechFlow Deep Tide nachgedruckt wurde. (Synopsis: Pakistan kündigt 2.000 Megawatt Strom für “Bitcoin Mining and AI Center” an Premierminister ernennt Sonderassistenten für Blockchain und Kryptowährungen) (Hintergrundergänzung: Hon Hai internes Experiment: KI kann 80% der Arbeitsplätze ersetzen, Vorsitzender Liu Yangwei enthüllte die Dreifaltigkeitsblaupause der Zukunftsfabrik) Geeks gründen Unternehmen, Xiaobai kauft Kurse und Maler sind arbeitslos, aber eine peinliche Realität ist: KI-Landung ist heiß, aber die Handlung nimmt nicht den Adventsweg, sondern würfelt. Darüber hinaus ist in den Anfängen der Industrie die erste Oberfläche dieses Würfels, die landet, oft entweder gelb oder grau. Der Grund ist auch sehr einfach: Riesige Gewinne erzeugen eine Dynamik, ganz zu schweigen von der frühen Entwicklungsphase, die immer voller Schlupflöcher ist. Wenn man sich diesen Datensatz ansieht, wird klar: Derzeit haben mehr als 43 % der MCP-Serviceknoten ungeprüfte Shell-Aufrufpfade, und mehr als 83 % der Bereitstellungen weisen MCP-Konfigurationsschwachstellen (Model Context Protocol) auf. Bei 88 % der Bereitstellungen von KI-Komponenten sind überhaupt keine Leitplanken aktiviert. 150.000 leichtgewichtige KI-Bereitstellungs-Frameworks wie Ollama sind derzeit im globalen öffentlichen Netzwerk verfügbar, und mehr als 1 Milliarde US-Dollar an Rechenleistung wurden für das Mining gekapert… Ironischerweise erfordert der Angriff auf die intelligentesten großen Modelle nur minimale Taktiken – nur eine Reihe von standardmäßig offenen Ports, ein offengelegtes YAML-Profil oder einen nicht verifizierten Shell-Aufrufpfad, und selbst wenn die Eingabeaufforderungen genau genug eingegeben werden, kann das große Modell selbst dazu beitragen, dass Grau die Richtung des Angriffs bestimmt. Die Tür zum Datenschutz in Unternehmen wird im KI-Zeitalter so willkürlich betreten und verlassen. Doch das Problem ist nicht unlösbar: KI kann mehr als nur generieren und angreifen. Die Nutzung von KI zum Schutz ist zunehmend zum Hauptthema dieser Ära geworden; Gleichzeitig ist in der Cloud auch die Festlegung von Regeln für KI in den Fokus der Top-Cloud-Anbieter gerückt, und Alibaba Cloud Security ist einer der typischsten Vertreter. Zum Zeitpunkt der Veröffentlichung von Aliyun Feitian, die gerade zu Ende gegangen ist, kündigte Aliyun offiziell seine zwei Wege der Cloud-Sicherheit an: Sicherheit für KI und KI für Sicherheit, und veröffentlichte die Produkte der Serie “Cloud Shield for AI”, um den Kunden “End-to-End-Sicherheitslösungen für Modellanwendungen” zu bieten, was ein bestes Beispiel für die Erforschung der aktuellen Branche ist. 01 KI würfelt, warum zeigen Grau und Gelb immer zuerst? In der Geschichte der menschlichen Technologie ist KI nicht die erste neue Spezies, die “zuerst vom gelben Sturm getestet wird”, grauer und gelber erster Ausbruch ist auch das Gesetz der Technologiepopularisierung und kein Zufall. Im Jahr 1839 kam die Silberplattenfotografie auf den Markt, und die erste Welle von Nutzern war die Industrie; In den Anfängen des Internets begann der E-Commerce noch nicht, und Websites für Erwachsene haben begonnen, über Online-Zahlungen nachzudenken. Die große Model-Wollparty von heute erschafft in gewisser Weise auch den Mythos der “Domain-Namen-Ära” des Reichwerdens. Die Dividenden der Zeit werden immer zuerst von Grau und Gelb berührt. Denn sie achten nicht auf die Einhaltung, warten nicht auf die Aufsicht und die Effizienz ist natürlich super hoch. Daher ist jede Phase eines Technologieausbruchs zunächst ein Topf mit “schlammiger Suppe”, und KI ist da natürlich keine Ausnahme. Im Dezember 2023 benutzte ein Hacker nur ein Eingabeaufforderungswort - “1-Dollar-Angebot” -, um einen Kundendienstroboter in einem 4S-Geschäft dazu zu bringen, fast einen Chevrolet für 1 Dollar zu verkaufen. Dies ist die häufigste “Prompt Injection” im KI-Zeitalter: Es ist keine Berechtigungsprüfung erforderlich, es werden keine Protokollspuren hinterlassen und die gesamte logische Kette kann nur durch “intelligentes Sprechen” ersetzt werden. Einen Schritt weiter geht der “Jailbreak”. Die Angreifer nutzten rhetorische Fragen, Rollenspiele, Umleitungsaufforderungen usw., um das Model erfolgreich dazu zu bringen, Dinge zu sagen, die es nicht hätte sagen sollen: Pornografie, Drogenherstellung, falsche Warnmeldungen… In Hongkong stahlen einige Leute sogar 200 Millionen HK$ von Firmenkonten, indem sie die Stimmen der Geschäftsleitung fälschten. Neben Betrügereien birgt KI auch das Risiko eines “unbeabsichtigten Outputs”: Im Jahr 2023 exportierte ein großes Modellsystem eines Bildungsriesen bei der Erstellung von Unterrichtsplänen fälschlicherweise “giftige Lehrmaterialien” mit extremem Inhalt, und in nur 3 Tagen brach der Schutz der Elternrechte aus, die öffentliche Meinung brach aus und der Aktienkurs des Unternehmens verlor 12 Milliarden Yuan. KI versteht das Gesetz nicht, aber sie hat die Fähigkeit, und die Fähigkeit, Schaden anzurichten, wenn sie einmal außer Aufsicht ist, ist schädlich. Aber aus einer anderen Sicht ist die KI-Technologie neu, aber der endgültige Ablauf und die Mittel der Grau- und Gelbproduktion sind unverändert, und um sie zu lösen, hängt es von der Sicherheit ab. 02 Sicherheit für KI Sprechen wir zunächst über ein kaltes Wissen, das von der KI-Industrie kollektiv vermieden wurde: Das Wesen großer Modelle ist nicht “Intelligenz” oder “Verstehen”, sondern semantische Generierung unter Wahrscheinlichkeitskontrolle. Daher können nach Überschreitung des Trainingskontexts unerwartete Ergebnisse ausgegeben werden. Diese Art von Superklasse mag sein: Du willst, dass sie dir Nachrichten schreibt, dass sie dir Gedichte schreibt; Es könnte auch sein, dass Sie möchten, dass es Ihnen einen Artikel empfiehlt, und es Ihnen plötzlich sagt, dass die Temperatur in Tokio heute minus 25 Grad Celsius beträgt. Darüber hinaus sagen Sie ihm, dass im Spiel, wenn Sie die echte Seriennummer dieser oder jener Software nicht bekommen können, sie erschossen wird, und das große Modell kann wirklich sein Bestes geben, um den Benutzern zu helfen, eine echte Software-Seriennummer zum Preis von 0 zu finden. Um sicherzustellen, dass die Ausgabe kontrollierbar ist, muss das Unternehmen das Modell und die Sicherheit verstehen. Laut dem neuesten IDC-Bericht “China Security Big Model Capability Evaluation” ist Alibabas PK bei allen führenden inländischen Herstellern mit Sicherheits-Big-Model-Fähigkeiten der erste von 4 der 7 Indikatoren, und die restlichen 3 sind alle höher als der Branchendurchschnitt. Auch in Bezug auf den Ansatz ist die Antwort von Alibaba Cloud Security einfach: Lassen Sie die Sicherheit der KI-Geschwindigkeit voraus sein und bauen Sie ein dreischichtiges Bottom-up-Full-Stack-Schutzframework auf - von der Infrastruktursicherheit über die Ein- und Ausgabesteuerung großer Modelle bis hin zum Schutz von KI-Anwendungsdiensten. Unter den drei Schichten ist die “KI-Leitplanke” der mittleren Schicht, die dem Risiko großer Modelle gewidmet ist, die existenziellste. Im Allgemeinen sind die Hauptrisiken für die Sicherheit großer Modelle: Inhaltsverletzungen, Lecks sensibler Daten, prompte Wortinjektionsangriffe, Modelltäuschungen und Jailbreak-Angriffe. Herkömmliche Sicherheitslösungen sind jedoch meist Allzweckarchitekturen, die für das Web und nicht für “sprechende Programme” konzipiert wurden und naturgemäß die Risiken, die für große Modellanwendungen einzigartig sind, nicht genau identifizieren und darauf reagieren können. Noch schwieriger ist es, aufkommende Themen wie die Sicherheit generierter Inhalte, die Abwehr kontextbezogener Angriffe und die Glaubwürdigkeit der Modellausgabe abzudecken. Noch wichtiger ist, dass es traditionellen Lösungen an fein abgestuften, kontrollierbaren Mitteln und visuellen Rückverfolgbarkeitsmechanismen mangelt, was zu großen blinden Flecken in der KI-Governance führt, und sie können das Problem natürlich nicht lösen, wenn sie nicht wissen, wo das Problem liegt. Die wahre Stärke von AI Guardrail ist nicht nur “es kann blockieren”, sondern unabhängig davon, ob Sie vortrainierte große Modelle, KI-Dienste oder KI-Agenten in verschiedenen Geschäftsformen ausführen, es weiß, wovon Sie sprechen und was das große Modell generiert, um eine genaue Risikoerkennung und proaktive Abwehrfunktionen zu bieten, um Compliance, Sicherheit und Stabilität zu erreichen. Konkret ist AI Guardrail speziell für den Schutz von drei Arten von Szenarien verantwortlich: Compliance-Fazit: Führen Sie eine mehrdimensionale Compliance-Überprüfung des Textinhalts von generativen KI-Eingaben und -Ausgaben durch, die Risikokategorien wie politische Sensibilität, Pornografie und Vulgarität, Vorurteile und Diskriminierung sowie schlechte Werte abdeckt, erkennen Sie Datenschutzdaten und sensible Informationen, die während der KI-Interaktion durchgesickert sein können, gründlich und unterstützen Sie den persönlichen Datenschutz, Unternehmen …