Cum să creați prima aplicație pentru Rokid AI Glasses: cameră, voce și afișaj

Cum să creați prima aplicație pentru Rokid AI Glasses: cameră, voce și afișaj

Rezumat

Dezvoltarea de aplicații de business pentru Rokid AI Glasses începe cu documentația Sprite Enterprise SDK de la Rokid și cu demo-ul său pentru Android. Secțiunea de întrebări frecvente pentru enterprise trimite, pentru firmware-ul enterprise, la Rokid AI Enterprise sau la demo-ul enterprise. Android Studio este mediul de lucru pentru cod; Glasses SDK oferă acces la funcțiile dispozitivului, iar Phone SDK susține aplicația Android asociată.

Compatibilitatea este prioritară. Aceste instrucțiuni publice vizează Rokid Glass3 Enterprise. O denumire comercială precum „Rokid Enterprise RV101” nu dovedește, prin ea însăși, compatibilitatea cu SDK-ul. Obțineți o confirmare scrisă pentru hardware-ul, firmware-ul și regiunea dumneavoastră exacte, precum și pentru drepturile comerciale de utilizare a SDK-ului, înainte de a urma pașii de integrare. Dacă Rokid vă furnizează un alt SDK enterprise pentru dispozitivul dumneavoastră, folosiți acel pachet și exemplele corespunzătoare.

Tutorialul extinde demo-ul enterprise oficial astfel încât să capteze o fotografie, să afișeze o stare și să testeze notițele dictate. Este un prototip de dezvoltare. Încărcarea unei înregistrări de business și gestionarea unei flote de dispozitive necesită backendul companiei dumneavoastră și o metodă de distribuție enterprise confirmată separat.

Documentația SDK enterprise: Deschideți sursa oficială

De ce să creați o aplicație personalizată pentru Rokid AI Glasses

O aplicație personalizată poate lega inspecțiile pe teren, lucrările de mentenanță sau verificările din depozit de informațiile de care compania are cu adevărat nevoie. Un mesaj scurt pe afișaj îi spune lucrătorului ce are de făcut, camera captează dovezile, iar introducerea vocală poate reduce tastarea în cazul sarcinilor potrivite.

Rezultatul util este o înregistrare de business fiabilă, cu ID-ul corect al echipamentului sau al comenzii de lucru și cu o stare de salvare clară. Construiți mai întâi cel mai simplu flux de captare și verificare, apoi conectați-l la sistemul operațional după ce comportamentul hardware-ului și gestionarea datelor au fost testate.

Alegeți componentele enterprise

Android Studio, JDK și Gradle:

  • Rol: Editarea, compilarea și depanarea proiectelor Android.
  • Cerință de business: Folosiți o stație de lucru gestionată pentru dezvoltatori și lanțul de instrumente aprobat pentru proiect.

Sprite Enterprise Glasses SDK:

  • Rol: Cameră, vorbire, logica aplicației legată de afișaj și serviciile dispozitivului.
  • Cerință de business: Necesită hardware și firmware enterprise compatibile; confirmați condițiile comerciale.

Sprite Enterprise Phone SDK:

  • Rol: Asocierea, mesageria și schimbul de conținut media cu un telefon Android.
  • Cerință de business: Folosiți-l atunci când arhitectura dumneavoastră include un telefon gestionat de companie.

Rokid AI Enterprise sau demo-ul enterprise:

  • Rol: Conexiunea enterprise și testarea în dezvoltare.
  • Cerință de business: Obțineți versiunea și conturile potrivite prin canalul enterprise.

Backendul companiei:

  • Rol: Autentificarea și stocarea înregistrărilor de business.
  • Cerință de business: Folosiți endpointuri, controale de acces și reguli de păstrare aprobate.

De ce aveți nevoie înainte de a începe

Pregătiți ochelarii enterprise compatibili, un cablu de date și depanare Glass3, un telefon Android de test, Android Studio, JDK 17, Git și demo-ul SDK. Git descarcă codul sursă; Gradle îl compilează; un APK este fișierul de instalare Android. Folosiți versiunile din configurația aprobată a demo-ului. Ghidul Quick Start și secțiunea FAQ de la Rokid indică versiuni minime diferite de Android, așa că verificați cerința în pachetul primit în loc să alegeți valoarea mai mică.

Pasul 1: confirmați dispozitivul enterprise și accesul

• Notați dispozitivul țintă. Pe ochelari, deschideți Settings și notați modelul, versiunea de sistem și numărul de serie. Cereți-i companiei Rokid să confirme că această versiune acceptă Sprite Enterprise SDK, precum și serviciile de cameră și vorbire necesare aici.

• Obțineți pachetul enterprise. Solicitați furnizorului sau persoanei de contact de la Rokid Rokid AI Enterprise sau demo-ul enterprise, versiunea SDK corespunzătoare și datele de autentificare de business. Confirmați drepturile de dezvoltare și implementare comercială; simpla disponibilitate a unei descărcări publice nu clarifică licențierea.

• Pregătiți conexiunea. Încărcați dispozitivele și conectați ochelarii la stația de lucru cu cablul de date și depanare. Folosiți instrucțiunile de configurare enterprise furnizate pentru versiunea dumneavoastră pentru a pregăti telefonul gestionat și ochelarii.

• Stabiliți fluxul de date. Decideți unde pot fi procesate și stocate fotografiile și notițele dictate. Folosiți un mediu de test al companiei și materiale de test nesensibile pe durata validării demo-ului.

Cerințe de sistem și de aplicație enterprise: Deschideți sursa oficială

Pasul 2: deschideți și rulați demo-ul enterprise pentru Android

• Descărcați codul sursă. Într-un terminal de pe stația de lucru a dezvoltatorului, rulați comanda de mai jos. Salvați copia locală în folderul obișnuit de dezvoltare al echipei și notați commitul cu git rev-parse HEAD.

git clone https://github.com/RokidSuuport/glass3_sdk_demo.git

• Deschideți proiectele. În Android Studio, alegeți File > Open și selectați glass3_sdk_demo/glassdemo. Deschideți separat glass3sdkphonedemo pentru telefon. Așteptați sincronizarea Gradle, apoi selectați JDK 17 în Settings > Build, Execution, Deployment > Build Tools > Gradle.

• Verificați dependențele. În panoul Project, deschideți settings.gradle și app/build.gradle în fiecare proiect. Păstrați configurația funcțională a demo-ului. Pentru un proiect separat bazat pe Groovy, integrați aceste intrări de repository și dependențe în blocurile existente; nu creați blocuri duplicate. Ghidul Quick Start publicat indică 2.2.0-E, dar folosiți versiunea aprobată pentru firmware-ul dumneavoastră.

// settings.gradle, în interiorul dependencyResolutionManagement {

repositories { maven { url 'https://maven.rokid.com/repository/maven-public/' }

}

}

// Aplicația pentru ochelari: app/build.gradle, în interiorul dependencies dependencies {

implementation('com.rokid.security:glass3.open.sdk:2.2.0-E') {

exclude group: 'org.slf4j'

}

}

// Doar aplicația pentru telefon: app/build.gradle, în interiorul dependencies dependencies {

implementation('com.rokid.security:phone.sdk:2.2.0-E') {

exclude group: 'org.slf4j'

}

}

• Configurați și lansați. În proiectul pentru telefon, deschideți MainPhoneActivity și găsiți UserAuthInfo. Furnizați cheile AK și SK emise pentru business printr-o configurație locală aprobată, în afara sistemului de control al versiunilor. Înainte de a rula demo-ul pentru ochelari, deschideți HomeActivity.initSDK() și înlocuiți apelul din exemplu setCameraLedEnable(false) cu setCameraLedEnable(true). Reporniți dispozitivul dacă firmware-ul o cere. Rulați mai întâi aplicația pentru telefon, apoi selectați ochelarii în Android Studio și rulați glassdemo. Conectați-vă din demo-ul pentru telefon și verificați inițializarea SDK-ului și transmiterea unui mesaj text înainte de a face modificări.

• Ajustați configurarea. URL-ul repository-ului descarcă exemplul, nu un program de instalare. Cele două dependențe aparțin unor aplicații diferite. Modificați versiunile împreună doar după ce ați verificat recomandările de compatibilitate ale Rokid; păstrați funcțiile ajutătoare de inițializare ale demo-ului și importurile necesare.

Configurarea demo-ului și căile către codul sursă: Deschideți sursa oficială

Repository-ul SDK și dependențele: Deschideți sursa oficială

Pasul 3: faceți clar primul control de captare

• Găsiți ecranul. În proiectul glassdemo, deschideți app/src/main/java/com/rokid/glass/SdkMediaActivity.kt. Fișierul său de layout se află la app/src/main/res/layout/activity_test_media.xml. Acesta este un ecran Android nativ existent, cu controale pentru cameră, nu o pagină web.

• Editați mai întâi un singur buton. În acel fișier XML, localizați elementul AppCompatButton existent cu ID-ul android:id="@+id/btPhoto480P". Păstrați ID-ul original și constrângerile de layout, astfel încât view binding-ul Kotlin existent (binding.btPhoto480P) să funcționeze în continuare fără a strica referințele.

• Layoutul original al demo-ului setează butonul la 50dp lățime și 36dp înălțime, cu o etichetă de 10sp, ceea ce va trunchia noul text. Modificați doar atributele de mai jos și păstrați restul elementului neschimbat (fundalul, culoarea textului, marginile și cele două linii app: layout_constraint); fără constrângeri, butonul își pierde poziția în ConstraintLayout:

XML

<androidx.appcompat.widget.AppCompatButton

android:id="@+id/btPhoto480P"

android:layout_width="120dp"

android:layout_height="wrap_content"

android:text="Capture"

android:contentDescription="Capture photo"

android:textSize="16sp" />

• Explicația etichetei.

• android:text="Capture": Stabilește eticheta vizibilă afișată direct pe ecran.

• android:contentDescription="Capture photo": Oferă o descriere de accesibilitate pentru cititoarele de ecran și pentru inspectarea ierarhiei UI. Rețineți că setarea contentDescription pe dispozitivele Rokid nu creează și nu înregistrează automat o comandă vocală; controlul vocal necesită integrarea explicită cu serviciul de vorbire/comenzi offline din Sprite Enterprise SDK.

• android:textSize="16sp": Asigură lizibilitatea pe afișajul optic monocular.

• Proiectați ecranul de lucru. Pentru versiunea de business, păstrați o interfață minimală: un indicator de stare clar, un singur buton principal de captare și o cale bine definită de anulare sau verificare. Urmați recomandările Rokid privind afișajul enterprise, folosind text cu contrast ridicat (de exemplu, text verde lizibil suprapus peste scenele reale), și nu vă bazați doar pe culoare pentru a semnala erori sau stări de captare. Verificați întotdeauna poziționarea și trunchierea textului pe afișajul fizic al ochelarilor, nu doar în previzualizarea layoutului din Android Studio.

Recomandări privind afișajul și layoutul enterprise: Deschideți sursa oficială

Pasul 4: testați introducerea vocală enterprise

• Deschideți exemplul de vorbire. În proiectul pentru ochelari, deschideți app/src/main/java/com/rokid/glass/SendMessageActivity.kt. Găsiți ramura R.id.btnOnlineAsr și funcția speechCallback(token). ASR înseamnă recunoaștere automată a vorbirii (automatic speech recognition): convertește vorbirea în text.

• Rulați o sesiune de vorbire. Folosiți controlul ASR din demo-ul enterprise pentru a porni o sesiune. Păstrați tokenul de sesiune și gestionarea callbackului. Exemplul folosește ASR în cloud, care funcționează doar după ce demo-ul pentru telefon a inițializat SDK-ul cu cheile AK și SK, așa că verificați dreptul de utilizare a serviciului, limba acceptată, accesul la rețea și condițiile de procesare a datelor de business înainte de a folosi vorbirea lucrătorilor.

• Păstrați textul final separat de comenzi. În blocul existent de livrare onAsrComplete, procesați textul final cu o logică de aplicație precum cea din exemplul de mai jos. Este o inserare în callbackul existent, nu un înlocuitor pentru implementarea completă a SpeechCallback. Codul stochează o notiță pentru verificare; nu declanșează camera și nici încărcarea.

// Adăugați acest câmp în SendMessageActivity: private var pendingBusinessNote: String? = null

// În blocul existent de livrare a rezultatului final: pendingBusinessNote = content?.trim()?.takeIf { it.isNotEmpty() } // Afișați pendingBusinessNote în interfața de verificare înainte de salvare.

• Adăugați comenzile în mod deliberat. Pentru captarea fără mâini, folosiți exemplul enterprise de comenzi offline sau un handler validat pentru transcrierea finală, conectat la ecranul de captare. Ambele trebuie să apeleze aceeași funcție de captare folosită de butonul vizibil. Verificați configurația de limbă și cea fonetică cu SDK-ul furnizat. O notiță dictată este text liber și nu trebuie tratată ca o comandă.

• Opriți și recuperați. Păstrați stopSpeech și curățarea sesiunii din exemplu pentru momentul în care ecranul iese din prim-plan. Testați liniștea, refuzul permisiunii pentru microfon, pierderea rețelei și sesiunile repetate. Păstrați o variantă de rezervă prin buton fizic sau control vizibil.

Exemplul enterprise de ASR și comenzi offline: Deschideți sursa oficială

Pasul 5: adăugați handlerul pentru cameră și feedbackul privind rezultatul

• Refolosiți inițializarea existentă. Reveniți la SdkMediaActivity.kt. Păstrați configurarea SDK-ului, importurile și callbackul pentru fotografii din demo. În initView(), înlocuiți doar blocul binding.btPhoto480P.setOnClickListener cu apelul de mai jos, apoi adăugați funcția în aceeași clasă Activity. Codul folosește enumerarea existentă pentru rezoluția 480P și locația partajată Pictures din demo.

binding.btPhoto480P.setOnClickListener { captureBusinessPhoto() }

private fun captureBusinessPhoto() { val service = GlassSdk.getGlassMediaService() if (service == null) { binding.btPhoto480P.text = "Unavailable" return } val folder = Environment.getExternalStoragePublicDirectory( Environment.DIRECTORY_PICTURES ) if (!folder.exists() && !folder.mkdirs()) { binding.btPhoto480P.text = "Storage error" return } val output = File(folder, "inspection_${System.currentTimeMillis()}.png") binding.btPhoto480P.text = "Capturing" try { service.takePhoto(PhotoResolution.RESOLUTION_480P, output.absolutePath) } catch (e: Exception) { binding.btPhoto480P.text = "Try again" } }

• Afișați succesul din callback. Găsiți obiectul existent mPhotoFileCallback. Adăugați funcția de mai jos în Activity, apoi apelați showBusinessPhoto(path) atât din onTakePhoto, cât și din onTakePhotoV2. Păstrați getCallbackId și înregistrarea existentă a callbackului. În mICameraStateLister.onCameraError, actualizați controlul la „Try again” pe firul UI.

private var capturedBusinessPhoto: String? = null

private fun showBusinessPhoto(path: String) { runOnUiThread { if (!isFinishing && !isDestroyed) { capturedBusinessPhoto = path binding.btPhoto480P.text = "Captured" } } }

• Înțelegeți și personalizați. takePhoto solicită o captare; callbackul său furnizează calea fișierului. Starea Captured înseamnă că există un fișier local, nu că o înregistrare de business a fost salvată. Pentru acest ecran de dezvoltare, lărgiți butonul pentru textul de stare. În ecranul de producție, folosiți un view separat pentru stare. Schimbați PhotoResolution doar la valori acceptate de SDK-ul dumneavoastră și verificați încadrarea și dimensiunile reale ale imaginii rezultate.

• Gestionați permisiunile și ciclul de viață. Folosiți fluxul de permisiuni din demo înainte de captare. Camera și microfonul necesită declarații în manifest și, unde este cazul, aprobare la rulare. Păstrați removePhotoCallback și removeMediaStateLister în curățarea existentă din onDestroy a Activity-ului. Adăugați o protecție pentru captările în curs și un timeout înainte de a conecta comanda vocală, astfel încât evenimentele repetate să nu poată produce captări duplicate.

• Alegeți o stocare sigură. Demo-ul folosește stocarea partajată, ceea ce poate expune fotografiile de test altor programe de pe dispozitiv. Validați împreună cu Rokid accesul la servicii și o soluție de stocare potrivită înainte de a procesa înregistrări reale. Stabiliți regulile de ștergere după verificare, încărcare sau anulare. Nu presupuneți că serviciul de cameră separat al SDK-ului poate scrie în directorul privat al aplicației.

Exemplul media enterprise: Deschideți sursa oficială

Codul sursă și importurile corespunzătoare pentru cameră: Deschideți sursa oficială

Permisiunile Android la rulare: Deschideți sursa oficială

Pasul 6: conectați prototipul la un flux de lucru de business

• Definiți înregistrarea. Stabiliți împreună cu responsabilul sistemului de business ID-ul echipamentului, ID-ul comenzii de lucru, identitatea operatorului, formatul fotografiei, câmpul pentru notiță, endpointul și dimensiunea acceptată a fișierului. Folosiți un cont de test gestionat de companie. O cale locală de fișier nu poate fi trimisă către backend ca și cum ar fi imaginea însăși.

• Implementați verificarea înainte de încărcare. Creați un ecran de verificare care conține fotografia captată și notița finală. Adăugați controalele Confirm și Cancel. Doar Confirm trebuie să pornească încărcarea. Cancel trebuie să șteargă înregistrarea în așteptare și să aplice politica de ștergere convenită.

• Specificați cererea. Implementați API-ul companiei în aplicația pentru telefon sau pentru ochelari care se ocupă de încărcare. Trimiteți octeții fotografiei împreună cu metadatele și autentificarea convenite. Folosiți o operațiune de rețea în fundal, un ID unic de trimitere și un număr limitat de reîncercări. Păstrați datele de autentificare de lungă durată în backend; stabiliți împreună cu departamentul IT fluxul de autentificare a clientului acceptat.

• Afișați starea corectă. Folosiți stările Ready, Capturing, Captured, Review, Uploading, Saved și Retry. Treceți la Saved doar după un răspuns reușit de la server, care conține un ID de înregistrare. Codul de exemplu din acest tutorial se oprește la captarea locală și la colectarea notițelor; încărcarea necesită contractul API real și implementarea dumneavoastră.

Pasul 7: verificați pe hardware-ul enterprise

• Compilați și rulați. Din directorul glassdemo, folosiți comanda de mai jos sau controlul Run din Android Studio, cu ochelarii compatibili selectați. Pe Windows, folosiți gradlew.bat assembleDebug. Rezolvați erorile Gradle înainte de testarea pe dispozitiv; un emulator Android standard nu poate valida serviciile dispozitivului Rokid.

./gradlew assembleDebug

• Testați captarea și curățarea. Selectați controlul de captare. Verificați fișierul rezultat, lizibilitatea stării, calea de eroare a camerei și refuzul permisiunii. Ieșiți din ecran, redeschideți-l și verificați dacă callbackurile sunt eliminate și reatașate fără rezultate duplicate. Confirmați că indicatorul camerei rămâne activ în timpul captării.

• Testați vorbirea separat. Dictați o notiță scurtă de test, verificați textul final și anulați. Repetați testul în condiții de zgomot reprezentative pentru locul de muncă și în fiecare limbă aprobată. Dacă adăugați comenzi, testați vorbirea fără legătură cu acestea și enunțurile repetate în raport cu protecția împotriva captărilor duplicate.

• Testați versiunea integrată. După implementarea încărcării, testați deconectările, timeouturile, accesul revocat și confirmările repetate. Verificați ca o cerere eșuată să nu afișeze Saved și ca reîncercarea aceleiași trimiteri să nu creeze o altă înregistrare.

Pasul 8: împachetați și implementați prin canalul de business

• Pregătiți o versiune de lansare. Înlocuiți brandingul demonstrativ și eliminați funcțiile de exemplu fără legătură și datele de autentificare de test. Analizați împreună cu Rokid condițiile de reutilizare a SDK-ului și a exemplelor. Folosiți denumiri de pachet, versionare și chei de semnare controlate de companie.

• Generați un APK semnat. În Android Studio, deschideți Build > Generate Signed Bundle / APK, alegeți APK, selectați keystore-ul companiei și compilați varianta release. Păstrați cheia de semnare în siguranță: actualizările ulterioare trebuie să folosească identitatea de semnare corectă.

• Confirmați instalarea privată. Folosiți metoda de instalare și de gestionare a aplicațiilor pe care Rokid o confirmă pentru firmware-ul dumneavoastră enterprise. Obțineți metoda acceptată de livrare a APK-ului, procedura de provizionare a conturilor și pe cea de actualizare/revenire la versiunea anterioară. Nu presupuneți că software-ul general de gestionare a dispozitivelor Android acceptă acest model de ochelari.

• Rulați un pilot și retestați. Implementați aplicația pentru un grup mic și gestionat, măsurați calitatea captării, acuratețea recunoașterii și timpul de răspuns, apoi retestați după orice modificare a SDK-ului sau a firmware-ului. Notați versiunile compilate și păstrați un pachet funcțional pentru revenire înainte de a extinde implementarea.

Semnarea aplicațiilor Android: Deschideți sursa oficială

Greșeli frecvente de evitat

• Tratarea numelui unui produs ca dovadă de compatibilitate. Verificați firmware-ul enterprise real și versiunea SDK acceptată înainte de implementare.

• Livrarea demo-ului nemodificat. Exemplul demonstrează capabilități. Stocarea media partajată, expresiile de exemplu și funcțiile fără legătură trebuie revizuite înainte de o implementare în companie.

• Confundarea captării cu salvarea. O fotografie locală și o transcriere nu reprezintă o comandă de lucru salvată. Confirmați înregistrarea în backend înainte de a afișa succesul.

Concluzie

O aplicație de business utilă pentru Rokid începe cu hardware enterprise și acces la SDK confirmate, un demo Android funcțional și un flux simplu de captare și verificare. Dezvoltatorii adaugă apoi feedback clar pe afișaj, introducere vocală validată și integrarea autentificată cu backendul companiei. Testarea pe dispozitivul țintă și implementarea prin canalul de business acceptat transformă prototipul într-un instrument care poate îmbunătăți documentarea pe teren și poate reduce introducerea manuală a datelor.

Întrebări frecvente

Acest articol

Folosiți documentația Sprite Enterprise SDK, Android Studio și demo-ul enterprise corespunzător, după ce ați confirmat compatibilitatea hardware și accesul comercial. Folosiți Rokid AI Enterprise acolo unde procedura de configurare furnizată o cere.

Nu. Confirmați cu Rokid corespondența dintre model și firmware. Documentația SDK publică folosită aici menționează Glass3 Enterprise.

Da. Dezvoltarea nativă Android necesită configurare Gradle, cod Kotlin sau Java și XML sau un alt framework UI pentru Android. Acest ghid arată unde trebuie modificat demo-ul enterprise.

Nu. Ea descrie un control. Activarea vocală necesită integrarea cu comenzile sau evenimentele de vorbire acceptate de SDK-ul enterprise.

Comportamentul local depinde de serviciile dispozitivului și de configurația SDK-ului. Calea ASR în cloud documentată necesită conectivitate. Testați separat orice configurație de comenzi offline; încărcarea pe un server necesită, de asemenea, acces la rețea.

Este o modificare punctuală a demo-ului, verificată în raport cu codul sursă documentat, nu o versiune de producție testată pe hardware. Adăugați protecții pentru captare, gestionarea timeouturilor, verificare, stocare securizată și integrare cu backendul înainte de implementare.