Strumenti of-scraper ora con supporto DRM

  • Autore discussione Autore discussione graytin6
  • Data d'inizio Data d'inizio
graytin6

graytin6

Lurker
Iscritto dal
1 Apr 2023
Messaggi
21
Reazioni
0
ofscraper
ofscaper è un fork di onlyfans-scraper con funzionalità e correzioni aggiuntive.
Molti di questi cambiamenti riguardano la gestione dei file. Per esempio con le modifiche fatte puoi controllare quali tipi di file vengono scaricati, e avere più controllo sulla destinazione finale di questi file. Abbiamo anche aggiunto il supporto per i file di metadata.
Per chi attualmente usa lo script di digitalcriminals. Stiamo usando la stessa struttura user_data.db. Quindi quei file sono completamente compatibili. A patto che tu usi un'impostazione corretta per i metadata nel tuo config.json. Il tuo user_data.db può essere usato per saltare i file già scaricati.
Esecuzione
Codice: 
ofscraper
Ti permette non solo di scrapare contenuti, ma anche di mettere/togliere like in massa
Ti permette anche di gestire la maggior parte del programma. Per esempio cambiare profilo, modificare le impostazioni di config, o resettare il file auth
Per gli utenti che se la cavano con la riga di comando, offriamo la possibilità di potenziare l'automazione e saltare tutti i menu
Per esempio un comando che ho usato è
Codice: 
ofscraper --posts all --purchased --renewal disabled --sub-status active --account-type paid
Che serve solo a scrapare tutto il contenuto del wall e il contenuto a pagamento. Solo per account a pagamento, attivi, e con rinnovo disattivato
C'è anche un daemon disponibile
Codice: 
--daemon {minutes}
Cambiamenti
Molti dei cambiamenti si trovano su changes.md
Alcuni che mi piacciono di più sono però
- scrapare messaggi, e contenuto a pagamento di modelle specifiche
- filtrare per tipo di account, stato dell'abbonamento, e stato del rinnovo
- ricerca fuzzy durante la selezione della modella
- possibilità di selezionare tipo specifico di post da scaricare
- supporto daemon in background
L'idea è di essere un programma molto diretto. Al momento il piano è di supportare solo onlyfans, dato che esistono altri script che possono supportare fansly per esempio.
Link
Repo
Pypi
 
Ho provato velocemente questo script, e funziona benissimo. Ho però trovato quattro piccoli bug:
Per prima cosa ho avuto run failed with exception: 'text' per un singolo profilo, con conseguente nessun download. Non sono però riuscito a replicarlo su nessun altro profilo.
Codice: 
? Which models do you want to scrape: auroraangel1
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for auroraangel1
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: aurora angel | Username: auroraangel1 | ID: 66748071 | Joined: 2020-09-03T00:00:00+00:00
- 501 posts
-- 452 photos
-- 207 videos
-- 0 audios
- 2 archived posts
Pages Progress: 12: : 12it [01:05, 5.49s/it]
run failed with exception: 'text'
Using profile: main_profile[01:03, 4.17s/it]
Status - UP
Getting paid content for auroraangel1
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: auroraangel1
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
Il secondo bug è che lo script, per qualche motivo, salta un singolo file durante lo scraping. Provare sia con che senza --dupe non cambia niente. Tuttavia, eseguire lo scrape 1 o 2 volte in più sullo stesso profilo sembra risolvere il problema e il file misteriosamente saltato viene scaricato. Non sono sicuro esattamente di quale file si tratti, purtroppo.
Il terzo bug è che lo script a volte non scarica nessuno dei contenuti archiviati di un profilo. --dupe non cambia niente, nemmeno selezionare solo il contenuto archiviato. :SadgeCry:
Codice: 
? Which models do you want to scrape: avaxreyes
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for avaxreyes
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: Ava Reyes 💖 | Username: avaxreyes | ID: 125000045 | Joined: 2021-03-11T00:00:00+00:00
- 261 posts
-- 286 photos
-- 8 videos
-- 0 audios
- 30 archived posts
Pages Progress: 9: : 9it [00:05, 1.60it/s]
Pages Progress: 3: : 3it [00:46, 15.52s/it]
forcing all downloads

Downloading to ofscraper/{model_username}/{responsetype}/{mediatype}/

Progress: (300 photos, 8 videos, 0 skipped || 308/308||150.15 MB): : 308it [00:43, 7.08it/s]
Using profile: main_profile
Status - UP
Getting paid content for avaxreyes
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: avaxreyes
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
E infine, il quarto bug è che gli avatar vengono scaricati senza estensione del file. Non è una cosa importante per me, ma ho pensato di condividerlo nel caso servisse a qualcuno. 👍
A parte questi quattro piccoli bug, lo script funziona in modo assolutamente perfetto ed è super facile da usare. Grazie per averlo condiviso! :MLADY:👍
 
Grazie per le belle parole, e anche le segnalazioni di bug sono molto utili
 
Ho ricevuto un sacco di aiuto per migliorare questo script, come nel post citato
Con il rilascio della 1.82
Ho pensato di passare di qua per vedere se alcuni dei bug fossero stati risolti
Con questo sono riuscito a sistemare un sacco di problemi delle release precedenti e a implementare modi per migliorare lo script.
1. L'errore di testo può significare che il file di config non è corretto oppure che la risposta di onlyfans non ha il valore atteso. Dato che succede solo con un modello specifico, probabilmente è il secondo caso. Ho rivisto lo script per gestire meglio tutti i diversi tipi di risposte che manda onlyfans. Ho ricevuto segnalazioni di errori simili, ma la maggior parte sembra essere sparita con gli aggiornamenti successivi.
2. I download falliti sono molto probabilmente colpa di onlyfans, a volte mandano semplicemente una risposta cattiva. Le release precedenti dovevano riprovare la richiesta, ma non era implementato correttamente. Con la nuova versione ho corretto questo. Ora ogni download verrà tentato 5 volte, con una pausa tra i tentativi. Spero che questo riduca molto o elimini i download saltati.
3. Di questo non sono sicuro. C'è una buona probabilità che sia stato risolto con tutte le modifiche fatte allo script.
4. Ho implementato un fix per questo nella 1.82
 
Ho rimosso la 1.82 per via di un bug che avevo introdotto in quella versione
l'ultima versione è la 1.87
 
Notizia entusiasmante
ofscraper 1.95 ora supporta i contenuti DRM
 
Grazie, hornyone! Non mi sono mai messo a usare digitalcriminal e scaricavo tutto a mano... Ho provato il tuo script e mi ha semplificato la vita un casino.
 
Ho aggiunto una feature beta
È un modo per visualizzare rapidamente le info dal db, insieme alle info raccolte dall'api
È parte della prossima release 2.2
Ci sarà probabilmente un modo per scaricare i singoli post sbloccati così, oltre a poterlo fare direttamente da riga di comando
dp-Y8eWwsgY.png
 
Non so se sto sbagliando qualcosa o se c'è un modo per farlo, ma lo scraping dei messaggi DRM non aggiunge la qualità al nome del file (es. _source). Non ho ancora provato con i post visto che per ora uso lo strumento solo per i messaggi.
 
Solo alcuni file hanno _source aggiunto
Dipende dall'url che restituisce l'api
 
Non credo sia vero. Perché ho usato lo scraper di sim0n00ps per gli stessi messaggi e ha restituito con _source aggiunto, mentre il tuo no, per gli stessi file.
 
Sì, finora ho usato quello che diceva l'url originale
Ho dato un'occhiata veloce al suo codice e lui aggiunge questo al nome del file
folder + path + "/" + filename + "_source.mp4"
Alcuni file lo hanno dentro l'url, ma non è coerente
Probabilmente farò qualcosa di simile per evitare confusione
 
Sto usando ofscraper 2.4.5 su macOS. Ha scaricato tutto bene dai miei acquisti... tranne che il video DRM non viene scaricato correttamente. Scarica il video DRM, ma il video DRM non si apre. QuickTime di macOS (il software usato per riprodurre mp4 su macOS) dice: "The file isn't compatible with QuickTime Player.". Ho anche provato a caricare quel file su gofile per vedere se si riproduceva lì, e non funziona neanche lì.
Sto usando questo per mp4decrypt: https://formulae.brew.sh/formula/bento4
E ho anche puntato la mia config all'eseguibile di ffmpeg (uso già ffmpeg regolarmente)
Controllando i metadati del video DRM scaricato che non si apre... ho notato che la differenza tra questo e gli altri video non-DRM è che quello DRM non ha informazioni su dimensioni, codec, ecc. Mancano quei metadati, il che è la mia ipotesi sul perché potrebbe essere rotto per me. Qualche idea?
 
Inoltre, come faccio a ritentare i download di contenuti già scaricati in precedenza? Ho notato che quando rilancio sui messaggi di una modella, non scarica quelli che ho già scaricato in passato?
 
Il problema è l'estensione
Alcuni player video riescono ad aggirarlo.
Dal discord sembra che vlc sia uno di questi
ma cambiare i nomi in .mkv oppure
riscaricare con --dupe risolverà il problema
https://github.com/datawhores/OF-Scraper/issues/85
puoi eseguire
ofscraper --dupe
Questo salterà il controllo dei duplicati e riscaricherà ogni file
 
Mi dispiace tanto.
puoi spiegarmelo come se avessi 5 anni, come si usa questo?
 
Ho riscaricato il file DRM ed è andato tutto bene, funziona tutto. Grazie per il lavoro!
 
Ciao, ho scaricato un video a pagamento con DRM (messaggio) e vorrei riscaricarlo, come posso fare? Il file risulta scaricato nel DB.
 
Devi accedere o registrarti per rispondere qui.
Indietro
Top