grafiek genereren van het aantal nieuwe leden van Sciencetalk als functie van de tijd

[HansH]

ST_WF_Registraties_V02.png

wat ik denk te zien is dat wel veel mensen lid worden hoewel dat met de jaren wel minder snel toeneemt. dus blijkbaar volgen veel mensen wel wat er gebeurt maar zijn zelf niet actief in het posten. zaak dus om meer mensen proberen uit te dagen zelf iets te posten, maar zeker ook de 'harde kern' moet blijven bijdragen met interessante topics.

[OOOVincentOOO]

Dat ben ik aan het doen. Automatisch python Selenium. Het zijn 2800 pagina te laden dat kost tijd. Jammer dat je dat niet begrepen hebt lijkt alsof men niet begrijpt wat ik doe.

Je sprak eerder over een handmatige copy paste, daarmee dat ik het niet begrepen had.

Je verteld dat je ook aan het proberen was. Dan had ik verondersteld dat je ook er achter was gekomen dat het 2800 paginas zijn wat je laden moet, vandaar teleurgesteld dat mijn werk niet gerespecteerd werd. En alle moeite wat ik gedaan heb.

Maar waarschijnlijk heb ik dat niet duidelijk verteld zoals zo vaak ik verkeerd begrepen word:

Heb een applicatie geschreven welke betreffende pagina's scanned (is dat het nette woord? ). EN HTML omzet in manipuleerbaar formaat (dataframe python). En ja had wat hulp van chatgpt maar zonder eigen ervaring niet mogelijk! Heb nu tot 2014 "rescanned/geloot". Weet niet of alle sites tot 2004 lukt. Soms komt the human validator en moet ik opnieuw beginnen

Effine,

Hierbij tot en met 2006, verder moet iemand anders maar doen. Helaas kan ik de excel niet toevoegen die is te groot. Wel de *.csv toegevoegd dan kan men zelf wat proberen. Volgens mij zie je Corona tijd terug in een bult 2021-2022.

Een leuke mogelijkheid is het gemiddeld aantal berichten per dag per gebruiker. Dat levert en heel select bekend groepje.

$$\frac{\text{now()}-\text{aanmeld datum}}{\text{aantal berichten}}$$

[wnvl1]

Duidelijk een horizontale asymptoot.

[wnvl1]

Geef je de cookie mee in selenium?
Ik heb wel wat dingen weggehaald kwestie dat niemand anders ermee kan aanloggen.

Is dat deze cookie?

_ga=GA1.1.2113658074.1751120452; _ga_G1NH6XYJVS=deleted; kognetiks_unique_id=kognetiks_68d99ae35afe30.95365690; sbjs_migrations=1418474375998%3D1; sbjs_current_add=fd%3D2025-10-02%2019%3A08%3A30%7C%7C%7Cep%3Dhttps%3A%2F%2Fsciencetalk.nl%2Fdashboard%2F%7C%7C%7Crf%3Dhttps%3A%2F%2Fsciencetalk.nl%2Fforum%2Findex.php%3Fsid%3Daefc97b91691780ac9b7e3cc95fff758; sbjs_first_add=fd%3D2025-10-02%2019%3A08%3A30%7C%7C%7Cep%3Dhttps%3A%2F%2Fsciencetalk.nl%2Fdashboard%2F%7C%7C%7Crf%3Dhttps%3A%2F%2Fsciencetalk.nl%2Fforum%2Findex.php%3Fsid%3Daefc97b91691780ac9b7e3cc95fff758; sbjs_current=typ%3Dtypein%7C%7C%7Csrc%3D%28direct%29%7C%7C%7Cmdm%3D%28none%29%7C%7C%7Ccmp%3D%28none%29%7C%7C%7Ccnt%3D%28none%29%7C%7C%7Ctrm%3D%28none%29%7C%7C%7Cid%3D%28none%29; sbjs_first=typ%3Dtypein%7C%7C%7Csrc%3D%28direct%29%7C%7C%7Cmdm%3D%28none%29%7C%7C%7Ccmp%3D%28none%29%7C%7C%7Ccnt%3D%28none%29%7C%7C%7Ctrm%3D%28none%29%7C%7C%7Cid%3D%28none%29; sbjs_udata=vst%3D1%7C%7C%7Cuip%3D%28none%29%7C%7C%7Cuag%3DMozilla%2F5.0%20%28Windows%20NT%2010.0%3B%20Win64%3B%20x64%29%20AppleWebKit%2F537.36%20%28KHTML%2C%20like%20Gecko%29%20Chrome%2F140.0.0.0%20Safari%2F537.36; mailpoet_page_view=%7B%22timestamp%22%3A1759435414%7D; wordpress_logged_in_0b681eaee76dfabe06d1b66807492350=?????????????????????????????????; wfwaf-authcookie-3fb92334edf3053046c8f486046e1edc=5678%7Csubscriber%7Cmanage_options%2Cupload_files%2Cpublish_posts%2Cedit_posts%2Cread%7C813c2dcef613f15b1d482d8f3b529c368b105cf9b0b510b475dc19504ed05bf1; wpdiscuz_nonce_0b681eaee76dfabe06d1b66807492350=60bdf9b690; sbjs_session=pgs%3D10%7C%7C%7Ccpg%3Dhttps%3A%2F%2Fsciencetalk.nl%2Fdashboard%2F; cf_clearance=YKDx6x.ssm0i.r5QIiKftBZkBeriH9bBbyEnn8iS12Q-1759435913-1.2.1.1-Y3fB4BAT4Iy9MyTsLFTEA5H5ek852zTGF5RHJ8cYtDAFB_tLv1LUTVg4LuxsAmfAf4J5KbCtZZcGuMYjxnmVdu26nEKIwS3lWIZLgpoSMxzfh4IcEZ4iLOyAx05kuuDEwBrKFwPpISdgpXTbE6EKXCpVwWFvEOjoQaZ.a.dTAta2lO3ONp_QGchk9GXM.VJHbDeDFUbY9RRP3.ekJ.KZrpFJP9w.KCpFLmAx1ZWf9Vo; phpbb3_20210503h_u=1; phpbb3_20210503h_k=; phpbb3_20210503h_sid=536cbfd5156131767f0d67c63162879c; _ga_G1NH6XYJVS=GS2.1.s1759431039$o318$g1$t1759436122$j55$l0$h0

[R_Bena]

ST_WF_Registraties_V02.png

wat ik denk te zien is dat wel veel mensen lid worden hoewel dat met de jaren wel minder snel toeneemt. dus blijkbaar volgen veel mensen wel wat er gebeurt maar zijn zelf niet actief in het posten. zaak dus om meer mensen proberen uit te dagen zelf iets te posten, maar zeker ook de 'harde kern' moet blijven bijdragen met interessante topics.

Wat er moest gebeuren, en dat is uiteindelijk ook gedaan, is activiteit op het forum behouden, en het liefst wat laten groeien sinds de overname (wat ook gebeurd is), en ondertussen bezoekers richting de nieuwe features van de site krijgen. Als het forum dan alsnog overleeft is dat meegenomen. Als het niet overleeft (gezien de trendlijn is die kans vrij groot), heb je in elk geval de wetenschapscommunity deels 'gemimigreerd' richting andere features en andere mogelijkheden om kennis te delen. Dit behelst echter uiteraard een risico, met name financieel. Heb ik fouten gemaakt? Waarschijnlijk wel. De beste optie betreft deze site was waarschijnlijk: helemaal niet investeren (maar dit is nog niet helemaal zeker). Maarja, dat is ondernemerschap.

Principes die ik volg:

Het draait enkel om de feiten. Negatief of positief, concepten die eerder aan bod kwamen, zijn menselijke verzinsels die niet bestaan buiten de menselijke geest om. Doe daar afstand van om de realiteit onder ogen te zien, je hebt niets in het leven aan die concepten. Kijk gewoon naar de feiten en trek je conclusies.

Alleen als iets empirisch wordt onderschreven, kunnen we met een bepaalde zekerheid zeggen dat het waar is.

Beleving staat niet gelijk aan de werkelijkheid. Om de werkelijkheid te kunnen zien, moet er volledig afstand worden genomen van de (menselijke) beleving.

Het is uiteindelijk meestal een nasty werkelijkheid, een zeer unconvenient truth, omdat de waarheid onderhevig is aan universele natuurwetten, en niet aan wat de mens graag wil geloven. Dit geldt met alles.

Als iets niet pijn doet, is de kans klein dat het waar is.

Ook dit is weer pijnlijk. De trendlijn zegt: it's going down.

What are we going to do about it?

Suggesties in de comments >>

Graag niet: je moet positief denken. Daar word ik heel moe van, van dat soort onzin. We zitten op een wetenschapsforum, niet bij de psycholoog.

[OOOVincentOOO]

Geef je de cookie mee in selenium?

Niet voor Selenium dat gaat via een webdriver (chrome, edge...).

Ik heb eerst geprobeerd met BeautifulSoup via chatgpt maar dat werkte omslachtig met allerhande issues oa. cookies. En veronderstel dat je iets vergelijkbaars doet? Werkte te omslachtig volgens mij.

Je kunt trouwens beter niet je cookies details delen dan kan men identiteit fraude doen. Thans zover ik begrijp.

Voor het werk gebruik ik Selenium (met python) en ben daar op overgestapt met chrome webdriver. Stuk eenvoudiger alleen opletten voor "human validation". Slecht twee keer gehad omdat ik parallel probeerde de site te benaderen.

[R_Bena]

Je hebt zeer puik werk geleverd Vincent

[wnvl1]

Geef je de cookie mee in selenium?

Niet voor Selenium dat gaat via een webdriver (chrome, edge...).

Ik heb eerst geprobeerd met BeautifulSoup via chatgpt maar dat werkte omslachtig met allerhande issues oa. cookies. En veronderstel dat je iets vergelijkbaars doet? Werkte te omslachtig volgens mij.

Ik heb in het verleden BeautifulSoup eens gebruikt om beurskoersen en financiële ratio's van yahoo finance te scrapen. Dat werkte wel goed.

[wnvl1]

Je kunt trouwens beter niet je cookies details delen dan kan men identiteit fraude doen. Thans zover ik begrijp.

Dat klopt, daarmee dat ik ook wat dingen had gewijzigd aan de cookie. Sessiecookies komen wel te vervallen als je uitlogt en terug een keer inlogt. Je moet inderdaad niet zomaar alle cookies delen.

[OOOVincentOOO]

Wat er moest gebeuren, en dat is uiteindelijk ook gedaan, is activiteit op het forum behouden

Activiteit is belangrijk. Echter denk ik dat het forum diep begraven ligt in de website. Veel kliks nodig en dan op Forum overzicht uitkomen als startpunt.

Ook denk ik rechtuit dat het forum HTML verouderd is en omslachtig te bedienen en is nagenoeg 1 op 1 het oude forum. Het is in de jaren gegroeid met bijvoorbeeld te veel subcatagorien in de door mij gehate Forum overzicht.

Twee belangrijke winners m.i.:

1.
Een makkelijk overzicht laatste post met terug zoek functie.

2
Een makkelijke manier dat gebruikers een topic kunnen aanmaken en ook terug vinden. Al helemaal wanneer een mod bericht verplaatst. Forum overzicht helpt hier niet bij.

Voor een nieuwe gebruiker is dit niet evident. Maar hier is inlevingsvermogen en zelfkritiek voor nodig.

[OOOVincentOOO]

Ik heb in het verleden BeautifulSoup eens gebruikt om beurskoersen en financiële ratio's van yahoo finance te scrapen. Dat werkte wel goed.

Als de site benaderbaar is zonder login wellicht?

Ik probeer vlot een oplossing te vinden en gebruik veel verschillende gereedschappen.

Ben benieuwd naar jouw oplossing wellicht kun jij declaatste restjes 2006 en terug doen! Daar je zoveel replied wil ik ook wat zien!

[wnvl1]

Voor het werk gebruik ik Selenium (met python) en ben daar op overgestapt met chrome webdriver. Stuk eenvoudiger alleen opletten voor "human validation". Slecht twee keer gehad omdat ik parallel probeerde de site te benaderen.

Maar hoe geef je dan user en paswoord mee vanuit selenium aan chrome webdriver om aan te loggen?
De login gebeurt op ST via JavaScript (fetch/XHR) vermoedelijk en niet via een klassiek <form> dat je zomaar kunt submitten.
Dat is wat zoekwerk.

[wnvl1]

Ik heb in het verleden BeautifulSoup eens gebruikt om beurskoersen en financiële ratio's van yahoo finance te scrapen. Dat werkte wel goed.

Als de site benaderbaar is zonder login wellicht?

Ja, yahoo finance kan je benaderen zonder aan te loggen in yahoo.

[wnvl1]

Ben benieuwd naar jouw oplossing wellicht kun jij declaatste restjes 2006 en terug doen! Daar je zoveel replied wil ik ook wat zien!

Mijn yahoo finance code kan ik delen, maar ik ben er nog niet in geslaagd om aan te loggen op ST, vandaar mijn vragen.

[OOOVincentOOO]

@wnvl1,

Pfew, we gaan helemaal off topic. De webdriver bediend als het ware chrome, edge.... En je krijgt onder andere html terug. Probeer het maar eens. Vraag gewoon aan chatgpt:

With python selenium: I want to get the row content of a <table> with id="members". On webpage my_homedepo.com. I want to use the chromedriver. Please supply some sample code

De loop over verschillende pagina's en dataframe vullen kan daarna gebeuren. Ik maakte cumulatieve backup indien human validator misschien zou komen. Maar dit gebeurde mij slechts enkele keer door eigen toedoen.

Maar ik kijk vooruit naar jouw oplossing! Wellicht kun jij de missende data toevoegen. De *.csv file staat enkele berichten terug. Wel nog de string datum tijd goed omzetten (leuk dingetje!).