¡Cuando ocurre un desastre!

en llamas

Las últimas 48 horas no han sido divertidas. La tecnología es algo fantástico, pero nunca es perfecto. Cuando falla, no estoy seguro de que haya tanta preparación que puedas tener ... pero tienes que reaccionar.

Es posible que haya notado que nuestro sitio se estaba volviendo extremadamente lento durante las últimas dos semanas. Fue extraño dado el hecho de que lo tenemos en un gran paquete de alojamiento combinado con un servidor de base de datos y red de distribución de contenido. Como teníamos mucho espacio, también alojamos otros sitios allí ... ¡y ese fue nuestro error!

Uno de nuestros proyectos es un herramienta de monitoreo de redes sociales que se conecta a Twitter y Facebook, recopilando datos sobre miles de equipos en el mercado deportivo. Una vez al día, recopila información de seguidores y seguidores y la recopila en la base de datos. Hemos estado desarrollando mucho en el proyecto y recientemente notamos que algunas de las estadísticas eran incorrectas. Nuestro cliente, Pat Coyle, ha sido paciente con nosotros mientras solucionamos el problema.

¡Entonces toda la mierda se soltó! Parece que el proceso para recopilar la información comenzó a ejecutarse en minutos en lugar de una vez al día. Nuestra base de datos creció a más de 1G en cuestión de días, ralentizando nuestro servidor y ocupando toneladas de espacio. La otra noche, de hecho, estaba viendo cómo cada sitio que teníamos en la cuenta comenzó a caer uno por uno. Ugh.

Ya estábamos haciendo planes para trasladar a Martech a WPEngine para ponerlo en un entorno dedicado con copias de seguridad, entrega de contenido integrado y un conjunto de servidores increíblemente rápido. Tenemos un par de clientes más y estamos muy contentos tanto con el servicio como con su increíble apoyo. No es que Mediatemple fuera malo, es simplemente que este entorno fue creado para blogs de publicación como el nuestro que reciben mucho tráfico. En medio de la noche, les escribí a los chicos de WPEngine y ¡me tenían despierto por la mañana! ¡Gracias chicos!

A continuación, comenzamos a ver cómo arreglar la base de datos. De hecho, detuvo el servidor de la base de datos y corrompió la tabla más grande (¡la que tiene TODOS los datos centrales!). Como el servidor estaba lleno, no pudimos repararlo ... no pudimos acceder a los archivos, no pudimos hacer una copia de seguridad ... estábamos atascados. La gente de MediaTemple intervino y reparó la mesa. Luego pudimos hacer una copia de seguridad completa y comenzar a recuperar los otros sitios.

El cambio a WPEngine no estuvo exento de dolor. Como no pudimos acceder a nuestra base de datos, tuvimos que tomar una instantánea reciente de la base de datos ... que por alguna razón perdió toda nuestra alineación de categorías en el proceso. Tenemos copias de seguridad de WordPress fuera del sitio, también, pero nuestra base de datos es tan grande que reunir todos los segmentos de respaldo tomaría demasiado tiempo.

Por lo tanto, restauramos los datos y revisamos las más de 2,500 publicaciones y las recategorizamos cuidadosamente. Estoy seguro de que vamos a tener un poco de éxito en SEO porque eso cambió las rutas de URL ... así que recibimos un impacto aún mayor y cambiamos nuestra estructura de enlaces permanentes (sin la categoría). Es algo que necesitaba hacer durante un tiempo, así que ahora era un mejor momento que después.

Desechamos nuestro viejo tema. Tenía gráficos pesados ​​(sin sprites CSS) y no era demasiado amigable para cambiar el tamaño. Hemos decidido modificar en gran medida el Veintiún tema eso es estándar con WordPress por ahora. Está listo para HTML5 y tiene un montón de características de diseño receptivo que fue bueno aprovechar.

Mientras tanto, Jenn mantuvo el fuerte en DK New Media - haciendo malabares con algunos proyectos y eliminándolos a lo grande. Stephen sacó un all-dayer (¡ya trabaja de noche!), Buen amigo Adam pequeño pateó y ayudó, MediaTemple lo sacó del parque y WPEngine también ayudó. Gracias a todos… ¡volvemos a bloguear!

Ahora es el momento de dormir un poco :). ¡Entonces arreglaremos nuestros temas para iPad y dispositivos móviles!

4 Comentarios

  1. 1

    Doug

    Lamento mucho que haya tenido estos problemas. Aquí es donde un profesional de TI, como yo, podría y DEBERÍA haber estado monitoreando sus sistemas para prevenir tal situación. Estoy seguro de que está recibiendo muchos comentarios y publicaciones, pero la situación es simple. El mantenimiento adecuado, la planificación del crecimiento y la previsión deberían haber preparado sus sitios y su base de datos para este nivel de tráfico. Me interesaría hablar con usted sobre esta situación y los pasos que se pueden tomar para prevenirla en el futuro. Hemos hablado en el pasado, me conocen en su flujo de Twitter como @indyscompugeek.

    Daniel, director de informática de Indy

  2. 3

    Doug - ¡UGH! es correcto. Estuve en este sitio hace aproximadamente una semana leyendo un blog y noté lo lento que era. Me planteé seriamente enviarte un correo electrónico y decirte eso, pero pensé quién soy yo para decirle a 'The Man' que su sitio era "lento". ¡Ahora sé por qué! Por lo tanto, me alegro de que usted (y su grupo) hayan podido volver a ponerlo en funcionamiento. ¿Alguna vez ha considerado integrar StudioPress Genesis Framework? http://www.studiopress.com - Utilizo if para mi sitio y todos los sitios de mis clientes. Software muy sólido - ¡Me encanta!

    • 4

      ¡Hola Greg! Escuché cosas maravillosas sobre el marco Genesis. No lo hemos usado todavía, pero creo que puedo sacar al gurú de WordPress, Stephen, para crear un tema con él. Este tema comenzó con Twenty Eleven, pero ha sido totalmente personalizado y optimizado. ¡Hasta ahora, parece estar aguantando bien!

¿Qué piensas?

Este sitio usa Akismet para reducir el correo no deseado. Descubra cómo se procesan los datos de sus comentarios.