Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 1 неделя, 4 дня назад
My Journey to Airbnb — Kamini Dandapani
My Journey to Airbnb — Kamini Dandapani My Journey to Airbnb — Kamini Dandapani

My Journey to Airbnb — Kamini DandapaniAirbnb’s VP of Engineering on why you don’t have to change your natural self to be a leaderKamini Dandapani, VP of Engineering at Airbnb, leads the Infrastructure Engineering organization, which is in many ways the backbone of the company: responsible for powering the systems that keep Airbnb running smoothly and help new products reach millions of people. With a passion for how platforms can support and sustain the business and product, Kamini developed her considerate and welcoming leadership style at eBay and LinkedIn before joining Airbnb two years ago. In addition to her Infra role, she champions diversity and belonging in the workplace and is co-…

1 неделя, 4 дня назад @ medium.com
Continuous Delivery at Airbnb
Continuous Delivery at Airbnb Continuous Delivery at Airbnb

Jens Vanderhaeghe, Manish MaheshwariIntroductionOver the years, Airbnb’s tech stack has shifted from a monolith to 1,000+ services in our service-oriented architecture (SOA). While this migration solved our problems scaling our application architecture, it also introduced an array of new challenges.In this blog post we’ll cover the deployment challenges faced on the road to our current architecture and how we’ve solved those problems by adopting Continuous Delivery best practices on top of Spinnaker. We’ll do a deep dive into how we’ve solved such a large scale migration in a short timespan while maintaining developer productivity along the way.From Deployboard to SpinnakerDeployboard, Airb…

1 месяц назад @ medium.com
My Journey to Airbnb — Florian Andes
My Journey to Airbnb — Florian Andes My Journey to Airbnb — Florian Andes

My Journey to Airbnb — Florian AndesFrom building airplanes to Staff Technical Program Manager at AirbnbFlorian Andes is a Staff Technical Program Manager at Airbnb. He has over 10 years of experience that spans the software, manufacturing, and strategy consulting industry. He studied in Frankfurt, London, Singapore, and Boston, where he received a bachelor’s and MBA degree in Business and Entrepreneurship.Though it can be hard and intimidating to find your place in the “big tech” industry in Silicon Valley, Florian has relied on curiosity and openness to establish a successful career at Airbnb. Read on for Florian’s own words on working at the intersection of business and software engineer…

1 месяц, 1 неделя назад @ medium.com
Hacking Human Connection: the Story of Awedience
Hacking Human Connection: the Story of Awedience Hacking Human Connection: the Story of Awedience

How a home-grown product helps Airbnb employees feel more connected during solitary timesIntroductionThis is the story of how Airbnb employees stayed connected during a time they had never felt more apart. In this post, you’ll learn how an idea turned into an internal product that is now a core part of how Airbnb operates.When you walk through the doors of an Airbnb office, you feel an energy that’s both inspiring and intimidating. After more than five years with the company, I explain this duality as Airbnb being both incredibly entrepreneurial and aspirational.Airbnb company meetings are no different. Brian Chesky and his team keep our all-hands meetings exciting. I know what you’re think…

1 месяц, 2 недели назад @ medium.com
Measuring Latency Overhead with Own Time
Measuring Latency Overhead with Own Time Measuring Latency Overhead with Own Time

by: Jimmy O’NeillA new metric to quantify the latency overhead of our Viaduct frameworkViaduct, a GraphQL-based data-oriented service mesh, is Airbnb’s paved road solution for fetching internal data and serving public-facing API requests. As a unified data access layer, the Viaduct framework handles high throughput and is capable of dynamically routing to hundreds of downstream destinations when executing arbitrary GraphQL queries.Performance Challenges in ViaductViaduct’s role as a data access layer puts it in the critical path of most activity on Airbnb. This makes runtime performance of utmost importance as overhead in the framework will apply universally and can have a multiplicative ef…

2 месяца назад @ medium.com
Artificial Counterfactual Estimation (ACE): Machine Learning-Based Causal Inference at Airbnb
Artificial Counterfactual Estimation (ACE): Machine Learning-Based Causal Inference at Airbnb Artificial Counterfactual Estimation (ACE): Machine Learning-Based Causal Inference at Airbnb

By: Zhiying Gu, Qianrong WuSummaryWhat if you wanted to measure the impact of a change to your business, but it was not possible to run a randomized controlled experiment? That’s exactly the problem we faced when measuring the benefit of a new tool used by Airbnb operations to automate part of their workflow. Due to organizational constraints, it was simply not possible to randomly assign the tool to operations agents; even if we could make random assignments, the sample sizes were too small to generate sufficient statistical power. So what did we do? We imagined a parallel universe in which the operations agents who did not use the new tool were identical in all respects to those who did–i…

2 месяца, 1 неделя назад @ medium.com
Rebuilding Payment Orchestration at Airbnb
Rebuilding Payment Orchestration at Airbnb Rebuilding Payment Orchestration at Airbnb

How we maintained reliable money movement while migrating Airbnb’s payment orchestration system from the legacy monolithic application to a service-oriented architectureBy: Bryon Ross, Feifeng Yang, Sophie Behr, Theresa Johnson, Xin Lin, Yun Jin ChoIntroductionAirbnb’s payment orchestration system is responsible for ensuring reliable money movement between hosts, guests, and Airbnb. In short, guests should be charged the right amount at the right time using their selected payment methods; hosts should be paid the right amount at the right time to their desired payout methods. For historical reasons, Airbnb’s billing data, payment APIs, payment orchestration, and user experiences were tightl…

2 месяца, 3 недели назад @ medium.com
My Journey to Airbnb — Lucius DiPhillips
My Journey to Airbnb — Lucius DiPhillips My Journey to Airbnb — Lucius DiPhillips

My Journey to Airbnb — Lucius DiPhillipsAirbnb’s CIO on sponsorship, belonging, and the power of human connectionLucius DiPhillips is the Chief Information Officer (CIO) at Airbnb. He has over 20 years of experience that spans Product Development, Information Technology, Customer Service, Financial Services, Payments, eCommerce, and Trust & Safety. He has a Degree in Management Information Systems from Rensselaer Polytechnic Institute and serves as the executive sponsor for several diversity and belonging groups and initiatives across the company. Through his sponsorship, Lucius has been instrumental in helping to improve the ways in which Airbnb attracts and retains diverse technical talen…

3 месяца назад @ medium.com
The Past, Present, and Future of react-dates
The Past, Present, and Future of react-dates The Past, Present, and Future of react-dates

Diane KoIn 2016, Airbnb released react-dates, a React date picker component library. The project has amassed more than 11,000 stars. GitHub also tells us that react-dates is used by over 30,000 repos.In more recent years, Airbnb’s requirements for a date picker have changed in a way that has diverged from react-dates. If we were to have made those changes to the library, it would have severely limited the flexibility of the library, one of its key features. To better support the react-dates community, we’ve made the decision to transfer ownership of the react-dates repo to a new react-dates GitHub organization. We believe this new home will better serve the community and continue to evolve …

4 месяца назад @ medium.com
Intelligent Automation Platform: Empowering Conversational AI and Beyond at Airbnb
Intelligent Automation Platform: Empowering Conversational AI and Beyond at Airbnb Intelligent Automation Platform: Empowering Conversational AI and Beyond at Airbnb

How Intelligent Automation Platform supports conversational AI and agent-automation to improve the Airbnb customer experienceBy Zhiheng Xu, Alex Zhou, Jeremy Wang, Zecheng Xu, Ziyi Wang, Jiayu Lou, Liuming Zhang, Gary Pan, Jeffrey Zhao, Yisong Wang, Priyank Singhal, Claire Xiong, Wayne Zhang, Ben Ma, Hao Wang, Carter Appleton, Anthony CliftonWith the rapid development of Machine Learning and Natural Language Processing technologies, conversational AI has attracted huge attention in recent years. More and more conversational AI applications such as virtual assistants, smart speakers, and customer support chatbots have been developed to help people in their daily lives.At Airbnb, we have deve…

4 месяца, 1 неделя назад @ medium.com
Airbnb’s Page Performance Score on Android
Airbnb’s Page Performance Score on Android Airbnb’s Page Performance Score on Android

Part 4 of our series on Airbnb’s Page Performance Score.Luping LinAirbnb’s home grown Page Performance Score (PPS) is designed to capture the rich, complex realities of performance by collecting a multitude of user-centric performance metrics and formulating them into one single 0-100 score. In this post we will deep dive into how we define and implement these metrics on Android. Make sure you read the overview blog post first to familiarize yourself with our PPS metrics and formula.InstrumentationUniversal Page Tracking SystemThe entire customer journey on Airbnb is divided into different pages, each of which has its own measured PPS. In order to support this page-based performance trackin…

5 месяцев назад @ medium.com
Automating Data Protection at Scale, Part 3
Automating Data Protection at Scale, Part 3 Automating Data Protection at Scale, Part 3

Part three of a series on how we provide powerful, automated, and scalable data privacy and security engineering capabilities at AirbnbElizabeth Nammour, Pinyao Guo, Jamie Chong, Wendy JinIntroductionIn Part 1 and Part 2 of our blog series, we gave an overview of the Data Protection Platform (DPP). We focused on how we built a global understanding of Airbnb’s data and its associated security and privacy risks. In this blog post, we will describe how we use this understanding to provide powerful and automated security and privacy engineering capabilities and empower data governance. In order to reduce risk across the entire Airbnb organization, we sought to address the following concerns:Acc…

5 месяцев, 1 неделя назад @ medium.com
Airbnb’s Page Performance Score on iOS
Airbnb’s Page Performance Score on iOS Airbnb’s Page Performance Score on iOS

This is a continuation of our series on Airbnb’s Page Performance Score, a score that measures multiple performance metrics from real users on any platform. Series: Part 1 and Part 2.Nicholas MillerAt Airbnb, we created the Page Performance Score to provide our engineers and data scientists a multitude of user-centric performance metrics to better understand and improve our products. In this post, we will dive deeper into how we define these metrics and instrument them on iOS.Page SystemThe entire customer journey on Airbnb is divided into different pages, each of which has its own measured Page Performance Score (PPS). In order to support this page-based performance tracking system, we bui…

5 месяцев, 1 неделя назад @ medium.com
How Airbnb Supports Co-Hosting
How Airbnb Supports Co-Hosting How Airbnb Supports Co-Hosting

A deep dive into Airbnb’s collaborative hosting infrastructureBy: Angeline RaoIntroductionAirbnb’s mission is to empower Hosts to deliver one-of-a-kind stays that make it possible for guests to experience the world in a more authentic and connected way. Sometimes hosting is handled by one person, but in many cases hosting is a group effort. Hosts often share their responsibilities with another trusted person, such as a family member or a neighbor. These trusted partners are Co-Hosts on the Airbnb platform who are granted access to the Host’s listing, reservations, and messaging with guests.Co-Hosting is just one form of Host collaboration. As hosting has become mainstream, the scale of host…

5 месяцев, 2 недели назад @ medium.com
Measuring Web Performance at Airbnb
Measuring Web Performance at Airbnb Measuring Web Performance at Airbnb

Learn what web performance metrics Airbnb tracks, how we measure them, and how we consider tradeoffs between them in practice.Josh NelsonHow long did it take for this web page to load? It’s a common question industrywide, but is it the right one? Recently, there has been a shift from using single seconds-based metrics like “page load”, to metrics that paint a more holistic picture of performance, representing the experience from a website user’s perspective. At Airbnb, measuring the web performance that our guests and hosts actually experience is critical. Previously, we described how Airbnb created a Page Performance Score to combine multiple metrics from real users into a single score. In…

5 месяцев, 2 недели назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 день, 4 часа назад
A Survey of Causal Inference Applications at Netflix
A Survey of Causal Inference Applications at Netflix A Survey of Causal Inference Applications at Netflix

At Netflix, we want to entertain the world through creating engaging content and helping members discover the titles they will love. Key to that is understanding causal effects that connect changes we make in the product to indicators of member joy.To measure causal effects we rely heavily on AB testing, but we also leverage quasi-experimentation in cases where AB testing is limited. Many scientists across Netflix have contributed to the way that Netflix analyzes these causal effects.To celebrate that impact and learn from each other, Netflix scientists recently came together for an internal Causal Inference and Experimentation Summit. The weeklong conference brought speakers from across th…

1 день, 4 часа назад @ netflixtechblog.com
Evolution of ML Fact Store
Evolution of ML Fact Store Evolution of ML Fact Store

by Vivek KaushalAt Netflix, we aim to provide recommendations that match our members’ interests. To achieve this, we rely on Machine Learning (ML) algorithms. ML algorithms can be only as good as the data that we provide to it. This post will focus on the large volume of high-quality data stored in Axion — our fact store that is leveraged to compute ML features offline. We built Axion primarily to remove any training-serving skew and make offline experimentation faster. We will share how its design has evolved over the years and the lessons learned while building it.TerminologyAxion fact store is part of our Machine Learning Platform, the platform that serves machine learning needs across N…

3 недели, 4 дня назад @ netflixtechblog.com
How Netflix Content Engineering makes a federated graph searchable
How Netflix Content Engineering makes a federated graph searchable How Netflix Content Engineering makes a federated graph searchable

By Alex Hutter, Falguni Jhaveri and Senthil SayeebabaOver the past few years Content Engineering at Netflix has been transitioning many of its services to use a federated GraphQL platform. GraphQL federation enables domain teams to independently build and operate their own Domain Graph Services (DGS) and, at the same time, connect their domain with other domains in a unified GraphQL schema exposed by a federated gateway.As an example, let’s examine three core entities of the graph, each owned by separate engineering teams:Movie: At Netflix, we make titles (shows, films, shorts etc.). For simplicity, let’s assume each title is a Movie object.Production: Each Movie is associated with a Studio…

1 месяц, 1 неделя назад @ netflixtechblog.com
Rapid Event Notification System at Netflix
Rapid Event Notification System at Netflix Rapid Event Notification System at Netflix

By: Ankush Gulati, David GevorkyanAdditional credits: Michael Clark, Gokhan OzerIntroNetflix has more than 220 million active members who perform a variety of actions throughout each session, ranging from renaming a profile to watching a title. Reacting to these actions in near real-time to keep the experience consistent across devices is critical for ensuring an optimal member experience. This is not an easy task, considering the wide variety of supported devices and the sheer volume of actions our members perform. To this end, we developed a Rapid Event Notification System (RENO) to support use cases that require server initiated communication with devices in a scalable and extensible man…

3 месяца назад @ netflixtechblog.com
Data pipeline asset management with Dataflow
Data pipeline asset management with Dataflow Data pipeline asset management with Dataflow

by Sam Setegne, Jai Balani, Olek GorajekGlossaryasset — any business logic code in a raw (e.g. SQL) or compiled (e.g. JAR) form to be executed as part of the user defined data pipeline.data pipeline — a set of tasks (or jobs) to be executed in a predefined order (a.k.a. DAG) for the purpose of transforming data using some business logic.Dataflow — Netflix homegrown CLI tool for data pipeline management.job — a.k.a task, an atomic unit of data transformation logic, a non-separable execution block in the workflow chain.namespace — unique label, usually representing a business subject area, assigned to a workflow asset to identify it across all other assets managed by Dataflow (e.g. security).…

3 месяца, 1 неделя назад @ netflixtechblog.com
Demystifying Interviewing for Backend Engineers @ Netflix
Demystifying Interviewing for Backend Engineers @ Netflix Demystifying Interviewing for Backend Engineers @ Netflix

By Karen Casella, Director of Engineering, Access & Identity ManagementHave you ever experienced one of the following scenarios while looking for your next role?You study and practice coding interview problems for hours/days/weeks/months, only to be asked to merge two sorted lists.You apply for multiple roles at the same company and proceed through the interview process with each hiring team separately, despite the fact that there is tremendous overlap in the roles.You go through the interview process, do really well, get really excited about the company and the people you meet, and in the end, you are “matched” to a role that does not excite you, working with a manager and team you have no…

3 месяца, 2 недели назад @ netflixtechblog.com
Netflix: A Culture of Learning
Netflix: A Culture of Learning Netflix: A Culture of Learning

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Colin McFarland, Mihir Tendulkar, and Travis BrooksThis is the last post in an overview series on experimentation at Netflix. Need to catch up? Earlier posts covered the basics of A/B tests (Part 1 and Part 2 ), core statistical concepts (Part 3 and Part 4), how to build confidence in a decision (Part 5), and the the role of Experimentation and A/B testing within the larger Data Science and Engineering organization at Netflix (Part 6).Earlier posts in this series covered the why, what and how of A/B testing, all of which are necessary to reap the benefits of experimentation for product development. But without a little magic,…

3 месяца, 3 недели назад @ netflixtechblog.com
Fixing Performance Regressions Before they Happen
Fixing Performance Regressions Before they Happen Fixing Performance Regressions Before they Happen

Angus CrollNetflix is used by 222 million members and runs on over 1700 device types ranging from state-of-the-art smart TVs to low-cost mobile devices.At Netflix we’re proud of our reliability and we want to keep it that way. To that end, it’s important that we prevent significant performance regressions from reaching the production app. Sluggish scrolling or late rendering is frustrating and triggers accidental navigations. Choppy playback makes watching a show less enjoyable. Any performance regression that makes it into a product release will degrade user experience, so the challenge is to detect and fix such regressions before they ship.This post describes how the Netflix TVUI team imp…

3 месяца, 3 недели назад @ netflixtechblog.com
Auto-Diagnosis and Remediation in Netflix Data Platform
Auto-Diagnosis and Remediation in Netflix Data Platform Auto-Diagnosis and Remediation in Netflix Data Platform

By Vikram Srivastava and Marcelo MaywormNetflix has one of the most complex data platforms in the cloud on which our data scientists and engineers run batch and streaming workloads. As our subscribers grow worldwide and Netflix enters the world of gaming, the number of batch workflows and real-time data pipelines increases rapidly. The data platform is built on top of several distributed systems, and due to the inherent nature of these systems, it is inevitable that these workloads run into failures periodically. Troubleshooting these problems is not a trivial task and requires collecting logs and metrics from several different systems and analyzing them to identify the root cause. At our s…

4 месяца, 1 неделя назад @ netflixtechblog.com
Experimentation is a major focus of Data Science across Netflix
Experimentation is a major focus of Data Science across Netflix Experimentation is a major focus of Data Science across Netflix

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Colin McFarland, Andy Rhines, Sophia Liu, Mihir Tendulkar, Kevin Mercurio, Veronica Hannan, Ting-Po LeeEarlier posts in this series covered the basics of A/B tests (Part 1 and Part 2 ), core statistical concepts (Part 3 and Part 4), and how to build confidence in decisions based on A/B test results (Part 5). Here we describe the role of Experimentation and A/B testing within the larger Data Science and Engineering organization at Netflix, including how our platform investments support running tests at scale while enabling innovation. The subsequent and final post in this series will discuss the importance of the culture of ex…

4 месяца, 1 неделя назад @ netflixtechblog.com
Snaring the Bad Folks
Snaring the Bad Folks Snaring the Bad Folks

Project by Netflix’s Cloud Infrastructure Security team (Alex Bainbridge, Mike Grima, Nick Siow)Cloud security is a hard problem, but an even harder one is cloud security at scale. In recent years we’ve seen several cloud focused data breaches and evidence shows that threat actors are becoming more advanced with their techniques, goals, and tooling. With 2021 set to be a new high for the number of data breaches, it was plainly evident that we needed to evolve how we approach our cloud infrastructure security strategy.In 2020, we decided to reinvent how we handle cloud security findings by redefining how we write and respond to cloud detections. We knew that given our scale, we needed to rel…

5 месяцев, 2 недели назад @ netflixtechblog.com
Building confidence in a decision
Building confidence in a decision Building confidence in a decision

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Michael Lindon, and Colin McFarlandThis is the fifth post in a multi-part series on how Netflix uses A/B tests to inform decisions and continuously innovate on our products. Need to catch up? Have a look at Part 1 (Decision Making at Netflix), Part 2 (What is an A/B Test?), Part 3 (False positives and statistical significance), and Part 4 (False negatives and power). Subsequent posts will go into more details on experimentation across Netflix, how Netflix has invested in infrastructure to support and scale experimentation, and the importance of developing a culture of experimentation within an organization.In Parts 3 (False p…

6 месяцев, 1 неделя назад @ netflixtechblog.com
Bringing AV1 Streaming to Netflix Members’ TVs
Bringing AV1 Streaming to Netflix Members’ TVs Bringing AV1 Streaming to Netflix Members’ TVs

by Liwei Guo, Ashwin Kumar Gopi Valliammal, Raymond Tam, Chris Pham, Agata Opalach, Weibo NiAV1 is the first high-efficiency video codec format with a royalty-free license from Alliance of Open Media (AOMedia), made possible by wide-ranging industry commitment of expertise and resources. Netflix is proud to be a founding member of AOMedia and a key contributor to the development of AV1. The specification of AV1 was published in 2018. Since then, we have been working hard to bring AV1 streaming to Netflix members.In February 2020, Netflix started streaming AV1 to the Android mobile app. The Android launch leveraged the open-source software decoder dav1d built by the VideoLAN, VLC, and FFmpeg…

6 месяцев, 2 недели назад @ netflixtechblog.com
Pinterest Engineering
последний пост 1 неделя, 3 дня назад
Improving Distributed Caching Performance and Efficiency at Pinterest
Improving Distributed Caching Performance and Efficiency at Pinterest Improving Distributed Caching Performance and Efficiency at Pinterest

Kevin Lin | Software Engineer, Storage and CachingIntroductionPinterest’s distributed caching system, built on top of open source technologies memcached and mcrouter, is a critical component of the production infrastructure stack. Pinterest’s cache-as-a-service platform is responsible for driving down application latency across the board, reducing the overall cloud cost footprint, and ensuring adherence to strict sitewide availability targets.Today, Pinterest’s memcached fleet spans over 5000 EC2 instances across a variety of instance types optimized along compute, memory, and storage dimensions. Collectively, the fleet serves up to ~180 million requests per second and ~220 GB/s of network …

1 неделя, 3 дня назад @ medium.com
Manas HNSW Streaming Filters
Manas HNSW Streaming Filters Manas HNSW Streaming Filters

George Wu | Software Engineer, Core Product Serving Infra; Tim Koh | Software Engineer, Core Product Serving InfraIntroductionEmbedding-based retrieval is a core center piece of our recommendations engine at Pinterest. We support a myriad of use cases, from retrieval based on content similarity to learned retrieval. It’s powered by our in-house search engine — Manas — which provides Approximate Nearest Neighbor (ANN) search as a service, primarily using Hierarchical Navigable Small World graphs (HNSW).While traditional token-based search retrieves documents on term matching on a tree of terms with logical connectives like ANDs and ORs, ANN search retrieves based on embedding similarity. Oft…

2 недели, 3 дня назад @ medium.com
NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest
NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest

Prabhat Agarwal | Research ScientistWatch Prabhat Agarwal’s talk from the NVIDIA GTC Conference on March 23, 2022.https://medium.com/media/c160a4c48af4ff09c6ed83e10d26a5e8/hrefTo learn more about engineering at Pinterest, check out the rest of our Engineering Blog, and visit our Pinterest Labs site. To view and apply to open opportunities, visit our Careers page.NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest was originally published in Pinterest Engineering Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

1 месяц, 1 неделя назад @ medium.com
Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo
Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo

Jeremy King | Sr Vice Presidente, ingenieríaThis article was originally published in English. Read the English version here.Hace dos años, estaba terminando mi primer año en Pinterest como Vicepresidente Sénior. Nuestras oficinas cerraron y el trabajo y la vida, como los conocíamos, cambiaron de golpe. Al adaptarnos a los cambios drásticos a nuestro alrededor, aprendimos mucho sobre el trabajo y sobre lo que no era un lugar de trabajo. Los beneficios del trabajo flexible y nuestra capacidad de ser productivos desde cualquier lugar dieron muchas ventajas a nuestros empleos, ya que se eliminaron largos viajes al trabajo y pudimos estar mucho más presentes en los momentos importantes de nuestr…

1 месяц, 1 неделя назад @ medium.com
How Pinterest built its Trust & Safety team
How Pinterest built its Trust & Safety team How Pinterest built its Trust & Safety team

Maisy Samuelson | Head of Trust & Safety Product“Inch by inch, row by row, I’m gonna make this garden grow” — Garden Song by Peter, Paul & MarySince I started working on Trust & Safety four years ago, the team has grown quickly and learned a lot about how to protect Pinners from spam and account takeovers as well as unsafe content like nudity, self-harm, hate speech, and harassment.Back in 2017, the Trust & Safety team (like Pinterest itself) was small and spent a lot of time fighting attacks. During attacks we scrambled to figure out product nuances, where and how data was stored, wait for queries to run, write scripts to update production databases and fix issues in user accounts, all und…

1 месяц, 2 недели назад @ medium.com
Introducing PinFlex: Pinterest’s model for the Future of Work
Introducing PinFlex: Pinterest’s model for the Future of Work Introducing PinFlex: Pinterest’s model for the Future of Work

Jeremy King | Senior Vice President, EngineeringTwo years ago, as I was closing in on my first annual “Pinniversary” as the Chief of Engineering at Pinterest, our offices closed, and work (read: life) as we knew it changed abruptly. As we all adapted to the drastic changes around us, we learned a lot about what was working and what wasn’t in the workplace. The benefits of working flexibly and our ability to be productive from anywhere empowered us to do our jobs well while eliminating long commutes and allowing us to be more present than ever before for important moments with family. We also realized the value of intentional in-person touchpoints with colleagues to build culture and drive c…

1 месяц, 2 недели назад @ medium.com
Large Scale Hadoop Upgrade At Pinterest
Large Scale Hadoop Upgrade At Pinterest Large Scale Hadoop Upgrade At Pinterest

Yongjun Zhang | Software Engineer; William Tom | Software Engineer; Shaowen Wang | Software Engineer; Bhavin Pathak | Software Engineer; Batch Processing Platform TeamPinterest’s Batch Processing Platform, Monarch, consists of more than 30 Hadoop YARN clusters with 17k+ nodes built entirely on top of AWS EC2. At the beginning of 2021, Monarch was still on Hadoop 2.7.1, which was already five years old. Because of the increasing complexity in backporting upstream changes (features and bug fixes), we decided it was time to invest in a version upgrade. We settled on Hadoop 2.10.0, which was the latest release of Hadoop 2 at the time.This article shares our experience of upgrading Monarch to Ha…

1 месяц, 3 недели назад @ medium.com
99% to 99.9% SLO: High Performance Kubernetes Control Plane at Pinterest
99% to 99.9% SLO: High Performance Kubernetes Control Plane at Pinterest 99% to 99.9% SLO: High Performance Kubernetes Control Plane at Pinterest

Shunyao Li | Software Engineer, Cloud RuntimeOver the past three years, the Cloud Runtime team’s journey has gone from “Why Kubernetes?” to “How to scale?”. There is no doubt that Kubernetes based compute platform has achieved huge success at Pinterest. We have been supporting big data processing, machine learning, distributed training, workflow engine, CI/CD, internal tools — backing up every engineer at Pinterest.Why Control Plane Latency MattersAs more and more business-critical workloads onboard Kubernetes, it is increasingly important to have a high-performance control plane that efficiently orchestrates every workload. Critical workloads such as content model training and ads reportin…

2 месяца назад @ medium.com
Unified PubSub Client at Pinterest
Unified PubSub Client at Pinterest Unified PubSub Client at Pinterest

Vahid Hashemian | Software Engineer, Logging PlatformJeff Xiang | Software Engineer, Logging PlatformAt Pinterest, the Logging Platform team manages the PubSub layer and provides support for clients that interact with it. At the heart of the PubSub layer, there are two main systems responsible for ingress and egress of data in motion:Apache Kafka® (Kafka hereafter)MemQOver the last several years, we have learnt through operational experience that our customers and business needs to have reduced KTLO costs, and they want the platform team to own not just the servers / service but also the client / SDK as well as the on-call associated with any issues that arise from client-server connectivit…

2 месяца, 1 неделя назад @ medium.com
Enviar previamente pruebas de IU en Pinterest
Enviar previamente pruebas de IU en Pinterest Enviar previamente pruebas de IU en Pinterest

Mansfield Mark | Líder de herramientas de prueba móviles, calidad de métricas y herramientas de pruebaThis article was originally published in English. Read the English version here.ResumenEn nuestros esfuerzos por cambiar a la izquierda (en los que las pruebas se hacen antes o se desplazan a la izquierda en la cronología del proyecto), en este blog se explica cómo empezamos a ejecutar un gran conjunto de pruebas de interfaz de usuario de extremo a extremo antes de cualquier asignación a nuestros repositorios de Android o iOS. Este proyecto involucró una cuidadosa coordinación de las pruebas de interfaz de usuario, la infraestructura de pruebas y la productividad del desarrollador.Después d…

2 месяца, 1 неделя назад @ medium.com
Addressing Python Dependency Confusion at Pinterest
Addressing Python Dependency Confusion at Pinterest Addressing Python Dependency Confusion at Pinterest

Bill Prin | Software Engineer, Engineering Productivity, Python; Devin Lundberg | Software Engineer , Security Lead; and Adam Berry | Software Engineer , Engineering ProductivitySoftware supply chain is an incredibly important security topic in today’s world. In May 2021, an American oil pipeline system fell victim to a cyberattack, and with the assistance of the FBI, paid over $4.4 million dollars in ransom to the attackers in order to recover their systems.As a result, US President Joe Biden was forced to declare a state of emergency, and on May 12 issued Executive Order 14028 increasing software security standards for software supply chains. According to VentureBeat, software supply chai…

2 месяца, 1 неделя назад @ medium.com
Presupuestos de campaña de Pinterest
Presupuestos de campaña de Pinterest Presupuestos de campaña de Pinterest

Kevin Jiang | ingeniero de software de inteligencia de anuncios; Keshava Subramanya | gerente de ingeniería de inteligencia de anuncios; and Yeming Shi | ingeniera de software de inteligencia de anunciosThis article was originally published in English. Read the English version here.IntroducciónPinterest es un motor de descubrimiento visual que ayuda a los usuarios a encontrar ideas inspiradoras. Los anunciantes usan Pinterest para conectar con los usuarios en estas búsquedas de inspiración y su objetivo es promocionar productos o servicios de manera eficiente.El equipo de Inteligencia de anuncios de Pinterest elabora productos que ayudan a los anunciantes a maximizar el valor que obtienen d…

2 месяца, 2 недели назад @ medium.com
Debugging Deadlock in PininfoService Ubuntu18 Upgrade: Part 2 of 2
Debugging Deadlock in PininfoService Ubuntu18 Upgrade: Part 2 of 2 Debugging Deadlock in PininfoService Ubuntu18 Upgrade: Part 2 of 2

Solving Engineering Problems as Doing ResearchKangnan Li | Software Engineer, Key Value Systemsunlock deadlock for PininfoServiceThis is part 2 of a two-part blog series on deep systems debugging techniques in a real-world scenario to upgrade our stateful systems to U18.In part 1, we narrowed down that the two issues observed — QPS drop and inconsistent memory usage — are from the PininfoService leaf layer. In this article, we narrow down the issue further to GlobalCPUExecutor (GCPU) and eventually the root cause of the issue: a deadlock.To better understand how requests flow in and out of PininfoService, here is a brief summary of threads (or pools) in order used in PininfoService (also re…

2 месяца, 2 недели назад @ medium.com
Spinner: The Mass Migration to Pinterest’s New Workflow Platform
Spinner: The Mass Migration to Pinterest’s New Workflow Platform Spinner: The Mass Migration to Pinterest’s New Workflow Platform

Ace Haidrey | Senior Software Engineer, WorkflowThis article is a repost from the author’s original account here.In our last blog post, we discussed how we made the decision and took the actions to move from our legacy system, Pinball, to our new system, Spinner, which is built on top of the Apache Airflow project. As a reminder, this is based off of a custom branch that branched off of Airflow version 1.10-stable with some features cherry picked from the master branch.In this post, we will explain how we approached and designed the migration, identified requirements, and coordinated with all our engineer teams to seamlessly migrate 3000+ workflows to Airflow. We will deep dive into trade o…

2 месяца, 4 недели назад @ medium.com
Spinner: Pinterest’s Workflow Platform
Spinner: Pinterest’s Workflow Platform Spinner: Pinterest’s Workflow Platform

Ace Haidrey | Software Engineer, Workflow; Ashim Shreshta | Site Reliability Engineer, Workflow; Dinghang Yu | Software Engineer, Workflow; Euccas Chen | Software Engineer, Workflow; Evan Li | Engineering Manager, Workflow; Hannah Chen | Product Manager, Workflow; Yulei Li | Software Engineer, WorkflowThis article is a repost from the author’s original account here.Workflow Scale at Pinterest Before Migration to AirflowSince its inception, Pinterest’s philosophy has always been centered around data. As a data driven company, that means all data ingested is stored for further use. This looks like 600 terabytes of new data every day, encompassing over 500 petabytes of total data. At this scal…

3 месяца назад @ medium.com
Uber Engineering
последний пост 5 дней, 3 часа назад
Better Load Balancing: Real-Time Dynamic Subsetting
Better Load Balancing: Real-Time Dynamic Subsetting

Overview

Subsetting is a common technique used in load balancing for large-scale distributed systems. In this blog post, we will briefly introduce Uber’s current service mesh architecture that has been powering thousands of critical microservices in Uber since 2016. We …

The post Better Load Balancing: Real-Time Dynamic Subsetting appeared first on Uber Engineering Blog.

5 дней, 3 часа назад @ eng.uber.com
Presto® on Apache Kafka® At Uber Scale
Presto® on Apache Kafka® At Uber Scale

Uber’s goal is to ignite opportunity by setting the world in motion, and big data is a very important part of that. Presto® and Apache Kafka® play critical roles in Uber’s big data stack. Presto is the de …

The post Presto® on Apache Kafka® At Uber Scale appeared first on Uber Engineering Blog.

1 месяц, 1 неделя назад @ eng.uber.com
Securing Kafka® Infrastructure at Uber
Securing Kafka® Infrastructure at Uber

Background

Uber has one of the largest deployments of Apache Kafka® in the world. It empowers a large number of real-time workflows at Uber, including pub-sub message buses for passing event data from the rider and driver apps, as …

The post Securing Kafka® Infrastructure at Uber appeared first on Uber Engineering Blog.

1 месяц, 2 недели назад @ eng.uber.com
Uber’s Emergency Button and The Technologies Behind It
Uber’s Emergency Button and The Technologies Behind It

Safety has long been a top priority at Uber, as Uber’s CEO Dara Khosrowshahi wrote in ‘Raising the Bar on Safety’ in September 2018. In order to #StandForSafety, the team at Uber has rolled out a set of …

The post Uber’s Emergency Button and The Technologies Behind It appeared first on Uber Engineering Blog.

1 месяц, 3 недели назад @ eng.uber.com
Avoiding CPU Throttling in a Containerized Environment
Avoiding CPU Throttling in a Containerized Environment

At Uber, all stateful workloads run on a common containerized platform across a large fleet of hosts. Stateful workloads include MySQL®, Apache Cassandra®, ElasticSearch®, Apache Kafka®, Apache HDFS™, Redis™…

The post Avoiding CPU Throttling in a Containerized Environment appeared first on Uber Engineering Blog.

2 месяца назад @ eng.uber.com
One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™
One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™

Overview Data access restrictions, retention, and encryption at rest are fundamental security controls. This blog explains how we have built and utilized open-sourced Apache Parquet™’s finer-grained encryption feature to support all 3 controls in a unified way. In …

The post One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™ appeared first on Uber Engineering Blog.

2 месяца, 1 неделя назад @ eng.uber.com
Introducing Ballast: An Adaptive Load Test Framework
Introducing Ballast: An Adaptive Load Test Framework

As Uber’s architecture has grown to encompass thousands of interdependent microservices, we need to test our mission-critical components at max load in order to preserve reliability. Accurate load testing allows us to validate if a set of services are working …

The post Introducing Ballast: An Adaptive Load Test Framework appeared first on Uber Engineering Blog.

2 месяца, 3 недели назад @ eng.uber.com
Project RADAR: Intelligent Early Fraud Detection System with Humans in the Loop
Project RADAR: Intelligent Early Fraud Detection System with Humans in the Loop

Introduction

Uber is a worldwide marketplace of services, processing thousands of monetary transactions every second. As a marketplace, Uber takes on all of the risks associated with payment processing. Uber partners who use the marketplace to provide services are paid …

The post Project RADAR: Intelligent Early Fraud Detection System with Humans in the Loop appeared first on Uber Engineering Blog.

3 месяца, 2 недели назад @ eng.uber.com
Cost Efficiency @ Scale in Big Data File Format
Cost Efficiency @ Scale in Big Data File Format

Background

Our Apache Hadoop® based data platform ingests hundreds of petabytes of analytical data with minimum latency and stores it in a data lake built on top of the Hadoop Distributed File System (HDFS). We use Apache Hudi…

The post Cost Efficiency @ Scale in Big Data File Format appeared first on Uber Engineering Blog.

3 месяца, 3 недели назад @ eng.uber.com
Cadence Multi-Tenant Task Processing
Cadence Multi-Tenant Task Processing

Introduction

Cadence is a multi-tenant orchestration framework that helps developers at Uber to write fault-tolerant, long-running applications, also known as workflows. It scales horizontally to handle millions of concurrent executions from various customers. It is currently used by hundreds of …

The post Cadence Multi-Tenant Task Processing appeared first on Uber Engineering Blog.

5 месяцев, 1 неделя назад @ eng.uber.com
CRISP: Critical Path Analysis for Microservice Architectures
CRISP: Critical Path Analysis for Microservice Architectures

Uber’s backend is an exemplar of microservice architecture. Each microservice is a small, individually deployable program performing a specific business logic (operation). The microservice architecture is a type of distributed computing system, which is suitable for independent deployments and scaling …

The post CRISP: Critical Path Analysis for Microservice Architectures appeared first on Uber Engineering Blog.

6 месяцев назад @ eng.uber.com
How Uber Migrated Financial Data from DynamoDB to Docstore
How Uber Migrated Financial Data from DynamoDB to Docstore

Introduction

Each day, Uber moves millions of people around the world and delivers tens of millions of food and grocery orders. This generates a large number of financial transactions that need to be stored with provable completeness, consistency, and compliance. …

The post How Uber Migrated Financial Data from DynamoDB to Docstore appeared first on Uber Engineering Blog.

6 месяцев, 1 неделя назад @ eng.uber.com
Introducing uGroup: Uber’s Consumer Management Framework
Introducing uGroup: Uber’s Consumer Management Framework

Background

Apache Kafka® is widely used across Uber’s multiple business lines. Take the example of an Uber ride: When a user opens up the Uber app, demand and supply data are aggregated in Kafka queues to serve fare calculations. …

The post Introducing uGroup: Uber’s Consumer Management Framework appeared first on Uber Engineering Blog.

7 месяцев назад @ eng.uber.com
Improving HDFS I/O Utilization for Efficiency
Improving HDFS I/O Utilization for Efficiency

Scaling our data infrastructure with lower hardware costs while maintaining high performance and service reliability has been no easy feat. To accommodate the exponential growth in both Data Storage and Analytics Compute at Uber, the Data Infrastructure team massively overhauled …

The post Improving HDFS I/O Utilization for Efficiency appeared first on Uber Engineering Blog.

7 месяцев, 1 неделя назад @ eng.uber.com
Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner
Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner

Introduction

The Fulfillment Platform is a foundational Uber domain that enables the rapid scaling of new verticals. The platform handles billions of database transactions each day, ranging from user actions (e.g., a driver starting a trip) and system actions …

The post Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner appeared first on Uber Engineering Blog.

7 месяцев, 3 недели назад @ eng.uber.com
Spotify Engineering Spotify Engineering
последний пост 1 неделя, 3 дня назад
Failing Forward — How We Grow from Incidents
Failing Forward — How We Grow from Incidents Failing Forward — How We Grow from Incidents

This past year, a few of us who focus on the reliability of Spotify for Artists (S4A) spent some time taking a look at the collection of incidents directly affecting S4A in 2021. We made some hypotheses, and then went to work analyzing each one to build a set of quantitative and qualitative metrics. We [...]

1 неделя, 3 дня назад @ engineering.atspotify.com
Supporting Future Engineers: Spotify’s Partnership with The Marcy Lab School
Supporting Future Engineers: Spotify’s Partnership with The Marcy Lab School Supporting Future Engineers: Spotify’s Partnership with The Marcy Lab School

In September 2020, we had the exciting opportunity to partner with The Marcy Lab School with the hopes of creating opportunities for Fellows to: (1) interact with Spotify employees (2) receive training in how to navigate the technical interview process at Spotify and beyond, and (3) become well-versed in the Spotify Internship and Fellowship application [...]

2 недели, 4 дня назад @ engineering.atspotify.com
Spotify Live: From Live to Recording
Spotify Live: From Live to Recording Spotify Live: From Live to Recording

Spotify Live (formerly Spotify Greenroom) is a platform that democratizes live audio streams. Creators are able to create rooms and stream live directly to fans who join the room. They can also interact directly with their fans either by text chatting in the app or bringing them up as speakers to interact by voice. But [...]

3 недели, 3 дня назад @ engineering.atspotify.com
Announcing the Spotify FOSS Fund
Announcing the Spotify FOSS Fund Announcing the Spotify FOSS Fund

TLDR: Spotify is starting a Free and Open Source Software Fund (FOSS Fund) to pay maintainers of independent projects. This new initiative is about giving back to open source developers and is one of the ways we are investing in a more sustainable open source ecosystem for all of us. The fund will start at [...]

1 месяц назад @ engineering.atspotify.com
Spotify’s Player API: Your Toolkit for Controlling Spotify Programmatically
Spotify’s Player API: Your Toolkit for Controlling Spotify Programmatically Spotify’s Player API: Your Toolkit for Controlling Spotify Programmatically

In 2017, we launched the Spotify Connect Web API, a set of tools that developers could use to programmatically start, stop, and manage Spotify audio playback from the web. This post presents an overview of what you can do with the API, now called the Player API, and some background information about how it came [...]

1 месяц, 1 неделя назад @ engineering.atspotify.com
Comparing quantiles at scale in online A/B-testing
Comparing quantiles at scale in online A/B-testing Comparing quantiles at scale in online A/B-testing

TL;DR: Using the properties of the Poisson bootstrap algorithm and quantile estimators, we have been able to reduce the computational complexity of Poisson bootstrap difference-in-quantiles confidence intervals enough to unlock bootstrap inference for almost arbitrary large samples. At Spotify, we can now easily calculate bootstrap confidence intervals for difference-in-quantiles in A/B tests with hundreds of [...]

2 месяца назад @ engineering.atspotify.com
Zela Taino: iOS Engineer
Zela Taino: iOS Engineer Zela Taino: iOS Engineer

Tell us more about working on Spotify Wrapped… As Tech Lead for Wrapped, I was in charge of laying out the road map for the mobile and backend engineers – as well as working with the brand, design, creative and localization teams to make sure everything went smoothly from an engineering point of view. With [...]

2 месяца назад @ engineering.atspotify.com
Introducing Natural Language Search for Podcast Episodes
Introducing Natural Language Search for Podcast Episodes Introducing Natural Language Search for Podcast Episodes

Beyond term-based Search Until recently, Search at Spotify relied mostly on term matching. For example, if you type the query “electric cars climate impact”, Elasticsearch will return search results that contain everything that has each of those query words in its indexed metadata (like in the title of a podcast episode). However, we know users [...]

2 месяца назад @ engineering.atspotify.com
Why We Switched Our Data Orchestration Service
Why We Switched Our Data Orchestration Service Why We Switched Our Data Orchestration Service

TL;DR Within Spotify, we run 20,000 batch data pipelines defined in 1,000+ repositories, owned by 300+ teams — daily. The majority of our pipelines rely on two tools: Luigi (for the Python folks) and Flo (for the Java folks). In 2019, the data orchestration team at Spotify decided to move away from these tools. In [...]

2 месяца, 1 неделя назад @ engineering.atspotify.com
Incident Report: Spotify Outage on March 8
Incident Report: Spotify Outage on March 8 Incident Report: Spotify Outage on March 8

On March 8, we experienced a global outage triggered by issues in a cloud-hosted service discovery system used at Spotify. We were made aware of issues with login at 18:12 UTC / 13:12 ET and started implementing fixes to critical systems at 18:39 UTC / 13:39 ET. This outage affected our users and we apologize [...]

2 месяца, 1 неделя назад @ engineering.atspotify.com
Chantal Delfeld: Engineer
Chantal Delfeld: Engineer Chantal Delfeld: Engineer

7:00am My early mornings are spent running about after my children – getting them dressed, giving them breakfast and putting on their sunscreen, so they’re all ready for the day ahead. At 8am, I drive my daughter to preschool, while my mom looks after my one-year-old son – she’s been living with us since the start [...]

2 месяца, 2 недели назад @ engineering.atspotify.com
Jordan Loeser: Web Engineer
Jordan Loeser: Web Engineer Jordan Loeser: Web Engineer

Tell us more about working on Spotify Wrapped… My main focus on Wrapped was the social media share cards – the static images that summarize the information from someone’s data stories and can be shared on platforms like Instagram, TikTok and Snapchat. Since these cards must accommodate a variety of languages and dynamic data within [...]

2 месяца, 2 недели назад @ engineering.atspotify.com
Introducing [email protected]: a new podcast for developers (and the nerd inside all of us)
Introducing NerdOut@Spotify: a new podcast for developers (and the nerd inside all of us) Introducing N[email protected]: a new podcast for developers (and the nerd inside all of us)

TL;DR For years, Spotify’s official engineering blog has been giving you a peek behind the curtain at Spotify R&D. Today, we’re announcing [email protected], our new R&D podcast that gives you another view into our tech world. In each episode I’ll talk with Spotify developers about challenging tech problems and give you a firsthand look into [...]

2 месяца, 3 недели назад @ engineering.atspotify.com
Search Journey Towards Better Experimentation Practices
Search Journey Towards Better Experimentation Practices Search Journey Towards Better Experimentation Practices

At Spotify, we aim to build and improve our product in a data-informed way. To do that, teams are encouraged to generate and test hypotheses by running experiments and gathering evidence for what works and what doesn’t. In the Search team, in our journey towards this goal, we have learned that, besides having the ambition, [...]

2 месяца, 3 недели назад @ engineering.atspotify.com
Mesfin Mekonnen: Senior Engineer
Mesfin Mekonnen: Senior Engineer Mesfin Mekonnen: Senior Engineer

Tell us more about working on Spotify Wrapped… I specialize in iOS Engineering and was one of a few iOS embeds working on 2021 Wrapped. We divided up the various Wrapped stories amongst ourselves — my focus was on Top Five Artists, Top Five Songs, Top Five Podcasts, Top Genres and the Audio Aura, which [...]

2 месяца, 4 недели назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост 1 день, 23 часа назад
How Robling and Logic Partner with Snowflake to Empower Retailers with Data, Insights
How Robling and Logic Partner with Snowflake to Empower Retailers with Data, Insights

Snowflake partners Robling and Logic Information Systems help retailers gain data-driven insights to boost customer acquisition and retention and increase revenue. Jeff Buck, CEO of Robling, and Graeme McVie, Managing Director of Data Science and Analytics at Logic, joined us on the latest episode of The Data Cloud Podcast to talk about opening up data […]

The post How Robling and Logic Partner with Snowflake to Empower Retailers with Data, Insights appeared first on Snowflake.

1 день, 23 часа назад @ snowflake.com
How Snowflake Support Uses Data to Improve the Customer Experience
How Snowflake Support Uses Data to Improve the Customer Experience

Customer advocacy is one of the Snowflake Support team’s most important roles. Working closely with customers around the world every day, we listen and learn to gain meaningful insights into Snowflake products, the ways our customers use those products, and the challenges they face. We feel a deep responsibility to take those insights and trends, […]

The post How Snowflake Support Uses Data to Improve the Customer Experience appeared first on Snowflake.

3 дня, 3 часа назад @ snowflake.com
What You Need to Know About Scripting in SQL with Snowflake
What You Need to Know About Scripting in SQL with Snowflake

Snowflake Scripting is now generally available, allowing you to create scripts and stored procedures in SQL with Snowflake. This procedural language extends the SQL language with structures and control statements, such as conditional and loop statements, and makes it easy for Snowflake users (many of whom know and love SQL) to create stored procedures and […]

The post What You Need to Know About Scripting in SQL with Snowflake appeared first on Snowflake.

3 дня, 21 час назад @ snowflake.com
How Kimberly-Clark Uses RGM Analytics to Drive Portfolio Growth
How Kimberly-Clark Uses RGM Analytics to Drive Portfolio Growth

Consumer packaged goods (CPG) companies face a challenging economic landscape coming out of the COVID-19 pandemic. The U.S. economy contracted in the first quarter of 2022, with gross domestic product (GDP) falling 0.4%, indicating decreases in private inventory investment, exports, and state, local, and federal government spending. Consumer prices rose at a 7% annual rate […]

The post How Kimberly-Clark Uses RGM Analytics to Drive Portfolio Growth appeared first on Snowflake.

4 дня, 20 часов назад @ snowflake.com
Driving Improved Patient Outcomes with Better Access to Real-World Evidence
Driving Improved Patient Outcomes with Better Access to Real-World Evidence

Global trends in demographics, politics, and public health are ushering in an economic moment of truth for the healthcare and life sciences (HCLS) industry. Last year, biotechnology R&D expenditures for discovering and developing new therapies outpaced industry revenue growth by a factor of ten. This increase in development costs is pushing life sciences companies to […]

The post Driving Improved Patient Outcomes with Better Access to Real-World Evidence appeared first on Snowflake.

1 неделя, 3 дня назад @ snowflake.com
Combat AI Bias with Data Diversity and Data Collaboration
Combat AI Bias with Data Diversity and Data Collaboration

AI adoption is on the rise. A study by PwC found that 52% of companies have accelerated their AI projects during the pandemic, and 25% now have processes fully enabled by AI with widespread adoption. Of all the respondents in the survey, 86% said that AI would become a “mainstream technology” at their company. The […]

The post Combat AI Bias with Data Diversity and Data Collaboration appeared first on Snowflake.

1 неделя, 4 дня назад @ snowflake.com
How to Configure AWS Glue with Snowflake for Data Integration
How to Configure AWS Glue with Snowflake for Data Integration

PLEASE NOTE: This post was originally published in 2018. It has been updated to reflect currently available products, features, and/or functionality. The process of extraction, transformation, and load (ETL) is central to any data warehousing initiative. With advances in cloud data warehouse architectures, customers are also benefiting from the alternative approach of extraction, load, and […]

The post How to Configure AWS Glue with Snowflake for Data Integration appeared first on Snowflake.

1 неделя, 5 дней назад @ snowflake.com
The Future of Data Collaboration in Retail: Snowflake Customers Share Their Knowledge in this Webinar Series
The Future of Data Collaboration in Retail: Snowflake Customers Share Their Knowledge in this Webinar Series

Consumers are altering the retail landscape faster than ever before, according to recent McKinsey research. Almost 40% have switched brands or retailers during the pandemic, and more than 80% have new shopping behaviors. Meanwhile, more than half of those who tried a new channel or service said they would continue to do so in the […]

The post The Future of Data Collaboration in Retail: Snowflake Customers Share Their Knowledge in this Webinar Series appeared first on Snowflake.

2 недели, 2 дня назад @ snowflake.com
How Usage-Based Pricing Delivers a Budget-Friendly Cloud Data Warehouse
How Usage-Based Pricing Delivers a Budget-Friendly Cloud Data Warehouse

PLEASE NOTE: This post was originally published in 2018. It has been updated to reflect currently available products, features, and functionality. The Snowflake Data Cloud has near instant elasticity, allowing customers to scale up and down to meet demand. Whether this demand is predictable or highly variable, the system can flex bigger or smaller to […]

The post How Usage-Based Pricing Delivers a Budget-Friendly Cloud Data Warehouse appeared first on Snowflake.

2 недели, 3 дня назад @ snowflake.com
How HyperFinity Is Streamlining Its Serverless Architecture with Snowpark for Python
How HyperFinity Is Streamlining Its Serverless Architecture with Snowpark for Python

HyperFinity is a decision science SaaS platform. Through machine learning and AI, embedded analytics, and data visualization, HyperFinity enables nontechnical users to make data-led decisions and create simple outputs to power downstream systems, such as CRM, ERP, or content management systems. This enables organizations to quickly make ML-powered decisions across multiple areas, from smarter supply […]

The post How HyperFinity Is Streamlining Its Serverless Architecture with Snowpark for Python appeared first on Snowflake.

2 недели, 3 дня назад @ snowflake.com
Business Continuity in the Cloud Era: 5-Step Disaster Recovery Plan
Business Continuity in the Cloud Era: 5-Step Disaster Recovery Plan

Business continuity is a big deal. Business operations rely on access to data and the insights it can provide, and it’s an imperative that has become even more difficult to guarantee with the upsurge of unpredictable events. Everything from human error, power outages, and shifting weather patterns to wide-scale hardware malfunctions can constitute a “disaster,” […]

The post Business Continuity in the Cloud Era: 5-Step Disaster Recovery Plan appeared first on Snowflake.

2 недели, 3 дня назад @ snowflake.com
Why Consumption-Based Apps Thrive on Snowflake
Why Consumption-Based Apps Thrive on Snowflake

Data-intensive applications typically process, mine, and analyze huge volumes of highly varied structured, semi-structured, and unstructured data. To do this effectively while meeting customer requirements for speed, responsiveness, and accuracy, these applications require near-unlimited storage and highly available, flexible, and scalable resources on demand. At the same time, SaaS providers are exploring consumption-based pricing models […]

The post Why Consumption-Based Apps Thrive on Snowflake appeared first on Snowflake.

2 недели, 4 дня назад @ snowflake.com
Selling in Asia: How to Start, and How to Succeed
Selling in Asia: How to Start, and How to Succeed

There’s hardly a growth-oriented U.S. company today that isn’t excited by the opportunity to sell in Asia Pacific and Japan (APJ). It is a vast and economically enticing region. APJ includes about half of the world’s population and three of the largest economies in the world – China, Japan, and India. However, breaking into these […]

The post Selling in Asia: How to Start, and How to Succeed appeared first on Snowflake.

2 недели, 4 дня назад @ snowflake.com
Data Vault Techniques on Snowflake: Immutable Store, Virtual End Dates
Data Vault Techniques on Snowflake: Immutable Store, Virtual End Dates

Snowflake continues to set the standard for data in the cloud by eliminating the need to perform maintenance tasks on your data platform and giving you the freedom to choose your data model methodology for the cloud. Through this and more posts, we will discuss some Snowflake features you should consider that will enable your […]

The post Data Vault Techniques on Snowflake: Immutable Store, Virtual End Dates appeared first on Snowflake.

2 недели, 5 дней назад @ snowflake.com
Why and When Should You Verticalize Your EMEA Sales Team
Why and When Should You Verticalize Your EMEA Sales Team

Ready to take a customer-first approach to sales in EMEA? Then it’s time to orient your sales efforts around the customer, not the technology you are selling. Verticalization is an attractive strategy as SaaS providers mature. It enables sales reps to speak the customer’s language and become immersed in an industry or sub-industry, and in […]

The post Why and When Should You Verticalize Your EMEA Sales Team appeared first on Snowflake.

3 недели, 2 дня назад @ snowflake.com
Cloudera Cloudera
последний пост 1 неделя, 6 дней назад
Optimizing Hive on Tez Performance
Optimizing Hive on Tez Performance

A guide to tune and troubleshoot performance of the Hive on Tez after upgrading to CDP

The post Optimizing Hive on Tez Performance appeared first on Cloudera Blog.

1 неделя, 6 дней назад @ blog.cloudera.com
From the Ground Up: The Truth About Data Innovation
From the Ground Up: The Truth About Data Innovation

Data holds incredible untapped potential for Australian organisations across industries, regardless of individual business goals, and all organisations are at different points in their data transformation journey with some achieving success faster than others. To be successful, the use of data insights must become a central lifeforce throughout an organisation and not just reside within […]

The post From the Ground Up: The Truth About Data Innovation appeared first on Cloudera Blog.

1 месяц назад @ blog.cloudera.com
5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP)
5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP)

Please join us on March 24 for Future of Data meetup where we do a deep dive into Iceberg with CDP What is Apache Iceberg? Apache Iceberg is a high-performance, open table format, born-in-the cloud that scales to petabytes independent of the underlying storage layer and the access engine layer. By being a truly open […]

The post 5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP) appeared first on Cloudera Blog.

2 месяца назад @ blog.cloudera.com
Introducing Apache Iceberg in Cloudera Data Platform
Introducing Apache Iceberg in Cloudera Data Platform

Over the past decade, the successful deployment of large scale data platforms at our customers has acted as a big data flywheel driving demand to bring in even more data, apply more sophisticated analytics, and on-board many new data practitioners from business analysts to data scientists. This unprecedented level of big data workloads hasn’t come […]

The post Introducing Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

2 месяца, 4 недели назад @ blog.cloudera.com
Make the leap to Hybrid with Cloudera Data Engineering
Make the leap to Hybrid with Cloudera Data Engineering

Introducing Cloudera Data Engineering in CDP Private Cloud 1.3

The post Make the leap to Hybrid with Cloudera Data Engineering appeared first on Cloudera Blog.

3 месяца, 1 неделя назад @ blog.cloudera.com
Cloudera Data Engineering 2021 Year End Review
Cloudera Data Engineering 2021 Year End Review

Since the release of Cloudera Data Engineering (CDE) more than a year ago, our number one goal was operationalizing Spark pipelines at scale with first class tooling designed to streamline automation and observability. In working with thousands of customers deploying Spark applications, we saw significant challenges with managing Spark as well as automating, delivering, […]

The post Cloudera Data Engineering 2021 Year End Review appeared first on Cloudera Blog.

5 месяцев назад @ blog.cloudera.com
The Rise of Unstructured Data
The Rise of Unstructured Data

Challenges and Opportunities Data Presents to AI

The post The Rise of Unstructured Data appeared first on Cloudera Blog.

6 месяцев, 1 неделя назад @ blog.cloudera.com
The Ultimate Map to finding Halloween candy surplus
The Ultimate Map to finding Halloween candy surplus

How to use data visualization to avoid bad candy hot spots and maximize supply and demand imbalances

The post The Ultimate Map to finding Halloween candy surplus appeared first on Cloudera Blog.

6 месяцев, 4 недели назад @ blog.cloudera.com
Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering
Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering

Airflow has been adopted by many Cloudera Data Platform (CDP) customers in the public cloud as the next generation orchestration service to setup and operationalize complex data pipelines. Today, customers have deployed 100s of Airflow DAGs in production performing various data transformation and preparation tasks, with differing levels of complexity. This combined with Cloudera […]

The post Introducing Self-Service, No-Code Airflow Authoring UI in Cloudera Data Engineering appeared first on Cloudera Blog.

7 месяцев назад @ blog.cloudera.com
Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak Nabu
Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak Nabu

Modak, a leading provider of modern data engineering solutions, is now a certified solution partner with Cloudera. Customers can seamlessly automate migration to Cloudera’s cloud-based enterprise platform CDP from on-prem deployments and dynamically auto-scale cloud services with Cloudera Data Engineering (CDE)’s integration with Modak Nabu™. Modak’s Nabu™ is a born- in- the- cloud, cloud-neutral integrated […]

The post Accelerate Your Data Mesh in the Cloud with Cloudera Data Engineering and Modak Nabu appeared first on Cloudera Blog.

7 месяцев, 1 неделя назад @ blog.cloudera.com
Struggling to Manage your Multi-Tenant Environments? Use Chargeback!
Struggling to Manage your Multi-Tenant Environments? Use Chargeback!

If your organization is using multi-tenant big data clusters (and everyone should be), do you know the usage and cost efficiency of resources in the cluster by tenants? A chargeback or showback model allows IT to determine costs and resource usage by the actual analytic users in the multi-tenant cluster, instead of attributing those to […]

The post Struggling to Manage your Multi-Tenant Environments? Use Chargeback! appeared first on Cloudera Blog.

7 месяцев, 2 недели назад @ blog.cloudera.com
Supercharge your Airflow Pipelines with the Cloudera Provider Package
Supercharge your Airflow Pipelines with the Cloudera Provider Package

Many customers looking at modernizing their pipeline orchestration have turned to Apache Airflow, a flexible and scalable workflow manager for data engineers. With 100s of open source operators, Airflow makes it easy to deploy pipelines in the cloud and interact with a multitude of services on premise, in the cloud, and across cloud providers for […]

The post Supercharge your Airflow Pipelines with the Cloudera Provider Package appeared first on Cloudera Blog.

8 месяцев назад @ blog.cloudera.com
Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers
Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers

Across the federal government, agencies are struggling to identify, organize, analyze, and act on troves of data. It’s a problem that leaders are working actively to tackle, but they’re in a race against immeasurable volumes of data that is continuously being generated in perpetuity in stores known and unknown. At the Internal Revenue Service, decades’ […]

The post Cloudera and NVIDIA Help IRS Fight Fraud, Safeguard Taxpayers appeared first on Cloudera Blog.

8 месяцев, 2 недели назад @ blog.cloudera.com
Optimizing Cloudera Data Engineering Autoscaling Performance
Optimizing Cloudera Data Engineering Autoscaling Performance

The shift to cloud has been accelerating, and with it, a push to modernize data pipelines that fuel key applications. That is why cloud native solutions which take advantage of the capabilities such as disaggregated storage & compute, elasticity, and containerization are more paramount than ever. At Cloudera, we introduced Cloudera Data Engineering (CDE) as […]

The post Optimizing Cloudera Data Engineering Autoscaling Performance appeared first on Cloudera Blog.

8 месяцев, 3 недели назад @ blog.cloudera.com
Automating Data Pipelines in CDP with CDE Managed Airflow Service
Automating Data Pipelines in CDP with CDE Managed Airflow Service

When we announced the GA of Cloudera Data Engineering back in September of last year, a key vision we had was to simplify the automation of data transformation pipelines at scale. By leveraging Spark on Kubernetes as the foundation along with a first class job management API many of our customers have been able to […]

The post Automating Data Pipelines in CDP with CDE Managed Airflow Service appeared first on Cloudera Blog.

9 месяцев, 1 неделя назад @ blog.cloudera.com
Smart Data
последний пост 5 дней, 22 часа назад
Can AI Help Create an Ideal Employee Compensation Package?
Can AI Help Create an Ideal Employee Compensation Package?

As businesses strive to remain competitive in today’s economy, the question of how to best compensate employees becomes more important. Many companies are turning to artificial intelligence (AI) to help them create an ideal employee compensation package. AI can analyze data from a variety of sources to help businesses determine which benefits and salary levels […]

The post Can AI Help Create an Ideal Employee Compensation Package? appeared first on SmartData Collective.

5 дней, 22 часа назад @ smartdatacollective.com
Impressive Ways that AI Improves Business Analytics Insights
Impressive Ways that AI Improves Business Analytics Insights

Did you know that global companies are projected to spend nearly $1.6 trillion on AI by 2030? The demand for AI services is growing due to the many powerful benefits it offers. Various applications, from web-based smart assistants to self-driving cars and house-cleaning robots, run with the help of artificial intelligence (AI). With the growth […]

The post Impressive Ways that AI Improves Business Analytics Insights appeared first on SmartData Collective.

1 неделя, 1 день назад @ smartdatacollective.com
Data Analytics is Very Valuable for Companies Improving their Cultures
Data Analytics is Very Valuable for Companies Improving their Cultures

Data analytics technology is rapidly becoming a more integral part of many company cultures. According to the 2021 State of Data Maturity Report, 32% of companies have formal data strategies. Although they are still the minority, this figure has risen from almost nothing under a decade ago. Data analytics serves many different purposes. We have […]

The post Data Analytics is Very Valuable for Companies Improving their Cultures appeared first on SmartData Collective.

1 неделя, 4 дня назад @ smartdatacollective.com
Promising Benefits of AI in the Financial Technology Market
Promising Benefits of AI in the Financial Technology Market

Artificial intelligence (AI) is all the rage now. It’s impacting numerous industries globally and changing the way we do things. One of the critical industries AI is making strides in is the financial technology “fintech” industry. AI now plays a significant role in facilitating financial services, replacing what required manual work a few years ago. […]

The post Promising Benefits of AI in the Financial Technology Market appeared first on SmartData Collective.

1 неделя, 4 дня назад @ smartdatacollective.com
How Big Data Analytics & AI Combined can Boost Performance Immensely
How Big Data Analytics & AI Combined can Boost Performance Immensely

Big data, analytics, and AI all have a relationship with each other. For example, big data analytics leverages AI for enhanced data analysis. In contrast, AI needs a large amount of data to improve the decision-making process. Consumers are presented with ads every day they access the online world. The number of options available to […]

The post How Big Data Analytics & AI Combined can Boost Performance Immensely appeared first on SmartData Collective.

2 недели назад @ smartdatacollective.com
Fleet Management Firms Use Data Analytics for Optimal Customer Service
Fleet Management Firms Use Data Analytics for Optimal Customer Service

More companies than ever are investing in customer service analytics. The customer service analytics market is projected to be worth $46.6 billion by 2030. The fleet management sector is among those driving the growing demand. Many fleet management companies were reluctant to embrace the power of big data a decade ago. Their skepticism has waned […]

The post Fleet Management Firms Use Data Analytics for Optimal Customer Service appeared first on SmartData Collective.

2 недели назад @ smartdatacollective.com
Guidelines on Using Data Analytics for Finding the Right Price Points
Guidelines on Using Data Analytics for Finding the Right Price Points

Data analytics technology is helping businesses boost profitability in many ways. A few years ago, Walter Baker and his colleagues at McKinsey reported that one of the biggest advantages of big data in business is that it can help with pricing decisions. “Without uncovering and acting on the opportunities big data presents, many companies are […]

The post Guidelines on Using Data Analytics for Finding the Right Price Points appeared first on SmartData Collective.

2 недели, 4 дня назад @ smartdatacollective.com
Seven Benefits of Using AI to Perform Text Analysis
Seven Benefits of Using AI to Perform Text Analysis

Artificial intelligence is often portrayed as a technology that will make robots rule over humans. No wonder many people fear that computers and other AI—enabled devices will control us. However, if we keep aside this dangerous depiction of AI, we can see how beneficial such systems are in our lives. Businesses are including more of […]

The post Seven Benefits of Using AI to Perform Text Analysis appeared first on SmartData Collective.

2 недели, 6 дней назад @ smartdatacollective.com
What Artificial Intelligence can Help Businesses Manage Their Online Profiles
What Artificial Intelligence can Help Businesses Manage Their Online Profiles

A lot of factors go into building a business, but online reputation is a huge part of it. A lot of organizations don’t recognize the role that AI technology can play when it comes to business management, improving customer relationships and managing your business’s online profile. Customers tend to Google an organization prior to engaging […]

The post What Artificial Intelligence can Help Businesses Manage Their Online Profiles appeared first on SmartData Collective.

3 недели, 5 дней назад @ smartdatacollective.com
AI Assists with Reputation Management through Email Validation
AI Assists with Reputation Management through Email Validation

Artificial intelligence technology has become very important in recent years. One of the many benefits of AI technology is that it can help with reputation management. A growing number of companies are using AI technology to screen the Internet to find mentions of their company and address anything that doesn’t align with their desired brand […]

The post AI Assists with Reputation Management through Email Validation appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Application Development Consulting Helps Companies Get the Most of AI
Application Development Consulting Helps Companies Get the Most of AI

The market for AI is growing over 38% a year. It is projected to be worth over $1.5 trillion by 2030. The market for AI is growing due to its obvious benefits. However, many companies don’t know how to utilize it properly. New businesses are frequently perplexed and unsure which AI applications are best for […]

The post Application Development Consulting Helps Companies Get the Most of AI appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
5 Great Tips for Using Data Analytics for Website UX
5 Great Tips for Using Data Analytics for Website UX

We have pointed out in the past that big data offers a number of benefits for online commerce. One of the most important benefits of data analytics pertains to optimizing websites for a good user experience. User experience optimization (UX) is becoming more important than ever. One study found that the ROI of UX strategies […]

The post 5 Great Tips for Using Data Analytics for Website UX appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
7 Data Lineage Tool Tips For Preventing Human Error in Data Processing
7 Data Lineage Tool Tips For Preventing Human Error in Data Processing

Standardizing the data collecting and data input process can go a long way toward ensuring optimal accuracy. The data entry workers will have a better understanding of what to search for and anticipate in each batch of data, as well as the proper protocols to follow, because of the standardization of the process throughout the agency. The post 7 Data Lineage Tool Tips For Preventing Human Error in Data Processing appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Preserving Data Quality is Critical for Leveraging Analytics with Amazon PPC
Preserving Data Quality is Critical for Leveraging Analytics with Amazon PPC

Amazon is without a doubt the largest retailer in the world. More businesses than ever are turning to Amazon to expand their reach. Unfortunately, the Amazon marketplace has become extraordinarily competitive in recent years. Companies that utilize data analytics to make the most of their business model will have an easier time succeeding with Amazon. […]

The post Preserving Data Quality is Critical for Leveraging Analytics with Amazon PPC appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Benefits of Using Analytics to Optimize Your Telemarketing Strategy
Benefits of Using Analytics to Optimize Your Telemarketing Strategy

Any company that wants to implement a successful marketing strategy needs to invest in analytics technology. We have talked extensively about the importance of analytics in online marketing, but it can be just as important for traditional marketing strategies as well. Telemarketing is one of the areas where analytics can be very useful. A team […]

The post Benefits of Using Analytics to Optimize Your Telemarketing Strategy appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Knoldus
последний пост 4 часа назад
Best way to manage state in React using Context, useReducer, and Custom hook.
Best way to manage state in React using Context, useReducer, and Custom hook.

Reading Time: 6 minutes Introduction When it comes to state management in a React app the name “Redux” is the go-to solution in almost all projects. But always managing the state with Redux can be overkill sometimes causing complex and additional code to the code bundle. React already comes with pretty simple and powerful tools that can help us manage complex states. Using the combination of Context, useReducer, and Continue Reading

The post Best way to manage state in React using Context, useReducer, and Custom hook. appeared first on Knoldus Blogs.

4 часа назад @ blog.knoldus.com
Know About Google Cloud Storage And Google Cloud SQL
Know About Google Cloud Storage And Google Cloud SQL

Reading Time: 2 minutes What is Google Cloud Storage? Google Cloud Storage is the object storage service. Google Cloud offers a storage service. It comes with a number of useful capabilities out of the box, including object versioning and fine-grained permissions (by object or bucket), which may simplify development and lower operating costs. Several services rely on Google Cloud Storage. Google Cloud Storage allows you to store any kind Continue Reading

The post Know About Google Cloud Storage And Google Cloud SQL appeared first on Knoldus Blogs.

2 дня, 13 часов назад @ blog.knoldus.com
Routes in Apache Camel
Routes in Apache Camel

Reading Time: 3 minutes Camel Context routes are configuration items that are applied to the context. In reality, this involves defining a route in code first, then attaching it to a Camel Context. Camel, although being a Java framework, may be customized using either Java or XML syntax. The syntax you employ is referred to as a DSL (Domain Specific Language) in Camel jargon. • Java DSL – for Continue Reading

The post Routes in Apache Camel appeared first on Knoldus Blogs.

2 дня, 13 часов назад @ blog.knoldus.com
How to deploy AWS EKS cluster using Terraform
How to deploy AWS EKS cluster using Terraform

Reading Time: 4 minutes Hello Readers, I hope you all are doing well. Today we will learn how to deploy the EKS cluster on AWS using terraform. What is EKS? Amazon Elastic Kubernetes Service (Amazon EKS) is a managed service that you can use to run Kubernetes on AWS without installing, operating, and maintaining your own Kubernetes control nodes. Kubernetes is an open-source system for automating the deployment, scaling, Continue Reading

The post How to deploy AWS EKS cluster using Terraform appeared first on Knoldus Blogs.

4 дня, 3 часа назад @ blog.knoldus.com
How To Run Postman With Environment On Docker
How To Run Postman With Environment On Docker

Reading Time: 2 minutes Hello Everyone, basically Today we will learn about how to run collection with the environment on docker using the docker image. Let’s start, the simple prerequisite for this blog is that you have docker installed on your machine. What is Postman? Postman is an API(application programming interface) development tool that helps to build, test, and modify APIs. therefore any functionality that could need by the Continue Reading

The post How To Run Postman With Environment On Docker appeared first on Knoldus Blogs.

4 дня, 10 часов назад @ blog.knoldus.com
How To Create a Custom Image Using Packer In GCP
How To Create a Custom Image Using Packer In GCP

Reading Time: 3 minutes Hello Readers, We’ll see how we can create a Custom Image Using Packer In GCP in this blog. Before starting you must have to install Packer and we will use a service account to connect my google account, so make sure you have both things ready. What is Packer? Packer is a simple tool for building customized images. It is an open-source DevOps tool by Continue Reading

The post How To Create a Custom Image Using Packer In GCP appeared first on Knoldus Blogs.

4 дня, 15 часов назад @ blog.knoldus.com
MoSCoW Method: How to Make the Best of Prioritization
MoSCoW Method: How to Make the Best of Prioritization

Reading Time: 2 minutes As a rule, the daily routine includes a bunch of tasks. Ideally, we’ll have enough time and energy to cover all of them – but it just might happen that the number of tasks is immense and the resources available are not in abundance. That’s where prioritization comes in. MoSCoW technique makes the best of prioritization which helps to prioritise tasks based on their value Continue Reading

The post MoSCoW Method: How to Make the Best of Prioritization appeared first on Knoldus Blogs.

5 дней, 8 часов назад @ blog.knoldus.com
How to setup and launch Kafka Connect/Connector
How to setup and launch Kafka Connect/Connector

Reading Time: 3 minutes Let us discuss something about Kafka connector API and some basic fundamental of it and how to setup kafka connector in our system. Before start, we need to have basic knowledge of Kafka or we can go through this Document. We’ll have a look at: Kafka Connect API history Why kafka connect and Stream Setup and Launch kafka connector installation of Docker installation of Docker Continue Reading

The post How to setup and launch Kafka Connect/Connector appeared first on Knoldus Blogs.

5 дней, 9 часов назад @ blog.knoldus.com
Exceptions & How to Handle Exceptions in Selenium WebDriver
Exceptions & How to Handle Exceptions in Selenium WebDriver

Reading Time: 3 minutes Hello Readers,In this blog, we will learn about Exceptions, how to handle exceptions in Selenium WebDriver, and common exceptions in selenium. Let’s Start. What is an Exception? Exception as the name suggests is an event that happens at the time of execution of a program. There may be several reasons behind the occurrence of exceptions that indicate the halt in the program flow.Exceptions are classified Continue Reading

The post Exceptions & How to Handle Exceptions in Selenium WebDriver appeared first on Knoldus Blogs.

5 дней, 11 часов назад @ blog.knoldus.com
GSSAPI – Generic Security Service Application Program Interface
GSSAPI – Generic Security Service Application Program Interface

Reading Time: 2 minutes In the previous blog, We have read about SCRAM Authentication. In Today’s blog, we gonna read about GSSAPI (Kerberos) Authentication. Kerberos is a security protocol that provides an alternate mechanism for client and server authentication. Introduction to GSSAPI As its name implies, the GSS-API enables programmers to write generic applications with respect to security. It is widely use by protocol implementers as a means to Continue Reading

The post GSSAPI – Generic Security Service Application Program Interface appeared first on Knoldus Blogs.

6 дней, 6 часов назад @ blog.knoldus.com
Spring GCP BigQuery
Spring GCP BigQuery

Reading Time: 3 minutes BigQuery is Google’s fully managed, petabyte scale, low cost analytics data warehouse. It’s Serverless, highly scalable, and cost-effective multicloud data warehouse designed for business agility. BigQuery Benefits Gain insights with real-time and predictive analytics– Query streaming data in real time and get up-to-date information on all your business processes. Predict business outcomes easily with built-in machine learning–without the need to move data. Access data and Continue Reading

The post Spring GCP BigQuery appeared first on Knoldus Blogs.

1 неделя, 1 день назад @ blog.knoldus.com
How to write Cypress test from Test runner?
How to write Cypress test from Test runner?

Reading Time: 3 minutes Cypress is one of those popular tools which has established its place very quickly and is very popular for Web integration and End to End UI test automation. It needs a javascript framework like jasmine or mocha. These are one of the famous assertion libraries in JavaScript. Cypress recommends using mocha. Whenever we are downloading cypress, it automatically bundles mocha. Let’s see How to write the Cypress test from Continue Reading

The post How to write Cypress test from Test runner? appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
How to integrate Jenkins with Cypress?
How to integrate Jenkins with Cypress?

Reading Time: 2 minutes In this blog, we will talk about the Integration of Cypress with Jenkins. Let’s discuss what is Jenkins? Jenkins is an open-source automation server. Similarly, it helps automate the parts of software development. Those are related to building, testing, and deploying. Also, deals with facilitating continuous integration and continuous delivery. Moreover, the main agenda will be to integrate Jenkins with cypress. The topics to be Continue Reading

The post How to integrate Jenkins with Cypress? appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
How to handle web control UI using Cypress?
How to handle web control UI using Cypress?

Reading Time: 3 minutes Hello everyone. In this blog, we will know how to handle control UI using Cypress.What are web controls? Web controls UI are basically HTML elements wrapped. It is easy-to-use scripting tag of ASP+ and provides rich functionality in your FORMs or pages. It ranges from simple text boxes to advance girds and lists. Web control UI fall into five categories: display, input, selection, validation, and special purpose. Continue Reading

The post How to handle web control UI using Cypress? appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
Different types of locators in the selenium framework
Different types of locators in the selenium framework

Reading Time: 3 minutes What is Selenium? Selenium is one of the most widely used open-source automation tool. In addition, it supports automation across different browsers, platforms, and programming languages. It can be easily install on platforms such as Windows, Linux, Solaris, and also Macintosh. Likewise, it also supports OS (Operating System) for mobile applications like iOS, windows mobile, and android. What are Locators? A locator is a way Continue Reading

The post Different types of locators in the selenium framework appeared first on Knoldus Blogs.

1 неделя, 2 дня назад @ blog.knoldus.com
We Cloud Data We Cloud Data
последний пост None
Learn Data Engineering Learn Data Engineering
последний пост None
SCRIBD
последний пост 3 недели, 3 дня назад
Scribd is presenting at Data and AI Summit 2022
Scribd is presenting at Data and AI Summit 2022

We are very excited to be presenting and attending this year’s Data and AI

Summit which will be

hosted virtually and physically in San Francisco from June 27th-30th.

Throughout the course of 2021 we completed a number of really interesting

projects built around delta-rs and the

Databricks platform which we are thrilled to share with a broader audience.

In addition to the presentations listed below, a number of Scribd engineers who

are responsible for data and ML platform, machine learning systems, and more,

will be in attendance if you want to meet up and learn more about how Scribd

uses data and ML to change the way the world reads! Christian Williams will be sharing some of the

work he ha…

3 недели, 3 дня назад @ tech.scribd.com
Armadillo makes audio players in Android easy
Armadillo makes audio players in Android easy Armadillo makes audio players in Android easy

Armadillo is the fully featured audio player library Scribd uses to play and

download all of its audiobooks and podcasts, which is now open

source. It specializes in playing HLS

or MP3 content that is broken down into chapters or tracks. It leverages

Google’s Exoplayer library for its audio engine. Exoplayer wraps a variety of

low level audio and video apis but has few opinions of its own for actually

using audio in an Android app. The leap required from Exoplayer to audio player

is enormous both in terms of the amount of code needed as well as the amount of

domain knowledge required about complex audio related subjects. Armadillo

provides a turn-key solution for powering an audio player an…

7 месяцев, 3 недели назад @ tech.scribd.com
Categorizing user-uploaded documents
Categorizing user-uploaded documents Categorizing user-uploaded documents

Scribd offers a variety of publisher and user-uploaded content to our users and

while the publisher content is rich in metadata, user-uploaded content

typically is not. Documents uploaded by the users have varied subjects and

content types which can make it challenging to link them together. One way to

connect content can be through a taxonomy - an important type of structured

information widely used in various domains. In this series, we have already

shared how we identify document

types and extract information

from documents, this post

will discuss how insights from data were used to help build the taxonomy and

our approach to assign categories to the user-uploaded documents.

Building the…

9 месяцев, 4 недели назад @ tech.scribd.com
Data Quest
последний пост None
Infrastructure
AWS
последний пост 1 день, 20 часов назад
Migrate your SAP ASE (Sybase ASE) database to Amazon RDS for SQL Server
Migrate your SAP ASE (Sybase ASE) database to Amazon RDS for SQL Server

Customers running their workload on SAP Adaptive Server Enterprise (Sybase ASE) databases often ask us how they can modernize their workload as they move to AWS with minimum application changes. Customers who want to keep Transact-SQL (T-SQL) as their preferred database programming language and Tabular Data Stream (TDS) as their communication protocol can take advantage […]

1 день, 20 часов назад @ aws.amazon.com
How Shaadi.com reduced costs and improved performance with DynamoDB
How Shaadi.com reduced costs and improved performance with DynamoDB

Shaadi.com is the flagship brand for People Interactive. It is the largest matchmaking platform in the world and has lead this space for last 20 years. It has been built on one simple idea of helping people find a life partner, discover love and share joy. Their vision is to bring people together through technology. […]

3 дня, 1 час назад @ aws.amazon.com
Deploy a high-performance database for containerized applications: Amazon MemoryDB for Redis with Kubernetes
Deploy a high-performance database for containerized applications: Amazon MemoryDB for Redis with Kubernetes

More and more organizations are building their applications using microservices for operational efficiency, agility, scalability, and faster time to market. Microservices and containers have emerged as building blocks for modern applications, and Kubernetes has become the de facto standard for managing containers at scale. Applications running on Kubernetes need a database that provides ultra-fast performance, high availability […]

3 дня, 2 часа назад @ aws.amazon.com
Detect social media fake news using graph machine learning with Amazon Neptune ML
Detect social media fake news using graph machine learning with Amazon Neptune ML

In recent years, social media has become a common means for sharing and consuming news. However, the spread of misinformation and fake news on these platforms has posed a major challenge to the well-being of individuals and societies. Therefore, it is imperative that we develop robust and automated solutions for early detection of fake news […]

3 дня, 3 часа назад @ aws.amazon.com
Optimize F1 aerodynamic geometries via Design of Experiments and machine learning
Optimize F1 aerodynamic geometries via Design of Experiments and machine learning

FORMULA 1 (F1) cars are the fastest regulated road-course racing vehicles in the world. Although these open-wheel automobiles are only 20–30 kilometers (or 12–18 miles) per-hour faster than top-of-the-line sports cars, they can speed around corners up to five times as fast due to the powerful aerodynamic downforce they create. Downforce is the vertical force […]

3 дня, 3 часа назад @ aws.amazon.com
Build a risk management machine learning workflow on Amazon SageMaker with no code
Build a risk management machine learning workflow on Amazon SageMaker with no code

Since the global financial crisis, risk management has taken a major role in shaping decision-making for banks, including predicting loan status for potential customers. This is often a data-intensive exercise that requires machine learning (ML). However, not all organizations have the data science resources and expertise to build a risk management ML workflow. Amazon SageMaker […]

3 дня, 4 часа назад @ aws.amazon.com
Tips and tricks for high-performant dashboards in Amazon QuickSight
Tips and tricks for high-performant dashboards in Amazon QuickSight

Amazon QuickSight is cloud-native business intelligence (BI) service. QuickSight automatically optimizes queries and execution to help dashboards load quickly, but you can make your dashboard loads even faster and make sure you’re getting the best possible performance by following the tips and tricks outlined in this post. Data flow and execution of QuickSight dashboard loads […]

3 дня, 4 часа назад @ aws.amazon.com
Analyze Amazon Ion datasets using Amazon Athena
Analyze Amazon Ion datasets using Amazon Athena

Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon Simple Storage Service (Amazon S3) using standard SQL. Athena is serverless, so there is no infrastructure to manage, and you pay only for the queries that you run. Amazon Ion is a richly typed, self-describing, hierarchical data serialization format […]

3 дня, 21 час назад @ aws.amazon.com
Use Amazon Redshift RA3 with managed storage in your modern data architecture
Use Amazon Redshift RA3 with managed storage in your modern data architecture

Amazon Redshift is a fully managed, petabyte-scale data warehouse service in the cloud. You can start with just a few hundred gigabytes of data and scale to a petabyte or more. This enables you to use your data to acquire new insights for your business and customers. Over the years, Amazon Redshift has evolved a […]

4 дня, 1 час назад @ aws.amazon.com
Use Amazon Lex to capture street addresses
Use Amazon Lex to capture street addresses

Amazon Lex provides automatic speech recognition (ASR) and natural language understanding (NLU) technologies to transcribe user input, identify the nature of their request, and efficiently manage conversations. Lex lets you create sophisticated conversations, streamline your user experience to improve customer satisfaction (CSAT) scores, and increase containment in your contact centers. Natural, effective customer interactions require […]

4 дня, 1 час назад @ aws.amazon.com
Ingest Stripe data in a fast and reliable way using Stripe Data Pipeline for Amazon Redshift
Ingest Stripe data in a fast and reliable way using Stripe Data Pipeline for Amazon Redshift

Enterprises typically host a myriad of business applications for varying data needs. As companies grow, so does the demand for insights from a complete set of business data. Having data from various applications that store data in disparate silos can delay the decision-making process. However, building and maintaining an API integration or a third-party extract, […]

4 дня, 2 часа назад @ aws.amazon.com
Coming June 2022: An updated Amazon QuickSight dashboard experience
Coming June 2022: An updated Amazon QuickSight dashboard experience

Starting June 30, 2022, Amazon QuickSight is introducing the new look and feel for your dashboards. In this post, we walk through the changes to expect with the new look. The new dashboard experience includes the following improvements: Simplified toolbar Discoverable visual menu Polished controls, menu, and submenus Non-blocking right pane for secondary experiences like […]

4 дня, 2 часа назад @ aws.amazon.com
Use a linear learner algorithm in Amazon Redshift ML to solve regression and classification problems
Use a linear learner algorithm in Amazon Redshift ML to solve regression and classification problems

Amazon Redshift is the fastest, most widely used, fully managed, and petabyte-scale cloud data warehouse. Tens of thousands of customers use Amazon Redshift to process exabytes of data every day to power their analytics workloads. Amazon Redshift ML, powered by Amazon SageMaker, makes it easy for SQL users such as data analysts, data scientists, and […]

4 дня, 4 часа назад @ aws.amazon.com
Enable near real-time notifications from Amazon Aurora PostgreSQL by using database triggers, AWS Lambda, and Amazon SNS
Enable near real-time notifications from Amazon Aurora PostgreSQL by using database triggers, AWS Lambda, and Amazon SNS

In this post, we show you how to push a database DML (Data Manipulation Language) event from an Amazon Aurora PostgreSQL-Compatible Edition table out to downstream applications, by using a PostgreSQL database trigger, an AWS Lambda, and Amazon Simple Notification Service (Amazon SNS). Aurora PostgreSQL is a PostgreSQL-compatible relational database built for the cloud that […]

4 дня, 6 часов назад @ aws.amazon.com
Discover new insights from your data using SQL Server Integration Services (SSIS) and Amazon Neptune
Discover new insights from your data using SQL Server Integration Services (SSIS) and Amazon Neptune

A relational database is like a multitool: it can do many things, but it’s not perfectly suited to all tasks. For example, suppose a police department has been using a relational database to perform crime data analysis. As their breadth of sources and volume of data grows, they start to experience performance issues in querying […]

4 дня, 6 часов назад @ aws.amazon.com
AWS
последний пост 1 день, 20 часов назад
Deep dive into Amazon EMR Kerberos authentication integrated with Microsoft Active Directory
Deep dive into Amazon EMR Kerberos authentication integrated with Microsoft Active Directory

Many of our customers that use Amazon EMR as their big data platform need to integrate with their existing Microsoft Active Directory (AD) for user authentication. This integration requires the Kerberos daemon of Amazon EMR to establish a trusted connection with an AD domain, which involves a lot of moving pieces and can be difficult […]

5 дней, 4 часа назад @ aws.amazon.com
Customize pronunciation using lexicons in Amazon Polly
Customize pronunciation using lexicons in Amazon Polly

Amazon Polly is a text-to-speech service that uses advanced deep learning technologies to synthesize natural-sounding human speech. It is used in a variety of use cases, such as contact center systems, delivering conversational user experiences with human-like voices for automated real-time status check, automated account and billing inquiries, and by news agencies like The Washington […]

5 дней, 4 часа назад @ aws.amazon.com
Federate single sign-on access to Amazon Redshift query editor v2 with Okta
Federate single sign-on access to Amazon Redshift query editor v2 with Okta

Amazon Redshift query editor v2 is a web-based SQL client application that you can use to author and run queries on your Amazon Redshift data warehouse. You can visualize query results with charts and collaborate by sharing queries with members of your team. You can use query editor v2 to create databases, schemas, tables, and […]

5 дней, 4 часа назад @ aws.amazon.com
Federate access to Amazon Redshift query editor V2 with Active Directory Federation Services (AD FS): Part 3
Federate access to Amazon Redshift query editor V2 with Active Directory Federation Services (AD FS): Part 3

In the first post of this series, Federate access to your Amazon Redshift cluster with Active Directory Federation Services (AD FS): Part 1, you set up Microsoft Active Directory Federation Services (AD FS) and Security Assertion Markup Language (SAML) based authentication and tested the SAML federation using a web browser. In Part 2, you learned […]

5 дней, 21 час назад @ aws.amazon.com
Personalize your machine translation results by using fuzzy matching with Amazon Translate
Personalize your machine translation results by using fuzzy matching with Amazon Translate

A person’s vernacular is part of the characteristics that make them unique. There are often countless different ways to express one specific idea. When a firm communicates with their customers, it’s critical that the message is delivered in a way that best represents the information they’re trying to convey. This becomes even more important when […]

6 дней, 2 часа назад @ aws.amazon.com
Gartner® recognizes Amazon RDS in new report
Gartner® recognizes Amazon RDS in new report

Industry analyst firm Gartner has published Solution Scorecard for Amazon Relational Database Service, with AWS earning an industry-best 95 rating, including 100% of required criteria by Gartner for an operational database platform as a service (dbPaaS). The report focuses on Amazon Relational Database Service (Amazon RDS), the AWS managed relational database service designed to dramatically […]

6 дней, 2 часа назад @ aws.amazon.com
Enhance the caller experience with hints in Amazon Lex
Enhance the caller experience with hints in Amazon Lex

We understand speech input better if we have some background on the topic of conversation. Consider a customer service agent at an auto parts wholesaler helping with orders. If the agent knows that the customer is looking for tires, they’re more likely to recognize responses (for example, “Michelin”) on the phone. Agents often pick up […]

1 неделя, 1 день назад @ aws.amazon.com
A new Spark plugin for CPU and memory profiling
A new Spark plugin for CPU and memory profiling

Introduction Have you ever wondered if there are low-hanging optimization opportunities to improve the performance of a Spark app? Profiling can help you gain visibility regarding the runtime characteristics of the Spark app to identify its bottlenecks and inefficiencies. We’re excited to announce the release of a new Spark plugin that enables profiling for JVM […]

1 неделя, 1 день назад @ aws.amazon.com
Automate copying AWS DMS tasks across AWS accounts
Automate copying AWS DMS tasks across AWS accounts

We are in the midst of digital transformation, and cloud adoption plays a big role in the journey to digital transformation. AWS Database Migration Service (AWS DMS) is a cloud service that makes it easy to migrate relational databases, data warehouses, NoSQL databases, and other types of data stores. You can use AWS DMS to […]

1 неделя, 2 дня назад @ aws.amazon.com
Run automatic model tuning with Amazon SageMaker JumpStart
Run automatic model tuning with Amazon SageMaker JumpStart

In December 2020, AWS announced the general availability of Amazon SageMaker JumpStart, a capability of Amazon SageMaker that helps you quickly and easily get started with machine learning (ML). In March 2022, we also announced the support for APIs in JumpStart. JumpStart provides one-click fine-tuning and deployment of a wide variety of pre-trained models across […]

1 неделя, 2 дня назад @ aws.amazon.com
Image classification and object detection using Amazon Rekognition Custom Labels and Amazon SageMaker JumpStart
Image classification and object detection using Amazon Rekognition Custom Labels and Amazon SageMaker JumpStart

In the last decade, computer vision use cases have been a growing trend, especially in industries like insurance, automotive, ecommerce, energy, retail, manufacturing, and others. Customers are building computer vision machine learning (ML) models to bring operational efficiencies and automation to their processes. Such models help automate the classification of images or detection of objects […]

1 неделя, 2 дня назад @ aws.amazon.com
Intelligently search your Jira projects with Amazon Kendra Jira cloud connector
Intelligently search your Jira projects with Amazon Kendra Jira cloud connector

Organizations use agile project management platforms such as Atlassian Jira to enable teams to collaborate to plan, track, and ship deliverables. Jira captures organizational knowledge about the workings of the deliverables in the issues and comments logged during project implementation. However, making this knowledge easily and securely available to users is challenging due to it […]

1 неделя, 2 дня назад @ aws.amazon.com
The Intel®3D Athlete Tracking (3DAT) scalable architecture deploys pose estimation models using Amazon Kinesis Data Streams and Amazon EKS
The Intel®3D Athlete Tracking (3DAT) scalable architecture deploys pose estimation models using Amazon Kinesis Data Streams and Amazon EKS

This blog post is co-written by Jonathan Lee, Nelson Leung, Paul Min, and Troy Squillaci from Intel. In Part 1 of this post, we discussed how Intel®3DAT collaborated with AWS Machine Learning Professional Services (MLPS) to build a scalable AI SaaS application. 3DAT uses computer vision and AI to recognize, track, and analyze over 1,000 […]

1 неделя, 3 дня назад @ aws.amazon.com
How Paytm modernized their data pipeline using Amazon EMR
How Paytm modernized their data pipeline using Amazon EMR

This post was co-written by Rajat Bhardwaj, Senior Technical Account Manager at AWS and Kunal Upadhyay, General Manager at Paytm. Paytm is India’s leading payment platform, pioneering the digital payment era in India with 130 million active users. Paytm operates multiple lines of business, including banking, digital payments, bill recharges, e-wallet, stocks, insurance, lending and […]

1 неделя, 3 дня назад @ aws.amazon.com
Moderate, classify, and process documents using Amazon Rekognition and Amazon Textract
Moderate, classify, and process documents using Amazon Rekognition and Amazon Textract

Many companies are overwhelmed by the abundant volume of documents they have to process, organize, and classify to serve their customers better. Examples of such can be loan applications, tax filing, and billing. Such documents are more commonly received in image formats and are mostly multi-paged and in low-quality format. To be more competitive and […]

1 неделя, 3 дня назад @ aws.amazon.com
DBT — Data Build Tool DBT — Data Build Tool
последний пост 1 месяц назад
A Good Problem to Have…
A Good Problem to Have… A Good Problem to Have…

We're sharing how we rearchitected the dbt Cloud scheduler to keep up with customer demand. Including how we tackle distributed system problems.

1 месяц назад @ blog.getdbt.com
dbt Labs and Databricks: An expanding partnership
dbt Labs and Databricks: An expanding partnership dbt Labs and Databricks: An expanding partnership

Experiencing dbt’s workflow on the lakehouse has never been easier.

1 месяц, 1 неделя назад @ blog.getdbt.com
The next layer of the modern data stack
The next layer of the modern data stack The next layer of the modern data stack

dbt Labs raised another round of funding– $222m at $4.2b valuation. Existing investor Altimeter led the round, with participation from Databricks, GV, Salesforce Ventures, and Snowflake. The raise will fuel our investment in building the next layer in the modern data stack.

2 месяца, 3 недели назад @ blog.getdbt.com
February 2022: Update on recent dbt Cloud incidents
February 2022: Update on recent dbt Cloud incidents

Ongoing incidents with dbt Cloud have created slowness and lack of availability. Here is a recap of what happened and our plans to fix this.

2 месяца, 4 недели назад @ blog.getdbt.com
The future of product at dbt Labs
The future of product at dbt Labs The future of product at dbt Labs

As of January 1, 2022 I officially stepped down from my role as Chief Product Officer at dbt Labs. We've brought on Margaret Francis as our new CPO. I'm incredibly excited to be transitioning into an individual contributor role.

3 месяца, 2 недели назад @ blog.getdbt.com
Coalesce Replay Tracks: Sessions for the Team Preparing to Scale
Coalesce Replay Tracks: Sessions for the Team Preparing to Scale Coalesce Replay Tracks: Sessions for the Team Preparing to Scale

Four modules designed to help the established analytics engineer plan for rapid growth.

5 месяцев назад @ blog.getdbt.com
Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer
Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer

Four modules of curated Coalesce content for teams just beginning their analytics engineering journey.

5 месяцев назад @ blog.getdbt.com
dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications
dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications

Covering both dbt Labs and dbt Cloud, these certifications represent a long-standing commitment to information security and privacy.

5 месяцев, 1 неделя назад @ blog.getdbt.com
Licensing dbt: Apache 2.0, BSL, and Proprietary
Licensing dbt: Apache 2.0, BSL, and Proprietary Licensing dbt: Apache 2.0, BSL, and Proprietary

The metrics layer generated a lot of buzz at Coalesce, prompting some exciting and important conversations. In short: the dbt Server that will make metrics accessible will be source available. This will provide users control, while enabling us to build a sustainable business.

5 месяцев, 1 неделя назад @ blog.getdbt.com
The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022
The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022 The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022

Last year we placed a big bet on foundational work — stability, reliability, and speed. 12 months, and a 600% increase in enterprise business later, we're focused on establishing dbt as the default standard for all enterprise data teams.

5 месяцев, 2 недели назад @ blog.getdbt.com
dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed
dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed

dbt Core v1.0.0 has arrived. This major milestone enables users with production-grade workflows to safely and reliably build on top of dbt Core for years to come. Take a look at how we got here, and what's next for dbt.

5 месяцев, 2 недели назад @ blog.getdbt.com
NEW dbt Learn courses & badging now available!
NEW dbt Learn courses & badging now available! NEW dbt Learn courses & badging now available!

dbt Labs now offers five free courses for the emerging analytics engineer. Those new to dbt will find everything they need to get started (and badged!) in our dbt Learn Fundamentals course, while seasoned users can go deeper on topics like macros, materializations, and project refactoring.

5 месяцев, 2 недели назад @ blog.getdbt.com
Coalesce returns for year two this December
Coalesce returns for year two this December Coalesce returns for year two this December

Dec 6-10, 2021: Coalesce is back with 85 speakers, 65+ sessions, and a little razzle-dazzle. Targeting 4 time zones (EST, PST, GMT, and AEDT)—there are plenty of opportunities to join us live. Find out what’s new, what’s staying the same, and how to prepare.

6 месяцев, 2 недели назад @ blog.getdbt.com
dbt Labs and Snowflake are building on a thriving partnership
dbt Labs and Snowflake are building on a thriving partnership dbt Labs and Snowflake are building on a thriving partnership

Exciting developments in our partnership with Snowflake.

6 месяцев, 3 недели назад @ blog.getdbt.com
Introducing Environment Variables in dbt Cloud
Introducing Environment Variables in dbt Cloud Introducing Environment Variables in dbt Cloud

Your code doesn't have to do the same thing everywhere it runs. Separate code from configuration - and set config based on context.

6 месяцев, 4 недели назад @ blog.getdbt.com
FiveTran FiveTran
последний пост 5 месяцев, 3 недели назад
New and Upcoming Data Connectors and dbt Packages
New and Upcoming Data Connectors and dbt Packages

Keep track of our data connector and dbt package releases with monthly updates.

5 месяцев, 3 недели назад @ fivetran.com
Great Place to Work® Names Fivetran One of the Best Workplaces for Parents™ in 2021
Great Place to Work® Names Fivetran One of the Best Workplaces for Parents™ in 2021 Great Place to Work® Names Fivetran One of the Best Workplaces for Parents™ in 2021

Oakland, CA — December 2, 2021 — Great Place to Work® has honored Fivetran as one of this year's Best Workplaces for Parents™. This is Fivetran’s third time being honored by Great Place to Work and the first time named to this prestigious list of workplaces for parents, ranking at #69. Earning a spot means that Fivetran is one of the best companies to work for in the country. The Best Workplaces for Parents award is based on analysis of survey responses from more than 6 million current U.S. employees. In that survey, 94% of employees said Fivetran is a great place to work, compared to 59% of employees at a typical U.S.-based company. “We are honored to be recognized by Great Place to Work t…

5 месяцев, 3 недели назад @ fivetran.com
The Data Integration Revolution: A Solution Architect’s Perspective
The Data Integration Revolution: A Solution Architect’s Perspective

Life for data professionals keeps getting better — and more interesting.

6 месяцев назад @ fivetran.com
Launch Fivetran Through Databricks Partner Connect
Launch Fivetran Through Databricks Partner Connect

You can now set up Fivetran data pipelines via Databricks Partner Connect. Here’s how to do it.

6 месяцев назад @ fivetran.com
New Report: Enterprises Should Avoid DIY Pipelines
New Report: Enterprises Should Avoid DIY Pipelines

A recent survey from Wakefield Research finds that when enterprises build their own data pipelines, decision-making and revenue suffer.

6 месяцев назад @ fivetran.com
Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™
Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™ Fivetran Ranked Number 122 Fastest-Growing Company in North America on the 2021 Deloitte Technology Fast 500™

Oakland, Calif., November 17, 2021 — Fivetran, the leading automated data integration provider, today announced it ranks 122 on the Deloitte Technology Fast 500™, a ranking of the 500 fastest-growing technology, media, telecommunications, life sciences, fintech, and energy tech companies in North America, now in its 27th year. Fivetran grew 1,668.93% during this period."We are honored to be recognized by Deloitte in the Technology Fast 500 list for the second year running,” said George Fraser, CEO of Fivetran. “With our recent Series D funding and acquisition of HVR, we look forward to expanding our business and product offerings to a wider array of customers and continuing our mission to m…

6 месяцев назад @ fivetran.com
10 Database Schema Best Practices
10 Database Schema Best Practices

Follow these tips to ensure that your database schema delivers maximum utility for data warehouse users, data analysts, and data scientists.

6 месяцев, 1 неделя назад @ fivetran.com
11 Database Schema Mistakes to Avoid
11 Database Schema Mistakes to Avoid

A good database schema is indispensable for making data warehouses work. Get it wrong, and you’ll be in a world of hurt.

6 месяцев, 1 неделя назад @ fivetran.com
Supporting Employee Philanthropy at Fivetran
Supporting Employee Philanthropy at Fivetran

When Fivetranners are moved to give back — to their own communities or the global community — Fivetran helps increase their impact.

6 месяцев, 1 неделя назад @ fivetran.com
Condé Nast maps customer journey across global brands with Fivetran
Condé Nast maps customer journey across global brands with Fivetran

The publisher of Vogue, Vanity Fair, GQ and The New Yorker connects and monetizes trillions of data points

6 месяцев, 1 неделя назад @ fivetran.com
How to Change Minds When Data Alone Isn't Enough
How to Change Minds When Data Alone Isn't Enough

A leading researcher explains how emotion, intuition and storytelling can be more powerful than data.

6 месяцев, 1 неделя назад @ fivetran.com
Coupa accelerates its S3 Data Lake with Fivetran
Coupa accelerates its S3 Data Lake with Fivetran

The Business Spend Management company uses Fivetran’s data integration solution to better understand customer behavior on its SaaS platform

6 месяцев, 2 недели назад @ fivetran.com
The Future of Fivetran and HVR
The Future of Fivetran and HVR

Our priority is improving the experience of every customer — without compromising the features you rely on.

6 месяцев, 2 недели назад @ fivetran.com
Data Egress Cost Analysis
Data Egress Cost Analysis

Understand the impact of data transfer and egress costs across Microsoft Azure, Amazon Web Services and Google Cloud Platform.

6 месяцев, 2 недели назад @ fivetran.com
How Fivetran Uses the Looker API
How Fivetran Uses the Looker API

The Looker API allows you to programmatically manage your Looker environment. Learn how to do it here!

6 месяцев, 2 недели назад @ fivetran.com
DataBricks DataBricks
последний пост 2 дня, 3 часа назад
Design Patterns for Real-time Insights in Financial Services
Design Patterns for Real-time Insights in Financial Services Design Patterns for Real-time Insights in Financial Services

Personalization is a competitive differentiator for most every financial services institution (FSIs, for short), from banking to insurance and now investment management platforms.…

The post Design Patterns for Real-time Insights in Financial Services appeared first on Databricks.

2 дня, 3 часа назад @ databricks.com
Streaming Windows Event Logs into the Cybersecurity Lakehouse
Streaming Windows Event Logs into the Cybersecurity Lakehouse Streaming Windows Event Logs into the Cybersecurity Lakehouse

Streaming windows events into the Cybersecurity Lakehouse Enterprise customers often ask, what is the easiest and simplest way to send Windows endpoint logs…

The post Streaming Windows Event Logs into the Cybersecurity Lakehouse appeared first on Databricks.

2 недели, 2 дня назад @ databricks.com
Introduction to Analyzing Crypto Data Using Databricks
Introduction to Analyzing Crypto Data Using Databricks Introduction to Analyzing Crypto Data Using Databricks

The market capitalization of cryptocurrencies increased from $17 billion in 2017 to $2.25 trillion in 2021. That’s over a 13,000% ROI in a…

The post Introduction to Analyzing Crypto Data Using Databricks appeared first on Databricks.

2 недели, 6 дней назад @ databricks.com
Speed Up Streaming Queries With Asynchronous State Checkpointing
Speed Up Streaming Queries With Asynchronous State Checkpointing Speed Up Streaming Queries With Asynchronous State Checkpointing

Background / Motivation Stateful streaming is becoming more prevalent as stakeholders make increasingly sophisticated demands on greater volumes of data. The tradeoff, however,…

The post Speed Up Streaming Queries With Asynchronous State Checkpointing appeared first on Databricks.

2 недели, 6 дней назад @ databricks.com
Build Data and ML Pipelines More Easily With Databricks and Apache Airflow
Build Data and ML Pipelines More Easily With Databricks and Apache Airflow Build Data and ML Pipelines More Easily With Databricks and Apache Airflow

We are excited to announce a series of enhancements in Apache Airflow’s support for Databricks. These new features make it easy to build…

The post Build Data and ML Pipelines More Easily With Databricks and Apache Airflow appeared first on Databricks.

3 недели, 1 день назад @ databricks.com
Announcing General Availability of Databricks Feature Store
Announcing General Availability of Databricks Feature Store Announcing General Availability of Databricks Feature Store

Today, we are thrilled to announce that Databricks Feature Store is generally available (GA)! In this blog post, we explore how Databricks Feature…

The post Announcing General Availability of Databricks Feature Store appeared first on Databricks.

3 недели, 2 дня назад @ databricks.com
How Wrong Is Your Model?
How Wrong Is Your Model? How Wrong Is Your Model?

In this blog, we look at the topic of uncertainty quantification for machine learning and deep learning. By no means is this a…

The post How Wrong Is Your Model? appeared first on Databricks.

3 недели, 3 дня назад @ databricks.com
Simplifying Change Data Capture With Databricks Delta Live Tables
Simplifying Change Data Capture With Databricks Delta Live Tables Simplifying Change Data Capture With Databricks Delta Live Tables

This guide will demonstrate how you can leverage Change Data Capture in Delta Live Tables pipelines to identify new records and capture changes…

The post Simplifying Change Data Capture With Databricks Delta Live Tables appeared first on Databricks.

3 недели, 6 дней назад @ databricks.com
Model Evaluation in MLflow
Model Evaluation in MLflow Model Evaluation in MLflow

Many data scientists and ML engineers today use MLflow to manage their models. MLflow is an open-source platform that enables users to govern…

The post Model Evaluation in MLflow appeared first on Databricks.

1 месяц назад @ databricks.com
Supercharge Your Machine Learning Projects With Databricks AutoML — Now Generally Available!
Supercharge Your Machine Learning Projects With Databricks AutoML — Now Generally Available! Supercharge Your Machine Learning Projects With Databricks AutoML — Now Generally Available!

Machine Learning (ML) is at the heart of innovation across industries, creating new opportunities to add value and reduce cost. At the same…

The post Supercharge Your Machine Learning Projects With Databricks AutoML — Now Generally Available! appeared first on Databricks.

1 месяц назад @ databricks.com
Building a Geospatial Lakehouse, Part 2
Building a Geospatial Lakehouse, Part 2 Building a Geospatial Lakehouse, Part 2

In Part 1 of this two-part series on how to build a Geospatial Lakehouse, we introduced a reference architecture and design principles to…

The post Building a Geospatial Lakehouse, Part 2 appeared first on Databricks.

1 месяц, 3 недели назад @ databricks.com
Implementing the GDPR ‘Right to be Forgotten’ in Delta Lake
Implementing the GDPR ‘Right to be Forgotten’ in Delta Lake Implementing the GDPR ‘Right to be Forgotten’ in Delta Lake

Databricks’ Lakehouse platform empowers organizations to build scalable and resilient data platforms that allow them to drive value from their data. As the…

The post Implementing the GDPR ‘Right to be Forgotten’ in Delta Lake appeared first on Databricks.

2 месяца назад @ databricks.com
Extending Delta Sharing to Google Cloud Storage
Extending Delta Sharing to Google Cloud Storage Extending Delta Sharing to Google Cloud Storage

This blog article has been cross-posted from the Delta.io blog. We are excited for the release of Delta Sharing 0.4.0 for the open-source…

The post Extending Delta Sharing to Google Cloud Storage appeared first on Databricks.

2 месяца назад @ databricks.com
Cross-version Testing in MLflow
Cross-version Testing in MLflow Cross-version Testing in MLflow

MLflow is an open source platform that was developed to manage the ML lifecycle, including experimentation, reproducibility, deployment, and a central model registry.…

The post Cross-version Testing in MLflow appeared first on Databricks.

2 месяца, 1 неделя назад @ databricks.com
Hyper-Personalization Accelerator for Banks and Fintechs Using Credit Card Transactions
Hyper-Personalization Accelerator for Banks and Fintechs Using Credit Card Transactions Hyper-Personalization Accelerator for Banks and Fintechs Using Credit Card Transactions

Just as Netflix and Tesla disrupted the media and automotive industry, many fintech companies are transforming the Financial Services industry by winning the…

The post Hyper-Personalization Accelerator for Banks and Fintechs Using Credit Card Transactions appeared first on Databricks.

2 месяца, 2 недели назад @ databricks.com
Mix
/r/DataEngineering
последний пост 1 час назад
Orchestration for partially automated pipelines
Orchestration for partially automated pipelines

I have a question about pipelines that have an externally automated task. For example if my dag has a task that does some action every 10mins and lands data into a cloud storage location where it gets picked up by Databricks autoloader which is running on an always in cluster. Always on because at this frequency provisioning and waiting for resources is more of a hindrance than it is beneficial in cost savings. So I'm not manually triggering the autoloader from my dag, but if I have other pieces that need to be triggered after autoloader how do I handle that? I was thinking of having a task that just polls the state of the last run of the autoloader job somehow and if there's a successful r…

1 час назад @ reddit.com
Can someone help me understand what products specifically labelled as IPaaS bring compared to Stitch/Segment/Fivetran..?
Can someone help me understand what products specifically labelled as IPaaS bring compared to Stitch/Segment/Fivetran..?

I'm having trouble understanding what products that market themselves as being Integration Platform as a Service (IPaaS) such as Mulesoft, Jitterbit, Boomi, Workato etc.. bring compared to using more general transformation and integration tools like Stitch/Segment/Fivetran? Do they cover use cases that the others don't in terms of API integration and building custom connectors? A simple search of IPaaS products names on this subreddit returns very few results, which makes me question how popular/used they are. Thanks for your help submitted by /u/cratgo [link] [comments]

1 час назад @ reddit.com
My curriculum to learn Data Engineering (already having experience with usual ML )Which course to choose for Data Engineering
My curriculum to learn Data Engineering (already having experience with usual ML )Which course to choose for Data Engineering

I was trying to find good course for DE, I already have knowledge in ML, Python, PostgreSQL, Tensorflow, Tableau I was thinking to build my curriculum like this: AWS (I was already learning it, therefore I placed it first)--- >PySpark --- > DateWarehousing ---- > MongoDB --- > Kafka ----- (Start to apply to DE jobs) -----> AirFlow --- > Docker, Kubernets --- > Databricks --- > Hadoop ​ Could you give some feedback on my projected curriculum, or suggest some courses that have already prepared full curriculum for Data Engineering. submitted by /u/Ok_Permission_5888 [link] [comments]

1 час назад @ reddit.com
Are data engineers less technical than software engineers?
Are data engineers less technical than software engineers?

How do you perceive data engineers? A subset/specialised SWE or a standalone role that is less technical than SWE? I read a recent discussion on discord where they said DE are paid less than SWE at big tech I.E. at Facebook and they are not considered to be on the engineering track. submitted by /u/MycologistKind1802 [link] [comments]

2 часа назад @ reddit.com
How are you guys maintaing a full picture of various dags/tasks running, and do you have to?
How are you guys maintaing a full picture of various dags/tasks running, and do you have to?

Lets say there are, a bunch of dags and a bunch of tasks in each dag, Some dag's task(s) depending on some other dag's task(s) How do you get a full picture (including dependencies) of various dags running, and honestly do we need to have a full picture of the entirety (or a subset) of the dags. Context: At times, when we need to create new dags (or tasks), we find it complex to locate the relevant (upstream/downstream) dag/task, instead, based on our random internal knowledge, we simply create a new time scheduled dag. In addition to the complexity, we are worried if would open fresh cans of worms when some other dag depends on this new dag. If you can answer the direct question and also a…

2 часа назад @ reddit.com
Design for Outbound files
Design for Outbound files

How would you design an outbound file system for the follwoing: Files are of many different file formats: csv, txt(files could also be a txt file but client request the file extension to be something other than txt) Each client can receive between 1 and N files. The data is similar for each client, but it could be formatted differently or combined in 1 file or broken out between many files. Although the data is similar for each client it is also unique to each client. Kind of like an organization that has many stores and the sales data is unique to each store. The files need to be labeled with their date, but the date can be formatted in different ways. The file needs to be dropped into a f…

3 часа назад @ reddit.com
Avoiding Traps For Your Data Team
Avoiding Traps For Your Data Team Avoiding Traps For Your Data Team

submitted by /u/theporterhaus [link] [comments]

4 часа назад @ reddit.com
Can someone please explain orchestration and why it's so crucial on data engineering?
Can someone please explain orchestration and why it's so crucial on data engineering?

I'm having a hard time understanding data orchestration. What are the common orchestration tools out there? submitted by /u/ryeryebread [link] [comments]

4 часа назад @ reddit.com
Python guide, not a beginner
Python guide, not a beginner

Hi All, I am an ETL/BI developer with 4 years of experience in SQL coupled with ETL tools like Talend, Informatica etc. and T-SQL. During my career, I got very little chance to develop in python (just some functions that mimic SQL custom functions to facilitate python devs/ analysts). However, python was my favourite language since academics as I developed DIP, DSP projects in python and coupled Firebase with python for my FYP. With that said, I want to know what is something that a data engineer should know about python? Like, I am not a beginner, well familiar with pandas, numpy, matplotlib, seaborn and some other basic libs. But I am not confident of mentioning python in my CV. What is s…

5 часов назад @ reddit.com
How do you build and send reports to your users?
How do you build and send reports to your users? How do you build and send reports to your users?

Hello all 👋, I have a technical / product question. How do you build reports for your users (if you are building reports)? I would like to start sending email usage reports to my users and I would like to know what are the tools/products you are using for that? I'd like to avoid building and wasting time on something that we can basically buy. But I can't find anything that could make our life easier here. This is the kind of report we'd like to send to our users (screenshot). Happy to know how you manage this :) I'm asking this here because I took a look at Airflow since it can help to run a workflow pipeline and I wanted to know if you are doing anything like this. the kind of report I wa…

8 часов назад @ reddit.com
What was the biggest compromise you had to take to meet a deadline?
What was the biggest compromise you had to take to meet a deadline?

I’ve talked to a lot of data engineers, managers, etc about all the bottlenecks and challenges we faced to complete projects. What was yours? How did you overcome them? Mine was working too many overtime and weekends. In hindsight, I could have taken other solutions. submitted by /u/No-Astronomer-6142 [link] [comments]

11 часов назад @ reddit.com
Data model - analytics layer vs warehouse layer
Data model - analytics layer vs warehouse layer

In the overall ETL/ELT process, informations gets moved from one place and organized into another (the dataware house). From there, it then gets used by the analytics layer for some type of reporting. The way I see it is that from the point of source extraction to the data warehouse. It makes sense to use normalize structure, having reduced redundant information. Those setup up usually ends up looking like a snowflake scheme which is almost always too complicated to use. At some point, the query uses so many joins that it's all boggles up. It also makes it for the analyst to struggle if they aren't SQL proficient. I'm trying to understand at what point should the data denormalize? Is it bes…

16 часов назад @ reddit.com
“Technical Presentation” part of a DE interview — what does that mean?
“Technical Presentation” part of a DE interview — what does that mean?

Some background: I’m a former teacher, most recently with 1 YOE as a Data/Cloud Developer for a consulting company, and am currently interviewing for a entry/mid-level Data Engineering position at a well known auto manufacturing company. I have passed two screening interviews (first was a basic chat with the recruiter, second was answering a few questions regarding ETL/data ingestion) and a technical round with some senior DEs on the team (questions about projects I have worked on, plus some deep-dive level questions on distributed processing and database optimization). I have now moved onto the final round, which will be three back-to-back-to-back one-hour interviews with different sets of…

17 часов назад @ reddit.com
What DE projects are you doing or have done? I am trying to get inspiration for my own DE project.
What DE projects are you doing or have done? I am trying to get inspiration for my own DE project.

I am new to DE, and want to do a DE project to add to my portfolio. I am trying to get an idea of how a DE project should look like by seeing what others have done. Can you please share/explain any DE projects that you have done for work or personal portfolio? submitted by /u/iemback [link] [comments]

18 часов назад @ reddit.com
If I actually want to CREATE the tools and databases used in Data Engineering.. should I stick with Data Engineering or switch to Software Engineering?
If I actually want to CREATE the tools and databases used in Data Engineering.. should I stick with Data Engineering or switch to Software Engineering?

Who makes the tools that we commonly use? By tools I mean Cloud computing, relational, non-relational and analytical databases, workflow orchestration, etc? submitted by /u/tata348320 [link] [comments]

19 часов назад @ reddit.com
Towards Data Science
последний пост 1 день, 15 часов назад
How Data Scientists Can Reduce Data Wrangling Time with a Data Mart
How Data Scientists Can Reduce Data Wrangling Time with a Data Mart How Data Scientists Can Reduce Data Wrangling Time with a Data Mart

What’s a data mart and why data scientists should use oneContinue reading on Towards Data Science »

1 день, 15 часов назад @ towardsdatascience.com
CSVs Are Overrated! I Give up Some of Its Benefits to Gain More.
CSVs Are Overrated! I Give up Some of Its Benefits to Gain More. CSVs Are Overrated! I Give up Some of Its Benefits to Gain More.

What I use instead for to have a small file size and better performance.Continue reading on Towards Data Science »

1 день, 15 часов назад @ towardsdatascience.com
Matplotlib vs. Plotly: Let’s Decide Once and for All
Matplotlib vs. Plotly: Let’s Decide Once and for All Matplotlib vs. Plotly: Let’s Decide Once and for All

Deep and rapid comparison in terms of 7 key aspectsContinue reading on Towards Data Science »

2 дня назад @ towardsdatascience.com
Monkeying with Dall-E
Monkeying with Dall-E Monkeying with Dall-E

Monkeying with DALL-EGenerative Art StorytellingCan there be a movie or a comic book with AI-generated characters, sets & plots? It is getting closer to possibility and let’s get a preview.AI has been a rage. Automatically generating stuff with these artificially intelligent systems is the trend. One subset of this is image creation from text input. Can we use this to create picture stories? Let us try with DALL-E.Wikipedia: DALL-E is an artificial intelligence program that creates images from textual descriptions. It uses a 12-billion parameter version of the GPT-3 Transformer model to interpret natural language inputs and generate corresponding images.We use this no-code version hosted on…

2 дня назад @ towardsdatascience.com
How To Become a Better Data Science Team
How To Become a Better Data Science Team How To Become a Better Data Science Team

As a Data Scientist, collaboration is keyContinue reading on Towards Data Science »

2 дня назад @ towardsdatascience.com
A Tale of Two Architectures
A Tale of Two Architectures A Tale of Two Architectures

Deploying Machine Learning Models as MicroservicesContinue reading on Towards Data Science »

2 дня, 1 час назад @ towardsdatascience.com
Git in 4 Minutes
Git in 4 Minutes Git in 4 Minutes

A succinct introduction to GitContinue reading on Towards Data Science »

2 дня, 1 час назад @ towardsdatascience.com
Data Stewards Have The Worst Seat At The Table
Data Stewards Have The Worst Seat At The Table Data Stewards Have The Worst Seat At The Table

OpinionData Stewards Have the Worst Seat at the TableThe data steward has an impossible job. Here’s why and what we can do to empower them.In his seminal 2017 blog post, The Downfall of the Data Engineer, Maxime Beauchemin wrote that the data engineer had the worst seat at the table.Data technology and teams have changed tremendously since that time, and now the Preset CEO and creator of Apache Airflow and Apache Superset has a brighter outlook on the future of the profession.I have also seen what was once a thankless position turn into a strategic driver of company value as data expanded beyond dashboards to machine learning models, customer-facing applications, and systems of record.So, i…

2 дня, 1 час назад @ towardsdatascience.com
Automate Your Mundane Excel Reporting with Python
Automate Your Mundane Excel Reporting with Python Automate Your Mundane Excel Reporting with Python

Learn How to Use Excel to Automate Excel ReportingContinue reading on Towards Data Science »

2 дня, 2 часа назад @ towardsdatascience.com
Why Software Development Skills are Essential for Data Science
Why Software Development Skills are Essential for Data Science Why Software Development Skills are Essential for Data Science

Data Scientists Should Learn From Software EngineersContinue reading on Towards Data Science »

2 дня, 3 часа назад @ towardsdatascience.com
Root Finding Methods from Scratch in Python
Root Finding Methods from Scratch in Python Root Finding Methods from Scratch in Python

Implement the most common mathematical root-finding algorithms from scratch using PythonContinue reading on Towards Data Science »

2 дня, 3 часа назад @ towardsdatascience.com
How to Connect to Airflow Workers on Cloud Composer
How to Connect to Airflow Workers on Cloud Composer How to Connect to Airflow Workers on Cloud Composer

Connecting to Airflow workers on Google Cloud PlatformContinue reading on Towards Data Science »

2 дня, 4 часа назад @ towardsdatascience.com
An Overview of Model Selection Tests for Nested and Non-nested Regression Models
An Overview of Model Selection Tests for Nested and Non-nested Regression Models An Overview of Model Selection Tests for Nested and Non-nested Regression Models

Image by Tumisu from Pixabay (Pixabay License)An Overview of Model Selection Tests for Nested and Non-Nested Regression ModelsHow to compare regression models that have all or some variables in commonOften, the regression modeler is faced with a choice among two or more competing models for the same problem. Goodness-of-fit measures such as R-squared (or pseudo-R-squared) and the F-test for regression analysis can be used to indicate how well an individual model fits the training data set, while AIC or BIC scores of the two models can be compared to see which one fits the data set better.However, such tests by themselves cannot be used to decide if between two models A and B, one of them is…

2 дня, 4 часа назад @ towardsdatascience.com
Shap’s partition explainer for language models
Shap’s partition explainer for language models Shap’s partition explainer for language models

The Shapley value, the Owen value, and the partition explainer in shap: how it all relatesPhoto by redcharlie on UnsplashThe ability to understand a model’s prediction is often crucial to pave its way into production. While simple, interpretable models achieve good enough results in some applications, the benefit of using complex modeling techniques outweighs the quest for tractability in other applications, like natural language processing or computer vision. Yet, we want to understand which features are most important for a model’s prediction.The Shapley value is a theoretically sound and widely employed concept to interpret black box machine learning models. As a model-agnostic method, i…

2 дня, 5 часов назад @ towardsdatascience.com
The wrong and right way to approximate Area Under Precision-Recall Curve (AUPRC)
The wrong and right way to approximate Area Under Precision-Recall Curve (AUPRC) The wrong and right way to approximate Area Under Precision-Recall Curve (AUPRC)

There are many ways to summarize the AUPRC, but not all are of equal meritPhoto by Raimond Klavins on UnsplashThe area under Precision-Recall (PR) curve (AUPRC) is a single number that summarizes the information in the PR curve. There are many ways to estimate its enclosed area, but not all are of equal merit. This article attempts to analyze two common ways to approximate AUPRC: either using the trapezoidal rule or using the average precision score, and why one is more correct than the other.AUC obtained by trapezoidal approximation of the PR curve is not the same as average precision score: An exampleOne common mistake I see people doing is that assuming AUC obtained by trapezoidal interp…

2 дня, 5 часов назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 3 дня, 7 часов назад
Data Stewards Have The Worst Seat At The Table
Data Stewards Have The Worst Seat At The Table Data Stewards Have The Worst Seat At The Table

Data stewards have an impossible job. Here’s why and what we can do to empower them.

3 дня, 7 часов назад @ montecarlodata.com
Data Stewards Have The Worst Seat At The Table
Data Stewards Have The Worst Seat At The Table Data Stewards Have The Worst Seat At The Table

Data stewards have an impossible job. Here’s why and what we can do to empower them.

3 дня, 7 часов назад @ montecarlodata.com
Data Lineage is Broken – Here Are 5 Ways to Fix It
Data Lineage is Broken – Here Are 5 Ways to Fix It Data Lineage is Broken – Here Are 5 Ways to Fix It

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

5 дней, 14 часов назад @ montecarlodata.com
Data Lineage is Broken – Here Are 5 Ways to Fix It
Data Lineage is Broken – Here Are 5 Ways to Fix It Data Lineage is Broken – Here Are 5 Ways to Fix It

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

5 дней, 14 часов назад @ montecarlodata.com
Tableau Field-level Lineage: A Data Analyst’s Dream Come True
Tableau Field-level Lineage: A Data Analyst’s Dream Come True Tableau Field-level Lineage: A Data Analyst’s Dream Come True

We have extended coverage all the way to Tableau workbooks to better understand field-level relationships across the warehouse and BI layer. Here's how analysts can use it.

1 неделя, 4 дня назад @ montecarlodata.com
Tableau Field-level Lineage: A Data Analyst’s Dream Come True
Tableau Field-level Lineage: A Data Analyst’s Dream Come True Tableau Field-level Lineage: A Data Analyst’s Dream Come True

We have extended coverage all the way to Tableau workbooks to better understand field-level relationships across the warehouse and BI layer. Here's how analysts can use it.

1 неделя, 4 дня назад @ montecarlodata.com
Monte Carlo Named One of the Best Places to Work in the Bay Area for 2022
Monte Carlo Named One of the Best Places to Work in the Bay Area for 2022 Monte Carlo Named One of the Best Places to Work in the Bay Area for 2022

Monte Carlo was named the 6th Best Place to Work in the Bay Area for small businesses by Silicon Valley Business Journal.

2 недели, 2 дня назад @ montecarlodata.com
Monte Carlo Named One of the Best Places to Work in the Bay Area for 2022
Monte Carlo Named One of the Best Places to Work in the Bay Area for 2022 Monte Carlo Named One of the Best Places to Work in the Bay Area for 2022

Monte Carlo was named the 6th Best Place to Work in the Bay Area for small businesses by Silicon Valley Business Journal.

2 недели, 2 дня назад @ montecarlodata.com
3 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy
3 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy 3 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

3 недели, 3 дня назад @ montecarlodata.com
Is DataOps the Future Of the Modern Data Stack?
Is DataOps the Future Of the Modern Data Stack? Is DataOps the Future Of the Modern Data Stack?

As data needs scale, teams need to start prioritizing reliability. Here’s why DataOps might be the answer—and how you can get started.

3 недели, 4 дня назад @ montecarlodata.com
Is DataOps the Future Of the Modern Data Stack?
Is DataOps the Future Of the Modern Data Stack? Is DataOps the Future Of the Modern Data Stack?

As data needs scale, teams need to start prioritizing reliability. Here’s why DataOps might be the answer—and how you can get started.

3 недели, 4 дня назад @ montecarlodata.com
4 Native Snowflake Data Quality Features You Should Know
4 Native Snowflake Data Quality Features You Should Know 4 Native Snowflake Data Quality Features You Should Know

The bad news? Data breaks. The good news? These 4 Snowflake data quality features can help!

1 месяц назад @ montecarlodata.com
Don’t Make a Schema Change Before Answering These Five Questions
Don’t Make a Schema Change Before Answering These Five Questions Don’t Make a Schema Change Before Answering These Five Questions

Not all schema changes are equal. Here is what to ask yourself before pushing your code off to production.

1 месяц назад @ montecarlodata.com
5 Ways to Improve Data Quality with the New Monte Carlo Data Quality Trends Dashboard
5 Ways to Improve Data Quality with the New Monte Carlo Data Quality Trends Dashboard 5 Ways to Improve Data Quality with the New Monte Carlo Data Quality Trends Dashboard

The new Monte Carlo Dashboard incorporates data and visualization to provide actionable insights to users across data teams.

1 месяц, 1 неделя назад @ montecarlodata.com
5 Ways to Improve Data Quality with the New Monte Carlo Dashboard
5 Ways to Improve Data Quality with the New Monte Carlo Dashboard 5 Ways to Improve Data Quality with the New Monte Carlo Dashboard

The new Monte Carlo Dashboard incorporates data and visualization to provide actionable insights to users across data teams.

1 месяц, 1 неделя назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 3 дня, 4 часа назад
Планируете переезд или остаётесь в России?Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов.Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия
Планируете переезд или остаётесь в России?Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов.Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия

Планируете переезд или остаётесь в России?Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов.Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия нужны разработчикам.

3 дня, 4 часа назад @ t.me
​​🚀 Готовы сделать первый шаг к карьере дата-инженера?23 и 24 мая в 20:00 пройдет открытый интенсив Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен. Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Whee
​​🚀 Готовы сделать первый шаг к карьере дата-инженера?23 и 24 мая в 20:00 пройдет открытый интенсив Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен. Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Whee

​​🚀 Готовы сделать первый шаг к карьере дата-инженера?23 и 24 мая в 20:00 пройдет открытый интенсив Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен. Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Wheely.✅ На интенсиве мы рассмотрим следующие темы:✔️ Extract-Load через SaaS решения. Возможности готовых сервисов, их надежность и ограничения.✔️ Extract-Load через API-вызовы, обращения к СУБД и CDC — оптимальные способы реализации.✔️ Автоматизация выгрузки, повторные попытки (retries), получение уведомлений в Slack (notifications) с помощью Airflow.✔️ Накопление истории выгрузок и организация Data Lake в S3 перед DWH.👉 Проходите вступитель…

3 дня, 10 часов назад @ t.me
​​🚀 Готовы сделать первый шаг к карьере дата-инженера?23 и 24 мая в 20:00 пройдет открытый интенсив Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен. Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Whee
​​🚀 Готовы сделать первый шаг к карьере дата-инженера?23 и 24 мая в 20:00 пройдет открытый интенсив Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен. Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Whee

​​🚀 Готовы сделать первый шаг к карьере дата-инженера?23 и 24 мая в 20:00 пройдет открытый интенсив Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен. Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Wheely.✅ На интенсиве мы рассмотрим следующие темы:✔️ Extract-Load через SaaS решения. Возможности готовых сервисов, их надежность и ограничения.✔️ Extract-Load через API-вызовы, обращения к СУБД и CDC — оптимальные способы реализации.✔️ Автоматизация выгрузки, повторные попытки (retries), получение уведомлений в Slack (notifications) с помощью Airflow.✔️ Накопление истории выгрузок и организация Data Lake в S3 перед DWH.👉 Проходите вступитель…

4 дня, 8 часов назад @ t.me
Налетай, разбирай!На Udemy раздают двухчасовой курс по Redis бесплатно и без смс, но с регистрацией: https://bit.ly/3LeuoBQ
Налетай, разбирай!На Udemy раздают двухчасовой курс по Redis бесплатно и без смс, но с регистрацией: https://bit.ly/3LeuoBQ

Налетай, разбирай!На Udemy раздают двухчасовой курс по Redis бесплатно и без смс, но с регистрацией: https://bit.ly/3LeuoBQ

1 месяц, 3 недели назад @ t.me
У ребят из Astronomer прошел очередной вебинар, на этот раз тема вебинара — Масштабирование AirflowПосмотреть можно в ютубе: https://www.youtube.com/watch?v=i9F0LFobejcОсновной фокус сделали на двух самых популярных Executors: CeleryExecutor и KubernetesEx
У ребят из Astronomer прошел очередной вебинар, на этот раз тема вебинара — Масштабирование AirflowПосмотреть можно в ютубе: https://www.youtube.com/watch?v=i9F0LFobejcОсновной фокус сделали на двух самых популярных Executors: CeleryExecutor и KubernetesEx

У ребят из Astronomer прошел очередной вебинар, на этот раз тема вебинара — Масштабирование AirflowПосмотреть можно в ютубе: https://www.youtube.com/watch?v=i9F0LFobejcОсновной фокус сделали на двух самых популярных Executors: CeleryExecutor и KubernetesExecutor. Рассказали про нюансы и подводные камни каждого, в целом получилось полезно!

2 месяца, 2 недели назад @ t.me
​​Яндекс.Практикум — это сервис онлайн-образования, доступный в России и Америке. Мы помогаем людям расти — на работе и в жизни.Если у вас есть знания и опыт в области Data Engineering — вы можете стать ревьюером, который проверяет, оценивает и комментируе
​​Яндекс.Практикум — это сервис онлайн-образования, доступный в России и Америке. Мы помогаем людям расти — на работе и в жизни.Если у вас есть знания и опыт в области Data Engineering — вы можете стать ревьюером, который проверяет, оценивает и комментируе

​​Яндекс.Практикум — это сервис онлайн-образования, доступный в России и Америке. Мы помогаем людям расти — на работе и в жизни.Если у вас есть знания и опыт в области Data Engineering — вы можете стать ревьюером, который проверяет, оценивает и комментирует самостоятельные работы студентов.Что делает ревьюер?Студенты учатся с помощью онлайн-тренажёра, а также выполняют самостоятельные работы, которые проверяет, оценивает и комментирует команда специалистов. Роль ревьюера в этом процессе очень важна: он проверяет задания студента и даёт обратную связь. Именно ревьюер решает: зачесть задание или нет. Также он даёт советы по улучшению задания, отмечает неточности, указывает на ошибки.Я хочу ст…

2 месяца, 2 недели назад @ t.me
🔥 Залипательный тест по DataOps 🔥— Ответьте на 20 вопросов и проверьте, насколько хорошо вы знаете SQL, Linux, Docker и т.п. Сможете сдать — пройдёте на продвинутый курс DataOps Engineer по спец. цене, где сможете изучить полный набор инструментов и практи
🔥 Залипательный тест по DataOps 🔥— Ответьте на 20 вопросов и проверьте, насколько хорошо вы знаете SQL, Linux, Docker и т.п. Сможете сдать — пройдёте на продвинутый курс DataOps Engineer по спец. цене, где сможете изучить полный набор инструментов и практи

🔥 Залипательный тест по DataOps 🔥— Ответьте на 20 вопросов и проверьте, насколько хорошо вы знаете SQL, Linux, Docker и т.п. Сможете сдать — пройдёте на продвинутый курс DataOps Engineer по спец. цене, где сможете изучить полный набор инструментов и практик Data Governance (управления данными).👉🏻 ПРОЙТИ ТЕСТ: https://otus.pw/5qkF/📌 Хотите протестировать учебный процесс заранее? Регистрируйтесь на бесплатное демо-занятие«Spark. Обзор фреймворка» — 22.02, УЖЕ СКОРО, в 20:00 мск: https://otus.pw/FW3n/— На вебинаре онлайн-курса посмотрим, что улучшили в Spark по сравнению с предыдущим фреймворком MapReduce. Рассмотрим как и для чего можно использовать сам Spark, как деплоить приложения на нем, …

3 месяца назад @ t.me
Исследование data engineering позиций внутри биг-теховНаткнулся на небольшое исследование рынка dataeng позиций среди биг-тех компаний: Amazon, Google, Facebook (ой, Meta) и т.д. Автор вручную проанализировал 1К вакансий и выяснил некоторые инсайты:- основ
Исследование data engineering позиций внутри биг-теховНаткнулся на небольшое исследование рынка dataeng позиций среди биг-тех компаний: Amazon, Google, Facebook (ой, Meta) и т.д. Автор вручную проанализировал 1К вакансий и выяснил некоторые инсайты:- основ

Исследование data engineering позиций внутри биг-теховНаткнулся на небольшое исследование рынка dataeng позиций среди биг-тех компаний: Amazon, Google, Facebook (ой, Meta) и т.д. Автор вручную проанализировал 1К вакансий и выяснил некоторые инсайты:- основное требование это знать Python и SQL- чтобы расти дальше по технической части необходимо помимо Python/SQL иметь знания Java/Scala/C++- биг-техи предпочитают code-heavy решения вместо новомодных low/no-code перделок- почему то автор в статье упоминает Airflow как low-code pipeline solution, думаю это опечатка- доля Amazon среди открытых вакансий по dataeng 65%- Tableu в 2 раза популярнее Power BI- Доля среди клауд провайдеров: AWS 53% (но…

3 месяца назад @ t.me
Стань дата-инженером с Яндекс Практикумом Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает программу обучения по специальности «Инженер данных». Курс предназначен для студентов с как минимум базовым знанием SQL и Python – перед старт
Стань дата-инженером с Яндекс Практикумом Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает программу обучения по специальности «Инженер данных». Курс предназначен для студентов с как минимум базовым знанием SQL и Python – перед старт

Стань дата-инженером с Яндекс Практикумом Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает программу обучения по специальности «Инженер данных». Курс предназначен для студентов с как минимум базовым знанием SQL и Python – перед стартом необходимо пройти тест. Авторы и преподаватели – практикующие эксперты ведущих российских IT-компаний. Длительность – 6,5 месяцев. Курс на 75% состоит из практических занятий – по окончании программы в вашем портфолио будет не менее 10 проектов. Вы научитесь:- работать с технологиями Python, SQL, Metabase, Airflow, PostgreSQL, MongoDB, ClickHouse, Celery, Kafka, Hadoop, Apache Spark, Spark Streaming и Yandex.Cloud - извлекать, очищать и с…

3 месяца назад @ t.me
​​📌 Развиваешься как дата-инженер? Тогда базы данных класса Massive Parallel Processing должны стать твоим неотъемлемым атрибутом. 📚 16 февраля в 16:00 (мск) пройдет вебинар «Введение в MPP-базы данных на примере ClickHouse». Эта технология — отраслевой
​​📌 Развиваешься как дата-инженер? Тогда базы данных класса Massive Parallel Processing должны стать твоим неотъемлемым атрибутом. 📚 16 февраля в 16:00 (мск) пройдет вебинар «Введение в MPP-базы данных на примере ClickHouse». Эта технология — отраслевой

​​📌 Развиваешься как дата-инженер? Тогда базы данных класса Massive Parallel Processing должны стать твоим неотъемлемым атрибутом. 📚 16 февраля в 16:00 (мск) пройдет вебинар «Введение в MPP-базы данных на примере ClickHouse». Эта технология — отраслевой стандарт для хранения Больших Данных и решения разнообразных аналитических задач на их основе. 🔥 Занятие проведет Максим Мигутин, эксперт пятилетним опытом в индустрии данных и аналитики в роли внешнего консультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов. ✅ На открытом уроке мы подробно разберем:- Что такое mpp-БД- Какие решения есть сегодня на рынке- Практический пример использования одной из самых инновационных mp…

3 месяца назад @ t.me
Wes McKinney, автор pandas, пишет 3-е издание своей книги Python for Data Analysis в рамках Open Edition: https://wesmckinney.com/book/ Мой опыт работы с pandas начинался именно с этой книги, хотя тогда она мне казалась далеко не дружелюбной для новичков.
Wes McKinney, автор pandas, пишет 3-е издание своей книги Python for Data Analysis в рамках Open Edition: https://wesmckinney.com/book/ Мой опыт работы с pandas начинался именно с этой книги, хотя тогда она мне казалась далеко не дружелюбной для новичков.

Wes McKinney, автор pandas, пишет 3-е издание своей книги Python for Data Analysis в рамках Open Edition: https://wesmckinney.com/book/ Мой опыт работы с pandas начинался именно с этой книги, хотя тогда она мне казалась далеко не дружелюбной для новичков.

3 месяца, 1 неделя назад @ t.me
​​🔥 Spark — неотъмелемый инструмент для работы с большими данными. Он используется в крупных компаниях, таких как Amazon, eBay и Yahoo. Хочешь узнать о нем больше? 📌 22 февраля в 20:00 пройдет бесплатный вебинар «Spark. Обзор фреймворка» в OTUS. Занятие пр
​​🔥 Spark — неотъмелемый инструмент для работы с большими данными. Он используется в крупных компаниях, таких как Amazon, eBay и Yahoo. Хочешь узнать о нем больше? 📌 22 февраля в 20:00 пройдет бесплатный вебинар «Spark. Обзор фреймворка» в OTUS. Занятие пр

​​🔥 Spark — неотъмелемый инструмент для работы с большими данными. Он используется в крупных компаниях, таких как Amazon, eBay и Yahoo. Хочешь узнать о нем больше? 📌 22 февраля в 20:00 пройдет бесплатный вебинар «Spark. Обзор фреймворка» в OTUS. Занятие проведет Дарья Абдуллина, TeamLead отдела BigData в DeltaSolutions.✅ На открытом уроке мы обсудим:- Что улучшили в Spark по сравнению с фреймворком MapReduce- Как и для чего можно использовать сам Spark- Как деплоить приложения на Spark, а также посмотрим на примеры кода- Области применения фреймворка👉 Для регистрации пройдите вступительный тест - https://otus.pw/LqWV/

3 месяца, 1 неделя назад @ t.me
Отличный ресурс про внутреннее устройство PostgreSQL: https://www.interdb.jp/pg/index.html
Отличный ресурс про внутреннее устройство PostgreSQL: https://www.interdb.jp/pg/index.html

Отличный ресурс про внутреннее устройство PostgreSQL: https://www.interdb.jp/pg/index.html

3 месяца, 1 неделя назад @ t.me
Отличный обзор storage layers: Apache Hudi/Iceberg и Delta Lake от AWS https://www.youtube.com/watch?v=fryfx0Zg7KA
Отличный обзор storage layers: Apache Hudi/Iceberg и Delta Lake от AWS https://www.youtube.com/watch?v=fryfx0Zg7KA

Отличный обзор storage layers: Apache Hudi/Iceberg и Delta Lake от AWS https://www.youtube.com/watch?v=fryfx0Zg7KA

3 месяца, 2 недели назад @ t.me
Отличный доклад про настоящее и будущее JSON/JSONB в PostgreSQL от Олега Бартунова: https://www.youtube.com/watch?v=CPoNZRpcHf4
Отличный доклад про настоящее и будущее JSON/JSONB в PostgreSQL от Олега Бартунова: https://www.youtube.com/watch?v=CPoNZRpcHf4

Отличный доклад про настоящее и будущее JSON/JSONB в PostgreSQL от Олега Бартунова: https://www.youtube.com/watch?v=CPoNZRpcHf4

3 месяца, 2 недели назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 14 часов назад
Готовлю загадки для дня рождения дочки. Загадки почему-то напомнили собеседования FAANG и другие компании с замороченными вопросами😂Примеры:• Что было «завтра», а будет «вчера»? (сегодня)• Что принадлежит вам, но другие используют это чаще? (ваше имя)• У б
Готовлю загадки для дня рождения дочки. Загадки почему-то напомнили собеседования FAANG и другие компании с замороченными вопросами😂Примеры:• Что было «завтра», а будет «вчера»? (сегодня)• Что принадлежит вам, но другие используют это чаще? (ваше имя)• У б

Готовлю загадки для дня рождения дочки. Загадки почему-то напомнили собеседования FAANG и другие компании с замороченными вопросами😂Примеры:• Что было «завтра», а будет «вчера»? (сегодня)• Что принадлежит вам, но другие используют это чаще? (ваше имя)• У броненосца две передние ноги, две задние, да еще две левые и две правые. Сколько ног всего? (четыре)• Каких камней нет ни в одном море? (Сухих)• Какая птица из яйца родится, а яйца не несёт? (петух)• Как далеко в глубь леса может забежать заяц? (до середины, дальше уже выбегает из леса)• Может ли страус назвать себя птицей? (нет, страусы не разговаривают)• Что не вместится даже в самую большую кастрюлю? (крышка от этой кастрюли)Можете добав…

14 часов назад @ t.me
Планируете переезд или остаётесь в России?Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов.Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия
Планируете переезд или остаётесь в России?Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов.Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия

Планируете переезд или остаётесь в России?Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов.Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия нужны разработчикам.#реклама

2 дня, 5 часов назад @ t.me
dbt известны своей относительной простотой, так как дает возможность создавать все трансформации данных на SQL. Согласно их roadmap на 2022 год, они добавляют поддержку Python - Python-language dbt models
dbt известны своей относительной простотой, так как дает возможность создавать все трансформации данных на SQL. Согласно их roadmap на 2022 год, они добавляют поддержку Python - Python-language dbt models

dbt известны своей относительной простотой, так как дает возможность создавать все трансформации данных на SQL. Согласно их roadmap на 2022 год, они добавляют поддержку Python - Python-language dbt models

2 дня, 18 часов назад @ t.me
Avito Analytics meetup #6 — бесплатный онлайн-ивент для аналитиков 🔥Эксперты из Авито, Яндекс Маркета и Skyeng поговорят про оценку медиамаркетинговых кампаний, оптимизацию юнит-экономики экспресс-доставки и проведение сплит-тестов.Темы и спикеры:⚡️ Исполь
Avito Analytics meetup #6 — бесплатный онлайн-ивент для аналитиков 🔥Эксперты из Авито, Яндекс Маркета и Skyeng поговорят про оценку медиамаркетинговых кампаний, оптимизацию юнит-экономики экспресс-доставки и проведение сплит-тестов.Темы и спикеры:⚡️ Исполь Avito Analytics meetup #6 — бесплатный онлайн-ивент для аналитиков 🔥Эксперты из Авито, Яндекс Маркета и Skyeng поговорят про оценку медиамаркетинговых кампаний, оптимизацию юнит-экономики экспресс-доставки и проведение сплит-тестов.Темы и спикеры:⚡️ Исполь

Avito Analytics meetup #6 — бесплатный онлайн-ивент для аналитиков 🔥Эксперты из Авито, Яндекс Маркета и Skyeng поговорят про оценку медиамаркетинговых кампаний, оптимизацию юнит-экономики экспресс-доставки и проведение сплит-тестов.Темы и спикеры:⚡️ Использование прогнозирования для оценки офлайн-маркетинга — Аркадий Воронкин, Авито.⚡️ Как мы оптимизировали UE экспресс-доставки — Анна Арчибасова, Яндекс Маркет.⚡️ Анализ сплит-теста «подписки vs пакеты» с использованием метрик юнит-экономики — Евгения Дубровина, Skyeng.Регистрируйтесь по ссылке, и до встречи онлайн: clc.to/vnHhGw#реклама

3 дня, 3 часа назад @ t.me
Вышла новая книга - Data Algorithms with Spark. Я ее еще давно приметил.In each chapter, author Mahmoud Parsian shows you how to solve a data problem with a set of Spark transformations and algorithms. You'll learn how to tackle problems involving ETL, des
Вышла новая книга - Data Algorithms with Spark. Я ее еще давно приметил.In each chapter, author Mahmoud Parsian shows you how to solve a data problem with a set of Spark transformations and algorithms. You'll learn how to tackle problems involving ETL, des Вышла новая книга - Data Algorithms with Spark. Я ее еще давно приметил.In each chapter, author Mahmoud Parsian shows you how to solve a data problem with a set of Spark transformations and algorithms. You'll learn how to tackle problems involving ETL, des

Вышла новая книга - Data Algorithms with Spark. Я ее еще давно приметил.In each chapter, author Mahmoud Parsian shows you how to solve a data problem with a set of Spark transformations and algorithms. You'll learn how to tackle problems involving ETL, design patterns, machine learning algorithms, data partitioning, and genomics analysis. Each detailed recipe includes PySpark algorithms using the PySpark driver and shell script.1. Introduction To Spark And PySpark2. Transformations In Action3. Mapper Transformations4. Reductions In Spark5. Partitioning Data6. Graph Algorithms7. Interacting With External Data Sources8. Ranking Algorithms9. Classic Data Design Patterns10. Practical Data Desig…

3 дня, 14 часов назад @ t.me
Давно хотел рассказать забавный момент.Когда я работал инженером в Amazon Alexa в Бостоне, точнее в Кембридж (их разделяет река), я был единственным инженером. Я работал с несколькими BI инженерами, которые строили все дашборды "на лету", то есть без храни
Давно хотел рассказать забавный момент.Когда я работал инженером в Amazon Alexa в Бостоне, точнее в Кембридж (их разделяет река), я был единственным инженером. Я работал с несколькими BI инженерами, которые строили все дашборды "на лету", то есть без храни

Давно хотел рассказать забавный момент.Когда я работал инженером в Amazon Alexa в Бостоне, точнее в Кембридж (их разделяет река), я был единственным инженером. Я работал с несколькими BI инженерами, которые строили все дашборды "на лету", то есть без хранилища данных. Вся логика была на SQL, никакой историчности, очень медленно и сложно. Так же, данные тянулись из трех регионов AWS, и где-то потом склеивались в файлах и SQL😱Для меня сразу стало очевидно, что нужно хранилище данных, интегрировать данные вместе, из SQL запросов сделать data pipelines и все автоматизировать, что я и сделал на базе Redshift. Можно сказать, что это было мини хранилище для конкретных кейсов и одним из источников …

4 дня назад @ t.me
Для всех фанатов Tableau, сейчас идет конференция по Tableau и вчера была презентация новых фич, если кратко, то можно ознакомиться здесь - Power your analytics advantage—new product innovations from Tableau Conference 2022Запись Dev on Stage вы можете най
Для всех фанатов Tableau, сейчас идет конференция по Tableau и вчера была презентация новых фич, если кратко, то можно ознакомиться здесь - Power your analytics advantage—new product innovations from Tableau Conference 2022Запись Dev on Stage вы можете най

Для всех фанатов Tableau, сейчас идет конференция по Tableau и вчера была презентация новых фич, если кратко, то можно ознакомиться здесь - Power your analytics advantage—new product innovations from Tableau Conference 2022Запись Dev on Stage вы можете найти здесь.

4 дня, 1 час назад @ t.me
Как все быстро меняется, совсем недавно акции Амазон стоили 3500US$ за штуку, а теперь 2200. И в такой же пропорции упал весь tech. Акции Tesla и Microsoft просели. Amazon вообще показал квартал с отрицательной прибылью. Сегодня, Netflix уволил 150 человек
Как все быстро меняется, совсем недавно акции Амазон стоили 3500US$ за штуку, а теперь 2200. И в такой же пропорции упал весь tech. Акции Tesla и Microsoft просели. Amazon вообще показал квартал с отрицательной прибылью. Сегодня, Netflix уволил 150 человек

Как все быстро меняется, совсем недавно акции Амазон стоили 3500US$ за штуку, а теперь 2200. И в такой же пропорции упал весь tech. Акции Tesla и Microsoft просели. Amazon вообще показал квартал с отрицательной прибылью. Сегодня, Netflix уволил 150 человек, хотя они были образцом успешной компании с максимальной оплатой инженерного труда. Facebook тоже не ice. Крипта упала. Если раньше все акции любой технологической компании росли вверх, то теперь пузырь стал сдуваться💨 Так то весь мир трещит по швам. Зато вот Microsoft, наоборот сообщил, что надо всем поднять зарплату в 2 раза! Это неожиданно, так как Microsoft платит меньше всех из всех компаний. Как раз в мае в Microsoft будет Performan…

4 дня, 12 часов назад @ t.me
Data Engineering is about making data usable - отличный вариант и вообще не важно как мы это делаем, на SQL, Python или еще чего.Правда автор умолчал про момент один - кто ему этот Jupyter Hub установил, если без инфраструктуры, то это уже для меня analyti
Data Engineering is about making data usable - отличный вариант и вообще не важно как мы это делаем, на SQL, Python или еще чего.Правда автор умолчал про момент один - кто ему этот Jupyter Hub установил, если без инфраструктуры, то это уже для меня analyti Data Engineering is about making data usable - отличный вариант и вообще не важно как мы это делаем, на SQL, Python или еще чего.Правда автор умолчал про момент один - кто ему этот Jupyter Hub установил, если без инфраструктуры, то это уже для меня analyti

Data Engineering is about making data usable - отличный вариант и вообще не важно как мы это делаем, на SQL, Python или еще чего.Правда автор умолчал про момент один - кто ему этот Jupyter Hub установил, если без инфраструктуры, то это уже для меня analytics engineer, а если мы сами сделали end to end решение, которое собирает данные, хранит и трансформирует, чтобы “making data usable”, то уже data engineer.

4 дня, 16 часов назад @ t.me
From Junior Software Engineer to Engineering Manager: a 10-year career path review. - статья про карьерный путь инженера. Несмотря на то, что он iOS разработчик, его опыт применим для карьеры любого инженера."Do I want to switch to a more Senior or Princip
From Junior Software Engineer to Engineering Manager: a 10-year career path review. - статья про карьерный путь инженера. Несмотря на то, что он iOS разработчик, его опыт применим для карьеры любого инженера."Do I want to switch to a more Senior or Princip From Junior Software Engineer to Engineering Manager: a 10-year career path review. - статья про карьерный путь инженера. Несмотря на то, что он iOS разработчик, его опыт применим для карьеры любого инженера."Do I want to switch to a more Senior or Princip

From Junior Software Engineer to Engineering Manager: a 10-year career path review. - статья про карьерный путь инженера. Несмотря на то, что он iOS разработчик, его опыт применим для карьеры любого инженера."Do I want to switch to a more Senior or Principle Engineer position or to an Engineering Management one?""How could the Engineering Management role be a great opportunity for me, my team, and my skills?""Why is Engineering Management difficult for your confidence?""Why do I feel lonely as a manager?"

6 дней, 1 час назад @ t.me
Новости аналитикиWelcome to the world PyScript - недавно были новости про Python в HTML, и вот Anaconda уже рассказывает про PyScript - PyScript is a framework that allows users to run Python and create rich applications in the browser by simply using spec
Новости аналитикиWelcome to the world PyScript - недавно были новости про Python в HTML, и вот Anaconda уже рассказывает про PyScript - PyScript is a framework that allows users to run Python and create rich applications in the browser by simply using spec

Новости аналитикиWelcome to the world PyScript - недавно были новости про Python в HTML, и вот Anaconda уже рассказывает про PyScript - PyScript is a framework that allows users to run Python and create rich applications in the browser by simply using special HTML tags provided by the framework itself. Choosing a Data Catalog - дата каталог, business glossary и data lineage - все это элементы data governance. У меня уже есть неудачный опыт использования Azure Purview, поэтому стал смотреть в сторону Open Source решений. Пока мне понравился OpenMetadata от Uber. В статье автор рассматривает разные решения и подходы для документации аналитического решения - Documentation coming from analytics…

6 дней, 1 час назад @ t.me
Прошел очередной workshop на O'Reilly - Bash Shell Scripting in 4 Hours. Хороший обзор команд bash. Я их часто видел, но не понимал зачем они, просто делал COPY-PASTE. Могу точно сказать, что после 4х часов, могу теперь читать и понимать Shell скрипты намн
Прошел очередной workshop на O'Reilly - Bash Shell Scripting in 4 Hours. Хороший обзор команд bash. Я их часто видел, но не понимал зачем они, просто делал COPY-PASTE. Могу точно сказать, что после 4х часов, могу теперь читать и понимать Shell скрипты намн

Прошел очередной workshop на O'Reilly - Bash Shell Scripting in 4 Hours. Хороший обзор команд bash. Я их часто видел, но не понимал зачем они, просто делал COPY-PASTE. Могу точно сказать, что после 4х часов, могу теперь читать и понимать Shell скрипты намного лучше. По материалам:- Презентация- Гит с примерамиХотелось бы так же ответить на важный вопрос для новичков, особенно кто начинает Data Learn. У нас в требованиях есть "bash/shell". Мне всегда казалась, что это очень confusing. Во-первых, из книги THE LINUX COMMAND LINE:When we speak of the command line, we are really referring to the shell. The shell is a program that takes keyboard commands and passes them to the operating system to…

1 неделя назад @ t.me
На днях общался с CEO&Founder Meltano. Рассказал ему как использую его продукт и послушал про их планы. Meltano это open source продукт, которые умеет из коробки делать E(extract) и L(load), отлично работает в связке с dbt. Видение meltano - data platf
На днях общался с CEO&Founder Meltano. Рассказал ему как использую его продукт и послушал про их планы. Meltano это open source продукт, которые умеет из коробки делать E(extract) и L(load), отлично работает в связке с dbt. Видение meltano - data platf

На днях общался с CEO&Founder Meltano. Рассказал ему как использую его продукт и послушал про их планы. Meltano это open source продукт, которые умеет из коробки делать E(extract) и L(load), отлично работает в связке с dbt. Видение meltano - data platform, да и вообще аналитическое решение - это software product. Инфраструктура как код, CI/CD, и все в лучших традиция разработки ПО. Например, если вам нужно сделать полностью Open Source решение, то вы можете использовать:- Meltano/Airbyte для Ingestion- dbt для трансформации данных внутри хранилища - Airflow/Dagster/Prefect - для расписания ETL job- Superset/Redash для BI (есть еще ряд технологий). Звучит просто, но на деле это сложно, вам н…

1 неделя, 1 день назад @ t.me
А вот colab notebook с тренингом по Pandas.The pandas library is very popular among data scientists, quants, Excel junkies, and Python developers because it allows you to perform data ingestion, exporting, transformation, and visualization with ease. But i
А вот colab notebook с тренингом по Pandas.The pandas library is very popular among data scientists, quants, Excel junkies, and Python developers because it allows you to perform data ingestion, exporting, transformation, and visualization with ease. But i

А вот colab notebook с тренингом по Pandas.The pandas library is very popular among data scientists, quants, Excel junkies, and Python developers because it allows you to perform data ingestion, exporting, transformation, and visualization with ease. But if you are only familiar with Python, pandas may present some challenges. Since pandas is inspired by Numpy, its syntax conventions can be confusing to Python developers.У автора есть классное repo с датасетами.

1 неделя, 3 дня назад @ t.me
This is not so much an instructional manual, but rather notes, tables, and examples for Python syntax. It was created by the author as an additional resource during training, meant to be distributed as a physical notebook. Participants (who favor the physi
This is not so much an instructional manual, but rather notes, tables, and examples for Python syntax. It was created by the author as an additional resource during training, meant to be distributed as a physical notebook. Participants (who favor the physi This is not so much an instructional manual, but rather notes, tables, and examples for Python syntax. It was created by the author as an additional resource during training, meant to be distributed as a physical notebook. Participants (who favor the physi

This is not so much an instructional manual, but rather notes, tables, and examples for Python syntax. It was created by the author as an additional resource during training, meant to be distributed as a physical notebook. Participants (who favor the physical characteristics of dead tree material) could add their own notes, thoughts, and have a valuable reference of curated examples.Тест книги в гите автора.

1 неделя, 3 дня назад @ t.me
Left Join Left Join
последний пост 2 дня, 11 часов назад
👨‍🎨 DALL-E не всемогущ? 🖌Мы уже рассказывали вам про AI-модель, которая генерирует удивительные (и очень точные!) изображения на основе текстового описания. Сегодня нам хочется чуть поумерить всеобщие восторги и разобрать некоторые ограничения модели, кото
👨‍🎨 DALL-E не всемогущ? 🖌Мы уже рассказывали вам про AI-модель, которая генерирует удивительные (и очень точные!) изображения на основе текстового описания. Сегодня нам хочется чуть поумерить всеобщие восторги и разобрать некоторые ограничения модели, кото

👨‍🎨 DALL-E не всемогущ? 🖌Мы уже рассказывали вам про AI-модель, которая генерирует удивительные (и очень точные!) изображения на основе текстового описания. Сегодня нам хочется чуть поумерить всеобщие восторги и разобрать некоторые ограничения модели, которые не видны на первый взгляд.📍Недостаток информации: Иногда модели нужно давать очень много уточнений, чтобы получить то, что нужно📍Трудности в понимании контекста: В то же время, когда описание слишком длинное, модель чаще ошибается и хуже оценивает контекст (особенно, со словами, которые имеют несколько разных значений)📍Никто не может знать всего: DALL-E может попросту не знать (не иметь никаких данных) о том, что вы хотите получить📍У в…

2 дня, 11 часов назад @ t.me
Не секрет, что для того чтобы прокачиваться в нашей профессиональной области мы должны изучать очень много информации из разных источников у которых могут быть свои плюсы и минусы. По видео хорошо изучать основы за короткие сроки. По книгам обучение идет н
Не секрет, что для того чтобы прокачиваться в нашей профессиональной области мы должны изучать очень много информации из разных источников у которых могут быть свои плюсы и минусы. По видео хорошо изучать основы за короткие сроки. По книгам обучение идет н

Не секрет, что для того чтобы прокачиваться в нашей профессиональной области мы должны изучать очень много информации из разных источников у которых могут быть свои плюсы и минусы. По видео хорошо изучать основы за короткие сроки. По книгам обучение идет не столь быстро, но зато можно получить больше детальной и прикладной информации.Вчера на канале Data Science вышла подборка книг, которые могут быть полезны для желающих развиваться в аналитике данных. Надеемся, она будет вам полезна.

3 дня, 10 часов назад @ t.me
Все знают, какие запросы аналитики пишут на языке SQL, но с какими запросами они чаще всего приходят в кабинет психолога? Разберемся в четвертом эпизоде DataHeroes! 🚀Мы решили обсудить не только науку о данных, но и внутренний мир человека, который её изуч
Все знают, какие запросы аналитики пишут на языке SQL, но с какими запросами они чаще всего приходят в кабинет психолога? Разберемся в четвертом эпизоде DataHeroes! 🚀Мы решили обсудить не только науку о данных, но и внутренний мир человека, который её изуч Все знают, какие запросы аналитики пишут на языке SQL, но с какими запросами они чаще всего приходят в кабинет психолога? Разберемся в четвертом эпизоде DataHeroes! 🚀Мы решили обсудить не только науку о данных, но и внутренний мир человека, который её изуч

Все знают, какие запросы аналитики пишут на языке SQL, но с какими запросами они чаще всего приходят в кабинет психолога? Разберемся в четвертом эпизоде DataHeroes! 🚀Мы решили обсудить не только науку о данных, но и внутренний мир человека, который её изучает. Иногда мы будем делать выпуски о психологии и приглашать специалистов этой области. Сегодня мы поговорим о таком явлении, как синдром самозванца, который присутствует аж у 70% людей! Надеемся, что вы не попадаете в эти 70%, однако никогда не бывает лишним проверить себя. Скорее включайте подкаст, чтобы узнать, как распознать в себе самозванца и, главное, как с ним бороться! 🦸🏻‍♀️Спикеры: Виктория Коппер, Ринат Акчурин, Анастасия Калаш…

4 дня, 10 часов назад @ t.me
Когда написал SELECT * FROM табличка#мем
Когда написал SELECT * FROM табличка#мем

Когда написал SELECT * FROM табличка#мем

5 дней, 23 часа назад @ t.me
BI-гайд по современным инструментам возвращается, чтобы вновь рассказать о самом нужномНе знаю как вы, а мы очень ждали возвращения цикла видео-обзоров BI-инструментов, которые есть на рынке, ведь в мире data-аналитики стоит активно следить за стремительны
BI-гайд по современным инструментам возвращается, чтобы вновь рассказать о самом нужномНе знаю как вы, а мы очень ждали возвращения цикла видео-обзоров BI-инструментов, которые есть на рынке, ведь в мире data-аналитики стоит активно следить за стремительны

BI-гайд по современным инструментам возвращается, чтобы вновь рассказать о самом нужномНе знаю как вы, а мы очень ждали возвращения цикла видео-обзоров BI-инструментов, которые есть на рынке, ведь в мире data-аналитики стоит активно следить за стремительными изменениями и стараться подобрать самый подходящий. В сегодняшнем видео мы поговорим про обновленный и улучшенный Apache Superset — open-source инструмент с множеством опций, которые позволяют пользователям с любым опытом изучать и визуализировать данные, от простых линейных графиков до высокодетализированных геопространственных диаграмм (ух!).Посмотрите на финальный дашборд в материале блога и ответьте на два небольших вопроса ниже 🤔Ав…

6 дней, 11 часов назад @ t.me
🐙 Airbyte: рассказываем и показываем наглядно все тонкости 🔍Многие инструменты аналитиков уже давно подробно разобраны и описаны в разных тематических блогах. Однако, когда мы искали качественный гайд по Airbyte, то нам не удалось найти ничего по-настоящем
🐙 Airbyte: рассказываем и показываем наглядно все тонкости 🔍Многие инструменты аналитиков уже давно подробно разобраны и описаны в разных тематических блогах. Однако, когда мы искали качественный гайд по Airbyte, то нам не удалось найти ничего по-настоящем

🐙 Airbyte: рассказываем и показываем наглядно все тонкости 🔍Многие инструменты аналитиков уже давно подробно разобраны и описаны в разных тематических блогах. Однако, когда мы искали качественный гайд по Airbyte, то нам не удалось найти ничего по-настоящему полезного, кроме официальной документации. Поэтому мы решили написать свой 🙂Плюс ко всему, мы разобрали кейс подключения Facebook Marketing API и расписали все шаги, которые нужно выполнить для начала работы с ним.В общем, читайте, комментируйте, задавайте вопросы, если (ну, вдруг) мы что-то упустили!

1 неделя, 2 дня назад @ t.me
📊 Supabase выходит на новый уровень 💰Я часто рассказываю вам про интересные open-source альтернативы известных сервисов. На этой неделе появилась весьма важная новость о компании Supabase, которая позиционирует себя как альтернатива open-source сервисам, т
📊 Supabase выходит на новый уровень 💰Я часто рассказываю вам про интересные open-source альтернативы известных сервисов. На этой неделе появилась весьма важная новость о компании Supabase, которая позиционирует себя как альтернатива open-source сервисам, т

📊 Supabase выходит на новый уровень 💰Я часто рассказываю вам про интересные open-source альтернативы известных сервисов. На этой неделе появилась весьма важная новость о компании Supabase, которая позиционирует себя как альтернатива open-source сервисам, таким как Firebase от Google. В среду эта компания объявила о привлечении раунда финансирования серии B на сумму 80 млн долларов под руководством Felicis Ventures.🤔 В чем они хороши?Supabase, конечно, не может конкурировать с Firebase по набору предлагаемых функций, но у них есть отличный пакет базовых инструментов, которые необходимы разработчикам для качественной работы: база данных, хранилище и служба аутентификации. Также они запустили …

1 неделя, 3 дня назад @ t.me
Видео выходного дня интересное всем любителям игры GTA: как создавалась первая версия GTA в 1996м году 🎮🏎
Видео выходного дня интересное всем любителям игры GTA: как создавалась первая версия GTA в 1996м году 🎮🏎

Видео выходного дня интересное всем любителям игры GTA: как создавалась первая версия GTA в 1996м году 🎮🏎

1 неделя, 5 дней назад @ t.me
Забавный сервис: вбиваешь какую-то текстовую строку на выбранном языке, затем она 10 раз переводится на разные языки и потом возвращается обратно на исходный.Из фразы: «Утром придумал новый пост в свой канал и опубликовал» у меня получилось: «На следующее
Забавный сервис: вбиваешь какую-то текстовую строку на выбранном языке, затем она 10 раз переводится на разные языки и потом возвращается обратно на исходный.Из фразы: «Утром придумал новый пост в свой канал и опубликовал» у меня получилось: «На следующее

Забавный сервис: вбиваешь какую-то текстовую строку на выбранном языке, затем она 10 раз переводится на разные языки и потом возвращается обратно на исходный.Из фразы: «Утром придумал новый пост в свой канал и опубликовал» у меня получилось: «На следующее утро я пошел на свой канал и был опубликован»#ссылка

2 недели, 2 дня назад @ t.me
А вот и подоспела имплементация DALL-E2 на Pytorch.Вперед генерировать картинки? 👨‍🎨
А вот и подоспела имплементация DALL-E2 на Pytorch.Вперед генерировать картинки? 👨‍🎨

А вот и подоспела имплементация DALL-E2 на Pytorch.Вперед генерировать картинки? 👨‍🎨

2 недели, 3 дня назад @ t.me
Новые чувствительные данные оказались доступными в интернете. На этот раз отличился, предположительно, Гемотест. Наверное, любопытный датасет для анализа. Ждем штрафа в 60 т.р.? 😉
Новые чувствительные данные оказались доступными в интернете. На этот раз отличился, предположительно, Гемотест. Наверное, любопытный датасет для анализа. Ждем штрафа в 60 т.р.? 😉

Новые чувствительные данные оказались доступными в интернете. На этот раз отличился, предположительно, Гемотест. Наверное, любопытный датасет для анализа. Ждем штрафа в 60 т.р.? 😉

2 недели, 4 дня назад @ t.me
LEFT JOIN pinned a photo
LEFT JOIN pinned a photo

LEFT JOIN pinned a photo

2 недели, 4 дня назад @ t.me
🚀 Релокейт: куда валить и что делать? Ответим в третьем эпизоде DataHeroes 🦸🏻Принять быстрое решение о релокейте в другую страну и переехать за считанные дни? ✈️ Добавим к этому последние события в мире, закрытые границы и заблокированные банковские счета
🚀 Релокейт: куда валить и что делать? Ответим в третьем эпизоде DataHeroes 🦸🏻Принять быстрое решение о релокейте в другую страну и переехать за считанные дни? ✈️ Добавим к этому последние события в мире, закрытые границы и заблокированные банковские счета 🚀 Релокейт: куда валить и что делать? Ответим в третьем эпизоде DataHeroes 🦸🏻Принять быстрое решение о релокейте в другую страну и переехать за считанные дни? ✈️ Добавим к этому последние события в мире, закрытые границы и заблокированные банковские счета

🚀 Релокейт: куда валить и что делать? Ответим в третьем эпизоде DataHeroes 🦸🏻Принять быстрое решение о релокейте в другую страну и переехать за считанные дни? ✈️ Добавим к этому последние события в мире, закрытые границы и заблокированные банковские счета — получается неплохой квест! Только происходит это не в игре, а в реальной жизни.Наши спикеры поделились своими захватывающими историями релокейта и ответили на главные вопросы: где просить помощи в вопросах переезда? Как распорядиться деньгами? Можно ли справиться с тревогой и что делать тем, кто пока не может переехать? Включайте подкаст и узнаете прямо сейчас! БОНУС 🔥 В конце выпуска вас ждут подробные рекомендации по релокейту 😎 А такж…

2 недели, 4 дня назад @ t.me
Прикольный фреймворк для любителей поизвращаться: PyScript, позволяющий запустить .py-скрипт из .html-странички.
Прикольный фреймворк для любителей поизвращаться: PyScript, позволяющий запустить .py-скрипт из .html-странички. Прикольный фреймворк для любителей поизвращаться: PyScript, позволяющий запустить .py-скрипт из .html-странички.

Прикольный фреймворк для любителей поизвращаться: PyScript, позволяющий запустить .py-скрипт из .html-странички.

2 недели, 5 дней назад @ t.me
🇺🇸 Соединенные штаты планируют кампанию по привлечению инженеров и научных работников. Примечательная потенциальная возможность для тех, кто планировал туда мигрировать и не может решить визовый вопрос (а он сейчас действительно сильно усложнился).
🇺🇸 Соединенные штаты планируют кампанию по привлечению инженеров и научных работников. Примечательная потенциальная возможность для тех, кто планировал туда мигрировать и не может решить визовый вопрос (а он сейчас действительно сильно усложнился).

🇺🇸 Соединенные штаты планируют кампанию по привлечению инженеров и научных работников. Примечательная потенциальная возможность для тех, кто планировал туда мигрировать и не может решить визовый вопрос (а он сейчас действительно сильно усложнился).

2 недели, 6 дней назад @ t.me
SQLite на практике SQLite на практике
последний пост 2 дня, 13 часов назад
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для

Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для аналитики» для выпускников «окошек» и «на практике».Так что если вы:— успешно решили все задачки в «SQLite на практике» (скидка 500₽),— или получили сертификат с отличием в «Оконные функции SQL» (скидка 500₽),— и хотите пройти «SQLite для аналитики»,то присылайте ссылку на свой Степик-профиль мне @nalgeon, чтобы получить промо-код.

2 дня, 13 часов назад @ t.me
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v

Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v.employer_id join area as a on a.id = v.area_idТеперь хочется запускать запросы по сводным данным. Есть три способа это сделать:1) Common Table Expression (CTE)2) Представление (view)3) Временная таблица (temporary table)CTE я описывал в отдельной заметке, не буду повторяться. Важно, что CTE каждый раз вычисляется заново, так что если наш сводный select не особо быстрый — запросы по нему будут тормозить.Представление — это такой именованный…

4 дня, 8 часов назад @ t.me
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11,
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11,

JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11, "action": "login", "details": { "ip": "192.168.0.1" }}Или пополнение счета:{ "timestamp": "2022-05-15T09:32:00Z", "object": "account", "object_id": 12, "action": "deposit", "details": { "amount": "1000", "currency": "USD" }}Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON. Заводите таблицу events с единственным полем value:select value from events;{"timestamp":"2022-05-15T09:31:00Z",...{"timestamp":"2022-05-15T09:32…

1 неделя назад @ t.me
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:se
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:se

Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:select id, salary*0.87 as net_salaryfrom employees;А чтобы не таскать везде эти вычисления, удобно создать виртуальный столбец.В общем виде синтаксис такой:alter table ТАБЛИЦАadd column СТОЛБЕЦ ТИП as (ВЫРАЖЕНИЕ);Для зарплат будет так:alter table employeesadd column net_salary real as ( salary*0.87);После этого столбец можно использовать в запросах точно так же, как обычные столбцы:select id, net_salaryfrom employees;Виртуальные столбцы не хранятся в …

2 недели, 2 дня назад @ t.me
Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J —
Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J —

Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и тогда многострочный запрос редактируется одним куском!

1 месяц назад @ t.me
История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в ка
История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в ка

История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в каталоге пользователя и называется .sqlite_history. Он текстовый, так что можно просматривать хоть в редакторе. Если хотите сохранить в другом месте — укажите полный путь в переменной окружения SQLITE_HISTORY.История записывается в файл при штатном выходе из консоли, так что если «моргнет» электричество или еще что — команды, выполненные с последнего запуска sqlite3, потеряются.Конечно, запись истории — не единственная фича консоли. Например…

1 месяц назад @ t.me
Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экс
Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экс

Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экспорт данных.— Типы данных в SQLite.— Работа с JSON.В планах и другие модули, посвященные специфике SQLite.Курс пока бесплатный, но это не навсегда.Записывайтесь, если хотите прокачать понимание SQLite и не боитесь командной строки:SQLite на практике

2 месяца, 2 недели назад @ t.me
ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление
ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление

ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление против Украины и ее граждан. Это преступление против мира.Если вы против войны — не молчите, заявите об этом. Необязательно выходить на улицу под дубинки полицейских. Напишите вашему депутату. Если ведете соцсети — напишите там. Подпишите петицию.Сейчас кто молчит — одобряет. Не молчите.Позволит ли конкретно ваш одинокий голос остановить войну? Конечно, нет. Руководству страны плевать на любые петиции. Но он поможет другим увидеть, что они…

2 месяца, 3 недели назад @ t.me
Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а
Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а

Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а дату-время как 2022-01-27 19:30:15. Иногда добавляют еще миллисекунды: 2022-01-27 19:30:15.123.Стандарт включает кучу нюансов, но основные формы записи именно такие.Дата при этом хранится в SQLite как текст. Занимает 12 байт (без времени), 21 байт (до секунд) или 25 байт (с миллисекундами).➕ Человекочитаемая дата➕ Удобно сравнивать ('2021-12-30' < '2022-01-27')➖ Неудобно считать разницу между датами➖ Занимает много местаUnix TimeUnix Time…

3 месяца, 3 недели назад @ t.me
Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии
Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии

Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии 3.37.2. И включил пачку стандартных расширений вроде R*Tree. А в планах еще приделать все расширения из sqlean, вот тогда заживем вообще.https://sqlime.org/

4 месяца, 1 неделя назад @ t.me
Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем
Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем

Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем с 12:15.https://we.fo/1604736632P.S. Поскольку к записи мы специально не готовились, звучу я как из ведра. Но если потерпеть минуту, вы привыкнете 😁

4 месяца, 1 неделя назад @ t.me
Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NU
Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NU

Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NULL — пустое значение.Пока ничего необычного (только типов маловато по сравнению с другими СУБД).А как вам такое:SQLite может хранить данные любого типа — вне зависимости от того, какой тип указан на столбце.Хотите записать число 3.14 в integer-поле? Пожалуйста (и никакого округления). Или, может быть, 'привет' в поле типа real? Без проблем.Дело в том, что SQLite хранит тип не только на столбце, но и на каждом значении в таблице. Именно поэ…

4 месяца, 1 неделя назад @ t.me
Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person->'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enha
Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person-&gt;'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enha

Стрелочка для JSONВ SQLite может появиться специальный синтаксис для JSON, как в постгресе!Было:select json_extract(person,'$.name') ...Стало:select person->'name' ...Не 100%, но весьма вероятно.https://sqlite.org/src/doc/json-enhancements/doc/json-enhancements.md

4 месяца, 1 неделя назад @ t.me
Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенны
Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенны

Все расширения для SQLiteМне очень нравится SQLite. Это миниатюрная встраиваемая база, которая отлично подходит как для исследовательского анализа данных, так и в качестве хранилища для небольших приложений.Но есть у нее один недостаток: маловато встроенных функций по сравнению с PostgreSQL или Oracle.К счастью, авторы заложили в SQLite механизм расширений, на котором можно сделать почти все что угодно. В результате интернет заполнен обрывочными расширениями, которые добавляют функцию-другую.Мне хотелось большой системности.Так появился проект sqlean — в нем я собираю вместе недостающие в SQLite функции, распределяю их по модулям, рефакторю код, пишу тесты и документацию. Получается что-то …

4 месяца, 2 недели назад @ t.me
Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-9981
Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-9981

Unix timestampSQLite 3.38 получит функцию даты/времени в формате unix timestamp! А пока он не вышел, можно попробовать в моем расширении isodate:select unixepoch('2021-12-22 12:34:45');1640176485https://github.com/nalgeon/sqlean/issues/27#issuecomment-998138191

5 месяцев назад @ t.me
Datalytics Datalytics
последний пост 2 дня, 11 часов назад
Аналитик данных с нуля до трудоустройства Ключевыми навыками аналитика являются умение собирать, анализировать и презентовать данные. Но где сегодня научиться этим навыкам и освоить основные инструменты аналитики? Приглашаем вас на курс «Профессия «Аналити
Аналитик данных с нуля до трудоустройства Ключевыми навыками аналитика являются умение собирать, анализировать и презентовать данные. Но где сегодня научиться этим навыкам и освоить основные инструменты аналитики? Приглашаем вас на курс «Профессия «Аналити Аналитик данных с нуля до трудоустройства Ключевыми навыками аналитика являются умение собирать, анализировать и презентовать данные. Но где сегодня научиться этим навыкам и освоить основные инструменты аналитики? Приглашаем вас на курс «Профессия «Аналити

Аналитик данных с нуля до трудоустройства Ключевыми навыками аналитика являются умение собирать, анализировать и презентовать данные. Но где сегодня научиться этим навыкам и освоить основные инструменты аналитики? Приглашаем вас на курс «Профессия «Аналитика данных» от Moscow Digital School. Во время обучения вы освоите логические операторы SQL, работу с дашбордами BI, визуализации данных в Python, инструменты Excel и создадите свой аналитический проект. Научитесь строить прогнозы на основе данных и помогать бизнесу принимать решения. На курсе вас ждет большой объем практических заданий, а эксперты аналитики будут сопровождать вас на каждом этапе обучение, доступным языком объясняя сложные …

2 дня, 11 часов назад @ t.me
День открытых дверей направления «Анализ данных»Зарегистрироваться23 мая 17:00 (мск)Бесплатное мероприятие для тех, кто хочет получить новую профессию и работать с данными.Яндекс Практикум помогает людям расти — на работе и в жизни. У нас вы можете получит
День открытых дверей направления «Анализ данных»Зарегистрироваться23 мая 17:00 (мск)Бесплатное мероприятие для тех, кто хочет получить новую профессию и работать с данными.Яндекс Практикум помогает людям расти — на работе и в жизни. У нас вы можете получит День открытых дверей направления «Анализ данных»Зарегистрироваться23 мая 17:00 (мск)Бесплатное мероприятие для тех, кто хочет получить новую профессию и работать с данными.Яндекс Практикум помогает людям расти — на работе и в жизни. У нас вы можете получит

День открытых дверей направления «Анализ данных»Зарегистрироваться23 мая 17:00 (мск)Бесплатное мероприятие для тех, кто хочет получить новую профессию и работать с данными.Яндекс Практикум помогает людям расти — на работе и в жизни. У нас вы можете получить новую специальность и найти работу с помощью нашего карьерного центра. Одно из образовательных направлений Практикума — «Анализ данных». 23 мая на Дне открытых дверей мы расскажем, как устроена сфера анализа данных, какие профессии в ней существуют, на что стоит обратить внимание, выбирая специальность, как учиться и не бросать и как потом найти работу. На протяжении всей трансляции вы сможете задавать выступающим экспертам свои вопросы.

3 дня, 8 часов назад @ t.me
Постройте систему обработки, хранения и аналитики больших данных с помощью сервисов Selectel.Самостоятельно соберите решение под ваши задачи или пользуйтесь экспертизой наших специалистов.Решать задачи анализа данных с сервисами Selectel — удобно:— В @Sele
Постройте систему обработки, хранения и аналитики больших данных с помощью сервисов Selectel.Самостоятельно соберите решение под ваши задачи или пользуйтесь экспертизой наших специалистов.Решать задачи анализа данных с сервисами Selectel — удобно:— В @Sele Постройте систему обработки, хранения и аналитики больших данных с помощью сервисов Selectel.Самостоятельно соберите решение под ваши задачи или пользуйтесь экспертизой наших специалистов.Решать задачи анализа данных с сервисами Selectel — удобно:— В @Sele

Постройте систему обработки, хранения и аналитики больших данных с помощью сервисов Selectel.Самостоятельно соберите решение под ваши задачи или пользуйтесь экспертизой наших специалистов.Решать задачи анализа данных с сервисами Selectel — удобно:— В @Selectel есть конфигурации серверов и виртуальных машин, которые уже готовы к работе. Если вам нужен сервер нестандартной конфигурации — мы соберем его максимум за 5 рабочих дней.— Вам не нужно покупать и содержать собственные серверы. Пользуясь услугами Selectel, вы платите за арендованные ресурсы, а мы контролируем безопасность и работоспособность оборудования.— Арендуйте серверы и межсетевые экраны в аттестованной инфраструктуре Selectel, ч…

4 дня, 9 часов назад @ t.me
Стань системным аналитиком, который нужен рынку — получи все необходимые навыки на новом курсе от Яндекс ПрактикумаЗа восемь месяцев курса студенты получат знания и опыт, которые позволят им чувствовать себя уверенно в роли системного аналитика в разных ко
Стань системным аналитиком, который нужен рынку — получи все необходимые навыки на новом курсе от Яндекс ПрактикумаЗа восемь месяцев курса студенты получат знания и опыт, которые позволят им чувствовать себя уверенно в роли системного аналитика в разных ко

Стань системным аналитиком, который нужен рынку — получи все необходимые навыки на новом курсе от Яндекс ПрактикумаЗа восемь месяцев курса студенты получат знания и опыт, которые позволят им чувствовать себя уверенно в роли системного аналитика в разных компаниях и секторах бизнеса.Программа предназначена для:▪️начинающих аналитиков;▪️аналитиков из других сфер;▪️IT-специалистов; ▪️новичков.В рамках курса студенты научатся: — собирать требования к программному продукту, обеспечивать их полноту и непротиворечивость;— разрабатывать прототипы пользовательских интерфейсов;— проектировать программные интерфейсы (API);— помогать команде разработки реализовывать требования к программному обеспечени…

6 дней, 5 часов назад @ t.me
Яндекс Практикум ищет ревьюеров на курсы Аналитик данных и Специалист по Data Science.Ждём специалистов с такими навыками:Python для анализа данных;библиотеки pandas, NumPy, Matplotlib, sklearn;основы математического анализа, линейной алгебры, теории вероя
Яндекс Практикум ищет ревьюеров на курсы Аналитик данных и Специалист по Data Science.Ждём специалистов с такими навыками:Python для анализа данных;библиотеки pandas, NumPy, Matplotlib, sklearn;основы математического анализа, линейной алгебры, теории вероя Яндекс Практикум ищет ревьюеров на курсы Аналитик данных и Специалист по Data Science.Ждём специалистов с такими навыками:Python для анализа данных;библиотеки pandas, NumPy, Matplotlib, sklearn;основы математического анализа, линейной алгебры, теории вероя

Яндекс Практикум ищет ревьюеров на курсы Аналитик данных и Специалист по Data Science.Ждём специалистов с такими навыками:Python для анализа данных;библиотеки pandas, NumPy, Matplotlib, sklearn;основы математического анализа, линейной алгебры, теории вероятности и статистики.Мы предлагаем:→ Частичную занятость.→ Доход от 48 000 ₽ в месяц, который зависит от количества проверенных работ — можете регулировать сами.→ Удалённую работу с гибким графиком от 15 часов в неделю.→ Опыт менторства: научим давать развивающую обратную связь начинающим аналитикам и учить их совершенствовать проекты.→ Доступ к курсам Практикума по аналитике данных или Data Science и скидки на остальные курсы.→ Практику ко…

2 недели, 4 дня назад @ t.me
🔥 У нас вышла очередня «безумная😅» статья на vc Почему нельзя просто так взять и сделать свою аналитику на больших данныхМало просто начать собирать данные, чтобы делать аналитику. Если вы отслеживаете пользовательские пути и совершаете касания в разных ка
🔥 У нас вышла очередня «безумная😅» статья на vc Почему нельзя просто так взять и сделать свою аналитику на больших данныхМало просто начать собирать данные, чтобы делать аналитику. Если вы отслеживаете пользовательские пути и совершаете касания в разных ка

🔥 У нас вышла очередня «безумная😅» статья на vc Почему нельзя просто так взять и сделать свою аналитику на больших данныхМало просто начать собирать данные, чтобы делать аналитику. Если вы отслеживаете пользовательские пути и совершаете касания в разных каналах, нужна надежная система сбора и хранения статистики, нужны витрины данных и ресурсы на поддержку и развитие всей инфраструктуры. Не говорю уже о том, что к любой системе аналитики нужно добавить самого аналитика, чтобы появились выводы, гипотезы и решения.А если вы хотите делать машинное обучение, то еще и команду ML-специалистов, которые будут писать статистические модели для обработки ваших данных.... и это только начало пути 🙂 Чит…

3 недели, 3 дня назад @ t.me
Месяц назад ребята из Delivery Club поделились первой частью эволюции собственной рекомендательной системы ресторанов. Подробнее в публикации на Хабре.На днях вышло продолжение. Из новой статьи вы узнаете, как отранжировать рестораны персонально для каждог
Месяц назад ребята из Delivery Club поделились первой частью эволюции собственной рекомендательной системы ресторанов. Подробнее в публикации на Хабре.На днях вышло продолжение. Из новой статьи вы узнаете, как отранжировать рестораны персонально для каждог Месяц назад ребята из Delivery Club поделились первой частью эволюции собственной рекомендательной системы ресторанов. Подробнее в публикации на Хабре.На днях вышло продолжение. Из новой статьи вы узнаете, как отранжировать рестораны персонально для каждог

Месяц назад ребята из Delivery Club поделились первой частью эволюции собственной рекомендательной системы ресторанов. Подробнее в публикации на Хабре.На днях вышло продолжение. Из новой статьи вы узнаете, как отранжировать рестораны персонально для каждого пользователя, зачем нужна офлайновая ML-модель и почему обучение моделей «в лоб» не работает.

3 недели, 4 дня назад @ t.me
⭐️ digital-конференция:ВИЗУАЛИЗАЦИЯ ДАННЫХв рамках Sibur Digital Community26 апреля: Графика и визуализация27-28 апреля: Данные и визуализация Детали и тезисы✅ 26 апреля (вторник)ГРАФИКА И ВИЗУАЛИЗАЦИЯ 17:00 - 20:00 (мск)▪️ "Манипуляции в инфографике: темн
⭐️ digital-конференция:ВИЗУАЛИЗАЦИЯ ДАННЫХв рамках Sibur Digital Community26 апреля: Графика и визуализация27-28 апреля: Данные и визуализация Детали и тезисы✅ 26 апреля (вторник)ГРАФИКА И ВИЗУАЛИЗАЦИЯ 17:00 - 20:00 (мск)▪️ "Манипуляции в инфографике: темн ⭐️ digital-конференция:ВИЗУАЛИЗАЦИЯ ДАННЫХв рамках Sibur Digital Community26 апреля: Графика и визуализация27-28 апреля: Данные и визуализация Детали и тезисы✅ 26 апреля (вторник)ГРАФИКА И ВИЗУАЛИЗАЦИЯ 17:00 - 20:00 (мск)▪️ "Манипуляции в инфографике: темн

⭐️ digital-конференция:ВИЗУАЛИЗАЦИЯ ДАННЫХв рамках Sibur Digital Community26 апреля: Графика и визуализация27-28 апреля: Данные и визуализация Детали и тезисы✅ 26 апреля (вторник)ГРАФИКА И ВИЗУАЛИЗАЦИЯ 17:00 - 20:00 (мск)▪️ "Манипуляции в инфографике: темная сторона визуализации данных" ▪️ "Презентации в условиях изменений. Чего следует избегать в оформлении слайдов и к чему стремиться"✅ 27 апреля (среда)ДАННЫЕ И ВИЗУАЛИЗАЦИЯ 17:00 - 20:00 (мск)▪️ "BI платформы. Тренды, Гартнер и импортозамещение"▪️"Кейсы дашбордов в промышленности. Как построить пульт управления заводом" ✅ 28 апреля (четверг)ДАННЫЕ И ВИЗУАЛИЗАЦИЯ 17:00 - 20:00 (мск)▪️ "Дашбордизация как цифровой консалтинг" ▪️ "Визуализаци…

3 недели, 5 дней назад @ t.me
Российские разработчики продолжают расширять линейку своих аналитических решений Спрос на облачные BI-сервисы на российском рынке набирает обороты и существенным фактором при выборе решения становится упрощение инструментов анализа данных. Компания «ОСТ» в
Российские разработчики продолжают расширять линейку своих аналитических решений Спрос на облачные BI-сервисы на российском рынке набирает обороты и существенным фактором при выборе решения становится упрощение инструментов анализа данных. Компания «ОСТ» в Российские разработчики продолжают расширять линейку своих аналитических решений Спрос на облачные BI-сервисы на российском рынке набирает обороты и существенным фактором при выборе решения становится упрощение инструментов анализа данных. Компания «ОСТ» в

Российские разработчики продолжают расширять линейку своих аналитических решений Спрос на облачные BI-сервисы на российском рынке набирает обороты и существенным фактором при выборе решения становится упрощение инструментов анализа данных. Компания «ОСТ» выпустила новую информационно-аналитическую систему «Analytic Workspace». Ключевые преимущества: поддержка self-service аналитики, подключение к разным источникам данных, настройка визуального оформления. Кроме того, у компании уже появились первые партнеры. Вместе с «БАРС Груп», крупным российским производителем ИТ-решений, «ОСТ» создает инновационные проекты в области BI. Интеграция платформы «Alpha BI» и сервиса «Analytic Workspace» позв…

3 недели, 6 дней назад @ t.me
Стань системным аналитиком, который нужен рынку — получи все необходимые навыки на новом курсе от Яндекс ПрактикумаЗа восемь месяцев курса студенты получат знания и опыт, которые позволят им чувствовать себя уверенно в роли системного аналитика в разных ко
Стань системным аналитиком, который нужен рынку — получи все необходимые навыки на новом курсе от Яндекс ПрактикумаЗа восемь месяцев курса студенты получат знания и опыт, которые позволят им чувствовать себя уверенно в роли системного аналитика в разных ко

Стань системным аналитиком, который нужен рынку — получи все необходимые навыки на новом курсе от Яндекс ПрактикумаЗа восемь месяцев курса студенты получат знания и опыт, которые позволят им чувствовать себя уверенно в роли системного аналитика в разных компаниях и секторах бизнеса.Программа предназначена для:• начинающих аналитиков;• аналитиков из других сфер;• IT-специалистов; • новичков.В рамках курса студенты научатся: — собирать требования к программному продукту, обеспечивать их полноту и непротиворечивость;— разрабатывать прототипы пользовательских интерфейсов;— проектировать программные интерфейсы (API);— помогать команде разработки реализовывать требования к программному обеспечени…

1 месяц назад @ t.me
Полезные ссылки для знакомства и работы с DataLensБольшой функциональный демо дашборд:- datalens.yandex/demo - публичный, только чтение- Развернуть дашборд в своем DataLens для редактированияСообщество: - Телеграм чат (вы сейчас тут)- Предложить и проголо
Полезные ссылки для знакомства и работы с DataLensБольшой функциональный демо дашборд:- datalens.yandex/demo - публичный, только чтение- Развернуть дашборд в своем DataLens для редактированияСообщество: - Телеграм чат (вы сейчас тут)- Предложить и проголо

Полезные ссылки для знакомства и работы с DataLensБольшой функциональный демо дашборд:- datalens.yandex/demo - публичный, только чтение- Развернуть дашборд в своем DataLens для редактированияСообщество: - Телеграм чат (вы сейчас тут)- Предложить и проголосовать за новую фичу- Плейлист официальных мероприятий на YouTubeОбучение:- Быстрый старт, пошаговая инструкция- Более детальные пошаговые инструкции по сценариям- Туториалы по аналитическим функциям: агрегации, оконные функции, Level-of-Detail выражения- Создание SQL-чартов (если вам нужно больше гибкости модели данных)- Образовательные проектыFAQ в документации:- https://cloud.yandex.ru/docs/datalens/qa/Публичные кейсы использования DataL…

1 месяц назад @ t.me
Яндекс выложили в открытый доступ систему управления базами данных YDB [1] с полным исходным кодом [2]. Эта распределенная SQL база данных, с собственным расширением языка SQL - YQL [3] и, в целом, выглядит любопытно. Что стоит внимания:- работа в кластере
Яндекс выложили в открытый доступ систему управления базами данных YDB [1] с полным исходным кодом [2]. Эта распределенная SQL база данных, с собственным расширением языка SQL - YQL [3] и, в целом, выглядит любопытно. Что стоит внимания:- работа в кластере

Яндекс выложили в открытый доступ систему управления базами данных YDB [1] с полным исходным кодом [2]. Эта распределенная SQL база данных, с собственным расширением языка SQL - YQL [3] и, в целом, выглядит любопытно. Что стоит внимания:- работа в кластере как часть системы- обещанная простая масштабируемостьЧто удивительно:- база написана полностью на C++, хотя сейчас более популярно когда базы данных создаются на более высокоуровневых языках, в том числе и для того чтобы привлечь разработчиков которые хотят их изучать- поддержка JSON и иерархических данных весьма скромная, по крайней мере документации об этом мало, хотя и упоминается- вместо придумывания своего языка запросов расширяют SQ…

1 месяц назад @ t.me
Ответим на 7 важных вопросов, которые задает каждый новичок в аналитике данных.18 апреля 19:00Зарегистрироваться
Ответим на 7 важных вопросов, которые задает каждый новичок в аналитике данных.18 апреля 19:00Зарегистрироваться Ответим на 7 важных вопросов, которые задает каждый новичок в аналитике данных.18 апреля 19:00Зарегистрироваться

Ответим на 7 важных вопросов, которые задает каждый новичок в аналитике данных.18 апреля 19:00Зарегистрироваться

1 месяц назад @ t.me
Привет!В своём Instagram блоге мне часто задают вопросы про- роль аналитика данных на проекте - понятие data-продукта и как их создают компанииПоэтому я предлагаю обсудить эту интересную тему на онлайн-воркшопе вместе со мной, где я расскажу детально следу
Привет!В своём Instagram блоге мне часто задают вопросы про- роль аналитика данных на проекте - понятие data-продукта и как их создают компанииПоэтому я предлагаю обсудить эту интересную тему на онлайн-воркшопе вместе со мной, где я расскажу детально следу

Привет!В своём Instagram блоге мне часто задают вопросы про- роль аналитика данных на проекте - понятие data-продукта и как их создают компанииПоэтому я предлагаю обсудить эту интересную тему на онлайн-воркшопе вместе со мной, где я расскажу детально следующие темы:1. Что такое data-продукт2. Жизненный цикл проекта и data-продукта3. Роль аналитика на data-проекте4. Демонстрация небольшого практического проекта с помощью Python, SQL и Power BIУчастие в воркшопе полностью свободное и бесплатное, приветствуются живые вопросы по теме воркшопа во время встречи 😉📍Когда - Воскресенье (17 апреля) 📍Время - 12:00 по МСК📍Где и как подключиться - Яндекс.Телемост (ссылка на событие https://calendar.yand…

1 месяц, 1 неделя назад @ t.me
Хорошая возможность для студентов в IT. Занимайтесь любимым делом, участвуйте в хакатонах и олимпиадах и поддерживайте отличную успеваемость. Тинькофф позаботится о вашей стипендии: каждый месяц учебного года участники новой стипендиальной программы будут
Хорошая возможность для студентов в IT. Занимайтесь любимым делом, участвуйте в хакатонах и олимпиадах и поддерживайте отличную успеваемость. Тинькофф позаботится о вашей стипендии: каждый месяц учебного года участники новой стипендиальной программы будут Хорошая возможность для студентов в IT. Занимайтесь любимым делом, участвуйте в хакатонах и олимпиадах и поддерживайте отличную успеваемость. Тинькофф позаботится о вашей стипендии: каждый месяц учебного года участники новой стипендиальной программы будут

Хорошая возможность для студентов в IT. Занимайтесь любимым делом, участвуйте в хакатонах и олимпиадах и поддерживайте отличную успеваемость. Тинькофф позаботится о вашей стипендии: каждый месяц учебного года участники новой стипендиальной программы будут получать 25 000 ₽.В отборе могут участвовать студенты бакалавриата, специалитета и магистратуры технических специальностей из любых городов и вузов России. Если подходишь по всем критериям, выбирай подходящий трек и подавай заявку.

1 месяц, 1 неделя назад @ t.me
Труба данных Труба данных
последний пост 7 часов назад
https://www.getlago.com/blog/why-billing-systems-are-a-nightmare-for-engineersРабота с биллингом - боль. В смысле, это очень сложно и mission critical, любая ошибка стоит дофига денег.По ссылке выше прекрасная статья о сложностях, с которыми приходится ста
https://www.getlago.com/blog/why-billing-systems-are-a-nightmare-for-engineersРабота с биллингом - боль. В смысле, это очень сложно и mission critical, любая ошибка стоит дофига денег.По ссылке выше прекрасная статья о сложностях, с которыми приходится ста

https://www.getlago.com/blog/why-billing-systems-are-a-nightmare-for-engineersРабота с биллингом - боль. В смысле, это очень сложно и mission critical, любая ошибка стоит дофига денег.По ссылке выше прекрасная статья о сложностях, с которыми приходится сталкиваться при работе над биллингом.

7 часов назад @ t.me
А давайте поговорим еще разок про блоги и паблики?Я для чтения и слежения за всякими блогами пользуюсь древней как Греция технологией под названием RSS. И очередной раз просматривая ленту Medium и Reddit по теме Data Engineering, бегло читая заголовки в по
А давайте поговорим еще разок про блоги и паблики?Я для чтения и слежения за всякими блогами пользуюсь древней как Греция технологией под названием RSS. И очередной раз просматривая ленту Medium и Reddit по теме Data Engineering, бегло читая заголовки в по

А давайте поговорим еще разок про блоги и паблики?Я для чтения и слежения за всякими блогами пользуюсь древней как Греция технологией под названием RSS. И очередной раз просматривая ленту Medium и Reddit по теме Data Engineering, бегло читая заголовки в поисках хорошей статьи или новости, я натыкаюсь на 856 статью про то, как начать пользоваться DBT, с десяток вопросов в стиле “Чем отличается Data Engineer от Big Data Engineer?” и т.д. И мне становится от этого грустно.Потому что количество материала растет, а его качество - падает. Причем очень стремительно. Поэтому я решил, что нужно немножко почистить ленту, уменьшить количество источников, откуда приходит контент.И в рамках этой очистки…

3 дня, 13 часов назад @ t.me
Так, мне тут рассылка от DataTalks.Club (Это те ребята, которые делали Zoomcamp DE - https://t.me/ohmydataengineer/172) принесла еще одну конференцию про DE - The ML Data Engineering ConferenceСсылка на регистрацию и темы на два дня - тут
Так, мне тут рассылка от DataTalks.Club (Это те ребята, которые делали Zoomcamp DE - https://t.me/ohmydataengineer/172) принесла еще одну конференцию про DE - The ML Data Engineering ConferenceСсылка на регистрацию и темы на два дня - тут Так, мне тут рассылка от DataTalks.Club (Это те ребята, которые делали Zoomcamp DE - https://t.me/ohmydataengineer/172) принесла еще одну конференцию про DE - The ML Data Engineering ConferenceСсылка на регистрацию и темы на два дня - тут

Так, мне тут рассылка от DataTalks.Club (Это те ребята, которые делали Zoomcamp DE - https://t.me/ohmydataengineer/172) принесла еще одну конференцию про DE - The ML Data Engineering ConferenceСсылка на регистрацию и темы на два дня - тут

2 недели, 6 дней назад @ t.me
Тут AirBnB ввел интересную политику про одинаковые зарплаты:https://news.airbnb.com/airbnbs-design-to-live-and-work-anywhere/Вот основные пункты:1. You can work from home or the officeА значит, можно продолжать работать удаленно, а не как Apple всех гонит
Тут AirBnB ввел интересную политику про одинаковые зарплаты:https://news.airbnb.com/airbnbs-design-to-live-and-work-anywhere/Вот основные пункты:1. You can work from home or the officeА значит, можно продолжать работать удаленно, а не как Apple всех гонит

Тут AirBnB ввел интересную политику про одинаковые зарплаты:https://news.airbnb.com/airbnbs-design-to-live-and-work-anywhere/Вот основные пункты:1. You can work from home or the officeА значит, можно продолжать работать удаленно, а не как Apple всех гонит обратно в офис на 3 дня в неделю.2. You can move anywhere in the country you work in and your compensation won’t changeThis means you can move from San Francisco to Nashville, or from Paris to Lyon. If you move, your compensation won’t change. Starting in June, we’ll have single pay tiers by country for both salary and equity. If your pay was set using a lower location-based pay tier, you’ll receive an increase in June.То есть если вы жили…

3 недели, 2 дня назад @ t.me
Для тех, кто любит dbt, там регистрация на Coalesce открылась.И Call for Papers тоже.
Для тех, кто любит dbt, там регистрация на Coalesce открылась.И Call for Papers тоже. Для тех, кто любит dbt, там регистрация на Coalesce открылась.И Call for Papers тоже.

Для тех, кто любит dbt, там регистрация на Coalesce открылась.И Call for Papers тоже.

3 недели, 3 дня назад @ t.me
Вторая вакансия: от Semrush😃Ребята все еще ищут человечка в свою команду и готовы релоцировать в Амстердам.Писать можно Сереже @Lomdjaria или Софико @sofiko_mh, скажите, что от меня.
Вторая вакансия: от Semrush😃Ребята все еще ищут человечка в свою команду и готовы релоцировать в Амстердам.Писать можно Сереже @Lomdjaria или Софико @sofiko_mh, скажите, что от меня. Вторая вакансия: от Semrush😃Ребята все еще ищут человечка в свою команду и готовы релоцировать в Амстердам.Писать можно Сереже @Lomdjaria или Софико @sofiko_mh, скажите, что от меня.

Вторая вакансия: от Semrush😃Ребята все еще ищут человечка в свою команду и готовы релоцировать в Амстердам.Писать можно Сереже @Lomdjaria или Софико @sofiko_mh, скажите, что от меня.

1 месяц назад @ t.me
Первая от Ивана, просто потому что это очень классное описание вакансии, без всякого булшита корпоративного, честно и прямо. Стек, что делать, с кем и как работать - такое описание читать приятно и сразу понимаешь, что и куда. Контакты, собственно, в сообщ
Первая от Ивана, просто потому что это очень классное описание вакансии, без всякого булшита корпоративного, честно и прямо. Стек, что делать, с кем и как работать - такое описание читать приятно и сразу понимаешь, что и куда. Контакты, собственно, в сообщ

Первая от Ивана, просто потому что это очень классное описание вакансии, без всякого булшита корпоративного, честно и прямо. Стек, что делать, с кем и как работать - такое описание читать приятно и сразу понимаешь, что и куда. Контакты, собственно, в сообщении. Ну и на канал советую подписаться 🤪

1 месяц назад @ t.me
Всё ещё го дата-инжиниритьОказывается, прошло уже почти три месяца после моего поста, где я ищу дата инженера в команду в fishbrain.com 🇸🇪. Тяжко идёт найм: перспективные кандидаты чаще всего хорошо умеют либо в дата моделлинг, либо в ETL/ELT/платформу; но
Всё ещё го дата-инжиниритьОказывается, прошло уже почти три месяца после моего поста, где я ищу дата инженера в команду в fishbrain.com 🇸🇪. Тяжко идёт найм: перспективные кандидаты чаще всего хорошо умеют либо в дата моделлинг, либо в ETL/ELT/платформу; но

Всё ещё го дата-инжиниритьОказывается, прошло уже почти три месяца после моего поста, где я ищу дата инженера в команду в fishbrain.com 🇸🇪. Тяжко идёт найм: перспективные кандидаты чаще всего хорошо умеют либо в дата моделлинг, либо в ETL/ELT/платформу; но не то и другое вместе. А хочется, чтобы умели, чтобы было чему поучиться, да ещё и чтобы произошло культурное совпадение!В общем, я всё ещё ищу DE, который согласится работать с таким фриком как я. Будем клепать ELT, дорабатывать дата модели в обожаемом мной dbt, покрывать тестами, запилим гугловский стриминг, а в перерывах будем ходить на фику по гугл митс и рассказывать друг другу восхитительные истории.По технологиям: Python, SQL, обла…

1 месяц назад @ t.me
Стабильно, несколько раз в неделю мне пишут с запросом на рекламу и денег предлагают.Но нет, в этом канале платной рекламы не будет никогда, а если я закидываю какую-то ссылку, то это потому, что у меня у самого возник к этому интерес и мне захотелось с ва
Стабильно, несколько раз в неделю мне пишут с запросом на рекламу и денег предлагают.Но нет, в этом канале платной рекламы не будет никогда, а если я закидываю какую-то ссылку, то это потому, что у меня у самого возник к этому интерес и мне захотелось с ва

Стабильно, несколько раз в неделю мне пишут с запросом на рекламу и денег предлагают.Но нет, в этом канале платной рекламы не будет никогда, а если я закидываю какую-то ссылку, то это потому, что у меня у самого возник к этому интерес и мне захотелось с вами этим поделиться.Рубрика #НамБыДжуна давно себя изжила, и мне бы не хотелось превращать свой канал в джоб борд (у нас для этого есть (@datajobs чат и @datajobschannel фид). Но, в виде исключения, хочу запостить две вакансии.

1 месяц назад @ t.me
https://drecon.org/Открылась регистрация (бесплатная) на очередной Дрекон, кхе-кхе)Темы, правда, пока не известны…
https://drecon.org/Открылась регистрация (бесплатная) на очередной Дрекон, кхе-кхе)Темы, правда, пока не известны… https://drecon.org/Открылась регистрация (бесплатная) на очередной Дрекон, кхе-кхе)Темы, правда, пока не известны…

https://drecon.org/Открылась регистрация (бесплатная) на очередной Дрекон, кхе-кхе)Темы, правда, пока не известны…

1 месяц, 3 недели назад @ t.me
Страшные ужасы вендор-лока. Например, Vertica запретила скачивать драйверы со своего сайта всем, кто заходит с Российского IP.Конечно, VPN решает проблему, но кто знает, что будет дальше…
Страшные ужасы вендор-лока. Например, Vertica запретила скачивать драйверы со своего сайта всем, кто заходит с Российского IP.Конечно, VPN решает проблему, но кто знает, что будет дальше… Страшные ужасы вендор-лока. Например, Vertica запретила скачивать драйверы со своего сайта всем, кто заходит с Российского IP.Конечно, VPN решает проблему, но кто знает, что будет дальше…

Страшные ужасы вендор-лока. Например, Vertica запретила скачивать драйверы со своего сайта всем, кто заходит с Российского IP.Конечно, VPN решает проблему, но кто знает, что будет дальше…

1 месяц, 3 недели назад @ t.me
Всем привет!С 28 числа в этом канале не было сообщений. Сами знаете почему.Тут недавно в твиттере проскакивало две фразы, которые мне сильно зацепились.“Ребята, если хотите сохранить кукуху - найдите для себя свой, личный способ выхода энергии. Нестерпимая
Всем привет!С 28 числа в этом канале не было сообщений. Сами знаете почему.Тут недавно в твиттере проскакивало две фразы, которые мне сильно зацепились.“Ребята, если хотите сохранить кукуху - найдите для себя свой, личный способ выхода энергии. Нестерпимая

Всем привет!С 28 числа в этом канале не было сообщений. Сами знаете почему.Тут недавно в твиттере проскакивало две фразы, которые мне сильно зацепились.“Ребята, если хотите сохранить кукуху - найдите для себя свой, личный способ выхода энергии. Нестерпимая ситуация рождает боль, боль рождает желание её уменьшить.“и"Может ли булочник печь булки во время войны?".Так вот, у меня есть продолжить желание писать сюда в канал. Мне нужен этот выход энергии.Странно, конечно, спрашивать “А вы не против, если я продолжу писать сюда?”, ведь это мой канал 😁Но я понимаю, что есть люди, которые могут не разделить мою позицию, мол “Почему ты продолжаешь писать про айтишку, когда идет специальная военная оп…

1 месяц, 4 недели назад @ t.me
Так, среди всех новостных подписок и ресурсов мне очень нравится The Pragmatic Engineer. Это тот самый, который про 3-modal компании (tier 1, tier 2, tier 3) популярный пост писал и видео снимал.У него очень много полезного материала в его рассылке, и част
Так, среди всех новостных подписок и ресурсов мне очень нравится The Pragmatic Engineer. Это тот самый, который про 3-modal компании (tier 1, tier 2, tier 3) популярный пост писал и видео снимал.У него очень много полезного материала в его рассылке, и част

Так, среди всех новостных подписок и ресурсов мне очень нравится The Pragmatic Engineer. Это тот самый, который про 3-modal компании (tier 1, tier 2, tier 3) популярный пост писал и видео снимал.У него очень много полезного материала в его рассылке, и часть из них платная. Подписка стоит $15 в месяц (12, если платить за год сразу), но если ему написать на почту hello at pragmaticengineer dot com, чесно признаться, что вы из России, то можно получить скидку в 55%.Вот такой вот хороший оффер! Подписку честно советую!Можете в письме мягко упомянуть “Hello from Simon” =)

2 месяца, 3 недели назад @ t.me
Да, трудное и очень дурацкое время, мы все все понимаем. Но все же…Ребята из CityMobil проводят очередной Data Meetup. Темы снова две:- Сбор и валидация субъективных данных на примере заказов по пути домой- Антифрод на рынке такси. Определение мошеннически
Да, трудное и очень дурацкое время, мы все все понимаем. Но все же…Ребята из CityMobil проводят очередной Data Meetup. Темы снова две:- Сбор и валидация субъективных данных на примере заказов по пути домой- Антифрод на рынке такси. Определение мошеннически Да, трудное и очень дурацкое время, мы все все понимаем. Но все же…Ребята из CityMobil проводят очередной Data Meetup. Темы снова две:- Сбор и валидация субъективных данных на примере заказов по пути домой- Антифрод на рынке такси. Определение мошеннически

Да, трудное и очень дурацкое время, мы все все понимаем. Но все же…Ребята из CityMobil проводят очередной Data Meetup. Темы снова две:- Сбор и валидация субъективных данных на примере заказов по пути домой- Антифрод на рынке такси. Определение мошеннических действий через анализ связности графа поездокРегистрация доступна по ссылке тут

2 месяца, 3 недели назад @ t.me
Ребята из Тинькофф на своем недавнем митапе IT's Tinkoff Data Meetup говорили про устройство и процессы Data warehouse, а так же про инструменты в Data Governance.Две темы:- Data Governance в Тинькофф- Подходы к внедрению платформы управления данными в кру
Ребята из Тинькофф на своем недавнем митапе IT's Tinkoff Data Meetup говорили про устройство и процессы Data warehouse, а так же про инструменты в Data Governance.Две темы:- Data Governance в Тинькофф- Подходы к внедрению платформы управления данными в кру

Ребята из Тинькофф на своем недавнем митапе IT's Tinkoff Data Meetup говорили про устройство и процессы Data warehouse, а так же про инструменты в Data Governance.Две темы:- Data Governance в Тинькофф- Подходы к внедрению платформы управления данными в крупной компанииhttps://meetup.tinkoff.ru/event/tinkoff-data-meetup/Записи презентаций и слайды по ссылке выше.

3 месяца назад @ t.me
enthusiastech enthusiastech
последний пост 8 часов назад
[RU] Вебинар – End-to-End решение для аналитики на примере источника MaestroQA– Extract-Load через API-вызовы и автоматизация в Airflow– Трансформация данных с dbt: обогащение, дедупликация, суррогатные ключи, приведение типов– Моделирование метрик в Looke
[RU] Вебинар – End-to-End решение для аналитики на примере источника MaestroQA– Extract-Load через API-вызовы и автоматизация в Airflow– Трансформация данных с dbt: обогащение, дедупликация, суррогатные ключи, приведение типов– Моделирование метрик в Looke

[RU] Вебинар – End-to-End решение для аналитики на примере источника MaestroQA– Extract-Load через API-вызовы и автоматизация в Airflow– Трансформация данных с dbt: обогащение, дедупликация, суррогатные ключи, приведение типов– Моделирование метрик в Looker BI: слой доступа, визуализация, drill-downСлайды вебинара: https://docs.google.com/presentation/d/1K72UiPjy1ljVRKieLPQdeilC75zZ2N4QszH_XKhR3kM/edit?usp=sharing

8 часов назад @ t.me
Одна из самых важных идей заключается в том, что заказчик, кем бы он ни был (Manager, Product Owner, CEO), почти никогда не ставит задачу в инженерных терминах:— Налить 100500 гигабайт в Хранилище— Добавить multithreading в код— Написать супероптимальный з
Одна из самых важных идей заключается в том, что заказчик, кем бы он ни был (Manager, Product Owner, CEO), почти никогда не ставит задачу в инженерных терминах:— Налить 100500 гигабайт в Хранилище— Добавить multithreading в код— Написать супероптимальный з Одна из самых важных идей заключается в том, что заказчик, кем бы он ни был (Manager, Product Owner, CEO), почти никогда не ставит задачу в инженерных терминах:— Налить 100500 гигабайт в Хранилище— Добавить multithreading в код— Написать супероптимальный з

Одна из самых важных идей заключается в том, что заказчик, кем бы он ни был (Manager, Product Owner, CEO), почти никогда не ставит задачу в инженерных терминах:— Налить 100500 гигабайт в Хранилище— Добавить multithreading в код— Написать супероптимальный запрос— Создать 15 dbt-моделейЗа любой инженерной задачей стоит решение конкретных бизнес-проблем. Для нас это:— Прозрачность Customer Support (фиксируем все оценки, инциденты)— Результативность на ладони (отслеживаем динамику показателей во времени)— Отчитываемся о KPI команд поддержки (агрегирующие показатели по командам, городам, странам и т.д.)— Получаем обратную связь и исправляем ошибки (идентификация слабых/проблемных мест и быстрый …

6 дней, 10 часов назад @ t.me
Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности
Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности

Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности в рамках конкретной прикладной задачи.В этой публикации:— Что значит решение End-to-End и в чем его ценность?— Организация Extract & Load данных из асинхронного API MaestroQA— Моделирование витрин данных с помощью dbt— Поставка ценности для пользователей с помощью LookerЧитать на Хабр →#pipelines #ELT #dwh #modeling #bi

6 дней, 10 часов назад @ t.me
Новая публикация на Хабр ⬇️⬇️⬇️
Новая публикация на Хабр ⬇️⬇️⬇️

Новая публикация на Хабр ⬇️⬇️⬇️

6 дней, 10 часов назад @ t.me
Excerpt from Python for DevOps / What Does DevOps Mean to the Authors?At one company, Noah had a project that was over a year late, and the web application had been rewritten three times in multiple languages. This next release only needed a “performance e
Excerpt from Python for DevOps / What Does DevOps Mean to the Authors?At one company, Noah had a project that was over a year late, and the web application had been rewritten three times in multiple languages. This next release only needed a “performance e

Excerpt from Python for DevOps / What Does DevOps Mean to the Authors?At one company, Noah had a project that was over a year late, and the web application had been rewritten three times in multiple languages. This next release only needed a “performance engineer” to get it finished. I remember being the only one brave or stupid enough to say, “What is a performance engineer?” This engineer made everything work at scale. He realized at that point that they were looking for a superhero to save them. Superhero hiring syndrome is the best way to pick up on something being very wrong on a new product or a new startup. No employee will save a company unless they first save themselves.it turned o…

2 недели, 5 дней назад @ t.me
Требования к ETL-сервисам – построение аналитических решений на базе myBI ConnectСегодня речь пойдет о сервисах интеграции данных, их функциональных возможностях и ограничениях. Рассмотрение будем вести на примере сервиса myBI Connect, опираясь на который
Требования к ETL-сервисам – построение аналитических решений на базе myBI ConnectСегодня речь пойдет о сервисах интеграции данных, их функциональных возможностях и ограничениях. Рассмотрение будем вести на примере сервиса myBI Connect, опираясь на который

Требования к ETL-сервисам – построение аналитических решений на базе myBI ConnectСегодня речь пойдет о сервисах интеграции данных, их функциональных возможностях и ограничениях. Рассмотрение будем вести на примере сервиса myBI Connect, опираясь на который я реализовал с десяток аналитических проектов за последние несколько лет.Отмечу, что с конца февраля ребята сделали значительные шаги в сторону развития отказоустойчивости и масштабируемости своего решения. Заглядывайте под кат, если стоите перед выбором коннектора или хотите выжимать максимум из доступного:— Требования и ожидаемые результаты.— Функциональные возможности.— Сценарии использования и бизнес-ценность.— Планы развития, продвину…

1 месяц назад @ t.me
Новая публикация на Хабр ⬇️⬇️⬇️
Новая публикация на Хабр ⬇️⬇️⬇️

Новая публикация на Хабр ⬇️⬇️⬇️

1 месяц назад @ t.me
[RU] Стратегия инкрементального наполнения витрин: необходимость, реализация, подводные камниИтак, Вы работаете с Большими Данными:— Обработка этих данных требует значительного времени (и затрат 💰)— Исторические данные не меняются (или не должны меняться)
[RU] Стратегия инкрементального наполнения витрин: необходимость, реализация, подводные камниИтак, Вы работаете с Большими Данными:— Обработка этих данных требует значительного времени (и затрат 💰)— Исторические данные не меняются (или не должны меняться)

[RU] Стратегия инкрементального наполнения витрин: необходимость, реализация, подводные камниИтак, Вы работаете с Большими Данными:— Обработка этих данных требует значительного времени (и затрат 💰)— Исторические данные не меняются (или не должны меняться) - как правило, это свершившиеся факты— Если Вам удается не делать повторную обработку исторических данных - Вы экономите время и затраты#dbt #incremental #dwhЧитать на Хабр →

1 месяц, 1 неделя назад @ t.me
Новая публикация на Хабр ⬇️⬇️⬇️
Новая публикация на Хабр ⬇️⬇️⬇️

Новая публикация на Хабр ⬇️⬇️⬇️

1 месяц, 1 неделя назад @ t.me
So, what do you think of it all?Have you ever used dbt incremental models?Let's discuss in comments section.#dbt #incremental #subquery
So, what do you think of it all?Have you ever used dbt incremental models?Let's discuss in comments section.#dbt #incremental #subquery

So, what do you think of it all?Have you ever used dbt incremental models?Let's discuss in comments section.#dbt #incremental #subquery

1 месяц, 2 недели назад @ t.me
In older times I would just use a hint to make joins run in a specific way to filter rows early, however today just shuffling join order was good enough! from {{ ref('stg_orders_tmp') }} as orders {% if is_incremental() %} left join {{ this }}
In older times I would just use a hint to make joins run in a specific way to filter rows early, however today just shuffling join order was good enough! from {{ ref('stg_orders_tmp') }} as orders {% if is_incremental() %} left join {{ this }}

In older times I would just use a hint to make joins run in a specific way to filter rows early, however today just shuffling join order was good enough! from {{ ref('stg_orders_tmp') }} as orders {% if is_incremental() %} left join {{ this }} on orders.request_id = {{ this }}.request_id and orders.__metadata_timestamp = {{ this }}.__metadata_timestamp {% endif %} left join {{ ref('stg_zones_tmp') }} as pickup on ST_Intersects( ST_Point(orders.pickup_position_lon, orders.pickup_position_lat), pickup.geometry) left join {{ ref('stg_zones_tmp') }} as dropoff on ST_Intersects( ST_Point(orders.dropoff_position_lon, orders.dropoff_position_lat), dropoff.geometry){% if is_incremental() %} where {…

1 месяц, 2 недели назад @ t.me
So took another apporach – Anti-join{% if is_incremental() %} left join {{ this }} on orders.request_id = {{ this }}.request_id and orders.__metadata_timestamp = {{ this }}.__metadata_timestamp where {{ this }}.request_i
So took another apporach – Anti-join{% if is_incremental() %} left join {{ this }} on orders.request_id = {{ this }}.request_id and orders.__metadata_timestamp = {{ this }}.__metadata_timestamp where {{ this }}.request_i

So took another apporach – Anti-join{% if is_incremental() %} left join {{ this }} on orders.request_id = {{ this }}.request_id and orders.__metadata_timestamp = {{ this }}.__metadata_timestamp where {{ this }}.request_id is null{% endif %} But unfortunately EXPLAIN plan revealed Redshift performs anti-join + filtering after performing 2 GEO-spatial joins. Which technically means processing full data set and resets any incrementality benefits.

1 месяц, 2 недели назад @ t.me
One can increase lookback interval to 12, 24 or even 48 hours which totally can solve most of the cases, but I decided to rewrite my query in a smart way using NOT EXISTS clause: where true {% if is_incremental() %} and not exists (
One can increase lookback interval to 12, 24 or even 48 hours which totally can solve most of the cases, but I decided to rewrite my query in a smart way using NOT EXISTS clause: where true {% if is_incremental() %} and not exists (

One can increase lookback interval to 12, 24 or even 48 hours which totally can solve most of the cases, but I decided to rewrite my query in a smart way using NOT EXISTS clause: where true {% if is_incremental() %} and not exists ( select 1 from {{ this }} where orders.request_id = {{ this }}.request_id and orders.__metadata_timestamp = {{ this }}.__metadata_timestamp ) {% endif %} That simply means:– take either completely new rows (‘request_id’ does not exist in {{ this }})– or take ‘request_id’ which exist in {{ this }} but have different __metadata_timestamp (row has been modified)I thought it was perfect, but Amazon Redshift didn’t think so 😅:> This type of correlated subquery pattern…

1 месяц, 2 недели назад @ t.me
The initial incremental clause looked like this: where true {% if is_incremental() %} and orders.__metadata_timestamp >= (select max(__metadata_timestamp) as high_watermark from {{ this }}) {% endif %} So I basically took onl
The initial incremental clause looked like this: where true {% if is_incremental() %} and orders.__metadata_timestamp &gt;= (select max(__metadata_timestamp) as high_watermark from {{ this }}) {% endif %} So I basically took onl

The initial incremental clause looked like this: where true {% if is_incremental() %} and orders.__metadata_timestamp >= (select max(__metadata_timestamp) as high_watermark from {{ this }}) {% endif %} So I basically took only rows where metadata timestamp was newer (later) than timestamp of those rows I already have in my table.Then I realized sometimes metadata timestamp (which is the exact time when the row was fetched from source system) does not increase gradually, some rows get into different batches and land to DWH at different times, so I introduced a lookback period of 3 hours to make sure I don’t miss anything: where true {% if is_incremental() %} and orders.__metadata_timestamp >…

1 месяц, 2 недели назад @ t.me
Hey, everyone!Today I’ve faced with an issue of missing rows in my incremental dbt model.A little background: I calculate GEO-zones for a large amount of events, which is pretty CPU-intensive operation. And of course I want to do it in incremental way, hen
Hey, everyone!Today I’ve faced with an issue of missing rows in my incremental dbt model.A little background: I calculate GEO-zones for a large amount of events, which is pretty CPU-intensive operation. And of course I want to do it in incremental way, hen

Hey, everyone!Today I’ve faced with an issue of missing rows in my incremental dbt model.A little background: I calculate GEO-zones for a large amount of events, which is pretty CPU-intensive operation. And of course I want to do it in incremental way, hence only processing deltas - new and changed rows.If you still don’t use incremental models, you probably want to take a look at dbtLabs Docs on it.So, first of all, it was relationships test which has given me a clue I was missing some rows.

1 месяц, 2 недели назад @ t.me
data будни data будни
последний пост 2 недели, 2 дня назад
Marc Lamberti написал короткий и понятный пост про путь данных из источников к Data Mart через Data Lake.а Руслан Фатхутдинов перевёл его. Получилось интересно.
Marc Lamberti написал короткий и понятный пост про путь данных из источников к Data Mart через Data Lake.а Руслан Фатхутдинов перевёл его. Получилось интересно. Marc Lamberti написал короткий и понятный пост про путь данных из источников к Data Mart через Data Lake.а Руслан Фатхутдинов перевёл его. Получилось интересно.

Marc Lamberti написал короткий и понятный пост про путь данных из источников к Data Mart через Data Lake.а Руслан Фатхутдинов перевёл его. Получилось интересно.

2 недели, 2 дня назад @ t.me
Хочешь научиться — попробуй научить В этот раз я решил не записываться студентом на новый курс от Практикума (двух, пожалуй, хватит). Вместо этого зашёл с «черного хода» и записался туда ревьюером — буду проверять домашки у студентов. С уважением и немно
Хочешь научиться — попробуй научить В этот раз я решил не записываться студентом на новый курс от Практикума (двух, пожалуй, хватит). Вместо этого зашёл с «черного хода» и записался туда ревьюером — буду проверять домашки у студентов. С уважением и немно

Хочешь научиться — попробуй научить В этот раз я решил не записываться студентом на новый курс от Практикума (двух, пожалуй, хватит). Вместо этого зашёл с «черного хода» и записался туда ревьюером — буду проверять домашки у студентов. С уважением и немного…

2 недели, 3 дня назад @ t.me
#подкаст про работу программистом в ГуглеПослушал интервью Ларисы Агарковой — менеджера и техлида уровня 6 в Гугле.- Про автоматические алерты: ни один тикет не игнорится; должно быть действие — либо решать проблему, либо менять правило генерации тикета.-
#подкаст про работу программистом в ГуглеПослушал интервью Ларисы Агарковой — менеджера и техлида уровня 6 в Гугле.- Про автоматические алерты: ни один тикет не игнорится; должно быть действие — либо решать проблему, либо менять правило генерации тикета.-

#подкаст про работу программистом в ГуглеПослушал интервью Ларисы Агарковой — менеджера и техлида уровня 6 в Гугле.- Про автоматические алерты: ни один тикет не игнорится; должно быть действие — либо решать проблему, либо менять правило генерации тикета.- Онкол всегда два человека: даже если вдруг один недоступен, второй должен оперативно отреагировать.- Если обсуждать проблемы в личке, то вокруг этого человека формируется Silo (замкнутая автономная экспертиза). Когда этот человек уйдет, и экспертиза тоже уйдет вместе с ним. Поэтому нужна документация на все действия (и обсуждение проблем через публичные каналы связи).- Работа в «рекламах» (Ads) учит налаживать процессы по стабильности. Есл…

3 недели назад @ t.me
В соседний отдел «внедрения запрещенных технологий» ищут коллегу, кто будет помогать прикручивать всякие распространённые штуки типа Flink и Spark к внутренним велосипедам Яндекса. Вижу тут два жирных плюса: ⁃ работать с известными «открытыми» инструментам
В соседний отдел «внедрения запрещенных технологий» ищут коллегу, кто будет помогать прикручивать всякие распространённые штуки типа Flink и Spark к внутренним велосипедам Яндекса. Вижу тут два жирных плюса: ⁃ работать с известными «открытыми» инструментам

В соседний отдел «внедрения запрещенных технологий» ищут коллегу, кто будет помогать прикручивать всякие распространённые штуки типа Flink и Spark к внутренним велосипедам Яндекса. Вижу тут два жирных плюса: ⁃ работать с известными «открытыми» инструментами отрасли инженерии данных; ⁃ работать в Яндексе: крутые технологии, куча данных, высокая экспертиза, толковые люди.Такое пересечение не часто встретишь =)То есть работа не про написание пайплайнов, как у «обычного» инженера данных, а именно про инструменты для написания пайплайнов. В описании пишут, что ищут разработчика с опытом инженерии данных, но, может, подойдёт и сильный инженер с опытом промышленной разработки:> Нам нужны сильные р…

3 недели, 1 день назад @ t.me
Продолжение...В качестве замеров используем EXPLAIN Postgres - если, его выполнять как EXPLAIN ANALYZE, то получим фактическое время выполнения запроса - пример на первом рисунке.Далее формируем два запроса:Первый - в условии указываем полное время без пре
Продолжение...В качестве замеров используем EXPLAIN Postgres - если, его выполнять как EXPLAIN ANALYZE, то получим фактическое время выполнения запроса - пример на первом рисунке.Далее формируем два запроса:Первый - в условии указываем полное время без пре

Продолжение...В качестве замеров используем EXPLAIN Postgres - если, его выполнять как EXPLAIN ANALYZE, то получим фактическое время выполнения запроса - пример на первом рисунке.Далее формируем два запроса:Первый - в условии указываем полное время без преобразованийexplain analyze select *from sensors.weather w where w.ts between '2021-01-01 00:00:00' and now();Второй - в условии экстрактим год и берем всё больше 2021explain analyze select *from sensors.weather w where extract ('year' from w.ts) >= 2021;В исходной таблице есть индекс по полю ts.Добавим щепотку статистики, чтобы не сравнивать два случайных времени, выполним и тот и другой 100 раз, строим боксплоты. Вперед.Основной результат…

4 недели, 1 день назад @ t.me
Олег Юрьев погонял проверочные запросы через EXPLAIN ANALYZE. И на реальных данных проверил как влияет изменение поля фильтрации на скорость запроса.С Олегом мы вместе учились в Практикуме. Он уже давно ревьюит работы студентов и набил на этом руку. Это на
Олег Юрьев погонял проверочные запросы через EXPLAIN ANALYZE. И на реальных данных проверил как влияет изменение поля фильтрации на скорость запроса.С Олегом мы вместе учились в Практикуме. Он уже давно ревьюит работы студентов и набил на этом руку. Это на

Олег Юрьев погонял проверочные запросы через EXPLAIN ANALYZE. И на реальных данных проверил как влияет изменение поля фильтрации на скорость запроса.С Олегом мы вместе учились в Практикуме. Он уже давно ревьюит работы студентов и набил на этом руку. Это насмотревшись на него, я тоже решил пойти в ревьюеры. Подписывайтесь, уверен, что будет ещё много интересного:https://t.me/double_data/52

4 недели, 1 день назад @ t.me
Применение любых функций к полям, участвующим в фильтрации или условии джойна, приводит к проблемам производительности. Оптимизатор не может использовать индексы или, в случае аналитических СУБД, ключи дистрибуции и секционирования. В результате производит
Применение любых функций к полям, участвующим в фильтрации или условии джойна, приводит к проблемам производительности. Оптимизатор не может использовать индексы или, в случае аналитических СУБД, ключи дистрибуции и секционирования. В результате производит

Применение любых функций к полям, участвующим в фильтрации или условии джойна, приводит к проблемам производительности. Оптимизатор не может использовать индексы или, в случае аналитических СУБД, ключи дистрибуции и секционирования. В результате производится полное сканирование таблицы, или большое перераспределение данных, что плохо по определению, для больших таблиц. А предотвратить это достаточно просто — не изменять данные, по которым производишь поиск

4 недели, 1 день назад @ t.me
Сравнение даты и строки в Postgres Первый «улов» с поля проверок заданий студентов на курсе по DE. Коллега-ревьюер заметил, что у студента в работе теряются часть записей, когда в SQL запросе идёт проверка даты и строки: <..> WHERE created <= '20
Сравнение даты и строки в Postgres Первый «улов» с поля проверок заданий студентов на курсе по DE. Коллега-ревьюер заметил, что у студента в работе теряются часть записей, когда в SQL запросе идёт проверка даты и строки: &lt;..&gt; WHERE created &lt;= '20

Сравнение даты и строки в Postgres Первый «улов» с поля проверок заданий студентов на курсе по DE. Коллега-ревьюер заметил, что у студента в работе теряются часть записей, когда в SQL запросе идёт проверка даты и строки: <..> WHERE created <= '2022-04-03'…

4 недели, 1 день назад @ t.me
#подкаст про распределенные вычисленияЕгор Хайруллин из Яндекса пришёл рассказать что там есть кроме «мап-редьюс». Ниже мои заметки, что я услышал:Зачем нужны распределённые вычисления Когда данные для работы (и даже промежуточные результаты) не помещаются
#подкаст про распределенные вычисленияЕгор Хайруллин из Яндекса пришёл рассказать что там есть кроме «мап-редьюс». Ниже мои заметки, что я услышал:Зачем нужны распределённые вычисления Когда данные для работы (и даже промежуточные результаты) не помещаются

#подкаст про распределенные вычисленияЕгор Хайруллин из Яндекса пришёл рассказать что там есть кроме «мап-редьюс». Ниже мои заметки, что я услышал:Зачем нужны распределённые вычисления Когда данные для работы (и даже промежуточные результаты) не помещаются на одну машину. Или когда проще и дешевле вместо одной большой машины поставить две поменьше.Сначала можно написать вручную алгоритм для раскладывания файлов по машинам (вот прям sh-ники через scp). Второй раз делать такое уже не хочется, надо пилить инфраструктуру.Почему у всех «свой» HadoopНапример, у Гугла, Фейсбука, Яндекса. Почему не сделать «единый» опенсорсный. У всех свои проблемы: на 100 машинах — одни, на 10 000 — уже другие.Что…

1 месяц назад @ t.me
Хочешь научиться — попробуй научить В этот раз я решил не записываться студентом на новый курс от Практикума (двух, пожалуй, хватит). Вместо этого зашёл с «черного хода» и записался туда ревьюером — буду проверять домашки у студентов. С уважением и немно
Хочешь научиться — попробуй научить В этот раз я решил не записываться студентом на новый курс от Практикума (двух, пожалуй, хватит). Вместо этого зашёл с «черного хода» и записался туда ревьюером — буду проверять домашки у студентов. С уважением и немно

Хочешь научиться — попробуй научить В этот раз я решил не записываться студентом на новый курс от Практикума (двух, пожалуй, хватит). Вместо этого зашёл с «черного хода» и записался туда ревьюером — буду проверять домашки у студентов. С уважением и немного…

1 месяц, 2 недели назад @ t.me
Не доверять продуКогда начинал джуном, всё было просто: чужой код, который ты видишь в проде 100% лучше твоего. Смотри, вникай, учись.Но дальше всё стало сложнее. Оказывается, в продет тоже может быть плохой код (отдельная история, как он туда попал, но в
Не доверять продуКогда начинал джуном, всё было просто: чужой код, который ты видишь в проде 100% лучше твоего. Смотри, вникай, учись.Но дальше всё стало сложнее. Оказывается, в продет тоже может быть плохой код (отдельная история, как он туда попал, но в

Не доверять продуКогда начинал джуном, всё было просто: чужой код, который ты видишь в проде 100% лучше твоего. Смотри, вникай, учись.Но дальше всё стало сложнее. Оказывается, в продет тоже может быть плохой код (отдельная история, как он туда попал, но всё же). Делаешь ПР на основе текущего кода и на ревью узнаешь, что сделал плохо, хотя просто повторил что уже есть. И теперь прошлое правило не работает. Приходится читать текущий код и понимать: где написано хорошо, а где — так себе. Ведь код после тебя должен становиться лучше, чем до. Такой вопрос я задал Фёдору Борщёву, а он ответил, что любой код — это компромисс между хотелками и временем. К каждой строке кода надо подходить с подозре…

1 месяц, 3 недели назад @ t.me
🎉 Новый курс «Инженер данных» на Яндекс Практикуме Ура! Дождались) Выкатили курс по нашей специализации. Кажется в этот раз это курс для тех, кто уже с каким-то опытом: аналитики, мл-щики, разработчики . Не с нуля, как другие курсы. Видимо, придётся мног
🎉 Новый курс «Инженер данных» на Яндекс Практикуме Ура! Дождались) Выкатили курс по нашей специализации. Кажется в этот раз это курс для тех, кто уже с каким-то опытом: аналитики, мл-щики, разработчики . Не с нуля, как другие курсы. Видимо, придётся мног

🎉 Новый курс «Инженер данных» на Яндекс Практикуме Ура! Дождались) Выкатили курс по нашей специализации. Кажется в этот раз это курс для тех, кто уже с каким-то опытом: аналитики, мл-щики, разработчики . Не с нуля, как другие курсы. Видимо, придётся много…

1 месяц, 3 недели назад @ t.me
Три недели спустя. HR-сводки. Самат Галимов с командой делают большую работу; в этот раз позвали в свой подкаст фаундера hr-агентства NewHR — Киру Кузьменко. Агентство работает со многими айти-компаниям тут и зарубежом, поэтому «колокольня» Киры одна из са
Три недели спустя. HR-сводки. Самат Галимов с командой делают большую работу; в этот раз позвали в свой подкаст фаундера hr-агентства NewHR — Киру Кузьменко. Агентство работает со многими айти-компаниям тут и зарубежом, поэтому «колокольня» Киры одна из са

Три недели спустя. HR-сводки. Самат Галимов с командой делают большую работу; в этот раз позвали в свой подкаст фаундера hr-агентства NewHR — Киру Кузьменко. Агентство работает со многими айти-компаниям тут и зарубежом, поэтому «колокольня» Киры одна из самых высоких в айтишечке; в подкасте она рассказывает что оттуда видно. ⌘⌘⌘Компании срезают профессии «жирного времени», которые могут совмещать другие сотрудники: ⁃ тестировщики (разработчики могут тестить сами) ⁃ UI/UX дизайнеры (есть и другие дизайнеры более широкого профиля) ⁃ продуктовые аналитики (сейчас не до анализа продуктов; сохранить бы что есть)⌘⌘⌘«Астрологи Армении объявили неделю IT — количество специалистов в удвоилось». По о…

2 месяца назад @ t.me
Меня пугает, что пропаганда работает на людей (на меня скорее всего тоже). Она есть с обеих сторон и она давит на эмоции. Включайте критическое мышление (видео как это делать), находите данные и делайте выводы. Как никогда стало важным анализировать и расс
Меня пугает, что пропаганда работает на людей (на меня скорее всего тоже). Она есть с обеих сторон и она давит на эмоции. Включайте критическое мышление (видео как это делать), находите данные и делайте выводы. Как никогда стало важным анализировать и расс

Меня пугает, что пропаганда работает на людей (на меня скорее всего тоже). Она есть с обеих сторон и она давит на эмоции. Включайте критическое мышление (видео как это делать), находите данные и делайте выводы. Как никогда стало важным анализировать и рассказывать истории с помощью достоверных данных. К сожалению, такими они становятся не сразу, а сильно позже событий. Лучший пример сторителлинга данных, который я знаю, — проект Fallen 2015 года (интерактив и видео) про потери второй мировой войны. За счет изложения фактов визуализация объясняет происходившее и тоже вызывает эмоции. В основном страх, но в конце и надежду. Но помимо эмоций визуализация вызывает доверие за счет использования …

2 месяца, 1 неделя назад @ t.me
про рынок найма в ITПодкаст был записан в довоенное время (просто приятно было послушать на отвлечённые темы), но тема актуальна и сейчас: руководитель HR-агентства рассказывал какие отношения складываются у зарубежных компаний с отечественными разработчи
про рынок найма в ITПодкаст был записан в довоенное время (просто приятно было послушать на отвлечённые темы), но тема актуальна и сейчас: руководитель HR-агентства рассказывал какие отношения складываются у зарубежных компаний с отечественными разработчи

про рынок найма в ITПодкаст был записан в довоенное время (просто приятно было послушать на отвлечённые темы), но тема актуальна и сейчас: руководитель HR-агентства рассказывал какие отношения складываются у зарубежных компаний с отечественными разработчиками.⌘⌘⌘С одной стороны после локдауна везде пришла удалёнка. Больше нет «региональной» разработки — к спецам Новосибирске сначала пришли столичные рекрутеры со своими предложениями, а следом за ними уже стучались их зарубежные коллеги с ещё большими зарплатами.в подкасте звучали зарплаты 300-500 у синьоров на нашем рынке и 500-700 на западном (просто для ориентира, без контекста) С другой — удалёнка пришла не только к нам. Фейсбуки с гугла…

2 месяца, 1 неделя назад @ t.me
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 6 дней, 18 часов назад
Designing And Deploying IoT Analytics For Industrial Applications At Vopak
Designing And Deploying IoT Analytics For Industrial Applications At Vopak

Industrial applications are one of the primary adopters of Internet of Things (IoT) technologies, with business critical operations being informed by data collected across a fleet of sensors. Vopak is a business that manages storage and distribution of a variety of liquids that are critical to the modern world, and they have recently launched a new platform to gain more utility from their industrial sensors. In this episode Mário Pereira shares the system design that he and his team have developed for collecting and managing the collection and analysis of sensor data, and how they have split the data processing and business logic responsibilities between physical terminals and edge location…

6 дней, 18 часов назад @ dataengineeringpodcast.com
Insights And Advice On Building A Data Lake Platform From Someone Who Learned The Hard Way
Insights And Advice On Building A Data Lake Platform From Someone Who Learned The Hard Way

Designing a data platform is a complex and iterative undertaking which requires accounting for many conflicting needs. Designing a platform that relies on a data lake as its central architectural tenet adds additional layers of difficulty. Srivatsan Sridharan has had the opportunity to design, build, and run data lake platforms for both Yelp and Robinhood, with many valuable lessons learned from each experience. In this episode he shares his insights and advice on how to approach such an undertaking in your own organization.

6 дней, 18 часов назад @ dataengineeringpodcast.com
Exploring The Insights And Impact Of Dan Delorey's Distinguished Career In Data
Exploring The Insights And Impact Of Dan Delorey's Distinguished Career In Data

Dan Delorey helped to build the core technologies of Google's cloud data services for many years before embarking on his latest adventure as the VP of Data at SoFi. From being an early engineer on the Dremel project, to helping launch and manage BigQuery, on to helping enterprises adopt Google's data products he learned all of the critical details of how to run services used by data platform teams. Now he is the consumer of many of the tools that his work inspired. In this episode he takes a trip down memory lane to weave an interesting and informative narrative about the broader themes throughout his work and their echoes in the modern data ecosystem.

1 неделя, 6 дней назад @ dataengineeringpodcast.com
Scaling Analysis of Connected Data And Modeling Complex Relationships With The TigerGraph Graph Database
Scaling Analysis of Connected Data And Modeling Complex Relationships With The TigerGraph Graph Database

Many of the events, ideas, and objects that we try to represent through data have a high degree of connectivity in the real world. These connections are best represented and analyzed as graphs to provide efficient and accurate analysis of their relationships. TigerGraph is a leading database that offers a highly scalable and performant native graph engine for powering graph analytics and machine learning. In this episode Jon Herke shares how TigerGraph customers are taking advantage of those capabilities to achieve meaningful discoveries in their fields, the utilities that it provides for modeling and managing your connected data, and some of his own experiences working with the platform be…

1 неделя, 6 дней назад @ dataengineeringpodcast.com
Leading The Charge For The ELT Data Integration Pattern For Cloud Data Warehouses At Matillion
Leading The Charge For The ELT Data Integration Pattern For Cloud Data Warehouses At Matillion

The predominant pattern for data integration in the cloud has become extract, load, and then transform or ELT. Matillion was an early innovator of that approach and in this episode CTO Ed Thompson explains how they have evolved the platform to keep pace with the rapidly changing ecosystem. He describes how the platform is architected, the challenges related to selling cloud technologies into enterprise organizations, and how you can adopt Matillion for your own workflows to reduce the maintenance burden of data integration workflows.

2 недели, 6 дней назад @ dataengineeringpodcast.com
Evolving And Scaling The Data Platform at Yotpo
Evolving And Scaling The Data Platform at Yotpo

Building a data platform is an iterative and evolutionary process that requires collaboration with internal stakeholders to ensure that their needs are being met. Yotpo has been on a journey to evolve and scale their data platform to continue serving the needs of their organization as it increases the scale and sophistication of data usage. In this episode Doron Porat and Liran Yogev explain how they arrived at their current architecture, the capabilities that they are optimizing for, and the complex process of identifying and evaluating new components to integrate into their systems. This is an excellent exploration of the decisions and tradeoffs that need to be made while building such a …

2 недели, 6 дней назад @ dataengineeringpodcast.com
Operational Analytics At Speed With Minimal Busy Work Using Incorta
Operational Analytics At Speed With Minimal Busy Work Using Incorta

A huge amount of effort goes into modeling and shaping data to make it available for analytical purposes. This is often due to the need to simplify the final queries so that they are performant for visualization or limited exploration. In order to cut down the level of effort involved in making data usable, Matthew Halliday and his co-founders created Incorta as an end-to-end, in-memory analytical engine that removes barriers to insights on your data. In this episode he explains how the system works, the use cases that it empowers, and how you can start using it for your own analytics today.

3 недели, 6 дней назад @ dataengineeringpodcast.com
Gain Visibility Into Your Entire Machine Learning System Using Data Logging With WhyLogs
Gain Visibility Into Your Entire Machine Learning System Using Data Logging With WhyLogs

There are very few tools which are equally useful for data engineers, data scientists, and machine learning engineers. WhyLogs is a powerful library for flexibly instrumenting all of your data systems to understand the entire lifecycle of your data from source to productionized model. In this episode Andy Dang explains why the project was created, how you can apply it to your existing data systems, and how it functions to provide detailed context for being able to gain insight into all of your data processes.

3 недели, 6 дней назад @ dataengineeringpodcast.com
Connecting To The Next Frontier Of Computing With Quantum Networks
Connecting To The Next Frontier Of Computing With Quantum Networks

Connecting To The Next Frontier Of Computing With Quantum Networks

1 месяц назад @ dataengineeringpodcast.com
What Does It Really Mean To Do MLOps And What Is The Data Engineer's Role?
What Does It Really Mean To Do MLOps And What Is The Data Engineer's Role?

Putting machine learning models into production and keeping them there requires investing in well-managed systems to manage the full lifecycle of data cleaning, training, deployment and monitoring. This requires a repeatable and evolvable set of processes to keep it functional. The term MLOps has been coined to encapsulate all of these principles and the broader data community is working to establish a set of best practices and useful guidelines for streamlining adoption. In this episode Demetrios Brinkmann and David Aponte share their perspectives on this rapidly changing space and what they have learned from their work building the MLOps community through blog posts, podcasts, and discuss…

1 месяц назад @ dataengineeringpodcast.com
DataOps As A Service For Your Data Integration Workflows With Rivery
DataOps As A Service For Your Data Integration Workflows With Rivery

Data engineering is a practice that is multi-faceted and requires integration with a large number of systems. This often means working across multiple tools to get the job done which can introduce significant cost to productivity due to the number of context switches. Rivery is a platform designed to reduce this incidental complexity and provide a single system for working across the different stages of the data lifecycle. In this episode CEO and founder Itamar Ben hemo explains how his experiences in the industry led to his vision for the Rivery platform as a single place to build end-to-end analytical workflows, including how it is architected and how you can start using it today for your…

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Synthetic Data As A Service For Simplifying Privacy Engineering With Gretel
Synthetic Data As A Service For Simplifying Privacy Engineering With Gretel

Any time that you are storing data about people there are a number of privacy and security considerations that come with it. Privacy engineering is a growing field in data management that focuses on how to protect attributes of personal data so that the containing datasets can be shared safely. In this episode Gretel co-founder and CTO John Myers explains how they are building tools for data engineers and analysts to incorporate privacy engineering techniques into their workflows and validate the safety of their data against re-identification attacks.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Accelerate Development Of Enterprise Analytics With The Coalesce Visual Workflow Builder
Accelerate Development Of Enterprise Analytics With The Coalesce Visual Workflow Builder

The flexibility of software oriented data workflows is useful for fulfilling complex requirements, but for simple and repetitious use cases it adds significant complexity. Coalesce is a platform designed to reduce repetitive work for common workflows by adopting a visual pipeline builder to support your data warehouse transformations. In this episode Satish Jayanthi explains how he is building a framework to allow enterprises to move quickly while maintaining guardrails for data workflows. This allows everyone in the business to participate in data analysis in a sustainable manner.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Repeatable Patterns For Designing Data Platforms And When To Customize Them
Repeatable Patterns For Designing Data Platforms And When To Customize Them

Building a data platform for your organization is a challenging undertaking. Building multiple data platforms for other organizations as a service without burning out is another thing entirely. In this episode Brandon Beidel from Red Ventures shares his experiences as a data product manager in charge of helping his customers build scalable analytics systems that fit their needs. He explains the common patterns that have been useful across multiple use cases, as well as when and how to build customized solutions.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Synthetic Data As A Service For Simplifying Privacy Engineering With Gretel
Synthetic Data As A Service For Simplifying Privacy Engineering With Gretel

Any time that you are storing data about people there are a number of privacy and security considerations that come with it. Privacy engineering is a growing field in data management that focuses on how to protect attributes of personal data so that the containing datasets can be shared safely. In this episode Gretel co-founder and CTO John Myers explains how they are building tools for data engineers and analysts to incorporate privacy engineering techniques into their workflows and validate the safety of their data against re-identification attacks.

1 месяц, 3 недели назад @ dataengineeringpodcast.com
Data Brew by Databricks Data Brew by Databricks
последний пост 2 недели, 3 дня назад
Season 4E5: Public Health: Education, Access, and Policy
Season 4E5: Public Health: Education, Access, and Policy

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Matt Willis, Marin County Public Health Officer, shares the three pillars of public health: education, access, and policy, and the critical role data plays in addressing the COVID-19 pandemic & opioid epidemic. See more at databricks.com/data-brew

2 недели, 3 дня назад @ buzzsprout.com
Season 4E4: 1283 Days of Running (and Counting)
Season 4E4: 1283 Days of Running (and Counting)

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Running the length of the US every year, Alexandra Matthiesen shares her motivational secrets for running 1,283 consecutive days (and counting!) and redefining physical and mental limits. See more at databricks.com/data-brew

1 месяц, 1 неделя назад @ buzzsprout.com
Last Man Standing
Last Man Standing

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Winner of the infamous Last Man Standing race (running 246 miles in 59 hours), Guillaume merges the world of competitive long-distance running with data science to push the boundaries of body and mind. See more at databricks.com/data-brew

1 месяц, 3 недели назад @ buzzsprout.com
Season 4E2: NBA Analytics
Season 4E2: NBA Analytics

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Alexander Powell chronicles the evolution of sports analytics and how professional sports teams use data as a competitive advantage. See more at databricks.com/data-brew

2 месяца, 1 неделя назад @ buzzsprout.com
Season 4E1: Reducing Injury & Increasing Retention of Industrial Athletes
Season 4E1: Reducing Injury & Increasing Retention of Industrial Athletes

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Globally, 38,000 people get hurt on the job every hour. In the United States alone, over $250 billion dollars is spent on workplace injury annually. Sean Petterson, founder and CEO of StrongArm Tech, discusses the role of wearable devices to reduce workplace injury and increase retention of industrial athletes. See more at databricks.com/data-brew

2 месяца, 3 недели назад @ buzzsprout.com
Season 3E6: Open Source
Season 3E6: Open Source

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.For our season 3 finale, Nithya Ruff discusses the open-source ecosystem, ways to contribute to open-source projects (hint: it’s not just about the code), and how businesses can balance community and company interests. With 95% of open-source contributions coming from men, Nithya also educates us on how to improve diversity & inclusion in the open-source community.See more at databricks.com/data-brew

6 месяцев, 3 недели назад @ buzzsprout.com
Season 3E5: Sustainability & Sake
Season 3E5: Sustainability & Sake

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.We interview Junta Nakai in our most unique location yet - Brooklyn Kura - the first non-Japanese sake distillery in New York. In this episode, Junta shares the philosophical, economic, and tactical approaches to sustainability and ESG, as well as the secrets to brewing sake in the US. See more at databricks.com/data-brew

7 месяцев, 1 неделя назад @ buzzsprout.com
Season 3E4: Executive Education
Season 3E4: Executive Education

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Did you know that the average tenure of a board member is longer than the average tenure of a marriage in the United States? In this episode, Coco Brown discusses the benefits and drawbacks of the long tenures of corporate boards, their current structure, the impact of recent legislation, and the importance of executive education to guide you through all of this. See more at databricks.com/data-brew

7 месяцев, 2 недели назад @ buzzsprout.com
Season 3E3: 3 T’s to Securing AI Systems: Tests, tests, and more tests
Season 3E3: 3 T’s to Securing AI Systems: Tests, tests, and more tests

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.What does it mean to make your machine learning system “production-ready”? Yaron Singer walks us through the infrastructure, testing procedures, and more that help make ML systems ready for the real world in this episode of Data Brew.See more at databricks.com/data-brew

7 месяцев, 3 недели назад @ buzzsprout.com
Season 3E2: Data Culture Outside ‘The Valley’
Season 3E2: Data Culture Outside ‘The Valley’

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics.Have you ever had a spam call automatically blocked for you? You can thank First Orion for that - in one day they blocked or scam tagged over 108 million calls - just on T-Mobile alone! In this episode, we have the pleasure to chat with Charles Morgan and Kent Welch, CEO and CDO, respectively, of First Orion to discuss Arkansan data culture, First Orion’s one hundred day program, and team culture.See more at databricks.com/data-brew

8 месяцев назад @ buzzsprout.com
Season 3E1: Disrupt: Challenge your Business Assumptions
Season 3E1: Disrupt: Challenge your Business Assumptions

For our third season, we focus on how leaders use data for change. Whether it’s building data teams or using data as a constructive catalyst, we interview subject matter experts from industry to dive deeper into these topics. In this season opener, Elena Donio shares her experience using data and domain knowledge to disrupt the traditional service and sales compensation model. She also discusses how to build companies that scale, manage corporate cultural evolution, and the influence of corporate boards.See more at databricks.com/data-brew

8 месяцев, 1 неделя назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост 5 месяцев назад
Про специфику бизнеса и IT в Ozon, изменения в структуре IT за три года, людях и росте внутри компании
Про специфику бизнеса и IT в Ozon, изменения в структуре IT за три года, людях и росте внутри компании Про специфику бизнеса и IT в Ozon, изменения в структуре IT за три года, людях и росте внутри компании

Заключительный выпуск первого сезона. Ведущие — Паша Притчин и Лиза Швец, гость — Антон Степаненко, СТО Ozon.Антон рассказал о той части бизнеса, которая скрыта от глаз обычных пользователей, почему склады Ozon — это своего рода производство и как в целом выглядит компания с точки зрения IT и бизнеса. Поговорили о бурном росте IT-направления со 120 до 2000 человек за три года и кто в компании помогает ему всем этим управлять.Книги, которые рекомендует Антон:- «Выживают только параноики», автор Эндрю Гроув;- «Экстремальное программирование: планирование» авторы Кент Бек, Мартин Фаулер;- «Искусство войны», автор Сунь-Цзы.

5 месяцев назад @ dodoctotalks.mave.digital
Про вертикали и горизонтали в матричной структуре, стратегии планирования, agile-подходы и роль проводника между бизнесом и IT
Про вертикали и горизонтали в матричной структуре, стратегии планирования, agile-подходы и роль проводника между бизнесом и IT Про вертикали и горизонтали в матричной структуре, стратегии планирования, agile-подходы и роль проводника между бизнесом и IT

Гость 11-го выпуска — Владимир Малов, СТО «Утконоса». Поговорили о том, что вдохновляет в работе, почему люди важнее технологий и какие приёмы использовать, чтобы подружить бизнес и разработку.Владимир рассказал о матричной структуре компании, стратегиях планирования, agile-подходах, OKR и открытости, благодаря которой команды понимают, как они влияют на результаты бизнеса.А чтобы оставаться в контексте и быть в курсе того, как меняется IT, он порекомендовал читать не книги, а блоги и каналы IT-компаний, в том числе наш и канал U:tech.

5 месяцев, 1 неделя назад @ dodoctotalks.mave.digital
Про карьеру, специфику фудтех-бизнеса, микросервисы, облачные системы и факапы
Про карьеру, специфику фудтех-бизнеса, микросервисы, облачные системы и факапы Про карьеру, специфику фудтех-бизнеса, микросервисы, облачные системы и факапы

В начале десятого выпуска Егор Герасимчук, СТО компании Dots Platform, вспомнил об одном забавном случае, который привёл его в фудтех-разработку. Рассказал, как появилась их облачная платформа для автоматизации процессов заказа и доставки еды, как она устроена, почему нельзя экономить на серверах и какие факапы случаются в работе.Книги, которые рекомендует Егор:«Думай медленно... решай быстро», автор Даниэль Канеман;«Эссенциализм. Путь к простоте», автор Грег МакКеон;«Выбор. О свободе и внутренней силе человека», автор Эдит Ева Эгер;«Источник», автор Айн Рэнд;«Проект “Феникс“. Роман о том, как DevOps меняет бизнес к лучшему», авторы Ким Джин, Бер Кевин.

5 месяцев, 2 недели назад @ dodoctotalks.mave.digital
Про структуру команд разработки, онбординг СТО, школу тимлидов, объективные метрики для developers experience
Про структуру команд разработки, онбординг СТО, школу тимлидов, объективные метрики для developers experience Про структуру команд разработки, онбординг СТО, школу тимлидов, объективные метрики для developers experience

Гость девятого выпуска — Виталий Леонов, СТО в Skyeng. Он недавно пришёл в компанию и поделился тем, как проходил онбординг и погружение в задачи. Рассказал о структуре команд бизнеса и разработки, о проблемах найма и как они сейчас решаются.Поговорили о том, как автономность и свобода действий влияет на уровень ответственности и к каким результатам приводит, почему для СТО важно говорить с разработчиками на одном языке и как сильные тимлиды помогают командам быть сплочённей и эффективней.Книги, которые рекомендует Виталий:«Неизбежно. 12 технологических трендов, которые определяют наше будущее», автор Кевин Келли;«Критическое мышление. Анализируй, сомневайся, формируй свое мнение», автор То…

5 месяцев, 3 недели назад @ dodoctotalks.mave.digital
Про различия роли СТО в России и США, доверие, работу с фрилансерами и переход на микросервисы
Про различия роли СТО в России и США, доверие, работу с фрилансерами и переход на микросервисы Про различия роли СТО в России и США, доверие, работу с фрилансерами и переход на микросервисы

Дмитрий Чистяков, гость восьмого выпуска, работает СТО в компании Rx2Go, которая занимается доставкой медикаментов в США.Дима рассказал об особенностях бизнеса, опыте работы СТО в России и Америке, на каких задачах ему приходится сейчас фокусироваться и насколько он вовлечён в код. Поговорили о разных подходах к найму разработчиков и напоследок обсудили сложности распила монолита при переходе на микросервисы.

6 месяцев назад @ dodoctotalks.mave.digital
Про ответственность, делегирование, техлидство в двух разных командах и решение сложных задач
Про ответственность, делегирование, техлидство в двух разных командах и решение сложных задач Про ответственность, делегирование, техлидство в двух разных командах и решение сложных задач

Гость седьмого выпуска — Роман Бобрешов из Vivid Money, техлид сразу двух разных продуктовых команд.Он рассказал о том, как справляется с этой ролью, как подходит к решению глобальных технических задач и в чём видит главный вызов своей работы.Книги, которые рекомендует почитать Роман:«Site Reliability Engineering. Надёжность и безотказность как в Google», авторы Бетси Бейер, Дженнифер Петофф, Крис Джоунс;«45 татуировок менеджера», автор Максим Батырёв;«Первые 90 дней», автор Майкл Уоткинс;«Джедайские техники», автор Максим Дорофеев;«Никогда-нибудь», «Это норм!», автор Елена Резанова.

6 месяцев, 1 неделя назад @ dodoctotalks.mave.digital
Про неожиданный поворот в карьере, решение проблем, матричную структуру и бесшовные релизы
Про неожиданный поворот в карьере, решение проблем, матричную структуру и бесшовные релизы Про неожиданный поворот в карьере, решение проблем, матричную структуру и бесшовные релизы

В шестом выпуске подкаста решили не скромничать и поговорить о себе. Паша позвал Лизу Швец и Сашу Андронова, который однажды, неожиданно для самого себя, стал СТО Додо Пиццы. Заставили его вспомнить, как это было и что он делал в этой роли.Саша рассказал, как в начале приходилось решать проблемы, не понимая их приоритет. Поговорили о росте компании, переходе к матричной структуре и какую пользу от этого получили. Сверили ощущения Саши и Паши по распилу монолита. В конце выпуска узнали, что Саша любит читать про футбол и биографии выдающихся людей, но пару книг для начинающих СТО все-таки может посоветовать:«Проект “Феникс“. Роман о том, как DevOps меняет бизнес к лучшему», авторы Ким Джин, …

6 месяцев, 2 недели назад @ dodoctotalks.mave.digital
Про интуицию, майндмэпы, ответственность в неопределённости, сложности жизни с двумя языками разработки, баланс между хаосом и порядком
Про интуицию, майндмэпы, ответственность в неопределённости, сложности жизни с двумя языками разработки, баланс между хаосом и порядком Про интуицию, майндмэпы, ответственность в неопределённости, сложности жизни с двумя языками разработки, баланс между хаосом и порядком

Гость пятого выпуска — Геворг Петросян, СТО Profi.ru. Он поделился историей о своём пути из мобильного разработчика в СТО. Рассказал, как менялся уровень ответственности в управленческих ролях, про майндмэпы в стратегическом планировании, важность обратной связи от команд и почему порядок — не всегда хорошо.Книги, которые рекомендует Геворг:«12 правил жизни: противоядие от хаоса», автор Джордан Питерсон;«Homo Deus. Краткая история будущего», автор Харари Юваль Ной;«Никаких правил. Уникальная культура Netflix», авторы Эрин Мейер, Рид Хастингс;«Антихрупкость. Как извлечь выгоду из хаоса», автор Нассим Николас Талеб;«Практика интегральной жизни», авторы Кен Уилбер, Терри Паттен.

6 месяцев, 3 недели назад @ dodoctotalks.mave.digital
Про роль техлида в ЦИАН, продуктоориентированность разработчиков, гильдии и важность софтскиллов
Про роль техлида в ЦИАН, продуктоориентированность разработчиков, гильдии и важность софтскиллов Про роль техлида в ЦИАН, продуктоориентированность разработчиков, гильдии и важность софтскиллов

Про роль техлида в ЦИАН, продуктоориентированность разработчиков, гильдии и важность софтскиллов.Евгений Пешков, гость четвёртого выпуска, рассказал о новой для себя роли технического руководителя в ЦИАН. О том, какие цели перед ним стоят, как обратная связь помогает оценивать собственную эффективность, кто следит за качеством кода и почему это не он сам.В конце выпуска поговорили о важных вещах для будущего и начинающего СТО: какие навыки развивать, почему управлять нужно учиться системно и как выстраивать отношения с командой.И традиционный список «что почитать»:«Agile-менеджмент. Лидерство и управление командами», автор Юрген Аппело (Management 3.0: Leading Agile Developers, Developing A…

6 месяцев, 4 недели назад @ dodoctotalks.mave.digital
Про IT-структуру в Kolesa Group, инжиниринг-менеджеров и техлидов, конкуренцию в найме и общение на удалёнке
Про IT-структуру в Kolesa Group, инжиниринг-менеджеров и техлидов, конкуренцию в найме и общение на удалёнке Про IT-структуру в Kolesa Group, инжиниринг-менеджеров и техлидов, конкуренцию в найме и общение на удалёнке

Гость третьего выпуска — Игорь Бородихин, СТО компании Kolesa Group. В ходе беседы разобрались, кто отвечает за людей, а кто за технологии и сколько менеджеров нужно, чтобы окружить разработчика заботой со всех сторон. Игорь рассказал, как ему удаётся оставаться в контексте происходящего на удалёнке и кто в этом помогает.Напоследок поговорили о том, почему в «Колёсах» целых четыре монолита и за что отвечает core team.Книги, которые Игорь рекомендует почитать начинающим СТО:«Самурай без меча», автор Китами Масао;«45 татуировок менеджера», автор Максим Батырёв;«Как гибнут великие», автор Джим Коллинз.

7 месяцев назад @ dodoctotalks.mave.digital
Разговоры СТО про продукт, код, найм, культуру и что делать, когда не знаешь, что делать
Разговоры СТО про продукт, код, найм, культуру и что делать, когда не знаешь, что делать Разговоры СТО про продукт, код, найм, культуру и что делать, когда не знаешь, что делать

Гость второго выпуска — Егор Хмелёв, СТО Sweatcoin.Егор рассказал о том, как родился проект, в котором он прошёл путь от разработчика до СТО; как не впадать в аналитический паралич, как метрики помогают разработчикам ставить цели, а не просто выполнять задачи. И конечно, мы поговорили про трудности найма и сохранение культуры, когда команда вырастает с трёх человек до 20.Книги, которые рекомендует Егор:ATOMIC HABITS. An Easy & Proven Way to Build Good Habits & Break Bad Ones, автор James Clear («Атомные привычки. Как приобрести хорошие привычки и избавиться от плохих», Джеймс Клир).The Culture Code: The Secrets of Highly Successful Groups, автор Daniel Coyle (Дэниел Койл).The Five Dysfuncti…

7 месяцев, 1 неделя назад @ dodoctotalks.mave.digital
Разговоры СТО про структуру, деливери-менеджмент и метрики здоровья команд
Разговоры СТО про структуру, деливери-менеджмент и метрики здоровья команд Разговоры СТО про структуру, деливери-менеджмент и метрики здоровья команд

Гость пилотного выпуска — Александр Поломодов, СТО управления разработки цифровых экосистем в TINKOFF. У Саши в управлении 300 разработчиков. Он рассказал, как ему удаётся делать так, чтобы все двигались в одном направлении, кто такие деливери-менеджеры, что обсуждают на «встречах трёх амиго», какие метрики важны и что почитать, чтобы быть хорошим СТО. И ещё много разных мелочей, о которых вам не расскажут ни на одном собеседовании или в другом подкасте.Книги, которые рекомендует Саша начинающим СТО:Team Topologies: Organizing Business and Technology Teams for Fast Flow, авторы Matthew Skelton, Manuel Pais;Technology Strategy Patterns, автор Eben Hewitt;Domain-Driven Design: Tackling Comple…

7 месяцев, 3 недели назад @ dodoctotalks.mave.digital
Запуск завтра Podcast Запуск завтра Podcast
последний пост 3 дня, 13 часов назад
Как электронная почта появилась у каждого российского пользователя
Как электронная почта появилась у каждого российского пользователя Как электронная почта появилась у каждого российского пользователя

Mail.ru сейчас — IT-гигант, не нуждающийся в представлении. Наш гость Алексей Кривенков был сооснователем этой компании в 1998 году и рассказал Самату, как они разрабатывали свой главный продукт — электронную почту. Лёша вспомнил, какие сложности нужно было решить, чтобы сделать удобный веб-сервис для пользователей, только что узнавших про существование интернета, и как Mail.ru стал главным почтовым ящиком рунета. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Подписаться на бонусные эпизоды «Запуск++» в телеграме: https://t.me/+N_AopnXC0dBkMGQy Связаться:…

3 дня, 13 часов назад @ zapuskzavtra.libsyn.com
Как учить английский
Как учить английский Как учить английский

Обучение иностранному языку сильно отличается от написания кода, но и в работе с лексикой и грамматикой есть свои методологии и системы. О них Самату рассказывает Юлия Беймлина. Юля давно преподает английский айтишникам и понимает, на какие аспекты иностранного языка технарям стоит обратить больше всего внимания. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум. В мае Практикум запускает бета-версию курса английского для разработчиков. Если вы работает в IT больше года и владеете языком на уровне Pre-Intermediate или Intermediate, вы можете стать бета-тестером. Для участия оставьте заявку https://forms.yandex.ru/surveys/13180326.1befeb0dc98f6fff455dcaa49c6f92f…

1 месяц, 1 неделя назад @ zapuskzavtra.libsyn.com
Как визуализировать сложные данные
Как визуализировать сложные данные Как визуализировать сложные данные

Представьте, что у вас есть таблица с тысячами разных параметров и значений. Как отобразить их на графике, чтобы не запутаться ещё больше? Татьяна Мисютина, гостья сегодняшнего эпизода и руководитель Лаборатории данных, разработала для этого целый алгоритм. Таня с Саматом обсудили, как сделать понятную визуализацию и получить с ее помощью интересные инсайты. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Подписывайтесь на подкаст «Рабочее название»: https://podcast.ru/1541357374 Землетрясения: https://www.flickr.com/photos/idvsolutions/7439877658/in/photos…

1 месяц, 2 недели назад @ zapuskzavtra.libsyn.com
Как лекарства попадают в Россию и пропадут ли они
Как лекарства попадают в Россию и пропадут ли они Как лекарства попадают в Россию и пропадут ли они

Крупные фармецевтические компании останавливают ивестиции и экспорт неосновных лекарств в РФ — так написано в новостях, но что это значит? Нужно ли срочно закупаться каплями для носа и жаропонижающим? Умеют ли в России делать лекарства, которые больше не будут экспортироваться? И как вообще произвести таблетку? Об этом Самат говорит с Андреем Глущенко, директором по экономике здравоохранения компании Gilead. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Курс по веб-разработке, на котором учится Юля https://practicum.yandex.ru/web/ 2:00 Какая доля лекарств…

1 месяц, 3 недели назад @ zapuskzavtra.libsyn.com
Дефолт, эмбарго и падение рубля. Что может произойти с российской экономикой
Дефолт, эмбарго и падение рубля. Что может произойти с российской экономикой Дефолт, эмбарго и падение рубля. Что может произойти с российской экономикой

Уже месяц Россия находится под воздействием жёстких санкций. У людей без диплома по экономике закономерно возникает много вопросов о том, что будет происходить дальше и как выживать в новой реальности. Что случится, если Россия столкнётся с дефолтом или не сможет продавать нефть? Вместе с Олегом Шибановым, директором Центра исследования финансовых технологий Сколково-РЭШ обсудили возможные сценарии развития событий. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Напоминаем про бесплатный курс по профориентации от Яндекс.Практикума https://practicum.yandex.…

1 месяц, 4 недели назад @ zapuskzavtra.libsyn.com
Работа в IT спустя три недели. Как уехать, как начать, что по найму
Работа в IT спустя три недели. Как уехать, как начать, что по найму Работа в IT спустя три недели. Как уехать, как начать, что по найму

Полтора месяца назад мы выпустили бонусный эпизод с названием «Как нанять айтишника в 2022 году и почему это стало практически невозможно». Теперь этот разговор — артефакт. Об изменившейся реальности Самат говорит с той же гостьей, основательницей рекрутингового агентства NEWHR Кирой Кузьменко. Кира активно мониторит рынок, работает с иностранными компаниями и проводит прямые эфиры про карьеру в IT, подписывайтесь! https://www.youtube.com/c/NewHR Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Бесплатный курс по профориентации https://practicum.yandex.ru/ca…

2 месяца назад @ zapuskzavtra.libsyn.com
Могут ли западные санкции коснуться российского интернета
Могут ли западные санкции коснуться российского интернета Могут ли западные санкции коснуться российского интернета

В России ежедневно блокируются десятки интернет-ресурсов, пользователи пытаются вернуть доступ к заблокированным сайтам через VPN, а в СМИ обсуждают перспективу тотального отключения сети. Но всё это — результат работы Роскомнадзора, а не санкций извне. В этом эпизоде Самат расспрашивает Александра Исавнина, эксперта в области internet governance, могут ли западные компании ограничить России доступ к сети и что это будет значить для нас. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra 6:02 Кто раздаёт IP-адреса и могут ли их отобрать 12:15 Как санкции могут…

2 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как выживают независимые медиа
Как выживают независимые медиа Как выживают независимые медиа

Мы записали этот эпизод 28 февраля. На тот момент Роскомнадзор требовал от СМИ удалять материалы, где происходящее в Украине называлось «войной». Сейчас большинство негосударственных изданий совсем заблокированы или даже закрыты. Но и до 2022 года делать медиа в России было тяжело. В сегодняшнем эпизоде Самат расспрашивает Ксению Живаго, технического диркетора «Медиазоны» (издание объявлено в России «иностранным агентом») о том, какие задачи разработчики решают в медиа. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Поддержать «Медиазону» можно по ссылке h…

2 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Отключение от SWIFT и другие финансовые санкции
Отключение от SWIFT и другие финансовые санкции Отключение от SWIFT и другие финансовые санкции

В этом эпизоде Самат разбирается в санкциях, наложенных на российскую финансовую систему в последнюю неделю. Будут ли работать банковские карты, что станет с валютой и к каким последствиям приведут введённые ограничения — отвечает финтех-эксперт Евгений Кузовлев из компании ECOMMPAY. P.S. Это интервью было записано несколько дней назад. Отключение от SWIFT тогда обсуждалось гипотетически, но к моменту выхода эпизода было утверждено официально (поэтому итоги этой беседы стали только актуальнее). Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Послушать бонус…

2 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Как разрабатывают вебкам-сайты
Как разрабатывают вебкам-сайты Как разрабатывают вебкам-сайты

Анонимный разработчик из анонимной компании рассказывает Самату об IT в адалт индустрии. Порно не ассоциируется с разработкой, но порносайты — это тоже интернет-сервисы. Об их устройстве Самат говорит с сегодняшним гостем. Как попасть туда на работу, как настроить высококачественный стриминг и как пометить все видео с минетом? Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Зарегистрироваться на онлайн-конференцию «Как сменить профессию и не сдаться» можно по ссылке https://clck.ru/bmttu 2:00 Что удивило нашего гостя в первые дни работы 3:00 Почему веб — эт…

2 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Компьютерная лингвистика. Как машины учатся понимать людей
Компьютерная лингвистика. Как машины учатся понимать людей Компьютерная лингвистика. Как машины учатся понимать людей

Как сказать «привет» на эсперанто? В каком фильме Леонардо Ди Каприо ползает по лесу? Ежедневно компьютеры отвечают на миллионы таких запросов и с каждым годом делают это всё успешнее. О том, как машины обрабатывают текст и учатся говорить с нами на одном языке рассказывает Иван Ямщиков, руководитель лаборатории естественного языка, созданной Яндексом совместно с Высшей школой экономики в Санкт-Петербурге. Партнер этого эпизода — компания Яндекс. Наши совместные выпуски выходят по вторникам раз в две недели. Ссылки: Сайт Лаборатории естественного языка https://ai.yandex.com/leya Подкаст “Проветримся!” https://progulka.yamshchikov.info Подкаст “Лабибэй” https://labibay.yamshchikov.info YouTu…

2 месяца, 4 недели назад @ zapuskzavtra.libsyn.com
Киберспорт. Как соревнуются в видеоиграх
Киберспорт. Как соревнуются в видеоиграх Киберспорт. Как соревнуются в видеоиграх

За последние 15 лет киберспорт стал индустрией, не уступающей по своему масштабу классическому спорту — по видеоиграм проводятся мировые чемпионаты с призовыми фондами в десятки миллионов долларов, сотни тысяч зрителей в прямом эфире следят за поединками, а спонсорами становятся крупнейшие бренды, например Mercedes и DHL. О том, как соревнования по компьютерным играм пришли к такому успеху, Самату рассказал Виталий Волочай — известный под ником v1lat киберспортивный комментатор и основатель компании по трансляции киберспортивных событий Maincast Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_c…

3 месяца назад @ zapuskzavtra.libsyn.com
Почему дроны скоро заменят нам людей
Почему дроны скоро заменят нам людей Почему дроны скоро заменят нам людей

Дроны умеют проводить спасательные операции, доставлять грузы, вести бой и удобрять почву. При этом у большинства людей дроны ассоциируются с летающим фотоаппаратом. Какие бывают дроны, как они держатся в воздухе и почему мы в ближайшие годы увидим бум беспилотников, — об этом Самат говорит с основателем компании aOrion Вадимом Черевко. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Узнать подробнее о курсе «Профориентация в IT» можно на сайте: https://clck.ru/atou8 Ссылки от Вадима: https://rcopen.com http://www.rcgroups.com/forums/index.php Редактор — Юл…

3 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как дизайн меняет наше ощущение от продукта
Как дизайн меняет наше ощущение от продукта Как дизайн меняет наше ощущение от продукта

Где в IT дизайн? Об этом Самат говорит с Геннадием Лохтиным, одним из главных дизайнеров Яндекса. Гена рассказывает, зачем компании меняют логотипы, почему придумывают свои шрифты и разрабатывают дизайн-системы. Партнер этого эпизода — компания Яндекс. Наши совместные выпуски выходят по вторникам, раз в две недели. Cсылки от Гены: Фильм Her https://www.kinopoisk.ru/film/577488/ Документальный сериал Abstract https://www.netflix.com/ru/title/80057883 Книга «Пиши, сокращай» https://cutt.ly/qOLhOuv 2:00 Как выразить смысл компании в одной букве 16:00 Почему на иконке Яндекс.Лавки изображен пластырь 22:24 Почему в IT все используют одни и те же цвета 29:36 Сколько стоит шрифт 44:49 Как проверяю…

3 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как оцифровать сельское хозяйство
Как оцифровать сельское хозяйство Как оцифровать сельское хозяйство

Герой сегодняшнего эпизода — Слава Мазай, сооснователь белорусского стартапа OneSoil. Он рассказал Самату, как роботизировать поля фермеров по всему миру, научиться видеть сквозь облака и под землей, предсказывать урожай и цену на зерно. И все это – с помощью IT-технологий. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум https://praktikum.yandex.ru/?utm_source=pr&utm_medium=content&utm_campaign=pr_content_main_zapuskzavtra Узнать подробнее о курсе по React можно по ссылке https://clck.ru/aqzHN Блог OneSoil https://blog.onesoil.ai/ru 11 лучших YouTube-каналов для фермеров https://blog.onesoil.ai/ru/youtube-blogs-for-farmers Редактор — Юля Яковлева; Продюсер — …

3 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 4 дня, 10 часов назад
Domain Driven Design (level: all)
Domain Driven Design (level: all) Domain Driven Design (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки компании МЕДСИ Digital Николай Фоминых. Обсудили с Николаем, что такое DDD, зачем оно нужно и как применяют в МЕДСИ. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Merge: https://Mergeconf.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа пом…

4 дня, 10 часов назад @ learnpython.podbean.com
Про генерацию кода (level: all)
Про генерацию кода (level: all) Про генерацию кода (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки компании Магнит Антон Огородников. Обсудили с Антоном, как в Магните используют генерацию кода из OpenAPI спецификации, сбор метрик и как обстоят дела с генерацией кода в Python и Go. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://c…

3 недели назад @ learnpython.podbean.com
Из проектирования в разработчики (level: all)
Из проектирования в разработчики (level: all) Из проектирования в разработчики (level: all)

В гостях у Moscow Python Podcast Python QA-инженер компании Genesys Юрий Польников. Обсудили с Юрием его путь из инженера в сфере строительства и преподавателя в разработчики. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Index-tech: https://index-tech.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа по…

1 месяц назад @ learnpython.podbean.com
Data Science в Кухне на районе (level: all)
Data Science в Кухне на районе (level: all) Data Science в Кухне на районе (level: all)

В гостях у Moscow Python Podcast Python Data Scientists компании Кухня на районе Кирилл Малев и Сергей Макарин. Ведущие выпуска — Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

1 месяц, 2 недели назад @ learnpython.podbean.com
Что нужно знать разработчику помимо разработки (level: all)
Что нужно знать разработчику помимо разработки (level: all) Что нужно знать разработчику помимо разработки (level: all)

В гостях у Moscow Python Podcast Python ведущий разработчик компании Monite Богдан Евстратенко. Обсудили с Богданом CI/CD, Kubernetes и нужно ли сейчас знать это разработчику, собеседования в IT и бизнес подход к решению задач. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Index-tech: https://index-tech.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russi…

3 месяца назад @ learnpython.podbean.com
Про утечку мозгов и эйджизм в IT (level: all)
Про утечку мозгов и эйджизм в IT (level: all) Про утечку мозгов и эйджизм в IT (level: all)

В гостях у Moscow Python Podcast Python IT-рекрутер и руководитель компании INDEX Анна Атрошкина. Поговорили с Анной о идеальном возрасте разработчика и существует ли он и о том, почему происходит утечка мозгов и возможно ли с этим что-то сделать. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.py…

3 месяца, 1 неделя назад @ learnpython.podbean.com
Про машинное обучение (level: all)
Про машинное обучение (level: all) Про машинное обучение (level: all)

В гостях у Moscow Python Podcast Python сооснователь компании Epoch8 и Агима искусственный интеллект Андрей Татаринов. Поговорили с Андреем о том, что такое машинное обучение на практике и зачем оно нужно. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве…

3 месяца, 2 недели назад @ learnpython.podbean.com
Из преподавателя в разработчики (level: all)
Из преподавателя в разработчики (level: all) Из преподавателя в разработчики (level: all)

В гостях у Moscow Python Podcast Python разработчик компании 4Taps Александр Дегель. Поговорили с Александром о его пути от преподавателя в детско-юношеской спортивной школе до Python разработчика. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor…

3 месяца, 4 недели назад @ learnpython.podbean.com
в ML системах (level: all)
в ML системах (level: all) в ML системах (level: all)

В гостях у Moscow Python Podcast Python Техлид компании СберДевайсы Владимир Соколов. Поговорили с Владимиром о том, чем может заниматься Python разработчик в ML системах и о проблемах речевой аналитики. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

4 месяца, 3 недели назад @ learnpython.podbean.com
Автоматизация процессов (level: all)
Автоматизация процессов (level: all) Автоматизация процессов (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки ML систем компании СберДевайсы Денис Усачев. Поговорили с Денисом о том, для чего нужна автоматизация и о возможных вариантах автоматизации. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

5 месяцев назад @ learnpython.podbean.com
в retail (level: all)
в retail (level: all) в retail (level: all)

В гостях у Moscow Python Podcast Python разработчик компании Утконос Онлайн Павел Кузнецов. Поговорили с Павлом о том, что делает Python в retail и в частности в Утконос Онлайн. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

5 месяцев, 1 неделя назад @ learnpython.podbean.com
Ответственность и безответственность разработчиков (level: all)
Ответственность и безответственность разработчиков (level: all) Ответственность и безответственность разработчиков (level: all)

В гостях у Moscow Python Podcast Python ведущий разработчик компании BestDoctor Александр Хмелевский. Поговорили с Александром о самоорганизации, ценностях в команде и социальной валюте. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

5 месяцев, 2 недели назад @ learnpython.podbean.com
едет во Владивосток
едет во Владивосток едет во Владивосток

Поехали с нами! https://www.meetup.com/Moscow-Python-Beer-Meetup/events/282228798/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

5 месяцев, 2 недели назад @ learnpython.podbean.com
Из тестирования в разработку (level: all)
Из тестирования в разработку (level: all) Из тестирования в разработку (level: all)

В гостях у Moscow Python Podcast Python developer компании Grid Dynamics Russia Лариса Петрова. Поговорили с Ларисой о ее пути в разработку, обсудили опыт прохождения собеседований и подготовку к ним. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Grid Dynamics Russia: https://careers.griddynamics.com/discover-openings Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Pyt…

6 месяцев назад @ learnpython.podbean.com
На чем писать код (level: all)
На чем писать код (level: all) На чем писать код (level: all)

В гостях у Moscow Python Podcast ведущий разработчик компании NVIDIA Роман Сакал. Поговорили с Романом о том, на чем писать код, на чем его пишут в NVIDIA и о том, почему Python is the second best language. Ведущие выпуска — сооснователь MoscowPython и компании DryLabs Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru

6 месяцев, 1 неделя назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 5 дней, 11 часов назад
Podlodka #268 – Формальные методы и верификация программ
Podlodka #268 – Формальные методы и верификация программ Podlodka #268 – Формальные методы и верификация программ

Мечтаете, чтобы ваше ПО было сверх надежным, но грустите, ведь даже самый большой набор тестов не гарантирует 100% работоспособность кода на всех кейсах? На помощь придут верификация ПО с помощью формальных методов! Опишем спецификацию на программу с помощью математических языков и докажем какие-нибудь ее свойства. Не обещаем, что будет просто, но точно будет интересно! Вместе с профессором Национального Университета Сингапура Ильей Сергеем разобрали верификацию не только на простых задачах, но и в проектах огромной кодовой базой и распределенными вычислениями. Обсудили истории успеха из реальных проектов, основные сложности этого подхода и направления активных исследований применения форма…

5 дней, 11 часов назад @ soundcloud.com
Podlodka #267 – Кодеки
Podlodka #267 – Кодеки Podlodka #267 – Кодеки

Разработка кодеков – это целая вселенная, о которой многие совсем ничего не знают. Чтобы разобраться, мы позвали в гости Дмитрия Ватолина, который с 2003 года руководит крупнейшим в мире сравнением кодеков. В выпуске мы говорим про то, как устроена архитектура кодеков, какие идеи стоят за их различными компонентами, как оценивается их эффективность, и как выглядит будущее сжатия файлов. Поддержи лучший подкаст про IT:

https://boosty.to/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaP…

1 неделя, 5 дней назад @ soundcloud.com
Podlodka #266 – Рекрутмент как продукт
Podlodka #266 – Рекрутмент как продукт Podlodka #266 – Рекрутмент как продукт

Не так давно писали выпуск про продуктовые плафтормы, а в этом выпуске с Алексеем Исаевым из карьерного маркетплейса g-mate поговорили о том как плафтормы побеждают на рынке рекрутмента. Прошлись и по видам маркетплейсов, и по продуктовым метрикам, и по тому как проводят продуктовые эксперименты. Ознакомься с вакансиями в команду разработки e-commerce «Золотого яблока»: https://career.habr.com/companies/goldapple/vacancies Интернет-магазин занимает первое место в категории “health and beauty” федерального рейтинга: https://www.top100.datainsight.ru Поддержи лучший подкаст про IT: https://boosty.to/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-ча…

2 недели, 5 дней назад @ soundcloud.com
Podlodka #265 – Erlang
Podlodka #265 – Erlang Podlodka #265 – Erlang

Функциональный язык, идеально подходящий для создания распределенных вычислительных систем. Язык, позволяющий порождать легковесные процессы и реализующий модель акторов для безопасного общения между ними. Язык, не претерпевающий грандиозных изменений благодаря удачному проектированию еще в 80-х годах! Он активно используется в WhatsApp и на нем написан RabbitMQ. Интригует? Тогда скорее включайте выпуск, где Максим Лапшин, основатель компании Erlyvideo, 2 часа увлекательно рассказывает нам про Erlang! Переносите свои проекты в облако Selectel всего в пару кликов: https://slc.tl/Oe1sx Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodk…

3 недели, 4 дня назад @ soundcloud.com
Podlodka #264 – Как вкатиться в стиль
Podlodka #264 – Как вкатиться в стиль Podlodka #264 – Как вкатиться в стиль

Говорят, что любому уважающему себя айтишнику достаточно одной пары штанов, чтобы быть довольным жизнью. Мы записали выпуск для тех, кого эта ситуация не устраивает! Вместе с Кристиной Заяц, стилистом из Барселоны, мы поговорили про то, как разобраться в том, что тебе нравится в одежде, подобрать свой стиль и выбирать качественные вещи. Регистрируйтесь и переносите свои проекты в надежное и гибкое облако Selectel: https://slc.tl/Rzg9k Поддержи лучший подкаст про IT: https://boosty.to/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacas…

1 месяц назад @ soundcloud.com
Podlodka #263 – Диски и носители, часть 1
Podlodka #263 – Диски и носители, часть 1 Podlodka #263 – Диски и носители, часть 1

Окунаемся в мир hardware и обсуждаем, а что же интересного скрывают такие привычные слова, как, например, HDD и SSD. Спойлер: нам не хватило одного выпуска, чтобы обсудить все! В гостях Руслан Савченко из Яндекса. Бесплатные курсы по iOS и Android разработке от экспертов Ozon Tech https://route256.ozon.ru Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки:

Статья Руслана

1 месяц, 1 неделя назад @ soundcloud.com
Podlodka #262 – Работа за рубежом
Podlodka #262 – Работа за рубежом Podlodka #262 – Работа за рубежом

Работа на зарубежные компании – традиционно популярная тема среди IT специалистов, а в текущих реалиях об этом начинают задуматься даже тех, кто раньше не вообще не планировал релокацию. Обновить и углубить знания о том, как готовится к устройству на работу зар убежом нам помогла Надя Петрова – основательница кадрового агенства LunaPark. В выпуске мы пробежались по всем этапам трудоустройства – от поиска вакансий до зарплатных переговоров, поэтому если не знаете, как запустить этот непростой процесс – скорее включайте выпуск! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka …

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #261 – Стриминг видео
Podlodka #261 – Стриминг видео Podlodka #261 – Стриминг видео

Что происходит с видео вашего котика, которое вы загружаете на какой-нибудь стриминговый сервис, а потом скидываете ссылку друзьям во всем мире? Как видеоплеер понимает, когда показывать видео в низком качестве, а когда – в высоком? Как работают различные кодеки и чем они отличаются? Мы поняли, что очень плохо себе представляем весь пайплайн работы стриминговых сервисов, и позвали в гости главного специалиста по этой теме в России – Александра Тоболя, технического директора ВКонтакте, VK Видео и VK Звонков. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: htt…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #260 – Криптовалюты
Podlodka #260 – Криптовалюты Podlodka #260 – Криптовалюты

Сейчас криптовалюты обретают актуальность как никогда. В гости к нам пришел Кирилл Пименов. Он отвечает за кибербезопасность в Parity Technologies, компании-разработчика блокчейна Polkadot. В первой части подкаста обсудили техническую составляющую вопроса: как криптовалюты связаны с блокчейн сетями, за счет чего достигается анонимность, как избегать двойных трат. Во второй части обсудили социальный аспект. Ведь блокчейн и криптовалюты – это инструмент, позволяющий людям объединяться в потенциально бесконечные сообщества не из-за внешнего принуждения или страха, а из собственной выгоды. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka

А теперь и через Polkadot: 16LY5o4tTs2uyykHjuG2H2…

2 месяца назад @ soundcloud.com
Podlodka #259 – CSS
Podlodka #259 – CSS Podlodka #259 – CSS

В мире веб-разработки фреймворки приходят и уходят, но какой веб-сайт не возьми, там почти наверняка будет использоваться CSS. Что это за технология, которая с нами уже так долго, разбираемся с Софией Валитовой. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки:

Блог Софии

ariarzer.dev Статья про слои

https://ariarzer.dev/articles/2021/css-cascade-layer.html Доклад Никит…

2 месяца, 1 неделя назад @ soundcloud.com
Podlodka #258 – Распределенные вычисления
Podlodka #258 – Распределенные вычисления Podlodka #258 – Распределенные вычисления

Мы уже обсуждали, как работают распределенные системы, но сознательно не стали затрагивать задачи, которые в них решаются. Исправляемся! Поговорили о том, что такое и зачем нужен MapReduce и какие еще есть модели распределенных вычислений. А помог нам в этом Егор Хайруллин из Яндекса. Как «Золотое Яблоко» перестроилось на развитие e-com и за год завоевало лидерство в отрасли:

https://incrussia.ru/specials/goldapple Вакансии в IT команду: https://career.habr.com/companies/goldapple/vacancies Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodk…

2 месяца, 2 недели назад @ soundcloud.com
Podlodka #257 – Антикризисные финансы
Podlodka #257 – Антикризисные финансы Podlodka #257 – Антикризисные финансы

Последние дни экономическая, политическая и военная обстановка меняются каждые часы. В такой ситуации многие люди поддаются панике и начинают принимать нерациональные решения. Мы записали специальный выпуск вместе с Павлом Комаровским, экспертом в вопросах инвестиций, про то, как действовать в текущей ситуации, какими принципами руководствоваться и как защититься от наихудшего возможного развития событий. Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки:

Комментарий Подлодки про войну

https://t.me/podlodkanews/889 Telegram-канал Rational Answer

https://t.me/RationalAnswer Youtube Rational Answer

https://www.youtube.com/RationalAnswer Twitter Паши

https://twitter.com/Rational_An…

2 месяца, 3 недели назад @ soundcloud.com
Podlodka #256 – Платформенные продукты
Podlodka #256 – Платформенные продукты Podlodka #256 – Платформенные продукты

Платформы – особый вид продукта. Основное отличие от неплатформенных продуктов в том, что они связывают поставщиков и пользователей, задают правила взаимодействия, но сами услуги и товары не предоставляют. Об особенностях плафторм поговорили с директором по продукту в АлиЭкспресс Россия Еленой Грунтовой. Если хотите узнать больше про продуктовый менеджмент, подписывайтесь на подкаст make sense: https://soundcloud.com/productsense Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twit…

3 месяца назад @ soundcloud.com
Podlodka #255 – Бионическое протезирование
Podlodka #255 – Бионическое протезирование Podlodka #255 – Бионическое протезирование

Киборги среди нас? 🤖 Еще бы! Василий Хлебников, сооснователь компании моторика, рассказал нам все о бионических протезах, от производственного цикла до функциональных возможностей современных протезов. Но на этом мы не остановились и разговор зашел куда дальше… ML, VR, IoT, инвазивные технологии и, конечно, немножечко блокчейна. Нет, это не перечисления названий прошлых выпусков Подлодки, все это — элементы экосистемы для киборгов! В общем, нет времени объяснять, скорее слушай выпуск! 🦾🦾🦾 Регистрация на Flo Hiring Day: для iOS инженеров https://grnh.se/92731f493us для Android инженеров https://grnh.se/98be22533us для Web инженеров https://grnh.se/f9742bc23us Поддержи лучший подкаст про IT:

3 месяца назад @ soundcloud.com
Podlodka #254 – Антивирусы
Podlodka #254 – Антивирусы Podlodka #254 – Антивирусы

В выпуске разобрали разные виды вредоносных программ: вирусы, червей, троянские программы и виды борьбы с ними. В гости позвали главного эксперта из Лаборатории Касперского Александра Гостева. Выпуск интересен как теорией, так и примерами: про атаку спецслужбами нескольких государств одного иранского ПК, почему раз в две недели бьется турбина на ГЭС. Посмотреть программу New IT Fest и зарегистрироваться: https://bit.ly/3AZIW4w Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter…

3 месяца, 2 недели назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 4 месяца, 3 недели назад
Наука на ночь
Наука на ночь Наука на ночь

Как один мальчик отказался ходить по струнке? Как одна девочка плохо себя вела и попала в историю?Новый Год — самое время для сказок, историй и тостов! Мы решили прочитать вам пару историй из книги «Наука на ночь», которую пишут Ксюша и Иван, а заодно создать новогоднее настроение всей командой подкаста.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

4 месяца, 3 недели назад @ buzzsprout.com
Речевые технологии
Речевые технологии

Как машинное обучение помогает учиться людям? Что делает робота милым, а что пугающим? И почему речевые ассистенты совсем недавно заговорили мужскими голосами?Сегодня с нами проветриваются: Анна Дёгтева - лингвист, антрополог, разработчица голосовых интерфейсовСоня Терпугова - она делает стартап SmallTalk2.me - AI помощник в разговорном английском, а до этого около 8 лет работала в ЯндексеНе будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

4 месяца, 4 недели назад @ buzzsprout.com
Ксения Шагал live!
Ксения Шагал live! Ксения Шагал live!

Как сохранить исчезающий язык? Что именно сравнивают в сравнительной лингвистике? И что такое «калсарикянни»?Сегодня с нами проветривается Ксения Шагал — линвист и типолог из Хельсинкского университета.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

5 месяцев назад @ buzzsprout.com
Art&Science
Art&Science Art&Science

Как деревья сигнализируют о приближающихся землетрясениях в Африке? Как создать студию, создающую метавселенные? И можно ли выращивать картины из плесени? Сегодня с нами проветриваются три специалиста, которые занимаются Искусство и наука: Дарья Федорова - био-художница Ольга Киселева - биохудужник, директор Института науки и искусства Сорбонны, лауреат Гран-при Art & Science Евросоюза за био-арт проект EDEN Наталья Алфутова - медиа-художница, соосновательница " Мастерской 15 " Не будьте такими душными, давайте лучше - проветримся! Подпишись в Телеграм на канал @progulka ApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаПоддержите шоуSupport the show (https://www.patreon.com/progulka)

5 месяцев, 1 неделя назад @ buzzsprout.com
Антон Слесарев live!
Антон Слесарев live!

Как в России появились свои беспилотники? Чем можно удивить участников CES в Вегасе? И как изменятся автомобили, когда не надо будет сидеть за рулём?Сегодня с нами проветривается Антон Слесарев — руководитель разработки беспилотных автомобилей Яндекса.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)Support the show (https://www.patreon.com/progulka)

5 месяцев, 2 недели назад @ buzzsprout.com
Виталий Быков live!
Виталий Быков live!

Как создать рекламное агентство? Почему "креативные индустрии" делают всех богаче? И как меняется реклама в двадцать первом веке?Сегодня с нами проветривается Виталий Быков — основатель агетнства "Red Keds" и организатор фестиваля креативных индустрий Great 8.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)

5 месяцев, 3 недели назад @ buzzsprout.com
Виталий Терлецкий live!
Виталий Терлецкий live! Виталий Терлецкий live!

С чего начинать путь в мир комиксов? Как сделать независимое издательство? И что делать, если у тебя есть двести миллионов рублей?Сегодня с нами проветривается Виталий Терлецкий. Автор комиксов и издатель Терлецки Комикс.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the showSupport the show (https://www.patreon.com/progulka)

6 месяцев назад @ buzzsprout.com
Венчурные инвестиции
Венчурные инвестиции

Как работают венчурные инвестиции? Какой путь проходит компания от стартапа до единорога? Что ожидает рынок технологических инвестиций на горизонте в несколько лет?Сегодня с нами проветриваются: Алексей Менн - партнер венчурного фонда Begin CapitalМария Шутова - генетик, научный консультант, в прошлом - аналитик фонда 4Bio CapitalНе будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаПоддержи шоу Support the show (https://www.patreon.com/progulka)

6 месяцев, 1 неделя назад @ buzzsprout.com
Андрей Щербак live!
Андрей Щербак live!

Что такое социальные науки? Зачем их изучать? И как связаны молоко и демократия? Сегодня с нами проветривается доцент Высшей школы экономики в Санкт-Петербурге Андрей Щербак.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show Support the show (https://www.patreon.com/progulka)

6 месяцев, 2 недели назад @ buzzsprout.com
Енисейский Киото
Енисейский Киото

Как в Сибири изучали возможность создания космических поселений? И где в России надо учиться на шеф-повара?Добро пожаловать в Красноярск, который нам показался чем-то похожим на культурную столицу Японии.Сегодня с нами проветриваются:— Егор Задереев, руководитель группы научных коммуникаций Красноярского научного центра СО РАН, кандидат биологических наук.— Николай Григорьев, руководитель проектного офиса Института Гастрономии Сибирского Федерального Университета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаАвтор и ведущий — Иван ЯмщиковАвтор рубрики Just One More Thing — Ксения ДруговейкоРежи…

6 месяцев, 3 недели назад @ buzzsprout.com
User-generated content
User-generated content User-generated content

Как пользователь может обучать алгоритмы? Почему люди залипают в ТикТок? И что случается с вашим постом до того, как его увидят ваши друзья? Сегодня с нами проветриваются: - Алексей Сенников - руководитель направления модерации социальной сети Одноклассники - Натальи Казаченко - руководитель группы аналитики качества рекомендаций в Яндексе Не будьте такими душными, давайте лучше - проветримся! Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

7 месяцев назад @ buzzsprout.com
Стрит-арт
Стрит-арт Стрит-арт

Как организовать фестиваль стрит-арта в своём городе? Как уличные художники меняют современную культуру? И где в России смотреть классный стрит-арт? Сегодня с нами проветриваются:— Анна Клец — организатор фестиваля Стенограффия в Екатеринбурге.— Зося Леутина — художник графитист и муралист, одна из организаторов фестиваля Графит науки в Новосибирске.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

7 месяцев, 1 неделя назад @ buzzsprout.com
Медицинские технологии
Медицинские технологии Медицинские технологии

Кого и как лечит искусственный интеллект? Зачем нужна персонализированная медицина? И как алгоритмы могут помочь нам "укрепить" здоровье?Сегодня с нами проветриваются— Иван Дрокин — со-основатель и директор по науке braingarden.ai, со-основатель и директор по исследованиям botkin.ai — Булат Загидуллин — аспирант университета Хельсинки, интерн в компании Байер.— Дмитрий Бычков — aспирант университета Хельсинки, специалист по анализу данных в стартапе Kaliber Labs.Не будьте такими душными, давайте лучше — проветримся!Support the show (https://www.patreon.com/progulka)

7 месяцев, 2 недели назад @ buzzsprout.com
Философия космизма
Философия космизма Философия космизма

Что такое космизм? Как мало кому известное мистико-философское учение изменило и продолжает менять современный мир?В нашем сотом юбилейном выпуске мы поговорим с Людмилой Будневой из НГУ и Верой Алексеевой из музея Константина Циолковского о русском космизме.Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

7 месяцев, 3 недели назад @ buzzsprout.com
Софья Касацкая live!
Софья Касацкая live! Софья Касацкая live!

Как "киллеры" сохраняют ваше здоровье? Чем врождённый иммунитет отличается от приобретённого? И как образ жизни влияет на иммунитет? Сегодня с нами проветривается Софья Касацкая. Софья получила PhD по иммунологии в СколТехе и ведёт канал Shameless Bacteria про иммунологию, биологию, медицину и прочее интересное.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts; GooglePodcasts; Spotify; Я.музыкаSupport the show (https://www.patreon.com/progulka)

8 месяцев назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 5 дней, 12 часов назад
Invisible Intruders
Invisible Intruders Invisible Intruders

What began as a supposed accounting error landed Cliff Stoll in the midst of database intrusions, government organizations, and the beginnings of a newer threat—cyber-espionage. This led the eclectic astronomer-cum-systems administrator to create what we know today as intrusion detection. And it all began at a time when people didn’t understand the importance of cybersecurity. This is a story that many in the infosec community have already heard, but the lessons from Stoll’s journey are still relevant. Katie Hafner gives us the background on this unbelievable story. Richard Bejtlich outlines the “honey pot” that finally cracked open the international case. And Don Cavender discusses the imp…

5 дней, 12 часов назад @ redhat.com
Ruthless Ransomers
Ruthless Ransomers Ruthless Ransomers

It’s a strange situation when someone can hold something hostage from halfway around the world. It’s tragic when your own pictures and files are remotely encrypted. But when it’s a hospital’s system? Ransomware becomes a problem about life or death. Eddy Willems recounts his involvement in defeating an early ransomware attack that targeted AIDS researchers. At the time, there was a way to discover the encryption key. But as Moti Yung warned, asymmetric encryption would change everything. In the years since, ransomware attacks have become much more popular—thanks in part to the rise of cryptocurrencies. While criminals think it’s an anonymous way to collect payment, Sheila Warren tells us th…

2 недели, 5 дней назад @ redhat.com
Menace in the Middle
Menace in the Middle Menace in the Middle

All communication leaves the possibility for crossed wires. And as we become more connected, there’s a chance for those with ill intentions to steal our information and meddle in our daily lives—with devastating results. Smriti Bhatt breaks down the complexity behind machine-in-the-middle attacks. Johannes Ullrich tells us why we shouldn’t always trust that free WiFi. And the “father of SSL” Taher Elgamal notes that while cryptography can address the increasingly sophisticated nature of malware, there are no safe bets in security.If you want to read up on some of our research on machine in the middle attacks, you can check out all our bonus material over at redhat.com/commandlineheroes.Foll…

1 месяц назад @ redhat.com
Dawn of the Botnets
Dawn of the Botnets Dawn of the Botnets

Overwhelming numbers are scary—even in the best of circumstances. You can plan for them, build up your defenses, and do everything imaginable to prepare. But when that horde of zombies hits, their sheer numbers can still cause devastation. Botnets are digital zombie hordes. Jamie Tomasello recounts the scale of the Bredolab botnet—and the many malicious kinds of missions it carried out. Martijn Grooten explains how botnets work, and why they can be so difficult to permanently dismantle. And Darren Mott shares some of the successes the FBI had in rounding up some of the world’s most prolific bot herders.If you want to read up on some of our research on botnets, you can check out all our bonu…

1 месяц, 2 недели назад @ redhat.com
Lurking Logic Bombs
Lurking Logic Bombs Lurking Logic Bombs

Logic bombs rarely have warning sounds. The victims mostly don’t know to expect one. And even when a logic bomb is discovered before it’s triggered, there isn’t always enough time to defuse it. But there are ways to stop them in time. Paul Ducklin recounts the race to defuse the CIH logic bomb—and the horrible realization of how widespread it was. Costin Raiu explains how logic bombs get planted, and all the different kinds of damage they can do. And Manuel Egele shares some strategies for detecting logic bombs before their conditions are met.If you want to read up on some of our research on logic bombs, you can check out all our bonus material over at redhat.com/commandlineheroes. Follow a…

2 месяца назад @ redhat.com
Terrifying Trojans
Terrifying Trojans Terrifying Trojans

Sometimes a fun game, a friendly email, or an innocuous link can be the most convenient place for an enemy to hide. And its prey is none the wiser—until it strikes. The trojan horse uses many layers of deception to do damage. The ingenuity of these attacks keeps an alarming pace with the technology we use every day. But as long as we stick to trusted sites and sources, we can better the odds against those who use our trusting nature against us. Steve Weisman tells us about how trojans still keep security professionals on the defensive. Josephine Wolff details how these attacks have evolved, and keep evolving, to catch victims off guard. And Yanick Franantonio takes on the new frontier for t…

2 месяца, 2 недели назад @ redhat.com
Relentless Replicants
Relentless Replicants Relentless Replicants

Computer viruses and worms haunt the internet. They worm their way into a system, replicate, and spread again. It’s a simple process—with devastating consequences. But there’s a whole industry of people that rose up to fight back. Craig Schmugar recalls how he and his team responded to MyDoom, one of the fastest-spreading worms ever. Dr. Nur Zincir-Heywood reveals the inner workings of viruses and worms, and how they draw their names from the world of biology. And security expert Mikko Hypponen shares advice on avoiding malware. But he also warns that we’re in an arms race against malware developers.If you want to read up on some of our research on viruses and worms, you can check out all o…

2 месяца, 4 недели назад @ redhat.com
Command Line Heroes Season 9: The Horrors of Malware
Command Line Heroes Season 9: The Horrors of Malware Command Line Heroes Season 9: The Horrors of Malware

Malware haunts us all. Viruses, worms, trojan horses, and the harm they do often corrupts the promise of the internet. But the world of computing continues to grow. Though it’s changed us forever, malware hasn’t stopped us from connecting. Season 9 of Command Line Heroes is the culmination of the show. We focus on security and the people who, every day, face the monsters of the digital world. They disinfect computers from viruses, defuse logic bombs, and dismantle botnets. But they can’t do it alone. It’ll take all of us working together to make the world a safer place.The first episode drops February 22, 2022. Subscribe today and sign up for the newsletter to get the latest updates.

3 месяца, 1 неделя назад @ redhat.com
Robot as Vehicle
Robot as Vehicle Robot as Vehicle

Self-driving cars are seemingly just around the corner. These robots aren’t quite ready for the streets. For every hyped-up self-driving showcase, there’s a news story about its failure. But the good news is that we get closer every year. Alex Davies steers us through the history of autonomous vehicles. Alex Kendall maps the current self-driving landscape. And Jason Millar takes us under the hood of these robots’ computers to better understand how they make decisions.If you want to read up on some of our research on self-driving cars, you can check our all our bonus material over at redhat.com/commandlineheroes. Follow along with the episode transcript.

5 месяцев, 1 неделя назад @ redhat.com
Robot as Threat
Robot as Threat Robot as Threat

When a robot goes bad, who is responsible? It’s not always clear if the user or the manufacturer is liable when a robot leaves the lot. Human behavior can be complex—and often contradictory. Asking machines to interpret that behavior is quite the task. Will it one day be possible for a robot to have its own sense of right and wrong? And barring robots acting of their own accord, whose job is it to make sure their actions can’t be hijacked? AJung Moon explains the ethical ramifications of robot AI. Ryan Gariepy talks about the levels of responsibility in robotic manufacturing. Stefanie Tellex highlights security vulnerabilities (and scares us, just a little). Brian Gerkey of Open Robotics di…

5 месяцев, 3 недели назад @ redhat.com
Humans as Robot Caretakers
Humans as Robot Caretakers Humans as Robot Caretakers

HitchBOT was an experiment in stewardship: A small, rudimentary robot unable to move on its own, depending on the kindness of passersby to help it along its journey. Until it met an untimely end. Trust is a two-way street, and because robots are not powered by their own moral code, they rely on humans to supply both empathy and support. Dr. Frauke Zeller shares HitchBOT’s origin story. Eli Schwartz recounts his heartbreak upon learning what happened in Philadelphia. Dr. Julie Carpenter analyzes why it all went down. And Georgia Guthrie epitomizes the outpouring of sympathy that followed. Together, they tell a layered story about humans, and how we respond to robots. With HitchBOT, we find a…

6 месяцев, 1 неделя назад @ redhat.com
Robot as Body
Robot as Body Robot as Body

For years, prosthetic technology focused on form over function, on masking lost limbs, rather than agency and usability. But things are changing. Innovations in robotics are giving more people more options, with lower thresholds of entry—and lower price tags, too. Tilly Lockey takes us through her journey with prosthetic arms. Brian Schulz gives some history of mechanical prosthetics, and what it means for people to reach embodiment with their devices. Tyler Hayes talks about the software that made advancements in assistive technology possible. Charlie Kemp discusses his work building universal robot interfaces, and how they can benefit everyone. And Henry and Jane Evans explain how robots …

6 месяцев, 3 недели назад @ redhat.com
From Compiler: Do We Want A World Without Technical Debt?
From Compiler: Do We Want A World Without Technical Debt? From Compiler: Do We Want A World Without Technical Debt?

Who says tech talk has to be boring? On Compiler, we dig into tech topics big, small, and strange. We talk to people who know the code, and bring their perspectives back to you. Intrigued? Here's a preview episode.Software development teams often reach a crossroads. Should they perform maintenance and address bug issues, or add new features to satisfy users? The former isn’t as exciting, but sometimes the most important work is invisible to those who reap the benefits. For now, the project has been released, and everyone wants to celebrate. But there’s an elephant in the room, one that teams can ignore—at least, for a while. In this episode of Compiler, we unpack the concept of technical de…

6 месяцев, 4 недели назад @ redhat.com
Robot as Humanoid
Robot as Humanoid Robot as Humanoid

It’s hard enough to make a functional, reliable robot. Many people also want to make those robots in our image. That’s a tough needle to thread. Often, the most efficient design isn’t the most human-like one. But that isn’t stopping us from reaching for those humanoid robots. Professor Shigeki Sugano argues in favor of creating human-shaped robots. But it’s such an enduring challenge, we’ve come up with a name for it: the uncanny valley. Evan Ackerman walks us through the uncanny valley’s treacherous terrain. Deanna Dezern shares how she’s connected to her robot companion. And Dor Skuler explains how he deliberately avoided making his robots look like humans.If you want to read up on some o…

7 месяцев назад @ redhat.com
Robot as Maker
Robot as Maker Robot as Maker

One of the first functional robots appeared on TV in 1966. That’s earlier than some of us expect. The Unimate’s televised premiere sparked the world’s imagination. It represented a host of possibilities. Those possibilities, however, also implied a coming competition that would last for decades. Dag Spicer tells the story of the Unimate, the first industrial robot—and how little the American public trusted it. But that distrust wasn’t universal. Tomonori Sanada explains how the Unimate was received very differently in Japan. Joe Campbell describes the dangers of working alongside industrial robots. But he’s working to change that with cobots. And Paul Shoup shares how his company, employees…

7 месяцев, 2 недели назад @ redhat.com
Python Bytes Python Bytes
последний пост 4 дня, 11 часов назад
#284 Spicy git for Engineers
#284 Spicy git for Engineers 4 дня, 11 часов назад @ pythonbytes.fm
#283 The sports episode
#283 The sports episode 1 неделя, 3 дня назад @ pythonbytes.fm
#282 Don't Embarrass Me in Front of The Wizards
#282 Don't Embarrass Me in Front of The Wizards 2 недели, 5 дней назад @ pythonbytes.fm
#281 ohmyzsh + ohmyposh + mcfly + pls + nerdfonts = wow
#281 ohmyzsh + ohmyposh + mcfly + pls + nerdfonts = wow 3 недели, 3 дня назад @ pythonbytes.fm
#280 Easy terminal scripts by sourcing your Py
#280 Easy terminal scripts by sourcing your Py 1 месяц назад @ pythonbytes.fm
#279 Autocorrect and other Git Tricks
#279 Autocorrect and other Git Tricks 1 месяц, 1 неделя назад @ pythonbytes.fm
#278 Multi-tenant Python applications
#278 Multi-tenant Python applications 1 месяц, 2 недели назад @ pythonbytes.fm
#277 It's a Python package showdown!
#277 It's a Python package showdown! 1 месяц, 2 недели назад @ pythonbytes.fm
#276 Tracking cyber intruders with Jupyter and Python
#276 Tracking cyber intruders with Jupyter and Python 2 месяца назад @ pythonbytes.fm
#275 Airspeed velocity of an unladen astropy
#275 Airspeed velocity of an unladen astropy 2 месяца, 1 неделя назад @ pythonbytes.fm
#274 12 Questions You Should Be Asking of Your Dependencies
#274 12 Questions You Should Be Asking of Your Dependencies 2 месяца, 2 недели назад @ pythonbytes.fm
#273 Getting dirty with __eq__(self, other)
#273 Getting dirty with __eq__(self, other) 2 месяца, 2 недели назад @ pythonbytes.fm
#272 The tools episode
#272 The tools episode 2 месяца, 3 недели назад @ pythonbytes.fm
#271 CPython: Async Task Groups in Python 3.11
#271 CPython: Async Task Groups in Python 3.11 3 месяца назад @ pythonbytes.fm
#270 Can errors really be beautiful?
#270 Can errors really be beautiful? 3 месяца, 1 неделя назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 1 день, 1 час назад
CloudGraph with Tyson Kunovsky
CloudGraph with Tyson Kunovsky

The advent of the cloud introduced a new form of technical debt in which organizations can lose track of what infrastructure they have and how it relates to the business. While the cloud’s native APIs offer some transparency into your infrastructure, these offerings are often described as necessary but not sufficient. When companies have a

The post CloudGraph with Tyson Kunovsky appeared first on Software Engineering Daily.

1 день, 1 час назад @ softwareengineeringdaily.com
Browser Observability With Jay Khatri
Browser Observability With Jay Khatri

Highlight is a tool that helps teams reproduce end-to-end user sessions to better understand their application. With Highlight, engineering teams can replay errors with high precision, which includes a complete session replay, outgoing network requests, dense stack traces and insight into the app’s state management system (redux, apollo’s cache, etc.). At the same time, product

The post Browser Observability With Jay Khatri appeared first on Software Engineering Daily.

2 дня назад @ softwareengineeringdaily.com
Technical Debt With Lee Atchison
Technical Debt With Lee Atchison

Lee Atchison spent seven years at Amazon working in retail, software distribution and Amazon Web Services. He then moved to New Relic, where he spent eight years scaling the company’s internal architecture. Lee has deep expertise in building and managing fast growing web applications, and he used this knowledge to write architecting for scale from

The post Technical Debt With Lee Atchison appeared first on Software Engineering Daily.

4 дня назад @ softwareengineeringdaily.com
Skyflow Privacy and Compliance with Sean Falconer
Skyflow Privacy and Compliance with Sean Falconer

There’s an increasing regulatory and consumer pressure on companies to do a better job protecting sensitive customer data. Yet, despite this pressure, data breaches and compliance issues continue to plague the tech industry. Companies like Apple, Netflix, and Google have solved these challenges by pioneering a new type of technology, the data privacy vault. Skyflow

The post Skyflow Privacy and Compliance with Sean Falconer appeared first on Software Engineering Daily.

5 дней, 16 часов назад @ softwareengineeringdaily.com
Data Delivery with Naqeeb Memon
Data Delivery with Naqeeb Memon

Data-as-a-service is a company category type that is not as common as API-as-a-service, software-as-a-service, or platform-as-a-service. In order to vend data, a data-as-a-service provider needs to define how that data will be priced, stored, and delivered to users: streaming over an API or served via static files. Naqeeb Memon of Safegraph joins the show to

The post Data Delivery with Naqeeb Memon appeared first on Software Engineering Daily.

1 неделя, 1 день назад @ softwareengineeringdaily.com
Arweave with Sam Williams
Arweave with Sam Williams

Blockchains were the first systems to allow guaranteed permanent storage of public data. As cryptocurrency technology has advanced, a rich ecosystem of permanent storage and compute has developed as well. One of these is Arweave, a system for permanent information storage. Sam Williams is a founder of Arweave and joins the show to talk through

The post Arweave with Sam Williams appeared first on Software Engineering Daily.

1 неделя, 2 дня назад @ softwareengineeringdaily.com
Data Labeling with Michael Malyuk
Data Labeling with Michael Malyuk

Data labeling allows machine learning algorithms to find patterns among the data. There are a variety of data labeling platforms that enable humans to apply labels to this data and ready it for algorithms. Heartex is a data labeling platform with an open source core. Michael Malyuk joins the show to talk through the platform

The post Data Labeling with Michael Malyuk appeared first on Software Engineering Daily.

1 неделя, 4 дня назад @ softwareengineeringdaily.com
Pinot and StarTree with Chinmay Soman
Pinot and StarTree with Chinmay Soman

Real-time analytics are difficult to achieve because large amounts of data must be integrated into a data set as that data streams in. As the world moved from batch analytics powered by Hadoop into a norm of “real-time” analytics, a variety of open source systems emerged. One of these was Apache Pinot. StarTree is a

The post Pinot and StarTree with Chinmay Soman appeared first on Software Engineering Daily.

1 неделя, 6 дней назад @ softwareengineeringdaily.com
Web3 Infrastructure with Josh Neuroth
Web3 Infrastructure with Josh Neuroth

Web3 is powerful but difficult to work with. Deploying blockchain nodes, accessing data, and performing staking operations are non-trivial engineering actions. To simplify web3, Ankr hosts APIs for node deployment, RPC, and staking. Josh Neuroth from Ankr joins the show to talk about modern web3 infrastructure. Sponsorship inquiries: [email protected] The post Web3 Infrastructure with Josh Neuroth appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
Fig Engineering with Brendan Falk and Matt Schrage
Fig Engineering with Brendan Falk and Matt Schrage

Brendan Falk Matt Schrage The terminal is a necessary tool for any software engineer. In order to work quickly, developers have always customized their terminals to work for their specific application workflow. Fig is a reimagined terminal product that adds autocomplete and an entire app ecosystem to the existing terminal you are familiar with. In

The post Fig Engineering with Brendan Falk and Matt Schrage appeared first on Software Engineering Daily.

2 недели, 4 дня назад @ softwareengineeringdaily.com
Scaling WordPress with Brandon DuRette
Scaling WordPress with Brandon DuRette

WP Engine is a domain specific cloud provider that hosts high performance WordPress infrastructure. This website, Software Engineering Daily, runs on WP Engine. Scaling a domain specific cloud provider for WordPress includes complexities at the level of the database, application, load balancer, and other areas. Brandon DuRutte from WP Engine joins the show to talk

The post Scaling WordPress with Brandon DuRette appeared first on Software Engineering Daily.

2 недели, 5 дней назад @ softwareengineeringdaily.com
Data Loss Prevention with Yasir Ali
Data Loss Prevention with Yasir Ali

Data loss can occur when large data sources such as Slack or Google Drive get leaked. In order to detect and avoid leaks, a data asset graph can be built to understand the risks of a company environment. Polymer is a data loss prevention product that helps companies avoid problematic data leaks. Yasir Ali is

The post Data Loss Prevention with Yasir Ali appeared first on Software Engineering Daily.

3 недели, 2 дня назад @ softwareengineeringdaily.com
Starburst Infrastructure with Justin Borgman
Starburst Infrastructure with Justin Borgman

The Presto/Trino project makes distributed querying easier across a variety of data sources. As the need for machine learning and other high volume data applications has increased, the need for support, tooling, and cloud infrastructure for Presto/Trino has increased with it. Justin Borgman is the CEO of Starburst, and joins the show to talk about

The post Starburst Infrastructure with Justin Borgman appeared first on Software Engineering Daily.

3 недели, 3 дня назад @ softwareengineeringdaily.com
Airbyte Engineering with Michel Tricot
Airbyte Engineering with Michel Tricot

Data integration infrastructure is not easy to build. Moving large amounts of data from one place to another has historically required developers to build ad hoc integration points to move data between SaaS services, data lakes, and data warehouses. Today, there are dedicated systems and services for moving these large batches of data. Airbyte builds

The post Airbyte Engineering with Michel Tricot appeared first on Software Engineering Daily.

3 недели, 4 дня назад @ softwareengineeringdaily.com
Select Star with Shinji Kim
Select Star with Shinji Kim

Modern organizations eventually face data governance challenges. Keeping track of where data came from, what systems update it, in what ways updates can be made are just some of the issues to be tackled. Large organizations face additional challenges like training, onboarding, and capturing the institutional knowledge that leaves with the departure of key team

The post Select Star with Shinji Kim appeared first on Software Engineering Daily.

4 недели, 1 день назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 1 месяц назад
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно

Важен ли вуз для карьеры?.. Однажды в начале 2000-х сисадмин одного регионального оператора связи три дня не мог починить биллинг. Ошибка была очень странной: в некоторых блоках упорно лезла дата 1970-01-01. Сисадмин искал причины повсюду, от формата даты и до взлома, пока не пришёл главный инженер — и не объяснил. Уходя, он посмотрел на окончившего биофак сисадмина, сложил пальцы, сотряс ими и произнёс: «Это база!». Сисадмин был отправлен на курсы — а фраза стала мемной. В этом выпуске мы поговорили о базе. Практика решает, но без теоретического фундамента не достичь высот. Мы обсудили, чего не понимают студенты-технари, с какими навыками студенту идти на первую работу, как совместить её с…

1 месяц назад @ soundcloud.com
Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию
Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию

Искушённые хабраюзеры кривят губы при виде чересчур простого контента. «Это всё для джунов и домохозяек, где наш технохардкор?» Но разве простота и доступность автоматически делают текст плохим? Разобраться в этом нам помогли выпускающий редактор контент-студии Хабра Михаил Зоберн и Стас Щетинников, директор по развитию одного из IT-департаментов в Сбере. 2:40 Вспоминаем Хабр, который “торт”. Действительно ли раньше было лучше

10:40 Письма Мартину Алексеевичу: разбираем популярные посты 2010 года

18:40 Почему сейчас минусуют крутые тексты (и почему мы считаем, что они крутые)

20:20 Хабр-2022: что в трендах, что в топах. Аналогия с книжным магазином

24:00 Литературные опусы айтишников для ай…

3 месяца, 4 недели назад @ soundcloud.com
Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков
Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков

Однажды ты понял, как снизить затраты на продукт и улучшить его качество. Но идея так и осталась идеей: задача затерялась, а ты превратился в механического исполнителя тикетов из Jira. Мириться с этим нельзя: надо организовать работу так, чтобы инициатива разработчиков не гасла, подобно искрам на снегу.

Чтобы разобраться в этом вопросе, мы побеседовали с нашими гостями о том, как разработчики могут влиять на развитие продукта, как не потеряться в завале идей и в чем главная ошибка Совы – эффективного менеджера. Ответить на эти вопросы нам помогли: - Сергей Лавренев, руководитель по развитию продуктов из департамента по развитию онлайн-сервисов банка «Хоум Кредит», - Роман Хазеев, заместител…

4 месяца, 4 недели назад @ soundcloud.com
Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах
Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах

Кто-то при слове Agile вспоминает мемы, кто-то вечный статус «в раннем доступе» у игр, кто-то — постоянные спринты. Мы заглянем чуть глубже и с помощью наших гостей узнаем, когда Agile эффективен, а когда нет; можно ли пренести Agile на личную жизнь — и постараемся понять, почему раньше без него можно было обойтись, а теперь нет. В нашей виртуальной студии вместе с scrum-мастером Анатолием Кукаевым из Промсвязьбанка и директором продуктовой разработки PropellerAds Анатолием Ивановым мы обсудили:

1:00 Любимые шутки про Agile. Объясняем, почему это смешно

3:40 Agile в реальной жизни на примерах: где это применимо и как работает

11:50 Почему гибкие методики Agile так актуальны в быстро меняюще…

5 месяцев назад @ soundcloud.com
Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе
Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе

В этом выпуске мы обсудили, как перейти от монолита к микросервисной архитектуре и построить свою платформу с теми, кто встал на этот путь. Рассказываем, как микросервисная архитектура меняет организацию команд, какие технические вызовы создает и что может дать своя платформа для микросервисов.

Гости:

Александр Тяпков, заместитель технического директора по вопросам backend-разработки в онлайн-кинотеатре IVI,

Артем Желтак, руководитель backend-разработки в inDriver. 1:10 С чем на бытовом уровне сравнить распил монолита на микросервисы. Наводим порядок в гараже, покупаем теннисные мячи в магазине теннисных мячей

3:50 Распил неизбежен? Немного драматические истории перехода на микросервисы

7:4…

5 месяцев назад @ soundcloud.com
Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности
Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности

Настраивать и контролировать процессы в IT-компании не проще, чем пилить код. Преуспеть в этом помогает DevOps, естественным продолжением которого в сфере информационной безопасности стал DevSecOps. О нём и поговорим. Вместе с нашими гостями мы рассмотрели Ивана-царевича как модель угрозы; обсудили, как быть на шаг впереди злоумышленников; как сложить слово «безопасность» из процессов, инструментов и знаний; какая главная цель DevSecOps, как перейти к нему от DevOps и с чего надо начиать внедрение и изучение этих практик. Мы взглянули на вопрос с двух сторон: реализации на практике и разработки инструментов. В этом нам помогли Алексей Бабенко, лидер команды тестирования безопасности приложе…

5 месяцев, 1 неделя назад @ soundcloud.com
Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source
Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source

Открытый код или коробочное решение? Open Source — вот он, бери и делай, только допиливать нужно будет самому. С другой стороны, коробки — проверенный временем вариант, хотя и дорого. В этом выпуске вебкаста Хабр ПРО обсудим, какой из подходов может стать мейнстримом, как выбрать подходящую под цели бизнеса лицензию и какие условия должны быть соблюдены, чтобы открытый код был безопасным. Участники:

Андрей Аврамчук, ведущий, Хабр;

Сергей Елин, тимлид ERLANG-разработчиков Osnova;

Роман Шеховцов, корпоративный архитектор Центра развития финансовых технологий Россельхозбанка. 1:15 Разница между открытым и свободным ПО

4:15 Насколько критичен выбор лицензии, какие критерии надо рассмотреть в пе…

5 месяцев, 2 недели назад @ soundcloud.com
Хабр ПРО // Митап о микросервисах: отвечаем на вопросы с Хабр Q&A
Хабр ПРО // Митап о микросервисах: отвечаем на вопросы с Хабр Q&A Хабр ПРО // Митап о микросервисах: отвечаем на вопросы с Хабр Q&A

Сколько нужно DevOps, чтобы выкрутить одну лампочку? В этом выпуске мы ответили на этот и другие более практические вопросы о работе с микросервисами, которые наши пользователи оставляют на Хабр Q&A. Обсуждаем, в чём разница между микросервисами и сервисами, какие технологии нужны для микросервисов, где их разворачивать, как хранить исходный код и отслеживать жизнь микросервиса. Мы разобрали эти вопросы с двух точек зрения: self-hosting и работы с облачными сервисами. Наши гости: Денис Рылеев, руководитель направления автоматизации в Россельхозбанке, и Михаил Чугунов, системный инженер компании ЕПАМ, занимающийся внедрением DevOps-практик в облачных решениях AWS.

1:05 Вечные вопросы: скольк…

5 месяцев, 3 недели назад @ soundcloud.com
Хабр ПРО // Трудно быть богом: как строить стек в хаосе устаревающих технологий
Хабр ПРО // Трудно быть богом: как строить стек в хаосе устаревающих технологий Хабр ПРО // Трудно быть богом: как строить стек в хаосе устаревающих технологий

Сцилла и Харибда современной разработки: с одной стороны, приложения должны быть стабильными и цельными, с другой — надо использовать актуальные инструменты. Приходится балансировать между усложнением разработки и устареванием стека. В этом выпуске мы обсудили, как держать равновесие. Мы пригласили тех, кто определяет развитие технической части приложений. Разработчики расскажут, как выстраивать технический стек, как далеко можно прогнозировать в нашем изменчивом мире и являются ли микросервисы серебряной пулей. Кирилл Маканков, руководитель направления мобильной разработки малого и среднего бизнеса в ПСБ, расскажет, какие проблемы ему приходится решать при планировании технического стека, …

6 месяцев назад @ soundcloud.com
Хабр ПРО // Return 2011: iOS-сеньоры представляют, какими бы они были джунами в 2021-м
Хабр ПРО // Return 2011: iOS-сеньоры представляют, какими бы они были джунами в 2021-м Хабр ПРО // Return 2011: iOS-сеньоры представляют, какими бы они были джунами в 2021-м

Десять лет назад на прилавках появилась новинка от Apple — iPhone 4S, и два друга — Илья и Руслан — решили заняться iOS-разработкой. Прошло время. Илья Меркулов теперь Head of Mobile в FUNCORP, а Руслан Курмакаев переехал в Сиэтл и стал Senior iOS Developer в Facebook. Мы устроили телемост Москва—Сиэтл и в прямом эфире обсудили с Ильёй и Русланом, как бы те начали свой карьерный путь в 2021 году. Выбрали бы они iOS-разработку? С чего бы начали изучение технологий? Как развивалась бы их карьера и каких ошибок они бы избежали? 1:00 Каково было начинать карьеру в iOS-разработке десять лет назад

6:20 Точки роста джуна: фиксим баги, учим английский, читаем книги

11:00 Вредные привычки и особенно…

6 месяцев, 1 неделя назад @ soundcloud.com
Хабр ПРО // Баффер в IT-команде: обсуждаем, чему сеньор может поучиться у джуна
Хабр ПРО // Баффер в IT-команде: обсуждаем, чему сеньор может поучиться у джуна Хабр ПРО // Баффер в IT-команде: обсуждаем, чему сеньор может поучиться у джуна

IT — как Зазеркалье: чтобы оставаться на месте, надо идти, чтобы двигаться — бежать. В IT-компаниях это понимают, и потому одни разработчики учат других. В этот выпуск Хабр Про мы пригласили тех, кто вращает круговорот знаний, и вместе с ними обсудили обмен опытом через теорию и через практику. Настя Артамонова, главный специалист по обучению в Мир Plat.Form, рассказала, как митапы развивают технических специалистов и как внутреннее обучение становится ступенькой к внешним курсам (но не всегда). А Олег Миронов, руководитель Центра Компетенций АО «Флант», объяснил, как учить на боевых проектах и как тимлиды становятся кураторами для джунов. Содержание: 2:00 Обучение внутри компаний: теоретич…

6 месяцев, 3 недели назад @ soundcloud.com
Хабр ПРО // Конвейер для «нового золота»: что можно сделать с большими данными
Хабр ПРО // Конвейер для «нового золота»: что можно сделать с большими данными Хабр ПРО // Конвейер для «нового золота»: что можно сделать с большими данными

В этом выпуске мы обсуждаем сложности сбора и обработки данных. Работа с Big Data и получение из них ценности — это конвейер, на котором трудятся целые команды. Как идёт работа в начале и конце этого пути, нам расскажут два разных специалиста: data engineer и product owner. О том, как и какими инструментами добываются данные, мы узнаем от Дмитрия Захарова — дата-инженера и тимлида разработки витрины данных в Сбере. А Игнат Постный, исполнительный директор TAG Consulting, поведает, какие задачи он решает с помощью инструментов AI и какие барьеры есть на проде. Содержание: 1:10 Кто есть кто: чем занимаются data engineer и product owner в Big Data

4:30 Этапы обработки больших данных в крупной …

8 месяцев, 2 недели назад @ soundcloud.com
Хабр ПРО // Рельсы для ML: разбираемся, что собой представляют практики MLops и как их запустить
Хабр ПРО // Рельсы для ML: разбираемся, что собой представляют практики MLops и как их запустить Хабр ПРО // Рельсы для ML: разбираемся, что собой представляют практики MLops и как их запустить

Рассказываем, что из себя представляют практики MLops и как они помогают поставить работу с данными на поток. Мы разберём этот вопрос на двух этапах: посмотрим, с какими задачами и вопросами надо обращаться к MLops в теории — и как этот подход реализуется на практике. В нашей виртуальной студии, Head of Computer Vision, Михаил Толмачев из компании EPAM расскажет, когда нужно задуматься о внедрении MLops и какие задачи они решают, а его коллега, Senior Data Solution Architect, Евгений Кожевников в деталях распишет, как именно нужно наладить взаимодействие внутри команд, чтобы подход заработал. 2:45 Самое интересное и важное в MLOps. Что включает это направление

7:00 Почему в MLOps важна кома…

8 месяцев, 3 недели назад @ soundcloud.com
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 3 месяца, 2 недели назад
Неизбежность сложного мира
Неизбежность сложного мира Неизбежность сложного мира

-=Выпуск 65=- Сумбурный треп о том, как квантовая физика сделала возможными современные информационные технологии и привнесла в них свойственные квантовому миру сложности и странности — и всё это еще до появления квантового компьютера, который сложности добавит с избытком. Немного истории науки, немного технооптимизма, немного метавселенной — зимний согревающий коктейль образца 2022 года.

3 месяца, 2 недели назад @ sebrant.chat
Итоги-2021 и вытекающие Прогнозы-2022
Итоги-2021 и вытекающие Прогнозы-2022 Итоги-2021 и вытекающие Прогнозы-2022

-=Выпуск 64=- Как положено под Новый год, смесь итогов и прогнозов — благо они друг с другом всегда связаны. Выпуск записан во время отпуска в Калифорнии, потому содержит немного местного колорита. А темы, конечно, предсказуемые: автономный транспорт, климатическая повестка, метавселенная и прилегающие к ней вопросы. С 2022 годом, дорогие мои слушатели!

4 месяца, 3 недели назад @ sebrant.chat
Across the Metaverse: почему полюбил эту концепцию, и чем она полезна и прекрасна
Across the Metaverse: почему полюбил эту концепцию, и чем она полезна и прекрасна Across the Metaverse: почему полюбил эту концепцию, и чем она полезна и прекрасна

-=Выпуск 63=- “Остапа несло…” — но нет, в этот раз несло Себранта:) Час сольного трёпа о том, почему именно сейчас, на мой взгляд, стала важна, актуальна и полезна концепция метавселенной. И какие не всегда сразу очевидные следствия вытекают из такой картины мира. Я написал об этом — и неожиданно ее довольно быстро прочитали больше 20 тысяч человек. Значит, тема зашла и интересна людям, так что можно пуститься в свободный трёп и рассказать, на какие мысли и воспоминания меня наводит это прекрасное слово. Возможно, мои лохматые и сумбурные мысли кого-то подтолкнут додумать и придумать что-то свое — так будет еще прекрасней.

8 месяцев, 4 недели назад @ sebrant.chat
Автономные транспорт и логистика: про беспилотное будущее, которое местами уже наступило
Автономные транспорт и логистика: про беспилотное будущее, которое местами уже наступило Автономные транспорт и логистика: про беспилотное будущее, которое местами уже наступило

-=Выпуск 62=- Беседа с Аркадием Софрыгиным, основателем и , PR-партнером и инвестором в беспилотные стартапы. Упомянутые в тексте подкаста ссылки: и их машинки и поиск команд Мои колонки в Forbes: - - , которая нас ждет (а кое-где и дождалась уже)

9 месяцев назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 3 недели, 3 дня назад
Agile Book Club interview on Refactoring
Agile Book Club interview on Refactoring

James Shore's Art of Agile Development is my favorite single-volume book on agile software development. A reason for that is its serious emphasis on the technical practices that are essential to making it work effectively. James and I discuss the role of refactoring for software development, the nature of design changes we see, and how to break down big changes into small pieces.

more…

3 недели, 3 дня назад @ jamesshore.com
How I use Twitter
How I use Twitter How I use Twitter

A couple of recent conversations about Twitter were nudging me into writing about how I use Twitter even before The Muskover developed.

Twitter has become an important part of my online life, and my online life is a big part of what I do.

Twitter makes it easy for me to avoid them if I don't bother reading (or making) replies.

Where I find Twitter most useful is that it allows me to precisely follow individual accounts who tweet things I like to hear about.

I'm not a fan of Musk's public interactions, but it's too early to judge what effect the takeover will have on Twitter.

3 недели, 5 дней назад @ martinfowler.com
photostream 128
photostream 128 photostream 128

Heian-jingu Shrine

Kyoto, Japan (2004)

1 месяц назад @ martinfowler.com
Transitional Architecture
Transitional Architecture Transitional Architecture

To allow this interplay between legacy and new, we need to build and evolve Transitional Architecture that supports this collaboration as it changes over time.

Each of the different paths a team could take will be enabled by, or require different Transitional Architecture to be put in place.

Remember that part of using a Transitional Architecture is removing it when it's no longer needed.

But a Transitional Architecture delivers value in a couple of ways, and this value should be compared to the cost of building it.

The second value of a Transitional Architecture is how it can reduce the risk of legacy displacement.

1 месяц, 3 недели назад @ martinfowler.com
Investing in the hiring process
Investing in the hiring process Investing in the hiring process

How did you get into the bottleneck?

Invariably, by then the initial team has taken on a lot.

More often than not however, indicators lag, and before anyone has had a chance to prioritize hiring, growth is bottlenecked by both capacity and capability.

We frequently hear stories where new hires are not aligned with the founders and initial team, so the hiring investment doesn’t help with the bottleneck.

How do we recognize the signs that the talent bottleneck is coming?

2 месяца, 1 неделя назад @ martinfowler.com
How to get out of the talent bottleneck
How to get out of the talent bottleneck How to get out of the talent bottleneck

How did you get into the bottleneck?

Invariably, by then the initial team has taken on a lot.

More often than not however, indicators lag, and before anyone has had a chance to prioritize hiring, growth is bottlenecked by both capacity and capability.

We frequently hear stories where new hires are not aligned with the founders and initial team, so the hiring investment doesn’t help with the bottleneck.

How do we recognize the signs that the talent bottleneck is coming?

2 месяца, 1 неделя назад @ martinfowler.com
How scaleups get constrained by talent
How scaleups get constrained by talent How scaleups get constrained by talent

How did you get into the bottleneck?

Invariably, by then the initial team has taken on a lot.

More often than not however, indicators lag, and before anyone has had a chance to prioritize hiring, growth is bottlenecked by both capacity and capability.

We frequently hear stories where new hires are not aligned with the founders and initial team, so the hiring investment doesn’t help with the bottleneck.

How do we recognize the signs that the talent bottleneck is coming?

2 месяца, 1 неделя назад @ martinfowler.com
How to get out of the tech debt bottleneck
How to get out of the tech debt bottleneck How to get out of the tech debt bottleneck

The most common scaling bottleneck we encounter is technical debt — startups regularly state that tech debt is their main impediment to growth.

The startup team attributes it to technical debt incurred due to a lack of technical investment during their growth phase.

It’s important to say that prudent technical debt is healthy and desired, especially in the initial phases of a startup’s journey.

Company A got itself into a technical debt bottleneck that paralyzed the company.

To explore how to create the right balance, we are going to examine the different types of technical debt:Typical types of debt: Technical debt is an ambiguous term, often regarded as purely code-related.

2 месяца, 2 недели назад @ martinfowler.com
Bottlenecks of Scaleups: How did you get tech debt?
Bottlenecks of Scaleups: How did you get tech debt? Bottlenecks of Scaleups: How did you get tech debt?

The most common scaling bottleneck we encounter is technical debt — startups regularly state that tech debt is their main impediment to growth.

The startup team attributes it to technical debt incurred due to a lack of technical investment during their growth phase.

It’s important to say that prudent technical debt is healthy and desired, especially in the initial phases of a startup’s journey.

Company A got itself into a technical debt bottleneck that paralyzed the company.

To explore how to create the right balance, we are going to examine the different types of technical debt:Typical types of debt: Technical debt is an ambiguous term, often regarded as purely code-related.

2 месяца, 2 недели назад @ martinfowler.com
Using the Four Key Metrics to assess an infrastructure platform
Using the Four Key Metrics to assess an infrastructure platform Using the Four Key Metrics to assess an infrastructure platform

However once your organisation has reached a certain size, it might no longer be efficient to have your teams building their own infrastructure.

By building infrastructure platforms you can save time for product teams, reduce your cloud spend and increase the security and rigour of your infrastructure.

For these reasons, more and more execs are finding the budget to spin up separate teams to build platform infrastructure.

Luckily we have been through the ups and downs of building infrastructure platforms and have put together some essential steps to ensure platform success!

Measure the important stuff An article about Building Better Infrastructure Platforms would not be complete without a …

3 месяца, 1 неделя назад @ martinfowler.com
Communicating the technical vision of an infrastructure platform
Communicating the technical vision of an infrastructure platform Communicating the technical vision of an infrastructure platform

An Infrastructure Platform provides common cloud components for teams to build upon and use to create their own solutions.

By building infrastructure platforms you can save time for product teams, reduce your cloud spend and increase the security and rigour of your infrastructure.

For these reasons, more and more execs are finding the budget to spin up separate teams to build platform infrastructure.

Luckily we have been through the ups and downs of building infrastructure platforms and have put together some essential steps to ensure platform success!

No matter your reason for building an infrastructure platform, this should be your aim!

3 месяца, 1 неделя назад @ martinfowler.com
The Humble Dialog Box
The Humble Dialog Box

The Humble Dialog BoxA 2002 article by Michael Feathers.

This article introduced the idea of dealing with a hard-to-test GUI behavior by minimizing the behavior within the GUI element, moving as much as possible to a separate object that’s easier to test.

This idea was generalized into the Humble Object pattern.

The pdf of this article is here, but if you’re wish to share a link, please link to this page instead, as that pdf link may not be stable and this page allows us to more easily enhance this resource later.

Martin Fowler: 07 Feb 2022

3 месяца, 2 недели назад @ martinfowler.com
Find out what infrastructure platform customers need
Find out what infrastructure platform customers need Find out what infrastructure platform customers need

By building infrastructure platforms you can save time for product teams, reduce your cloud spend and increase the security and rigour of your infrastructure.

For these reasons, more and more execs are finding the budget to spin up separate teams to build platform infrastructure.

Luckily we have been through the ups and downs of building infrastructure platforms and have put together some essential steps to ensure platform success!

So you might find it surprising to know that many organisations build platform infrastructure, and then can’t get any teams to use them.

Maybe you built your infrastructure product too late and they had already built their own?

3 месяца, 2 недели назад @ martinfowler.com
Building Infrastructure Platforms
Building Infrastructure Platforms Building Infrastructure Platforms

However once your organisation has reached a certain size, it might no longer be efficient to have your teams building their own infrastructure.

An Infrastructure Platform provides common cloud components for teams to build upon and use to create their own solutions.

By building infrastructure platforms you can save time for product teams, reduce your cloud spend and increase the security and rigour of your infrastructure.

For these reasons, more and more execs are finding the budget to spin up separate teams to build platform infrastructure.

Luckily we have been through the ups and downs of building infrastructure platforms and have put together some essential steps to ensure platform succ…

3 месяца, 2 недели назад @ martinfowler.com
Divert the Flow
Divert the Flow Divert the Flow

Divert the Flow is a strategy that starts a Legacy Displacement initiative by creating a new implementation of the Critical Aggregator that, as far as possible, is decoupled from the upstream systems that are the sources of the data it needs to operate.

How It WorksDiverting the Flow creates a new implementation of a cross cutting capability, in this example that being a Critical Aggregator.

Initially this implementation might receive data from existing legacy systems, for example by using the Event Interception pattern.

User requirements Obviously we need to understand how the capability we plan to "divert" is used by end users.

If we don't understand the legacy implementation fully it's o…

4 месяца назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 3 дня, 22 часа назад
Временные таблицы в SQLite
Временные таблицы в SQLite Временные таблицы в SQLite

Временные таблицы в SQLiteБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать.

Представление работает как CTE, но к нему можно обращаться как к обычной таблице и не повторять каждый раз подзапрос.

Как и CTE, представление тоже вычисляется на лету.

-- 1) create once create temp table combined_temp as select v . * , e . name , a . name from vacancy as v join employer as e on e . id = v . employer_id join area as a on a . id = v . area_id ; -- 2) use everywhere select ... from combined_temp where ... group by ... order by ...Технически, SQLite хранит временные таблицы в специальной temp -базе.

Она лежит в отдельном файле на диске и видна только тому соединени…

3 дня, 22 часа назад @ antonz.ru
JSON и виртуальные столбцы в SQLite
JSON и виртуальные столбцы в SQLite JSON и виртуальные столбцы в SQLite

У вычисляемых столбцов есть еще одно чрезвычайно полезное применение.

Допустим, вы решили вести журнал событий, которые происходят в системе.

События бывают разных типов, у каждого свой набор полей.

Например, вход в систему:Или пополнение счета:Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON.

Заводите таблицу events с единственным полем value :И выбираете события по конкретному объекту:

1 неделя назад @ antonz.ru
Компактные объекты в Python
Компактные объекты в Python Компактные объекты в Python

Питон — объектный язык.

Это здорово и удобно, пока не придется создать 10 млн объектов в памяти, которые благополучно ее и съедят.

Поговорим о том, как уменьшить аппетит.

Допустим, есть у вас простенький объект «питомец» с атрибутами «имя» (строка) и «стоимость» (целое).

Интуитивно кажется, что самое компактное предоставление — в виде кортежа:Замерим, сколько займет в памяти один такой красавчик:

1 неделя, 1 день назад @ antonz.ru
Новости стандартной библиотеки Python
Новости стандартной библиотеки Python Новости стандартной библиотеки Python

17 модулей с новыми фичами и доработками.

1 неделя, 4 дня назад @ antonz.ru
Вычисляемые столбцы в SQLite
Вычисляемые столбцы в SQLite Вычисляемые столбцы в SQLite

Чтобы не повторять сложные выражения в каждом запросе.

2 недели, 1 день назад @ antonz.ru
Постраничный итератор в Python
Постраничный итератор в Python Постраничный итератор в Python

Тут и пригодится постраничный итератор!

Будем продолжать, пока исходная последовательность не закончится:def paginate ( iterable , page_size ): page = [] for item in iterable : page .

append ( item ) if len ( page ) == page_size : yield page page = [] yield pagereader = fetch_toys () page_size = 10_000 for page in paginate ( reader , page_size ) process_batch ( page )Реализация рабочая, но есть проблемка.

А вот практически — да, если перенести как можно больше действий из кода на питоне в библиотечный код на си.

Чтобы не писать такой обход каждый раз с нуля, удобно использовать универсальный постраничный итератор.

2 недели, 6 дней назад @ antonz.ru
Многострочные запросы в консоли SQLite
Многострочные запросы в консоли SQLite Многострочные запросы в консоли SQLite

Как отредактировать большой запрос за один раз

3 недели, 6 дней назад @ antonz.ru
Закешировать результат вычислений в Python
Закешировать результат вычислений в Python Закешировать результат вычислений в Python

Предположим, написали вы функцию, которая возвращает емейл пользователя:Одна беда: функция find_by_id() лезет в уж-ж-жасно медленную легаси-систему:Если 100 раз вызвать get_user_email(42) — будет 100 медленных запросов.

Хотя по уму хватило бы и одного.

Что ж, давайте приделаем простенький кеш:

1 месяц назад @ antonz.ru
История команд SQLite
История команд SQLite История команд SQLite

Помогает найти запрос, чтобы не вводить заново.

1 месяц назад @ antonz.ru
Гибкие типы данных в SQLite
Гибкие типы данных в SQLite Гибкие типы данных в SQLite

Почему sqlite называют «джаваскриптом в мире баз данных».

4 месяца, 1 неделя назад @ antonz.ru
Все расширения для SQLite
Все расширения для SQLite Все расширения для SQLite

Регулярки, статистика, файлы и еще 100+ функций.

4 месяца, 2 недели назад @ antonz.ru
2022
2022 2022 4 месяца, 3 недели назад @ antonz.ru
Быстрый поиск похожих слов на SQL
Быстрый поиск похожих слов на SQL Быстрый поиск похожих слов на SQL

Быстрый поиск похожих слов на SQLВ этой статье разберемся, как быстро найти похожее слово в огромном словаре.

Чтобы предложить исправление, придется найти максимальное похожее слово в words .

Функция расстояния принимает на входе два слова и возвращает некоторое число D , которое характеризует похожесть:distance(w1, w1) = xЧем меньше D , тем более похожи слова.

Ищем похожее слово в словареЧтобы исправить опечатку в слове, достаточно посчитать расстояние от него до каждого слова в словаре и выбрать слово с минимальным расстоянием.

На SQL:select word , dlevenshtein ( translit ( 'абривиатура' ), translit ( word ) ) as distance from words order by distance limit 1 ;┌──────────────┬──────────┐ │…

5 месяцев, 3 недели назад @ antonz.ru
Датасет слов английского языка
Датасет слов английского языка Датасет слов английского языка

Oxford 5000 и другие наборы с произношением.

5 месяцев, 3 недели назад @ antonz.ru
Что нового в SQLite 3.37
Что нового в SQLite 3.37 Что нового в SQLite 3.37

Строгие таблицы, any-тип и новая прагма.

5 месяцев, 3 недели назад @ antonz.ru